Как выбрать серверный GPU NVIDIA: H100, A100, L40S, L4

Коротко: Серверные ускорители NVIDIA сильно различаются по памяти, форм-фактору и назначению. Разберём, как подобрать карту под обучение, инференс или графику и что учесть по серверу и питанию.

Сначала — задача

Выбор начинается с нагрузки. Обучение больших моделей — нужны память HBM, NVLink и SXM-платформа (H100/H200/A100 SXM). Инференс — важнее объём памяти под модель и цена (H200, L40S, L4, A100). Графика, рендеринг, VDI — карты с RT-ядрами и видеокодеками (L40S, L40, RTX 6000 Ada, A40, A16). Универсальный инференс+графика хорошо закрывает L40S.

Поколения: Ampere, Hopper, Ada, Blackwell

Ampere (A100, A40, A30, A10, A2) — предыдущее массовое поколение, хорошее соотношение цена/возможности. Hopper (H100, H200) — стандарт для обучения LLM: Transformer Engine и FP8. Ada Lovelace (L40S, L40, L4, RTX Ada) — универсал под инференс и графику. Blackwell (B200) — новейшее под крупнейшие модели. Turing/Volta (T4, V100) ещё продаются как экономичные варианты.

Память: HBM или GDDR и сколько

Модель должна помещаться в память карты. HBM (H100 80 ГБ, H200 141 ГБ, A100 40/80 ГБ) — максимальная полоса, для обучения и инференса больших моделей. GDDR6 (L40S/L40 48 ГБ, L4 24 ГБ, A10 24 ГБ) — дешевле, достаточно для инференса и графики. Правило: больше памяти и выше её полоса — крупнее модель на одну карту и выше скорость.

Форм-фактор SXM или PCIe

SXM — модули на плате HGX/DGX с полным NVLink и максимальной мощностью (до 700–1000 Вт): для многокарточного обучения. PCIe — обычные карты в слот, проще интеграция и охлаждение: для инференса и смешанных задач. Низкопрофильные PCIe (L4, T4, A2) питаются от слота без доп. кабелей и ставятся в компактные серверы.

Питание, охлаждение и сервер

Учитывайте TDP и число карт: узел из нескольких H100 SXM потребляет киловатты и требует HGX-платформы, мощных БП и плотного охлаждения (воздух/жидкость). Для PCIe-карт нужен сервер с достаточным числом двойных слотов и запасом по питанию. Подбирайте GPU и сервер комплектом — так избежите несовместимости и нехватки питания.

MIG, NVLink и виртуализация

MIG (на A100/H100/H200) делит одну карту на изолированные инстансы — удобно для многопользовательского инференса. NVLink ускоряет обмен между картами при обучении. Для VDI берут карты с поддержкой vGPU (A16, A40, L40S). Уточняйте лицензии NVIDIA vGPU/AI Enterprise под вашу задачу.

Вопросы по теме

Какой GPU взять для обучения LLM?

H100 или H200 в форм-факторе SXM (HGX/DGX) с NVLink — стандарт для обучения. При ограниченном бюджете — A100 SXM.

Что выбрать для инференса?

По памяти и цене: H200 или L40S для крупных моделей, L4/T4 — для лёгкого инференса и видео. A100 — если важна полоса памяти.

SXM или PCIe?

SXM — для многокарточного обучения (полный NVLink, максимум мощности). PCIe — проще интегрировать, для инференса и смешанных нагрузок.

Что такое MIG?

Multi-Instance GPU — деление A100/H100/H200 на изолированные инстансы для одновременного обслуживания нескольких задач/пользователей.

Подойдёт ли игровая видеокарта для сервера?

Нет: у серверных карт ECC-память, пассивное охлаждение под серверный обдув, поддержка vGPU/MIG и лицензий. Игровые не рассчитаны на 24/7 в стойке.