Ускорители NVIDIA для ИИ: поколения, память и выбор под модель

Коротко: ИИ-ускоритель NVIDIA — это GPU для ЦОД с тензорными ядрами, памятью HBM и связью NVLink между картами. Выбор определяют три параметра: объём памяти (H100 — 80 ГБ, H200 — 141 ГБ, B200 — 180 ГБ, B300 — до 288 ГБ), её полоса (от 2 до 8 ТБ/с) и поддерживаемые форматы чисел (FP8 с Hopper, FP4 с Blackwell). Модель на 70 млрд параметров в FP8 занимает около 70 ГБ и помещается в одну H200, в BF16 ей нужно 140 ГБ и две карты.

Чем ИИ-ускоритель отличается от обычной видеокарты

Ускоритель для ЦОД — это GPU без видеовыходов, рассчитанный на круглосуточную работу в стойке. Главное в нём не графика, а тензорные ядра (блоки умножения матриц), память HBM с полосой в терабайты в секунду и быстрые межкарточные связи NVLink. Память защищена ECC, охлаждение пассивное — радиатор продувают вентиляторы сервера.

Для ИИ решают три цифры: сколько памяти на карте (влезет ли модель), какая у неё полоса (как быстро генерируются токены) и производительность в пониженной точности — BF16, FP8, а у Blackwell ещё и FP4. Производительность в FP64 важна для научных расчётов (HPC), но для нейросетей почти не нужна.

Эта статья — о флагманской линейке для обучения и инференса больших моделей: V100, A100, H100, H200, B200 и B300. PCIe-карты для инференса, графики и VDI (L4, L40S, A16 и другие) разобраны в гиде как выбрать серверный GPU NVIDIA.

Поколения NVIDIA для ЦОД: от Volta до Blackwell Ultra

Каждые два года NVIDIA выпускает новую архитектуру, а между ними — обновления с увеличенной памятью (H200 после H100, B300 после B200). Новое поколение приносит новый формат чисел и новую версию NVLink — именно они дают основной прирост на ИИ-задачах.

Архитектура	Год	Флагман	Память	NVLink	Что появилось для ИИ
Volta	2017	V100	16/32 ГБ HBM2	2-го поколения, 300 ГБ/с	Первые тензорные ядра, FP16
Ampere	2020	A100	40/80 ГБ HBM2/HBM2e	3-го поколения, 600 ГБ/с	TF32, BF16, разреженность, MIG
Hopper	2022	H100, H200	80 ГБ HBM3 / 141 ГБ HBM3e	4-го поколения, 900 ГБ/с	FP8 и Transformer Engine
Blackwell	2024	B200, GB200	180 ГБ HBM3e (B200)	5-го поколения, 1,8 ТБ/с	FP4/FP6, второе поколение Transformer Engine
Blackwell Ultra	2025	B300, GB300	до 288 ГБ HBM3e	5-го поколения, 1,8 ТБ/с	Ускоренный FP4, больше памяти

Ada Lovelace (L4, L40S) — параллельная ветка PCIe-карт того же времени, что Hopper: FP8 у них есть, но памяти HBM и NVLink нет. Подробно про переход на новое поколение — в разборе Blackwell B200 и B300 против Hopper.

Характеристики флагманов: сравнительная таблица

Ниже — данные из спецификаций NVIDIA для основных исполнений. TDP у SXM-модулей настраиваемый: производитель сервера может ограничить мощность под своё охлаждение.

Модель	Формат	Память	Полоса памяти	TDP, до	NVLink на GPU	MIG
V100	SXM2	16/32 ГБ HBM2	900 ГБ/с	300 Вт	300 ГБ/с	нет
A100 80GB	SXM4	80 ГБ HBM2e	2039 ГБ/с	400 Вт	600 ГБ/с	до 7
A100 80GB PCIe	PCIe Gen4	80 ГБ HBM2e	1935 ГБ/с	300 Вт	мост на 2 GPU, 600 ГБ/с	до 7
H100 SXM	SXM5	80 ГБ HBM3	3,35 ТБ/с	700 Вт	900 ГБ/с	до 7
H100 NVL	PCIe Gen5	94 ГБ HBM3	3,9 ТБ/с	350–400 Вт	мост, 600 ГБ/с	до 7
H200 SXM	SXM5	141 ГБ HBM3e	4,8 ТБ/с	700 Вт	900 ГБ/с	до 7
H200 NVL	PCIe Gen5	141 ГБ HBM3e	4,8 ТБ/с	600 Вт	мост на 2 или 4 GPU, 900 ГБ/с	до 7
B200	SXM (HGX B200)	180 ГБ HBM3e	около 8 ТБ/с	1000 Вт	1,8 ТБ/с	есть
B300	SXM (HGX B300)	до 288 ГБ HBM3e	около 8 ТБ/с	1100 Вт	1,8 ТБ/с	есть

По производительности: H100 SXM и H200 SXM дают одинаковые 3958 TFLOPS в FP8 (с разреженностью) — у них один и тот же вычислительный чип, разница только в памяти. Восьмипроцессорная плата HGX B200 даёт 72 PFLOPS в FP4 без разреженности, HGX B300 — 108 PFLOPS. Для HGX B300 NVIDIA указывает суммарно 2,1 ТБ памяти на 8 GPU.

Форматы чисел: FP16, BF16, FP8 и FP4

Чем меньше бит на число, тем меньше памяти занимает модель и тем больше операций в секунду выполняют тензорные ядра. Цена — точность: переход на FP8 и FP4 требует поддержки в софте (Transformer Engine, TensorRT-LLM, vLLM) и проверки качества модели.

Формат	Байт на параметр	Аппаратная поддержка	Где применяют
FP32 / TF32	4	TF32 — с Ampere	Обучение по умолчанию в старых проектах, мастер-копия весов
FP16 / BF16	2	FP16 — с Volta, BF16 — с Ampere	Основной формат обучения и инференса
FP8	1	С Hopper (H100, H200) и Ada (L4, L40S)	Обучение LLM с Transformer Engine, быстрый инференс
FP6 / FP4	0,75 / 0,5	С Blackwell	Инференс квантованных моделей, частично обучение

Практическое следствие: модель на 70 млрд параметров в BF16 занимает около 140 ГБ, в FP8 — около 70 ГБ, в FP4 — около 35 ГБ. На A100 FP8 и FP4 аппаратно не ускоряются: квантованную модель можно запустить, но выигрыш будет только по памяти, не по скорости.

Сколько памяти GPU нужно модели

Для инференса память складывается из трёх частей: веса модели, KV-кэш (сохранённые ключи и значения внимания для каждого токена контекста) и служебный запас 10–20% под активации и фреймворк.

Веса = число параметров × байт на параметр. 70 млрд × 2 байта (BF16) = 140 ГБ.
KV-кэш на токен = 2 × число слоёв × число KV-голов × размер головы × байт. Для модели класса Llama 3 70B (80 слоёв, 8 KV-голов, размер головы 128) в BF16 это около 0,33 МБ на токен.
Контекст 128 тыс. токенов одного запроса — порядка 40 ГБ KV-кэша. Десять одновременных длинных запросов требуют сотни гигабайт.

Для обучения со смешанной точностью и оптимизатором Adam ориентир — около 16 байт на параметр без учёта активаций: веса и градиенты в BF16, мастер-копия весов и два момента оптимизатора в FP32. Полное обучение модели на 70 млрд параметров требует более 1,1 ТБ только под состояние, поэтому его ведут на нескольких узлах с шардированием (ZeRO, FSDP). Дообучение методом LoRA обходится памятью инференса плюс небольшой запас.

Модель → сколько и каких GPU

Ориентиры для инференса с умеренным контекстом. Цифры весов округлены, KV-кэш и запас нужно добавлять сверху.

Размер модели	Веса BF16	Веса FP8	Минимальная конфигурация
7–8 млрд	около 16 ГБ	около 8 ГБ	Одна карта 24–48 ГБ: L4, L40S, A100
13–14 млрд	около 28 ГБ	около 14 ГБ	L40S 48 ГБ или A100/H100 80 ГБ
32–34 млрд	около 68 ГБ	около 34 ГБ	H100 80 ГБ в FP8, H200 в BF16
70 млрд	около 140 ГБ	около 70 ГБ	1 × H200 в FP8, 2 × H200 или 4 × H100 в BF16
405 млрд	около 810 ГБ	около 405 ГБ	8 × H200 (1128 ГБ) или 8 × B200 (1440 ГБ)
Сотни млрд, MoE, длинный контекст	от 1 ТБ	от 500 ГБ	HGX B200/B300 или стоечные GB200/GB300 NVL72

Если модель не влезает в одну карту, её делят между GPU тензорным параллелизмом — и тогда скорость обмена между картами (NVLink) становится не менее важной, чем объём памяти.

NVLink и NVSwitch: зачем связь между GPU

Когда модель разделена между картами, на каждом слое они обмениваются промежуточными результатами, а при обучении ещё и синхронизируют градиенты операцией all-reduce. Через шину PCIe Gen5 x16 карта передаёт около 128 ГБ/с в обе стороны, через NVLink 4-го поколения — 900 ГБ/с, через NVLink 5-го — 1,8 ТБ/с.

NVSwitch — коммутатор NVLink на плате HGX: он связывает все 8 GPU «каждый с каждым» на полной скорости. В PCIe-исполнениях вместо него используют мосты: у A100 PCIe и H100 NVL — на пару карт, у H200 NVL — на 2 или 4 карты. Для тензорного параллелизма на 8 GPU нужна SXM-платформа HGX; для независимых копий модели на каждой карте мосты не обязательны.

За пределами одного узла GPU связывает уже сеть — InfiniBand или Ethernet с RDMA, по 400–800 Гбит/с на ускоритель. Её выбор разобран в статье сеть для AI-кластера: InfiniBand или Ethernet.

SXM, NVL и PCIe: один чип — разные исполнения

SXM — модуль без разъёма PCIe, который ставится на плату-носитель HGX вместе с NVSwitch. Максимальный TDP (700 Вт у Hopper, 1000–1100 Вт у Blackwell), полная скорость NVLink, но покупается и обслуживается только как платформа на 4 или 8 GPU.

NVL (H100 NVL, H200 NVL) — двухслотовая PCIe-карта с памятью как у SXM-версии и мостами NVLink. Ставится в обычные серверы с воздушным охлаждением, удобна для инференса и дообучения.

PCIe (A100 PCIe, H100 PCIe) — классическая карта с пониженным TDP. H100 PCIe несёт 80 ГБ HBM2e с полосой около 2 ТБ/с — заметно меньше, чем у SXM-версии, поэтому на инференсе крупных моделей она уступает H100 SXM и H100 NVL. Подбор сервера под каждый вариант — в гиде как выбрать GPU-сервер для ИИ.

Обучение и инференс: что важнее для каждой задачи

Обучение упирается в вычисления и межкарточную связь: важны TFLOPS в BF16/FP8, NVLink внутри узла и сеть между узлами. Здесь выигрыш от нового поколения максимальный — H100 с FP8 обучает трансформеры в разы быстрее A100.

Инференс состоит из двух фаз. Обработка запроса (prefill) нагружает вычислители, а генерация ответа (decode) читает все веса модели на каждый токен и упирается в полосу памяти. Поэтому H200 с 4,8 ТБ/с генерирует токены заметно быстрее H100 с 3,35 ТБ/с при одинаковом чипе, а большой объём памяти позволяет держать больше одновременных запросов в KV-кэше.

Дообучение (fine-tuning, LoRA) — промежуточный случай: часто достаточно одного узла на 4–8 GPU, а иногда и пары карт NVL или L40S.

Как выбрать ускоритель: 6 шагов

Определите задачу: обучение с нуля, дообучение или инференс, и целевой размер модели в параметрах.
Посчитайте память: веса в выбранной точности, KV-кэш под нужный контекст и число одновременных запросов, плюс 10–20% запаса.
Выберите точность: BF16 — максимальная совместимость, FP8 — вдвое меньше памяти на Hopper и новее, FP4 — только Blackwell.
Решите, нужен ли NVLink: если модель делится между картами — SXM-платформа HGX или NVL-карты с мостами; если нет — подойдут PCIe-карты.
Проверьте инфраструктуру: 8-GPU узел на H100/H200 потребляет до 10,2 кВт, на B200 — около 14,3 кВт. Хватит ли стойки, питания и охлаждения, подскажет расчёт в статье питание и охлаждение GPU-стойки.
Сравните поколения по стоимости задачи, а не карты: A100 б/у может решать задачу инференса средних моделей, H200 — сократить число узлов вдвое, Blackwell — оправдан при обучении и FP4-инференсе в больших объёмах.

Б/у ускорители: на что смотреть

На вторичном рынке массово встречаются V100 и A100, реже H100. Ускоритель без движущихся частей служит долго, но HBM распаяна на одной подложке с чипом и не ремонтируется — поэтому проверка обязательна.

Ошибки памяти. Команда nvidia-smi -q -d ECC,PAGE_RETIREMENT,ROW_REMAPPER показывает накопленные ошибки ECC, изъятые страницы (Volta) и переназначенные строки (Ampere и новее). Растущие счётчики неисправимых ошибок — повод отказаться.
Нагрузочный тест 1–2 часа (DCGM diagnostics уровня 3, gpu-burn) с контролем температуры, частот и сообщений Xid в системном журнале.
SXM-модули проверяют только в составе платы HGX: отдельный модуль без совместимого носителя бесполезен. Уточняйте поколение платы (SXM4 для A100, SXM5 для H100/H200).
Прошивка и OEM-версия. Карты из серверов Dell, HPE, Lenovo могут иметь свою прошивку и партномер; это не мешает работе в той же платформе, но в другой проверяйте совместимость.
Механика. Целые радиаторы, отсутствие следов вскрытия, коррозии и перегрева на разъёмах питания.

Подробнее о рисках вторичного рынка — в статье новое, б/у или refurbished.

Что учесть при закупке

Точное исполнение: SXM, NVL или PCIe и объём памяти (A100 40 или 80 ГБ; H100 80 ГБ SXM или 94 ГБ NVL). В заявке указывайте партномер NVIDIA (обычно вида 900-xxxxx-xxxx-xxx) или OEM-номер производителя сервера.
Платформа: SXM-модули поставляются в составе платы HGX или готового сервера; PCIe-карты должны быть в списке совместимости сервера вместе с комплектом кабелей питания и воздуховодом.
Мосты NVLink для NVL- и PCIe-карт заказывают отдельно и под конкретное расстояние между слотами.
Лицензии: для части сценариев (vGPU, NVIDIA AI Enterprise) нужны подписки; уточняйте, входят ли они в поставку.
Гарантия и тест: для новых карт — гарантия производителя или поставщика, для б/у — отчёт о стендовом тесте и срок гарантии магазина.
Сроки: старшие модели часто поставляются под заказ, срок фиксируйте в коммерческом предложении.

У нас в каталоге — NVIDIA H200, NVIDIA A100 и другие ускорители; подберём модель и сервер под размер вашей модели.

Купить GPU-ускорители NVIDIA: цены и наличие → Весь каталог →

Вопросы по теме

Чем H100 отличается от A100?

H100 (Hopper) поддерживает FP8 и Transformer Engine, несёт 80 ГБ HBM3 с полосой 3,35 ТБ/с против 2 ТБ/с у A100 80GB и NVLink 900 ГБ/с против 600 ГБ/с. На обучении трансформеров H100 быстрее в разы. A100 остаётся рабочим вариантом для инференса средних моделей и HPC.

Чем H200 лучше H100?

Вычислительный чип тот же, но памяти 141 ГБ HBM3e вместо 80 ГБ и полоса 4,8 ТБ/с вместо 3,35 ТБ/с. На инференсе крупных моделей H200 генерирует токены быстрее и держит больше запросов; на обучении разница меньше. Платформы HGX H100 и HGX H200 по габаритам и TDP одинаковы.

Что такое H100 NVL и H200 NVL?

Это PCIe-карты с памятью как у SXM-версий (94 ГБ у H100 NVL, 141 ГБ у H200 NVL) и мостами NVLink между картами. Они ставятся в обычные серверы с воздушным охлаждением и подходят для инференса и дообучения без покупки платформы HGX.

Сколько памяти нужно для модели на 70 млрд параметров?

Веса занимают около 140 ГБ в BF16 и около 70 ГБ в FP8, плюс KV-кэш — около 0,33 МБ на токен для архитектуры класса Llama 3 70B. На практике это одна H200 в FP8 для умеренного контекста или 2 × H200 и 4 × H100 в BF16.

Что даёт FP8 и FP4?

FP8 вдвое сокращает память под веса относительно BF16 и удваивает пиковую производительность тензорных ядер; аппаратно поддерживается с Hopper и Ada. FP4 — ещё вдвое компактнее, ускоряется только на Blackwell. Качество квантованной модели нужно проверять на своих данных.

Нужен ли NVLink для инференса?

Если модель помещается в одну карту и каждая карта обслуживает свою копию — нет. Если модель делится между несколькими GPU тензорным параллелизмом, NVLink заметно ускоряет генерацию: PCIe Gen5 даёт около 128 ГБ/с, NVLink 4-го поколения — 900 ГБ/с.

Что такое MIG?

Multi-Instance GPU делит одну карту A100, H100, H200 или Blackwell на изолированные части со своей памятью и вычислителями — до 7 на A100 и Hopper. Это удобно для многопользовательского инференса небольших моделей и сред разработки.

Можно ли брать б/у A100 и V100?

Да, при стендовой проверке: счётчики ошибок ECC и переназначенных строк памяти, нагрузочный тест 1–2 часа, журнал ошибок Xid. V100 подходит для обучения небольших моделей и HPC, но не поддерживает BF16 и FP8.

Есть ли у B200 PCIe-версия?

B200 и B300 выпускаются в формате SXM для плат HGX и в составе стоечных систем GB200 и GB300. Из поколения Blackwell в формате PCIe для серверов доступна RTX PRO 6000 Blackwell Server Edition с 96 ГБ GDDR7.

Какой ускоритель брать для обучения LLM?

Для обучения с нуля и крупного дообучения — платформы HGX H100, H200 или B200 с NVLink и сетью 400 Гбит/с на GPU. Для ограниченного бюджета и моделей до десятков миллиардов параметров — HGX A100 80GB.