Как выбрать GPU-сервер для ИИ: платформа, баланс узла, сеть

Коротко: GPU-сервер для ИИ выбирают по классу платформы: PCIe-сервер с 2–10 картами подходит для инференса и дообучения, а для обучения больших моделей нужна SXM-платформа HGX на 8 GPU с NVSwitch. Вокруг ускорителей узел балансируют: 8–16 ядер CPU на GPU, оперативная память в 1,5–2 раза больше памяти GPU, NVMe под датасеты и отдельная сетевая карта 400 Гбит/с на каждый GPU. Узел HGX H100 потребляет до 10,2 кВт, HGX B200 — около 14,3 кВт, поэтому площадку проверяют до закупки.

Чем GPU-сервер отличается от обычного

GPU-сервер — это платформа, в которой главные вычисления выполняют ускорители, а процессоры, память, диски и сеть работают на то, чтобы ускорители не простаивали. Отсюда его особенности: в несколько раз больше мощности блоков питания, усиленный обдув или жидкостное охлаждение, много линий PCIe с коммутаторами, отдельная сетевая карта на каждый GPU и высота от 2U до 10U.

Выбор GPU-сервера — это выбор не столько процессора, сколько класса платформы: PCIe-сервер с картами в слотах или SXM-платформа HGX с NVLink. Сами ускорители и расчёт памяти под модель разобраны в статье ускорители NVIDIA для ИИ, здесь — про сервер вокруг них.

Типы GPU-серверов

Класс	GPU	Связь между GPU	Мощность узла	Типичные задачи
2U с PCIe-картами	2–4 двухслотовые или до 8 низкопрофильных	PCIe, мосты NVLink у части карт	1,5–3,5 кВт	Инференс, VDI, видеоаналитика
4U PCIe GPU-сервер	8–10 двухслотовых карт	PCIe через коммутаторы, мосты на 2–4 карты	3–6 кВт	Инференс крупных моделей, рендер, дообучение
HGX 4-GPU	4 SXM-модуля	NVLink напрямую между GPU	4–5 кВт	Дообучение, инференс 70B, HPC
HGX 8-GPU (H100, H200)	8 SXM5	NVSwitch, 900 ГБ/с на GPU	до 10,2 кВт	Обучение LLM, инференс сотен млрд параметров
HGX 8-GPU (B200, B300)	8 Blackwell SXM	NVSwitch, 1,8 ТБ/с на GPU	около 14 кВт	Обучение и FP4-инференс в больших объёмах
Стоечные GB200/GB300 NVL72	72 GPU и 36 CPU Grace на стойку	Единый NVLink-домен на 72 GPU	порядка 120–130 кВт на стойку	Крупнейшие модели, только жидкостное охлаждение

Граница простая: если модель делится между многими GPU и важна скорость обмена — нужна HGX-платформа. Если каждая карта работает со своей копией модели или моделей несколько — PCIe-сервер даёт ту же пользу дешевле и с обычным воздушным охлаждением. Выбор самих PCIe-карт — в гиде как выбрать серверный GPU NVIDIA.

Платформы HGX на 8 GPU: примеры

Платы HGX производит NVIDIA, а корпус, процессорную часть, питание и охлаждение — производители серверов. Поэтому платформы на одной плате различаются высотой, числом дисков и блоков питания.

Платформа	GPU	Высота	Блоки питания	Мощность
NVIDIA DGX H100 / H200	8 × H100 или H200 SXM5	8U	6 × 3,3 кВт, схема 4+2	до 10,2 кВт
Dell PowerEdge XE9680	8 × H100 или H200 SXM5 (есть варианты с другими ускорителями)	6U	6 × 2800 Вт Titanium (200–240 В)	по конфигурации
Supermicro SYS-821GE-TNHR	8 × H100 или H200 SXM5	8U	6 × 3000 Вт (4+2) или 8 × 3000 Вт (4+4)	по конфигурации
NVIDIA DGX B200	8 × B200	10U	по спецификации NVIDIA	около 14,3 кВт
NVIDIA DGX B300	8 × B300	10U	по спецификации NVIDIA	около 14 кВт

DGX — эталонная конфигурация NVIDIA с полностью определённым составом: у DGX H100 два процессора Xeon Platinum по 56 ядер, 2 ТБ памяти и восемь NVMe по 3,84 ТБ. Серверы на HGX от Dell, Supermicro, HPE, Lenovo, Gigabyte собираются гибче — под ваши процессоры, память и сеть. Готовые конфигурации — в подборках серверы для ИИ и GPU-серверы Supermicro.

Процессоры и топология PCIe

Процессор в GPU-сервере готовит данные: читает и распаковывает датасет, токенизирует, запускает загрузчики фреймворка, обслуживает сеть и диски. Слабый CPU проявляется как недогруженные GPU при росте числа загрузчиков данных.

Число ядер. Ориентир — 8–16 физических ядер на GPU. У DGX H100 и DGX B200 по 112 ядер на 8 ускорителей.
Линии PCIe. 8 GPU, 8 сетевых карт и 8–16 NVMe — это сотни линий. Их дают два процессора и PCIe-коммутаторы на плате; поэтому HGX-серверы двухсокетные.
Топология. Важно, чтобы каждый GPU и «его» сетевая карта висели на одном PCIe-коммутаторе: тогда GPUDirect RDMA передаёт данные из памяти GPU в сеть, минуя процессор. Проверяется командой nvidia-smi topo -m.
Платформа. Для HGX H100/H200 — Intel Xeon 4-го и 5-го поколения или AMD EPYC 9004/9005 с PCIe Gen5; для B300 — Xeon 6 и аналоги.

Сравнение семейств — в статье серверные процессоры Xeon и EPYC.

Системная память: сколько нужно

Оперативная память нужна под кэш датасета, буферы загрузчиков, копии весов при загрузке модели и выгрузку состояния оптимизатора (offload). Практическое правило — не меньше суммарной памяти всех GPU, лучше в 1,5–2 раза больше.

8 × H100 (640 ГБ HBM) — от 1 ТБ, в DGX H100 — 2 ТБ.
8 × H200 (1128 ГБ HBM) — 2 ТБ.
8 × B200 (1440 ГБ HBM) — 2–4 ТБ: в DGX B200 2 ТБ с расширением до 4 ТБ.
PCIe-сервер с 4 × L40S (192 ГБ) — 384–512 ГБ.

Модули ставят во все каналы обоих процессоров: недозаполненные каналы снижают пропускную способность памяти, а значит, и скорость подготовки данных. На двух процессорах Xeon это 16 или 32 модуля DDR5 RDIMM одинакового объёма, на двух EPYC 9004 — 24.

Диски: датасеты и контрольные точки

GPU-сервер работает с двумя потоками данных: чтение датасета и периодическая запись контрольных точек (checkpoint) — полного состояния обучения. Для модели на 70 млрд параметров с состоянием оптимизатора это более 1 ТБ за раз; пока он пишется, GPU ждут.

Локальные NVMe — кэш датасета и быстрые checkpoint. В DGX B200 — 8 × 3,84 ТБ, около 30 ТБ на узел, плюс 2 × 1,9 ТБ M.2 под систему.
Общее хранилище для кластера — параллельная файловая система или NAS с RDMA, подключённая отдельной сетью хранения.
GPUDirect Storage позволяет читать данные с NVMe и из сетевого хранилища сразу в память GPU, без промежуточного буфера в ОЗУ.

Для инференса диски проще: нужен объём под веса нескольких версий моделей и быстрый старт, обычно хватает 2–4 NVMe.

Сеть GPU-узла: четыре разных подключения

Вычислительная сеть (east-west) — для обмена между GPU разных узлов: одна карта 400 Гбит/с на GPU (ConnectX-7 в HGX H100/H200/B200) или 800 Гбит/с (ConnectX-8 в HGX B300). У HGX B300 суммарно 1,6 ТБ/с сети на узел.
Сеть хранения и пользовательская сеть (north-south) — 2 порта 200–400 Гбит/с, часто на DPU BlueField-3.
Внутриполосное управление — 10–100 Гбит/с Ethernet для развёртывания ОС и мониторинга.
BMC — отдельный порт 1 Гбит/с для удалённого управления (IPMI/Redfish).

Для одиночного сервера инференса вычислительная сеть не нужна — хватает 25–100 Гбит/с Ethernet. Для обучения на нескольких узлах она обязательна; выбор между InfiniBand и Ethernet с RoCE — в статье сеть для AI-кластера.

Питание и охлаждение узла

Восемь H100 SXM — это 5,6 кВт только на ускорители; вместе с процессорами, памятью, сетью и вентиляторами узел HGX H100 потребляет до 10,2 кВт, HGX B200 — около 14,3 кВт. Блоки питания — 2,8–3,3 кВт класса Titanium, работают от 200–240 В, подключаются кабелями C19/C20 и резервируются по схемам 4+2 или 3+3.

HGX H100/H200 и HGX B200 выпускаются в воздушном исполнении, но требуют температуры на входе в пределах рекомендованных 18–27 °C и мощного потока воздуха. Для B300 и плотных стоек всё чаще выбирают жидкостное охлаждение кристаллов (DLC). Расчёт стойки, PDU и холода на примере — в статье питание и охлаждение GPU-стойки.

Какая конфигурация под какую задачу

Задача	Платформа	GPU	Сеть
Инференс моделей до 14 млрд параметров, RAG, эмбеддинги	2U PCIe	2–4 × L4 или L40S	25–100 Гбит/с Ethernet
Инференс 30–70 млрд параметров, несколько моделей	4U PCIe или HGX 4-GPU	4–8 × H100 NVL, H200 NVL или HGX H200	100–200 Гбит/с Ethernet
Дообучение (LoRA, SFT) моделей до 70 млрд	4U PCIe или HGX 8-GPU	8 × L40S, A100 80GB или H100	100–400 Гбит/с
Обучение LLM с нуля, 4 и более узлов	HGX 8-GPU	H100, H200, B200	400 Гбит/с на GPU, InfiniBand или RoCE
Инференс сотен млрд параметров, MoE	HGX 8-GPU или NVL72	H200, B200, B300	400–800 Гбит/с на GPU
HPC с двойной точностью	HGX 4/8-GPU	A100, H100, H200	InfiniBand 200–400 Гбит/с

Как выбрать GPU-сервер: 7 шагов

Опишите нагрузку: обучение, дообучение или инференс, размер моделей, число пользователей и требования к задержке.
Посчитайте память GPU под модель с запасом и выберите ускоритель и точность (BF16, FP8, FP4).
Определите класс платформы: PCIe-сервер, HGX 4-GPU или HGX 8-GPU — по тому, делится ли модель между картами.
Сбалансируйте узел: 8–16 ядер CPU на GPU, ОЗУ в 1,5–2 раза больше памяти GPU, NVMe под датасеты и checkpoint.
Спланируйте сеть: одна карта 400–800 Гбит/с на GPU для обучения на нескольких узлах, отдельные сети хранения и управления.
Проверьте площадку: мощность на стойку, вводы 230/400 В, PDU с разъёмами C19, холод и нагрузку на пол — узел HGX весит более 100 кг.
Закладывайте рост: свободные порты коммутаторов, место в стойке и запас по питанию под следующий узел.

Б/у GPU-серверы: на что смотреть

На вторичном рынке встречаются серверы на HGX A100 и PCIe-платформы с V100, T4, A10, A40. Кроме обычной проверки сервера, для GPU-платформы важно:

NVLink и NVSwitch. На HGX A100 и H100 должна запускаться служба nvidia-fabricmanager, а nvidia-smi nvlink -s — показывать все линки активными. Ошибки линков указывают на проблему платы-носителя.
Каждый GPU — счётчики ECC, переназначенные строки памяти, нагрузочный тест DCGM с контролем температуры.
Блоки питания и вентиляторы — полный комплект, все модули исправны, журналы BMC без аварий по питанию и перегреву.
Прошивки BMC, BIOS, платы HGX и сетевых карт — обновляются пакетом производителя; несовпадение версий даёт сбои.
Комплектность — рельсы, кабели питания C19/C20, воздуховоды, заглушки.

Общие правила вторичного рынка — в статье вторичный рынок б/у ИТ-оборудования.

Типичные ошибки

Экономия на CPU и ОЗУ. Дорогие ускорители ждут загрузчики данных.
Нет вычислительной сети. Покупают несколько HGX-узлов для совместного обучения и соединяют их 25 Гбит/с — масштабирование не работает.
Неучтённая площадка. Узел на 10–14 кВт не помещается в бюджет стойки на 5–7 кВт, а 220 В бытового ввода и разъёмы C13 не подходят.
PCIe-карты в сервере без GPU-комплекта. Нет нужных райзеров, кабелей питания и воздуховодов.
Один блок питания на пределе. При схеме без резерва отказ любого блока останавливает обучение.
Нет места под checkpoint. Длительное обучение без быстрых дисков теряет часы при каждом сохранении.

Что учесть при закупке

Точная модель платформы и поколение: например, HGX H100 или HGX H200, процессоры, число и объём модулей памяти, число NVMe.
Сетевые карты: количество, скорость, разъёмы (OSFP или QSFP112), InfiniBand или Ethernet — от этого зависит выбор кабелей и коммутаторов.
Питание: число и мощность блоков питания, входное напряжение, комплект кабелей C19/C20, схема резервирования.
Охлаждение: воздушное или жидкостное исполнение; для DLC — требования к контуру и CDU.
Лицензии и ПО: NVIDIA AI Enterprise, лицензии BMC, поддержка ОС.
Гарантия, тест и сроки: сборка и нагрузочный тест целиком перед отгрузкой; HGX-платформы нередко идут под заказ.

Пришлите задачу и размеры моделей — подберём платформу, ускорители, сеть и питание и соберём сервер с тестом.

Смотреть серверы в наличии →

Вопросы по теме

Чем HGX отличается от DGX?

HGX — плата NVIDIA с 4 или 8 SXM-ускорителями и NVSwitch, на основе которой Dell, Supermicro, HPE, Lenovo и другие строят свои серверы. DGX — готовый сервер NVIDIA на той же плате с фиксированной конфигурацией и программным стеком, например DGX H100 высотой 8U и мощностью до 10,2 кВт.

Сколько потребляет GPU-сервер на 8 ускорителей?

Узел на HGX H100 или H200 — до 10,2 кВт (по данным для DGX H100/H200), на HGX B200 — около 14,3 кВт. PCIe-сервер с 8 картами L40S — порядка 4–5 кВт с учётом платформы.

Какой процессор нужен GPU-серверу?

Ориентир — 8–16 физических ядер на GPU и платформа с PCIe Gen5: Intel Xeon 4–5-го поколения или Xeon 6, AMD EPYC 9004/9005. Важнее не частота, а число ядер под загрузчики данных и достаточное число линий PCIe.

Сколько оперативной памяти ставить?

Не меньше суммарной памяти GPU, лучше в 1,5–2 раза больше. Для 8 × H100 — от 1 ТБ, для 8 × H200 и 8 × B200 — 2 ТБ и больше. Модули ставят во все каналы процессоров.

Можно ли обучать модель на PCIe-сервере?

Да, если модель или её часть помещается в память одной карты и обмен между картами невелик: дообучение LoRA, обучение моделей до нескольких миллиардов параметров. Для обучения больших моделей с тензорным параллелизмом нужны SXM-платформы с NVSwitch.

Нужна ли отдельная сетевая карта на каждый GPU?

Для обучения на нескольких узлах — да: эталонная схема — одна карта 400 Гбит/с на GPU (800 Гбит/с у HGX B300), подключённая к тому же PCIe-коммутатору. Для одиночного сервера инференса достаточно 1–2 портов 25–100 Гбит/с.

Обязательно ли жидкостное охлаждение?

Для HGX H100, H200 и B200 — нет, есть воздушные платформы 6U–10U. Жидкостное охлаждение становится необходимым для стоечных систем GB200/GB300 NVL72 и желательным для плотных стоек B300 и кластеров с несколькими узлами в стойке.

Сколько весит GPU-сервер и что с полом?

Узел HGX на 8 GPU весит более 100 кг. Стойка с четырьмя такими узлами, коммутаторами и PDU приближается к 600–700 кг, поэтому проверяйте допустимую нагрузку на пол и грузоподъёмность стойки.

Что проверить в б/у сервере на HGX A100?

Работу службы nvidia-fabricmanager и все активные линки NVLink, ошибки памяти каждого GPU, полный комплект исправных блоков питания и вентиляторов, журнал BMC и согласованные версии прошивок. Завершает проверку нагрузочный тест всех 8 GPU одновременно.

Соберёте GPU-сервер под нашу задачу?

Да: подберём платформу, ускорители, процессоры, память, NVMe и сеть, соберём и протестируем узел целиком под нагрузкой. Для запроса нужны тип задачи, размеры моделей и параметры площадки.