AI-фабрика: из чего состоит ИИ-кластер и как его спланировать

Коротко: AI-фабрика — вычислительный комплекс, построенный целиком под обучение и инференс нейросетей: GPU-узлы, NVLink внутри узла, отдельная вычислительная сеть 400–800 Гбит/с на каждый GPU, быстрое хранилище, сети управления, программный стек и инженерия на 40–130 кВт на стойку. Все слои рассчитывают вместе, потому что узкое место в любом из них оставляет ускорители простаивать. Типовой масштабируемый блок — 32 узла по 8 GPU (256 GPU) с fat-tree-сетью и IT-нагрузкой порядка 350–500 кВт.

Что такое AI-фабрика

AI-фабрика — вычислительный комплекс, спроектированный целиком под обучение и работу нейросетей: GPU-узлы, быстрые сети между ними, хранилище данных, программный стек и инженерная инфраструктура ЦОД. Термин продвигает NVIDIA: такая площадка «производит» обученные модели и ответы моделей (токены) так же, как завод производит продукцию, и её эффективность меряют числом токенов или скоростью обучения на киловатт.

Главное отличие от обычной серверной — всё подчинено загрузке ускорителей. Узкое место в любом звене — медленная сеть, хранилище, нехватка электричества или холода — оставляет дорогие GPU простаивать. Поэтому AI-фабрику проектируют сразу как систему, а не докупают серверы по одному.

Из каких слоёв состоит ИИ-кластер

Слой	Что делает	Типичное оборудование
Вычислительные узлы	Обучение и инференс	Серверы HGX на 8 GPU, PCIe-серверы с L40S/H100 NVL, стоечные NVL72
Scale-up (внутри узла или стойки)	Обмен между GPU одного домена	NVLink и NVSwitch: 8 GPU в HGX, 72 GPU в NVL72
Scale-out (вычислительная сеть)	Обмен между узлами	InfiniBand NDR/XDR или Ethernet 400/800G с RoCE, по порту на GPU
Хранение	Датасеты, контрольные точки, веса моделей	Локальные NVMe, параллельная файловая система, объектное хранилище
Front-end и управление	Доступ пользователей, загрузка данных, развёртывание, BMC	Ethernet 100–400G, сеть управления 1–10G
Программный стек	Распределение задач, мониторинг	CUDA, NCCL, Slurm или Kubernetes, DCGM, UFM
Инженерия ЦОД	Электропитание и отвод тепла	PDU и ИБП на десятки кВт на стойку, воздушное или жидкостное охлаждение

Ниже — по каждому слою: что выбрать и куда смотреть подробнее.

Вычислительные узлы

Основа фабрики — однотипные GPU-узлы. Для обучения — платформы HGX на 8 SXM-ускорителей (H100, H200, B200, B300), для инференса — те же HGX или PCIe-серверы с картами L40S, H100 NVL, H200 NVL. Однотипность важна: распределённое обучение идёт со скоростью самого медленного узла, а одинаковые узлы проще обслуживать и заменять.

На каждый узел закладывают: два процессора с 8–16 ядрами на GPU, оперативную память в 1,5–2 раза больше памяти GPU, NVMe под кэш данных, по сетевой карте 400–800 Гбит/с на GPU и две карты для хранения. Как сбалансировать узел — в гиде как выбрать GPU-сервер для ИИ. Ускорители и платформы — в подборках GPU NVIDIA и GPU-платформы Supermicro.

Scale-up: NVLink-домен

Scale-up — это группа GPU, связанных NVLink так, что они работают почти как один большой ускоритель с общей памятью. В HGX-узле это 8 GPU через NVSwitch: 900 ГБ/с на GPU у Hopper, 1,8 ТБ/с у Blackwell. Внутри домена делят модель тензорным параллелизмом — самым требовательным к связи способом.

В стоечных системах GB200 NVL72 и GB300 NVL72 NVLink-домен расширен до 72 GPU: общая полоса NVLink — 130 ТБ/с, суммарная память HBM3e — 13,4 ТБ у GB200 и около 20 ТБ у GB300. Это позволяет держать в одном домене модели на триллионы параметров и уменьшает нагрузку на межузловую сеть. Плата за это — около 120–130 кВт на стойку и обязательное жидкостное охлаждение. Чем Blackwell отличается от Hopper по связи и памяти — в разборе Blackwell B200 и B300.

Scale-out: вычислительная сеть

Между узлами GPU обмениваются через отдельную вычислительную сеть. Её делают без переподписки (fat-tree), часто по схеме rail-optimized: одноимённые GPU всех узлов подключены к своему leaf-коммутатору. Скорость — по порту 400 Гбит/с на GPU H100/H200/B200 и 800 Гбит/с на B300.

Технология — InfiniBand (Quantum-2 NDR, Quantum-X800 XDR) или Ethernet с RoCEv2, в том числе Spectrum-X. На 32 узла по 8 GPU при NDR это порядка 8 leaf- и 4 spine-коммутаторов и более 500 линий 400G. Сравнение технологий, топологии и расчёт портов — в статье сеть для AI-кластера: InfiniBand или Ethernet.

Хранение данных

Хранилище AI-фабрики решает три задачи: отдавать датасеты на скорости, достаточной для всех GPU; быстро принимать контрольные точки (checkpoint) обучения; хранить веса моделей и версии.

Локальные NVMe в узлах — кэш датасета и быстрые checkpoint (в DGX B200 — около 30 ТБ на узел).
Параллельная файловая система (Lustre, IBM Storage Scale и аналоги) или NAS с поддержкой RDMA — общий слой для всего кластера, подключённый отдельной сетью хранения по 2 порта 200–400 Гбит/с на узел.
Объектное хранилище — архив сырых данных и моделей большой ёмкости.

Checkpoint модели на 70 млрд параметров с состоянием оптимизатора — больше 1 ТБ. Если хранилище записывает его минутами, при сохранении раз в час кластер теряет заметную долю времени. Общие принципы выбора СХД — в гиде как выбрать СХД.

Front-end, управление и программный стек

Front-end-сеть — Ethernet 100–400 Гбит/с для доступа пользователей и сервисов, загрузки данных и выдачи ответов инференса. Сеть управления — 1–10 Гбит/с к BMC всех серверов, коммутаторов и PDU плюс внутриполосная сеть для развёртывания ОС. Их держат отдельно от вычислительной фабрики.

Программный слой: драйверы NVIDIA и CUDA, библиотека коллективных обменов NCCL, контейнерная среда, планировщик задач (Slurm для обучения, Kubernetes с GPU Operator для сервисов), мониторинг GPU через DCGM и фабрики через UFM или средства производителя коммутаторов. Для инференса — серверы моделей (Triton, vLLM, TensorRT-LLM). Без единой версии драйверов, CUDA и прошивок на всех узлах кластер работает нестабильно.

Электропитание и охлаждение

Это слой, который чаще всего ограничивает проект. Узел HGX H100 потребляет до 10,2 кВт, HGX B200 — около 14,3 кВт; стойка с четырьмя такими узлами — 40–60 кВт против 5–10 кВт в типовой серверной. Стоечные NVL72 требуют 120–130 кВт и жидкостного контура.

Закладывайте: два независимых ввода и PDU на каждую стойку, ИБП под всю IT-нагрузку или хотя бы под сеть и хранилище, холод по фактическому тепловыделению, допустимую нагрузку на пол. Расчёт киловатт, PDU и охлаждения на примере — в статье питание и охлаждение GPU-стойки.

Масштабы: от пилота до кластера

Этап	Состав	Вычислительная сеть	Ориентир по мощности
Пилот	1 узел на 8 GPU	Не нужна, NVLink внутри узла	10–15 кВт
Малый кластер	4 узла, 32 GPU	Ethernet 200–400G или InfiniBand, 1–2 коммутатора	45–65 кВт
Масштабируемый блок	32 узла, 256 GPU	Fat-tree: 8 leaf + 4 spine на NDR	350–500 кВт с сетью и хранением
Крупный кластер	Несколько блоков по 32 узла	Трёхуровневая фабрика, 800G	От мегаватта

Блок на 32 узла — та же логика, что у масштабируемой единицы DGX SuperPOD на H100: фабрика, хранилище и управление рассчитаны так, чтобы кластер рос целыми блоками без перестройки сети.

Как спланировать AI-фабрику: 7 шагов

Опишите нагрузку: какие модели, обучение или инференс, целевое время обучения или число запросов в секунду.
Посчитайте вычисления и память: число и тип GPU, точность (BF16, FP8, FP4).
Выберите платформу узла и размер NVLink-домена: HGX на 8 GPU или стоечная NVL72.
Спроектируйте сети: вычислительную без переподписки, хранения, front-end и управления.
Рассчитайте хранилище: объём датасетов, скорость чтения на все GPU, время записи checkpoint.
Проверьте площадку: мощность и вводы на стойку, тип охлаждения, нагрузку на пол, место под рост.
Заложите ввод в эксплуатацию: нагрузочные тесты узлов, nccl-tests на фабрике, мониторинг, запасные части.

Новое и б/у в AI-фабрике

Собрать кластер целиком на б/у редко получается, но часть слоёв можно закрыть проверенным оборудованием:

Подходит б/у: узлы на HGX A100 и PCIe-серверы с A100, A40, L40S для инференса и дообучения; коммутаторы Ethernet 100G и InfiniBand HDR для небольших кластеров; серверы хранения, стойки, PDU и ИБП.
Лучше новое: ускорители последних поколений (H200, B200, B300), 800G-фабрика, жидкостное охлаждение и CDU, оптика для длинных линий.

Смешанный подход работает, если слои согласованы: б/у узлы A100 с сетью HDR 200G образуют сбалансированный кластер, а современные H200 с сетью 100G — нет.

Типичные ошибки при проектировании

Покупка GPU раньше площадки. Узлы приходят, а стойка рассчитана на 7 кВт и воздушное охлаждение.
Сеть «как в обычном ЦОД». Переподписка и 25–100G на узел превращают кластер в набор независимых серверов.
Одна сеть на всё. Хранение и обучение конкурируют за полосу, checkpoint тормозит синхронизацию.
Разнородные узлы. Разные GPU, прошивки и драйверы — нестабильность и обучение со скоростью слабого узла.
Нет мониторинга и запасных частей. Отказ одного блока питания или трансивера останавливает задачу на сотнях GPU.

Что учесть при закупке

Спецификация по слоям: узлы (платформа, GPU, CPU, память, NVMe, сетевые карты), коммутаторы по ролям, кабели и трансиверы по длинам, хранилище, PDU и ИБП.
Совместимость: разъёмы сетевых карт и коммутаторов (OSFP, QSFP112), режим InfiniBand или Ethernet, типы оптики.
Единые версии прошивок, драйверов и ПО на всех узлах.
Запас: 5–10% трансиверов и кабелей, блоки питания и вентиляторы, свободные порты под рост.
Сроки: ускорители последних поколений и 800G-оборудование поставляются под заказ — график поставки фиксируйте в КП.

Подберём комплект по слоям — узлы, сеть, кабели, стойки, питание — и поможем с проектом серверной под GPU.

Смотреть gpu и ai-серверы в наличии →

Вопросы по теме

Чем AI-фабрика отличается от обычного ЦОД?

Она проектируется под максимальную загрузку GPU: отдельная вычислительная сеть 400–800 Гбит/с на каждый ускоритель, быстрое хранилище под датасеты и checkpoint и инженерия на 40–130 кВт на стойку вместо 5–10 кВт. Обычный ЦОД рассчитан на множество независимых нагрузок средней плотности.

Можно ли собрать ИИ-кластер на б/у?

Частично: узлы на A100, коммутаторы HDR и 100G, хранилище, стойки и ИБП доступны в б/у с проверкой. Ускорители последних поколений и 800G-сеть обычно покупают новыми. Важно, чтобы слои были сбалансированы между собой.

InfiniBand обязателен?

Для крупного обучения на десятках узлов он остаётся эталоном. Для инференса, дообучения и кластеров до 8–16 узлов достаточно Ethernet 200–400G с RoCEv2; специализированный Ethernet вроде Spectrum-X применяют и в больших кластерах.

С чего начать проект AI-фабрики?

С описания нагрузки и проверки площадки: какие модели, обучение или инференс, сколько GPU и сколько киловатт и холода реально доступно на стойку. Пилот на одном 8-GPU узле помогает проверить ПО и оценить масштаб до закупки кластера.

Сколько электричества нужно кластеру на 256 GPU?

32 узла HGX H100 потребляют до 326 кВт, вместе с сетью, хранилищем и запасом — порядка 350–500 кВт IT-нагрузки. К этому добавляется мощность охлаждения, которая зависит от эффективности ЦОД.

Что такое NVL72?

Стоечная система NVIDIA на 72 GPU Blackwell и 36 процессоров Grace, объединённых одним NVLink-доменом с полосой 130 ТБ/с. GB200 NVL72 несёт 13,4 ТБ HBM3e, GB300 NVL72 — около 20 ТБ. Требует жидкостного охлаждения и 120–130 кВт на стойку.

Какое хранилище нужно для обучения?

Локальные NVMe в каждом узле под кэш и быстрые checkpoint плюс общая параллельная файловая система или NAS с RDMA, подключённые отдельной сетью хранения. Скорость записи определяет, сколько времени кластер теряет на каждом сохранении.

Какой планировщик использовать: Slurm или Kubernetes?

Slurm традиционно используют для пакетного обучения и HPC, Kubernetes с GPU Operator — для сервисов инференса и MLOps. Многие площадки используют оба: обучение в Slurm, инференс в Kubernetes.

Сколько сетей нужно ИИ-кластеру?

Как правило, четыре: вычислительная (между GPU), хранения, front-end для пользователей и сервисов, управления (BMC и развёртывание). Внутри узла или стойки к ним добавляется NVLink.

Поможете с проектом серверной под GPU?

Да: подберём узлы, сеть, кабели, стойки, PDU и ИБП, посчитаем мощность и охлаждение и согласуем спецификацию по слоям. Для старта достаточно описания задачи и параметров площадки: мощности на стойку и типа охлаждения.