Сеть для AI-кластера: InfiniBand или Ethernet с RoCE

Коротко: Вычислительная сеть AI-кластера связывает GPU разных узлов и определяет, насколько линейно растёт скорость обучения с числом серверов. Эталонная схема — отдельный порт 400 Гбит/с на каждый GPU H100, H200 или B200 и 800 Гбит/с на B300 в топологии fat-tree без переподписки. InfiniBand (NDR 400G, XDR 800G) даёт сеть без потерь и агрегацию в коммутаторах и выбирается для крупного обучения; Ethernet с RoCEv2 дешевле в эксплуатации и подходит для инференса и кластеров до 8–16 узлов, а с платформами вроде Spectrum-X — и для больших.

Почему сеть определяет скорость обучения

При распределённом обучении каждый шаг заканчивается синхронизацией: все GPU обмениваются градиентами операцией all-reduce, а при делении модели по узлам — ещё и активациями. Пока обмен не завершён, ускорители ждут. Библиотека NCCL старается совмещать обмен с вычислениями, но если сеть медленнее, чем GPU считают, доля простоя растёт с каждым добавленным узлом.

Поэтому для кластера обучения сеть подбирают под ускоритель: эталонная схема NVIDIA — отдельный порт 400 Гбит/с на каждый GPU H100, H200 и B200 и 800 Гбит/с на B300 (как это устроено в самом сервере — в гиде как выбрать GPU-сервер для ИИ). Кластер с сильными GPU и слабой сетью может обучать медленнее кластера предыдущего поколения с правильной фабрикой.

Эта статья — про вычислительную сеть между узлами (east-west). Как она сочетается с сетями хранения, управления и NVLink внутри узла, описано в обзоре AI-фабрика: из чего состоит ИИ-кластер.

Поколения InfiniBand: от EDR до XDR

Каждое поколение удваивает скорость линии. Коммутаторы QM8700 и QM9700 — управляемые, со встроенным менеджером подсети; QM8790 и QM9790 — те же платформы с внешним управлением. Quantum-2 поддерживает агрегацию SHARP третьего поколения: часть операции all-reduce выполняется прямо в коммутаторе, что снижает объём трафика и задержку коллективных операций.

Ethernet для ИИ: RoCEv2 и Spectrum-X

RoCEv2 (RDMA over Converged Ethernet) передаёт данные напрямую из памяти одного узла в память другого поверх обычного Ethernet и IP. Чтобы RDMA работал без потерь производительности, сеть настраивают как lossless: PFC (приоритетное управление потоком) останавливает отправителя при заполнении буфера, ECN и алгоритм DCQCN заранее снижают скорость при перегрузке.

Обычный Ethernet рассчитан на множество мелких потоков, а обучение создаёт несколько огромных синхронных потоков, которые при хешировании ECMP сталкиваются на одних каналах. Поэтому для ИИ появились специализированные решения: NVIDIA Spectrum-X — коммутаторы Spectrum-4 (например, SN5600: 64 порта 800GbE, 51,2 Тбит/с, 2U) вместе с сетевыми картами SuperNIC, которые дают адаптивную маршрутизацию по пакетам и управление перегрузкой на уровне фабрики. Коммутаторы 400/800G других производителей также поддерживают RoCEv2 с настройкой PFC и ECN.

Индустрия развивает и открытый транспорт для ИИ поверх Ethernet — спецификации консорциума Ultra Ethernet. Для действующих проектов основой остаются RoCEv2 и решения производителей.

InfiniBand или Ethernet: сравнение

Топология: fat-tree, rail-optimized, leaf-spine

Fat-tree (двухуровневая схема leaf-spine без переподписки) — стандарт для обучения: у каждого leaf-коммутатора половина портов смотрит на узлы, половина — вверх на spine. Любая пара узлов получает полную скорость.

Rail-optimized — вариант fat-tree для 8-GPU узлов. Сетевая карта GPU0 каждого узла подключается к leaf-коммутатору «рельса 0», GPU1 — к рельсу 1 и так далее. Обмены между одноимёнными GPU разных узлов, которых в обучении большинство, проходят через один коммутатор без выхода на spine.

Переподписка 2:1 или 3:1 (меньше портов вверх, чем вниз) экономит коммутаторы и допустима для инференса и хранения, но не для вычислительной фабрики обучения.

Предел двухуровневой схемы зависит от числа портов коммутатора: на 40-портовых HDR-коммутаторах — до 800 конечных портов, на 64-портовых NDR — до 2048, на 144-портовых XDR — до 10 368 сетевых карт. Дальше добавляют третий уровень.

Пример расчёта: 32 узла по 8 GPU на NDR

Возьмём кластер из 32 узлов HGX H100 — 256 GPU и 256 портов NDR 400 Гбит/с. Коммутатор Quantum-2 даёт 64 порта NDR.

1. Рельсов восемь — по числу GPU в узле. На каждый рельс — один leaf-коммутатор: 32 порта вниз к узлам, 32 вверх.
2. Leaf-коммутаторов: 8. Восходящих линий: 8 × 32 = 256.
3. Spine-коммутаторов: 256 / 64 = 4.
4. Итого 12 коммутаторов и 512 линий 400 Гбит/с: 256 от узлов до leaf и 256 между leaf и spine.
5. У коммутатора порты собраны по два в один разъём OSFP, поэтому один двухпортовый модуль обслуживает два порта; со стороны узлов в HGX-платформах также применяют двухпортовые OSFP-разъёмы.

Отдельно считают сеть хранения (2 порта на узел), сеть управления и порты для расширения. Такой же расчёт для Ethernet 400G даёт сопоставимое число портов, но коммутаторы и оптику можно выбрать у разных производителей.

Кабели и оптика

• DAC — пассивная медь, минимальная задержка и потребление, длина в пределах стойки (единицы метров, на 400G — короче, чем на 100G).
• ACC/AEC — активная медь, чуть длиннее и тоньше DAC.
• AOC — активный оптический кабель с распаянными модулями, удобен между соседними стойками.
• Трансиверы с оптикой: SR — многомодовое волокно, десятки метров; DR — одномодовое, до 500 м; FR — одномодовое, до 2 км. Для fat-tree на сотни узлов это основной вариант между рядами.

InfiniBand и Ethernet используют одинаковые форм-факторы, но не всегда одинаковые модули: проверяйте, что трансивер прошит и поддерживается для нужного режима и устройства. У OSFP-модулей есть исполнения с радиатором и с плоским верхом — для сетевой карты и коммутатора они могут быть разными. Подбор — в разделе кабели DAC и AOC, о форм-факторах — в гиде модули SFP и QSFP.

Как настроить RoCEv2: минимальный набор

1. Выделите класс трафика для RDMA и включите PFC только на нём.
2. Включите ECN на коммутаторах и DCQCN на сетевых картах; настройте пороги буферов по рекомендациям производителя.
3. Согласуйте маркировку DSCP на картах и доверие к ней на коммутаторах.
4. Выставьте MTU 9000 на интерфейсах (RoCE использует пакеты до 4096 байт полезной нагрузки).
5. Проверьте полосу и задержку между парами узлов утилитами ib_write_bw и ib_write_lat.
6. Прогоните all_reduce_perf из nccl-tests на всём кластере и сравните полосу с расчётной.

Для InfiniBand аналогичная проверка проще: нужен работающий менеджер подсети, после чего тестируют те же утилиты и nccl-tests.

Типовые конфигурации по масштабу

Как выбрать сеть: 6 шагов

1. Определите нагрузку: обучение на нескольких узлах требует полной скорости на каждый GPU, инференс — нет.
2. Выберите скорость порта под ускоритель: 200 Гбит/с для A100, 400 Гбит/с для H100/H200/B200, 800 Гбит/с для B300 (о различиях поколений — в разборе Blackwell B200 и B300 против Hopper).
3. Оцените команду: есть ли опыт InfiniBand или удобнее настраивать Ethernet с RoCE.
4. Посчитайте порты, коммутаторы и линии для fat-tree без переподписки с запасом 10–20% на рост.
5. Выберите кабели по расстояниям: DAC в стойке, AOC между соседними стойками, трансиверы между рядами.
6. Заложите отдельные сети хранения и управления и протестируйте фабрику nccl-tests до ввода в работу.

Когда кластеру пора на 400G и 800G и как перейти без замены всего — в статье сети 400G и 800G: когда переходить.

Совместимость и типичные ошибки

• Режим карты. Адаптеры ConnectX с поддержкой VPI работают и в InfiniBand, и в Ethernet; режим порта задаётся настройкой прошивки (mlxconfig, параметр LINK_TYPE). Карты только для Ethernet в InfiniBand не работают.
• Нет менеджера подсети. InfiniBand-фабрика без SM не поднимает линки в рабочее состояние; на неуправляемых коммутаторах его запускают на узле или в UFM.
• RoCE без PFC и ECN. Сеть «работает», но при нагрузке полоса all-reduce падает в разы.
• Переподписка на вычислительной фабрике. Экономия на spine оборачивается простоем GPU.
• Несовместимые модули. Трансиверы не того типа OSFP или без поддержки нужного режима.
• Общая сеть для обучения и хранения. Checkpoint забивает каналы и тормозит синхронизацию.

Что учесть при закупке

• Партномера: адаптеры ConnectX (например, MCX75310AAS-NEAT — однопортовая NDR-карта OSFP, PCIe Gen5 x16), коммутаторы с суффиксом управляемой или внешне управляемой версии и направлением воздушного потока.
• Комплектность: блоки питания и вентиляторы с нужным направлением потока, рельсы, кабели консоли.
• Кабельный журнал: длины и типы каждой линии, число трансиверов на обеих сторонах.
• Программное обеспечение: менеджер подсети или UFM для InfiniBand, лицензии и версия ОС для Ethernet-коммутаторов.
• Гарантия и сроки: InfiniBand NDR/XDR и 800G чаще поставляются под заказ — срок фиксируйте в КП.

У нас в каталоге — адаптеры Mellanox и NVIDIA ConnectX, коммутаторы Mellanox и оптика Mellanox, кабели DAC/AOC и трансиверы QSFP28, QSFP-DD и OSFP. Посчитаем порты и кабели под вашу топологию.

Смотреть gpu и ai-серверы в наличии →