InfiniBand HDR, NDR и XDR: скорости, порты, кабели и коммутаторы

Коротко: InfiniBand — сетевая технология с RDMA и задержкой на уровне сотен наносекунд на коммутатор, которую применяют для связи серверов в HPC- и GPU-кластерах. HDR даёт 200 Гбит/с на порт (4 линии по 50G PAM4), NDR — 400 Гбит/с (4 × 100G), XDR — 800 Гбит/с (4 × 200G). Поколению соответствуют свои адаптеры (ConnectX-6, ConnectX-7, ConnectX-8), коммутаторы (Quantum, Quantum-2, Quantum-X800) и разъёмы (QSFP56 у HDR, OSFP у NDR и XDR).

Что такое InfiniBand и чем он отличается от Ethernet

InfiniBand (IB) — коммутируемая сеть, изначально спроектированная для кластерных вычислений. Её ключевые свойства — аппаратный RDMA (Remote Direct Memory Access, прямой доступ к памяти удалённого узла без участия процессора), кредитное управление потоком без потерь пакетов и централизованное управление фабрикой через Subnet Manager — службу, которая назначает адреса и рассчитывает маршруты.

Ethernet для тех же задач использует RoCE v2 (RDMA поверх UDP/IP), и для работы без потерь ему нужны PFC и ECN, настроенные на каждом коммутаторе. InfiniBand даёт lossless-поведение из коробки, а также поддерживает SHARP — агрегацию и редукцию данных прямо в коммутаторе, которая ускоряет операции all-reduce при обучении нейросетей. Подробное сравнение подходов — в статье InfiniBand или Ethernet для AI-кластера.

Сегодня основной производитель оборудования InfiniBand — NVIDIA (бывший Mellanox). Поэтому названия адаптеров ConnectX, коммутаторов Quantum и ПО UFM встречаются во всех современных инсталляциях.

Поколения InfiniBand: скорости от SDR до XDR

Скорость порта InfiniBand складывается из скорости одной линии (lane) и их числа. Стандартный порт — 4x, то есть четыре линии. Начиная с HDR линии используют модуляцию PAM4 (четыре уровня сигнала, два бита за символ), что удвоило скорость без удвоения частоты.

Поколение	Скорость порта 4x	Скорость линии	Типичный разъём	Адаптеры NVIDIA
QDR	40 Гбит/с	10G NRZ	QSFP+	ConnectX-2/3
FDR	56 Гбит/с	14G NRZ	QSFP+	ConnectX-3
EDR	100 Гбит/с	25G NRZ	QSFP28	ConnectX-4/5
HDR	200 Гбит/с	50G PAM4	QSFP56	ConnectX-6
NDR	400 Гбит/с	100G PAM4	OSFP, QSFP112	ConnectX-7
XDR	800 Гбит/с	200G PAM4	OSFP	ConnectX-8

Кроме полных 4x-портов существуют половинные: HDR100 (2 линии, 100 Гбит/с) и NDR200 (2 линии, 200 Гбит/с). Они получаются расщеплением порта коммутатора сплиттер-кабелем и позволяют подключить вдвое больше узлов к одному коммутатору ценой меньшей полосы на узел.

HDR 200G: адаптеры, коммутаторы, разъёмы

HDR — поколение, массово внедрявшееся в 2019–2022 годах, в том числе в системах NVIDIA DGX A100. Адаптеры ConnectX-6 выпускались в однопортовом и двухпортовом исполнении с разъёмом QSFP56. Для полной скорости 200 Гбит/с нужен слот PCIe 4.0 x16; в серверах с PCIe 3.0 применяли вариант Socket Direct, который делит карту между двумя слотами x16 от разных процессоров.

Базовые коммутаторы поколения — Quantum QM8700 (управляемый, со встроенным Subnet Manager) и QM8790 (неуправляемый, требует внешний Subnet Manager на сервере или в UFM). Оба — 1U, 40 портов HDR 200G или до 80 портов HDR100 через сплиттеры. Модульные шасси серии CS8500 использовались для крупных фабрик.

HDR сегодня широко доступен на вторичном рынке и остаётся рациональным выбором для HPC-кластеров среднего размера, инференса и обучения моделей умеренного масштаба на A100, V100 и аналогичных ускорителях.

NDR 400G: ConnectX-7, Quantum-2 и twin-port OSFP

NDR — поколение для систем на H100 и H200. Адаптер ConnectX-7 выпускается с разъёмами OSFP или QSFP112 и требует PCIe 5.0 x16: пропускная способность такого слота около 512 Гбит/с в одну сторону, чего достаточно для 400G. В DGX H100 используется восемь портов NDR — по одному на GPU, что соответствует rail-оптимизированной топологии.

Коммутаторы Quantum-2 QM9700 (управляемый) и QM9790 (неуправляемый) имеют 32 физических разъёма OSFP в 1U. Каждый разъём — twin-port OSFP: в одном корпусе два независимых порта по 400G, итого 64 порта NDR или 128 портов NDR200. Суммарная пропускная способность коммутатора — 51,2 Тбит/с в обе стороны.

Важная деталь: на коммутаторах применяются OSFP с ребристым радиатором (finned top), а в адаптерах — плоские (flat top), потому что охлаждение в сетевой карте устроено иначе. Модули и кабели под коммутатор и под адаптер — разные партномера, их нельзя переставлять между собой.

XDR 800G: ConnectX-8 и Quantum-X800

XDR — текущее старшее поколение, ориентированное на платформы Blackwell. Адаптер ConnectX-8 SuperNIC обеспечивает 800 Гбит/с и использует PCIe 6.0, у ряда исполнений есть встроенный PCIe-коммутатор для подключения GPU и NVMe. Коммутаторы семейства Quantum-X800 в старших моделях дают 144 порта по 800 Гбит/с; часть моделей рассчитана на жидкостное охлаждение.

XDR поддерживает SHARP четвёртой версии и рассчитан на кластеры из десятков тысяч GPU. Для большинства корпоративных проектов на 1–8 GPU-серверов он избыточен: такие кластеры полностью закрываются NDR или даже HDR. Подробнее о платформах этого класса — в обзоре NVIDIA Blackwell B200 и B300.

Кабели и трансиверы: DAC, ACC, AOC и оптика

Для InfiniBand используются те же типы соединений, что и в высокоскоростном Ethernet, но с прошивкой и кодировкой под IB. Выбор определяется расстоянием и стоимостью владения.

Тип	Что это	Типичная длина для HDR/NDR	Где применять
DAC	Пассивный медный кабель с разъёмами	до 1,5–3 м, у NDR короче	Внутри стойки: сервер — коммутатор верхнего уровня
ACC	Активный медный кабель с усилителем сигнала	до 3–5 м	Соседние стойки, когда DAC не дотягивается
AOC	Активный оптический кабель с несъёмными трансиверами	десятки метров	Межрядные соединения без отдельной оптики
Трансивер SR4 + MPO	Многомодовая оптика 850 нм	до 30–100 м в зависимости от скорости и OM3/OM4	Внутри машинного зала
Трансивер DR4/FR4 + SMF	Одномодовая оптика 1310 нм	до 500 м и 2 км	Между залами, длинные трассы spine-leaf

Для подключения адаптера HDR (QSFP56) к коммутатору NDR (OSFP) нужны переходные кабели с разными разъёмами на концах. Сплиттеры вида 1 × OSFP 800G → 2 × 400G или → 4 × 200G позволяют подключать несколько серверов к одному разъёму коммутатора. Про форм-факторы модулей — в статье SFP, QSFP и OSFP модули.

Топологии: fat-tree и rail-оптимизированная сеть

Классическая топология InfiniBand — fat-tree (дерево с одинаковой суммарной полосой на каждом уровне). Узлы подключаются к leaf-коммутаторам, leaf — к spine. Если половина портов leaf смотрит вниз, а половина вверх, сеть неблокирующая: любой узел может обмениваться с любым на полной скорости.

Для GPU-кластеров популярна rail-оптимизированная схема: порт GPU №1 каждого сервера идёт в коммутатор rail 1, порт GPU №2 — в rail 2 и так далее. Трафик между одноимёнными GPU разных серверов проходит через один коммутатор, а обмен внутри сервера идёт по NVLink. Это снижает задержку и число переходов.

Один коммутатор QM9700 в режиме NDR закрывает до 64 портов — например, 8 серверов по 8 GPU без spine-уровня.
Двухуровневое fat-tree на коммутаторах с 64 портами масштабируется до 2048 портов NDR без переподписки.
При переподписке 2:1 и выше экономятся коммутаторы и оптика, но страдает обучение с интенсивным all-reduce.

Где InfiniBand действительно нужен

InfiniBand оправдан там, где сеть становится узким местом распределённых вычислений. В остальных случаях Ethernet 100–400G проще в эксплуатации и привычнее сетевым инженерам.

Задача	Рекомендация	Комментарий
Обучение LLM на 4 и более GPU-серверах	NDR, при масштабе тысяч GPU — XDR	All-reduce и SHARP дают заметный выигрыш
HPC: CFD, молекулярная динамика, MPI-задачи	HDR или NDR	Критична задержка коротких сообщений
Инференс на отдельных серверах	Ethernet 25–100G	Межсерверный обмен минимален
Кластер 2–4 сервера на A100/V100	HDR, в том числе б/у	Достаточная полоса при умеренном бюджете
Хранилище для GPU-кластера	IB или RoCE с GPUDirect Storage	Зависит от поддержки со стороны СХД
Виртуализация и корпоративные сервисы	Ethernet	InfiniBand здесь не даёт преимуществ

Общий подход к сети AI-кластера разобран в материале AI-фабрика: GPU и InfiniBand.

Совместимость поколений и режимов

Оборудование InfiniBand, как правило, обратно совместимо: порт NDR может работать на скорости HDR или EDR, если кабель и трансивер поддерживают нужный режим. Однако совместимость нужно проверять по матрице производителя — не каждая пара «кабель + порт» договаривается о понижении скорости.

VPI. Адаптеры ConnectX с маркировкой VPI умеют работать и как InfiniBand, и как Ethernet. Режим порта переключается утилитой mlxconfig (параметр LINK_TYPE_P1) с последующей перезагрузкой.
Прошивка. Версии прошивки адаптера, драйвера (DOCA-OFED, ранее MLNX_OFED) и коммутатора желательно держать в одном поддерживаемом наборе.
Subnet Manager. В фабрике должен работать хотя бы один SM: встроенный в управляемый коммутатор, OpenSM на сервере или UFM. Для отказоустойчивости запускают два SM с приоритетами.
OEM-версии. Адаптеры в исполнении Dell, HPE, Lenovo имеют свой PSID и прошивку. Перепрошивка на стандартную версию возможна, но может лишить поддержки производителя сервера.

Как выбрать InfiniBand для кластера

Определите задачу: обучение на нескольких серверах, HPC или инференс. Для инференса на одном сервере InfiniBand чаще не нужен.
Посчитайте число портов: обычно один порт на GPU для обучения, плюс порты для хранилища и управления.
Выберите поколение под ускорители: A100 — HDR, H100/H200 — NDR, Blackwell — NDR или XDR.
Проверьте слоты PCIe: HDR требует PCIe 4.0 x16, NDR — PCIe 5.0 x16, XDR — PCIe 6.0.
Выберите топологию и переподписку: до 64 портов NDR хватает одного коммутатора, дальше нужен spine-уровень.
Решите, где будет работать Subnet Manager: управляемый коммутатор или отдельный сервер с UFM.
Подберите кабели по расстояниям: DAC внутри стойки, AOC или оптика между стойками.
Учтите питание и охлаждение: коммутаторы NDR и XDR в полной загрузке оптикой потребляют заметно больше предыдущих поколений.

Если нужен расчёт фабрики под конкретное число серверов, подберём под задачу комплект адаптеров, коммутаторов и кабелей с проверенной совместимостью.

На что смотреть при покупке б/у InfiniBand

Б/у HDR и EDR — частый способ собрать кластер с ограниченным бюджетом. Проверка занимает немного времени, если знать команды.

Адаптер. Команды ibstat и ibv_devinfo показывают состояние порта, скорость и версию прошивки. mlxlink -d <устройство> выводит параметры физического уровня и счётчики ошибок.
Фабрика. iblinkinfo показывает все линки и их скорость, ibdiagnet — полную диагностику с поиском ошибок и деградировавших линков.
Счётчики. perfquery выводит ошибки символов и повторные передачи. Рост счётчиков под нагрузкой — признак плохого кабеля или трансивера.
Коммутатор. Проверьте оба блока питания, вентиляторы, версию ОС (MLNX-OS, Onyx или Cumulus для ряда моделей) и журнал событий.
Кабели AOC. Оптоволокно в AOC несъёмное, поэтому проверяйте изгибы, повреждения оболочки и уровни сигнала через DOM.

Общий порядок проверки б/у техники описан в статье вторичный рынок IT-оборудования.

Что учесть при закупке

Партномера. Уточняйте точный партномер адаптера (например, серии MCX653 для ConnectX-6 и MCX75 для ConnectX-7), а также тип разъёма и число портов.
Тип OSFP. Для коммутаторов NDR — finned top, для адаптеров — flat top. Ошибка в этом пункте — частая причина несовместимости.
Комплектность. Для коммутатора — блоки питания с нужным направлением потока воздуха (от портов к БП или наоборот), рельсы, консольный кабель.
Лицензии и ПО. Для UFM и некоторых функций управления требуется отдельная лицензия.
Гарантия. Для б/у оборудования уточняйте срок гарантии продавца и условия замены.
Сроки. Новые компоненты NDR и XDR могут поставляться под заказ, б/у HDR и EDR чаще есть в наличии. Учитывайте это при планировании проекта.

Смотреть gpu и ai-серверы в наличии →

Вопросы по теме

Какая скорость у InfiniBand HDR, NDR и XDR?

HDR — 200 Гбит/с на порт 4x, NDR — 400 Гбит/с, XDR — 800 Гбит/с. Существуют половинные режимы HDR100 и NDR200, которые получаются расщеплением порта на две части.

Можно ли подключить адаптер HDR к коммутатору NDR?

Да, если использовать подходящий переходной кабель OSFP — QSFP56 и коммутатор поддерживает работу порта на скорости HDR. Перед закупкой сверяйтесь с матрицей совместимости кабелей и прошивок.

Чем QM9700 отличается от QM9790?

QM9700 — управляемый коммутатор со встроенным Subnet Manager и интерфейсами управления. QM9790 — неуправляемый, для него нужен внешний Subnet Manager, например OpenSM на сервере или UFM. По портам и производительности модели одинаковы.

Что такое twin-port OSFP?

Это корпус OSFP, внутри которого два независимых порта по 400G. Так коммутатор Quantum-2 размещает 64 порта NDR в 32 разъёмах. Соответствующие трансиверы и кабели часто обозначаются как 2 × 400G или 800G.

Нужен ли InfiniBand для одного GPU-сервера?

Нет. Внутри одного сервера GPU обмениваются по NVLink или PCIe, внешняя сеть используется лишь для доступа к данным и управления. InfiniBand нужен, когда модель обучается на нескольких серверах.

Можно ли использовать карту ConnectX как Ethernet?

Да, адаптеры с поддержкой VPI переключаются между режимами InfiniBand и Ethernet утилитой mlxconfig. После смены режима требуется перезагрузка, а кабели и трансиверы должны поддерживать нужный протокол.

Какой PCIe нужен для NDR 400G?

Для полной скорости нужен PCIe 5.0 x16. В слоте PCIe 4.0 x16 адаптер ConnectX-7 будет работать, но фактическая полоса ограничится примерно 200–250 Гбит/с.

Что такое SHARP?

SHARP — механизм агрегации данных в коммутаторе InfiniBand. Часть вычислений коллективных операций, например all-reduce, выполняется прямо в сети, что снижает объём трафика и ускоряет распределённое обучение.

Какие команды использовать для проверки InfiniBand?

Основные: ibstat и ibv_devinfo для адаптера, iblinkinfo для карты линков, ibdiagnet для полной диагностики фабрики и perfquery для счётчиков ошибок. На адаптерах NVIDIA также полезна утилита mlxlink.

Есть ли смысл покупать HDR в 2026 году?

Для кластеров на A100 и V100, HPC-задач и небольших учебных кластеров — да: HDR даёт 200 Гбит/с, хорошо изучен и доступен на вторичном рынке. Для H100 и Blackwell обычно выбирают NDR и выше.