NVLink и NVSwitch: что это и чем отличается от PCIe

Коротко: NVLink — высокоскоростное межсоединение NVIDIA для прямого обмена данными между GPU, а NVSwitch — коммутатор, который связывает по NVLink все GPU сервера или стойки по схеме «каждый с каждым». У H100 SXM суммарная полоса NVLink 4.0 — 900 ГБ/с, у B200 (NVLink 5.0) — 1,8 ТБ/с, тогда как PCIe 5.0 x16 даёт около 128 ГБ/с в обе стороны. Полная NVLink-связность доступна только в SXM-платформах HGX; PCIe-карты соединяются мостами максимум попарно.

Что такое NVLink простыми словами

NVLink — последовательная шина точка-точка, которую NVIDIA разработала для обмена данными между ускорителями в обход PCIe и процессора. Каждый GPU имеет несколько линков NVLink; суммарная полоса всех линков указывается в спецификации как двунаправленная.

Зачем это нужно: при обучении и инференсе больших моделей GPU постоянно обмениваются градиентами, активациями и частями KV-кэша. Если модель разрезана между ускорителями (тензорный параллелизм), обмен идёт на каждом слое, и скорость межсоединения напрямую ограничивает скорость всей системы.

NVLink также даёт единое адресное пространство памяти: один GPU может читать и писать в память соседнего напрямую. Библиотека NCCL (NVIDIA Collective Communications Library) автоматически выбирает NVLink, если он доступен.

Поколения NVLink: полоса и число линков

Каждое поколение увеличивало скорость линка или их количество. В таблице — суммарная двунаправленная полоса на один GPU.

Поколение	Архитектура и GPU	Линков на GPU	Полоса на GPU
NVLink 1.0	Pascal, P100	4	160 ГБ/с
NVLink 2.0	Volta, V100	6	300 ГБ/с
NVLink 3.0	Ampere, A100	12	600 ГБ/с
NVLink 4.0	Hopper, H100 и H200	18	900 ГБ/с
NVLink 5.0	Blackwell, B200 и B300	18	1,8 ТБ/с

Для сравнения: PCIe 4.0 x16 даёт около 64 ГБ/с, PCIe 5.0 x16 — около 128 ГБ/с (оба значения — в сумме в две стороны). Таким образом, NVLink у H100 примерно в семь раз быстрее слота PCIe 5.0, а у B200 — более чем в десять раз.

Что такое NVSwitch и зачем он нужен

Если соединять GPU линками напрямую, на восемь ускорителей линков не хватит для схемы «каждый с каждым» на полной скорости. NVSwitch — специализированный коммутатор NVLink: все линки GPU уходят в набор микросхем NVSwitch, а те обеспечивают неблокирующую связь любого GPU с любым.

Первое поколение появилось в DGX-2: 16 GPU V100 и 12 микросхем NVSwitch.
Второе поколение — в DGX A100 и HGX A100 8-GPU: 6 микросхем NVSwitch, 600 ГБ/с на GPU.
Третье поколение — в DGX H100 и HGX H100/H200 8-GPU: 4 микросхемы NVSwitch, 900 ГБ/с на GPU; также используется во внешних NVLink Switch для объединения нескольких серверов.
Четвёртое поколение — в платформах GB200 NVL72 и HGX B200: в стойке NVL72 72 GPU образуют один NVLink-домен с суммарной полосой около 130 ТБ/с.

Платформы HGX на 4 GPU (A100, H100) обходятся без NVSwitch: ускорители там соединены линками напрямую, и каждая пара получает часть общей полосы.

NVLink против PCIe: в чём разница на практике

PCIe — универсальная шина для всех устройств сервера: сетевых карт, NVMe-дисков, контроллеров и GPU. Обмен между двумя GPU по PCIe идёт через корневой комплекс процессора или PCIe-коммутатор, а если карты подключены к разным процессорам — ещё и через межпроцессорную шину.

Параметр	NVLink с NVSwitch (SXM)	NVLink-мост (PCIe-карты)	Только PCIe
Полоса между GPU	600–1800 ГБ/с на GPU	до 600 ГБ/с внутри пары	64–128 ГБ/с
Связность	Все со всеми	Только попарно	Через CPU или PCIe-коммутатор
Задержка	Низкая	Низкая внутри пары	Выше, зависит от топологии
Форм-фактор	SXM на плате HGX	PCIe-карты H100 NVL, A100 PCIe	Любые PCIe-карты
Подходит для	Обучение, инференс крупных LLM	Инференс моделей на 2 GPU	Инференс в пределах одной карты

Вывод: если модель помещается в память одной карты, разница между NVLink и PCIe мала. Если модель распределена между 4–8 GPU, NVLink даёт кратный выигрыш в скорости.

SXM и PCIe-карты: два форм-фактора ускорителей

SXM — мезонинный форм-фактор: ускоритель без собственного корпуса и вентиляторов устанавливается в разъём на плате HGX, через который проходят питание и все линки NVLink. Поколения разъёма — SXM2 (P100, V100), SXM4 (A100), SXM5 (H100, H200) и разъёмы платформ Blackwell. Модуль одного поколения не ставится в плату другого.

SXM-ускорители работают на более высоком энергопотреблении, чем PCIe-версии: A100 SXM — до 400 Вт, H100 и H200 SXM — до 700 Вт, B200 — около 1000 Вт. Поэтому серверы HGX занимают 4U–10U и требуют стойки с высокой плотностью питания. Подробнее — в статье питание и охлаждение GPU-стойки.

PCIe-карты устанавливаются в обычные слоты серверов 2U–4U, потребляют обычно 300–400 Вт (H100 PCIe — 350 Вт, H100 NVL — 400 Вт, H200 NVL — до 600 Вт) и дают гибкость: можно поставить от одной до восьми карт и наращивать постепенно.

NVLink-мосты для PCIe-карт

Часть PCIe-ускорителей поддерживает соединение NVLink-мостом, который устанавливается сверху на соседние карты. Мост объединяет только две карты (у H100 NVL — до трёх мостов на пару), поэтому восемь карт образуют четыре независимые пары.

A100 PCIe — мост на две карты, до 600 ГБ/с внутри пары.
H100 PCIe и H100 NVL — мосты на пару, до 600 ГБ/с.
H200 NVL — поддерживает мосты на две и четыре карты.
RTX A6000 — двухслотовый мост на две карты с заметно меньшей полосой.
L40S, L4, RTX 6000 Ada — NVLink не поддерживают, обмен только по PCIe.

Мосты имеют разную ширину под шаг слотов (2-слотовый, 3-слотовый), поэтому при заказе важно знать расстояние между слотами в конкретном сервере.

NVLink-C2C и связь GPU с процессором

Отдельная ветвь технологии — NVLink-C2C (chip-to-chip), межкристальное соединение между процессором Grace и GPU в суперчипах GH200 и GB200. Его полоса — 900 ГБ/с, что позволяет GPU обращаться к памяти LPDDR5X процессора значительно быстрее, чем по PCIe.

Для x86-серверов с Intel Xeon или AMD EPYC связь процессора с GPU по-прежнему идёт по PCIe. Это нормально для большинства задач: основной поток данных при обучении идёт между GPU, а не между GPU и CPU. О выборе процессоров для GPU-серверов — в статье серверные процессоры Xeon и EPYC.

Как проверить NVLink в системе

Состояние NVLink проверяется стандартной утилитой драйвера.

nvidia-smi topo -m — матрица топологии: обозначения NV4, NV12, NV18 показывают число линков NVLink между парой GPU, PIX, PXB, SYS — соединение через PCIe разной удалённости.
nvidia-smi nvlink -s — состояние и скорость каждого линка.
nvidia-smi nvlink -e — счётчики ошибок линков, рост которых говорит о проблеме.
Тест p2pBandwidthLatencyTest из CUDA Samples и nccl-tests (all_reduce_perf) показывают фактическую полосу.

Для систем с NVSwitch обязательно запускается служба NVIDIA Fabric Manager. Её версия должна совпадать с версией драйвера; без неё GPU в HGX-системе не смогут обмениваться по NVLink, а CUDA-приложения будут завершаться ошибкой инициализации.

Как выбрать между SXM и PCIe

Оцените размер модели: если она с запасом помещается в память одного GPU, достаточно PCIe-карт.
Если модель делится между 2 GPU — рассмотрите PCIe-карты с NVLink-мостом (H100 NVL, H200 NVL).
Если нужен тензорный параллелизм на 4–8 GPU или обучение — выбирайте SXM-платформу HGX с NVSwitch.
Проверьте инфраструктуру: HGX 8-GPU требует 10 кВт и более на сервер и усиленного охлаждения.
Учтите масштабирование: PCIe-сервер можно дозаполнять картами, HGX поставляется сразу с полной платой.
Сверьте ПО: для HGX нужен Fabric Manager, для vGPU и MIG — поддерживаемые версии драйверов.
Продумайте сеть: для кластера из нескольких HGX-серверов обычно нужен один порт 400G на GPU, см. InfiniBand HDR, NDR, XDR.

Типичные ошибки при выборе

Ожидать NVLink от любой карты. L40S и большинство карт рабочих станций последних поколений NVLink не имеют.
Путать NVLink-мост и NVSwitch. Мост связывает только пару карт, полной связности восьми GPU он не даёт.
Забыть Fabric Manager. HGX-система с NVSwitch без этой службы не работает в штатном режиме.
Не учесть шаг слотов. Мост под 2 слота не подойдёт к картам, стоящим через 3 слота.
Смешивать поколения. Модули SXM4 и SXM5 несовместимы между собой, мосты A100 не подходят для H100 NVL.
Брать SXM под инференс небольших моделей. Инфраструктурные затраты не окупаются, если NVLink фактически не используется.

Что учесть при закупке

Партномер платформы. Для HGX — точная модель платы (HGX A100, H100, H200, B200) и число GPU (4 или 8).
Мосты. Для PCIe-карт уточняйте партномер NVLink-моста и его ширину под конкретный сервер.
Квалификация сервера. Проверяйте, что модель сервера сертифицирована под выбранные ускорители и их количество.
Комплектность. Для б/у HGX — наличие всех радиаторов, кабелей питания, документации и истории эксплуатации.
Гарантия и сроки. Уточняйте условия гарантии и сроки поставки: системы HGX текущих поколений часто поставляются под заказ.

Обзор ускорителей разных поколений — в статье GPU-ускорители NVIDIA для ИИ. Подберём под задачу конфигурацию с нужной связностью GPU.

Смотреть gpu и ai-серверы в наличии →

Вопросы по теме

Что такое NVLink?

NVLink — высокоскоростное межсоединение NVIDIA для прямого обмена данными между GPU, а также между GPU и процессором Grace. У H100 суммарная полоса NVLink — 900 ГБ/с на GPU, у B200 — 1,8 ТБ/с.

Чем NVSwitch отличается от NVLink?

NVLink — это сами линки, а NVSwitch — коммутатор, через который линки всех GPU объединяются по схеме «каждый с каждым». Без NVSwitch на восемь GPU полной связности на полной скорости не получить.

Во сколько раз NVLink быстрее PCIe?

У H100 NVLink 4.0 примерно в семь раз быстрее PCIe 5.0 x16 (900 против около 128 ГБ/с в сумме в обе стороны). У B200 разница превышает десять раз.

Есть ли NVLink у L40S?

Нет, L40S NVLink не поддерживает. Обмен между картами L40S идёт только по PCIe, поэтому их чаще используют для инференса моделей, умещающихся в одну карту, графики и рендеринга.

Можно ли соединить NVLink-мостом восемь PCIe-карт?

Нет, мосты для PCIe-карт объединяют только пары (у H200 NVL — до четырёх карт). Полная связность восьми GPU доступна только в SXM-платформах с NVSwitch.

Что такое SXM?

SXM — мезонинный форм-фактор ускорителей NVIDIA, которые устанавливаются на плату HGX. Через разъём проходят питание и линки NVLink. Поколения SXM2, SXM4 и SXM5 между собой несовместимы.

Зачем нужен Fabric Manager?

NVIDIA Fabric Manager настраивает NVSwitch и маршруты NVLink в системах HGX и DGX. Без него GPU не смогут обмениваться по NVLink. Версия Fabric Manager должна совпадать с версией драйвера.

Как проверить, работает ли NVLink?

Команда nvidia-smi topo -m показывает топологию: обозначения NV с числом означают соединение NVLink. Команда nvidia-smi nvlink -s выводит статус линков, а nccl-tests измеряет фактическую полосу.

Нужен ли NVLink для инференса?

Для моделей, которые помещаются в память одного GPU, NVLink не нужен. Он важен при тензорном параллелизме, когда модель разрезана между несколькими ускорителями, и при обучении.

Что такое NVL72?

GB200 NVL72 — стоечная система, в которой 72 GPU Blackwell и 36 процессоров Grace объединены в один NVLink-домен через NVLink Switch. Для программ это выглядит как один очень большой ускоритель с общей памятью.