Как выбрать серверный GPU NVIDIA в формате PCIe

Коротко: Серверный GPU в формате PCIe ставят в слот обычного стоечного сервера для инференса, видеоаналитики, VDI и рендеринга. Выбор идёт от памяти и габарита: низкопрофильные L4 и T4 (до 75 Вт) помещаются даже в 1U, L40S (48 ГБ, 350 Вт) — универсал для инференса и графики, а для моделей 30–70 млрд параметров нужны карты с HBM — A100 80GB, H100 NVL (94 ГБ) или H200 NVL (141 ГБ). Все серверные карты пассивные, поэтому их ставят только в серверы, рассчитанные на GPU по питанию и обдуву.

Какие задачи закрывает серверная PCIe-карта

Серверный GPU в формате PCIe — это карта, которую ставят в слот обычного стоечного сервера, без отдельной платформы HGX. Так закрывают большую часть практических задач: инференс нейросетей до десятков миллиардов параметров, видеоаналитику, распознавание речи, виртуальные рабочие столы (VDI), рендеринг и дообучение моделей.

Флагманские SXM-модули (H100, H200, B200) нужны для обучения больших языковых моделей на многих GPU сразу; их разбор — в статье ускорители NVIDIA для ИИ. Здесь — про PCIe-линейку: какую карту взять, влезет ли она в ваш сервер, чем её питать и охлаждать.

Линейка серверных PCIe-карт NVIDIA

Характеристики — по спецификациям NVIDIA. Все карты в таблице — с пассивным охлаждением и памятью с ECC.

Карта	Архитектура	Память	Полоса	TDP	Габарит
T4	Turing	16 ГБ GDDR6	320 ГБ/с	70 Вт	Низкопрофильная, 1 слот, PCIe Gen3
A2	Ampere	16 ГБ GDDR6	200 ГБ/с	40–60 Вт	Низкопрофильная, 1 слот, PCIe Gen4 x8
L4	Ada	24 ГБ GDDR6	300 ГБ/с	72 Вт	Низкопрофильная, 1 слот, PCIe Gen4
A10	Ampere	24 ГБ GDDR6	600 ГБ/с	150 Вт	Полноразмерная, 1 слот
A16	Ampere	4 × 16 ГБ GDDR6	4 × 200 ГБ/с	250 Вт	Полноразмерная, 2 слота
A30	Ampere	24 ГБ HBM2	933 ГБ/с	165 Вт	Полноразмерная, 2 слота
A40	Ampere	48 ГБ GDDR6	696 ГБ/с	300 Вт	Полноразмерная, 2 слота
L40S	Ada	48 ГБ GDDR6	864 ГБ/с	350 Вт	Полноразмерная, 2 слота, PCIe Gen4
RTX PRO 6000 Blackwell Server Edition	Blackwell	96 ГБ GDDR7	1597 ГБ/с	до 600 Вт	2 слота, PCIe Gen5
A100 80GB PCIe	Ampere	80 ГБ HBM2e	1935 ГБ/с	300 Вт	2 слота, PCIe Gen4
H100 NVL	Hopper	94 ГБ HBM3	3,9 ТБ/с	350–400 Вт	2 слота, PCIe Gen5
H200 NVL	Hopper	141 ГБ HBM3e	4,8 ТБ/с	до 600 Вт	2 слота, PCIe Gen5

Карты на GDDR дешевле и экономичнее, на HBM — в несколько раз быстрее по памяти. Для генерации текста большой моделью полоса памяти важнее TFLOPS, поэтому A100 PCIe и H100 NVL здесь обходят L40S, хотя по пиковым TFLOPS в FP16 L40S сопоставима с A100.

Задача → какую карту брать

Задача	Подходящие карты	Почему
Видеоаналитика, распознавание, лёгкий инференс на краю сети	L4, T4, A2	До 75 Вт, питание от слота, ставятся в 1U и компактные серверы; аппаратные видеокодеки
Инференс LLM до 13–14 млрд параметров, эмбеддинги, RAG	L4 (24 ГБ), L40S (48 ГБ)	Модель в FP8 помещается в память, высокая плотность на сервер
Инференс LLM 30–70 млрд параметров	H100 NVL, H200 NVL, A100 80GB, RTX PRO 6000 Blackwell	80–141 ГБ на карту, мосты NVLink для деления модели
Дообучение (LoRA, fine-tuning)	L40S, A100 80GB, H100 NVL	Хватает памяти и FP8/BF16 без перехода на SXM
VDI, удалённые рабочие места	A16, A40, L40S	Поддержка vGPU, много кодеров, A16 рассчитана на высокую плотность пользователей
Рендеринг, 3D, цифровые двойники	L40S, RTX PRO 6000 Blackwell, A40	RT-ядра, крупная память, драйвер RTX vWS
HPC с двойной точностью (FP64)	A100, A30, H100 NVL	Полноценный FP64 на тензорных ядрах; у карт на GDDR он урезан

Если задача смешанная (инференс днём, рендер или дообучение ночью), универсальным выбором остаётся L40S: 48 ГБ, FP8, RT-ядра и vGPU в одной карте. Для моделей крупнее 30 млрд параметров нужны карты с HBM.

Форм-фактор: влезет ли карта в ваш сервер

Сначала проверяют три размера: высоту (низкопрофильная или полноразмерная), длину и толщину в слотах.

Низкопрофильные однослотовые (T4, A2, L4) ставятся почти в любой 1U/2U-сервер, включая слоты с короткой планкой. Питаются только от слота PCIe — до 75 Вт.
Полноразмерные однослотовые (A10) требуют полноразмерного слота и дополнительного кабеля питания.
Полноразмерные двухслотовые (A16, A30, A40, L40S, A100, H100 NVL, H200 NVL) занимают два соседних слота и ставятся в 2U-серверы с GPU-райзерами или 4U GPU-платформы.

Ориентиры по вместимости: 2U-сервер общего назначения принимает 2–3 двухслотовые карты при наличии GPU-комплекта, специализированные 2U-модели (например, Dell PowerEdge R760xa) — до 4, 4U GPU-серверы — до 8–10. Карты с HBM и мостами NVLink требуют фиксированного шага между слотами — проверяйте схему райзеров. Подробнее о выборе платформы — в гиде как выбрать GPU-сервер для ИИ.

Питание: разъёмы, кабели и блоки питания

Карты мощнее 75 Вт питаются дополнительным кабелем от райзера или материнской платы сервера. Здесь легко ошибиться.

У большинства полноразмерных карт Ampere (A10, A16, A30, A40, A100 PCIe) — 8-контактный разъём типа CPU (EPS-12V), а не PCIe 8-pin, как у настольных видеокарт. Разводка разная: неподходящий кабель может вывести карту из строя.
У карт Ada, Hopper и Blackwell (L40S, H100 NVL, H200 NVL, RTX PRO 6000) — 16-контактный разъём 12VHPWR / PCIe CEM5.
Используйте кабели из GPU-комплекта производителя сервера под конкретную модель карты.

Блоки питания считают так: сумма TDP карт + 400–800 Вт на процессоры, память и диски + запас 20–30%. Четыре L40S — это 1400 Вт только на GPU, поэтому такой сервер комплектуют блоками 2000–2400 Вт по схеме 1+1. При отказе одного блока питания мощности второго должно хватить на всю нагрузку, иначе сервер снизит частоты GPU или выключится. Блоки питания подбираем в разделе блоки питания для серверов.

Охлаждение пассивных карт

У серверных GPU нет своих вентиляторов: радиатор продувает поток воздуха корпуса. Поэтому карту можно ставить только в сервер, который рассчитан на неё по воздушному потоку, — иначе она быстро достигнет предельной температуры, снизит частоты или аварийно отключится.

Производители серверов публикуют списки поддерживаемых GPU. При установке карты BMC (iDRAC, iLO, XCC) распознаёт её и поднимает обороты вентиляторов; для неизвестной карты профиль может не сработать.
Для двухслотовых карт часто нужны воздуховоды и вентиляторы повышенной мощности из GPU-комплекта.
Температура на входе сервера — не выше 25–27 °C; перегрев холодного коридора первыми замечают именно GPU.
Пассивную карту нельзя ставить в офисный корпус или башенный сервер без направленного обдува.

Карты с собственным вентилятором-турбиной (RTX 6000 Ada и другие модели рабочих станций) предназначены для рабочих станций; в плотной стойке они работают хуже пассивных серверных версий.

Совместимость: PCIe, BIOS, драйверы

Поколение PCIe. Карты Gen5 (H100 NVL, H200 NVL, RTX PRO 6000) работают в слоте Gen4 на скорости Gen4 — для инференса это обычно некритично, для обмена с NVMe и сетью заметно. Проверяйте, что слот электрически x16, а не x8.
BIOS. Для карт с большой памятью включают Above 4G Decoding и выделение крупных окон MMIO; без этого карта может не определиться или драйвер не загрузится.
Платформа. Карты HBM и Ada предъявляют требования к поколению сервера: в серверы 2015–2017 годов с PCIe Gen3 и слабыми БП их ставят редко. Для L40S, H100 NVL и новее ориентируйтесь на платформы с PCIe Gen4/Gen5 — Intel Xeon Scalable 3-го поколения и новее или AMD EPYC 7003 и новее.
Драйвер. Используется драйвер NVIDIA Data Center для Linux или Windows Server; для vGPU — отдельный менеджер в гипервизоре (VMware ESXi, KVM-платформы) и сервер лицензий.

Общий подбор сервера под нагрузку — в гиде как выбрать сервер.

MIG, vGPU и NVLink: что поддерживает каждая карта

Карта	MIG	vGPU	NVLink
T4, A2, L4, A10	нет	да	нет
A16	нет	да, рассчитана на VDI	нет
A30	до 4 экземпляров	да	мост на 2 карты, 200 ГБ/с
A40	нет	да	мост на 2 карты, 112,5 ГБ/с
L40S	нет	да	нет
RTX PRO 6000 Blackwell Server Edition	до 4 экземпляров	уточняйте по версии ПО	нет
A100 80GB PCIe	до 7	да	мост на 2 карты, 600 ГБ/с
H100 NVL	до 7	да	мост, 600 ГБ/с
H200 NVL	до 7	уточняйте по версии ПО	мост на 2 или 4 карты, 900 ГБ/с

MIG (Multi-Instance GPU) аппаратно делит карту на изолированные части со своей памятью — удобно для нескольких небольших моделей или команд разработки. vGPU делит карту программно между виртуальными машинами и требует лицензий NVIDIA (vPC, RTX vWS или AI Enterprise). L40S не поддерживает ни MIG, ни NVLink — для деления крупной модели между картами она передаёт данные через PCIe.

Как выбрать серверный GPU: 7 шагов

Опишите нагрузку: тип задачи, размер модели, число одновременных пользователей или потоков видео.
Посчитайте память: веса модели в выбранной точности плюс KV-кэш и 10–20% запаса. До 20 ГБ — L4, до 40 ГБ — L40S, до 90 ГБ — A100 80GB или H100 NVL, до 130 ГБ — H200 NVL.
Определите, нужны ли MIG, vGPU или NVLink-мосты, — это сразу сужает выбор.
Проверьте сервер: свободные слоты нужной высоты и толщины, наличие GPU-райзеров, кабелей и воздуховодов, поколение PCIe.
Посчитайте питание: сумма TDP + платформа + запас, блоки питания по схеме 1+1.
Проверьте охлаждение: карта в списке поддержки сервера, температура холодного коридора в норме.
Учтите ПО и лицензии: драйвер, версию CUDA, нужен ли сервер лицензий vGPU.

Типичные ошибки при выборе

Игровая видеокарта в сервере. У неё нет ECC и поддержки vGPU, активный кулер выдувает воздух не туда, а драйвер GeForce не предназначен для работы в ЦОД.
Карта не того габарита. Двухслотовую полноразмерную карту заказывают в сервер, где есть только низкопрофильные слоты.
Кабель питания «от настольной видеокарты». Разъём CPU 8-pin и PCIe 8-pin выглядят похоже, но разведены по-разному.
Ожидание NVLink у L40S. Его нет; для деления больших моделей нужны A100, H100 NVL или H200 NVL с мостами.
Нет запаса по БП. Сервер работает до первого отказа блока питания, затем снижает частоты или выключается.
Ставка только на TFLOPS. Для генерации текста важнее объём и полоса памяти.

Б/у серверные GPU: как проверить

T4, A2, A10, A16, A40 и A100 PCIe часто встречаются после вывода из ЦОД. При проверке смотрят:

Определение и линк: nvidia-smi -q показывает модель, версию VBIOS и текущую ширину и поколение шины (раздел PCI, Link Width / Generation). Карта на x16 Gen4 не должна определяться как x8 или Gen1.
Память: счётчики ошибок ECC и переназначенных строк; растущие неисправимые ошибки — брак.
Нагрев и частоты под нагрузкой 1–2 часа: нет троттлинга по температуре и питанию, нет ошибок Xid в журнале.
Механика: целый радиатор и планка, чистые контакты, разъём питания без следов оплавления.

Мы проверяем карты на стенде перед продажей и указываем результаты теста. Почему сроки службы и гарантия б/у отличаются от новых — в статье новое, б/у или refurbished.

Что учесть при закупке

Партномер: NVIDIA (вида 900-xxxxx-xxxx-xxx) или OEM-номер Dell, HPE, Lenovo, Supermicro. OEM-версии могут иметь свою прошивку — для своей платформы это плюс.
Комплектность: планка нужной высоты, кабель питания под сервер, мост NVLink при необходимости, воздуховод.
Совместимость: модель сервера и поколение, свободные слоты, мощность и число блоков питания.
Лицензии: для vGPU — подписка NVIDIA на нужное число пользователей; для MIG и обычного инференса отдельная лицензия не нужна.
Гарантия и сроки: для новых — гарантия производителя, для б/у — гарантия магазина и отчёт о тесте; старшие модели нередко идут под заказ.

Серверные видеокарты собраны в подборке серверные видеокарты, отдельно — NVIDIA L40S. Пришлите модель сервера и задачу — подберём карту и комплект установки.

Смотреть комплектующие серверов в наличии →

Вопросы по теме

Какую серверную видеокарту взять для инференса LLM?

Для моделей до 13–14 млрд параметров достаточно L4 (24 ГБ) или L40S (48 ГБ). Для моделей 30–70 млрд параметров нужны карты с HBM: A100 80GB, H100 NVL (94 ГБ) или H200 NVL (141 ГБ), при необходимости по 2–4 штуки с мостами NVLink.

Чем L40S отличается от A100?

L40S (Ada) — 48 ГБ GDDR6 с полосой 864 ГБ/с, FP8, RT-ядра и видеокодеки, но без NVLink и MIG. A100 80GB — HBM2e с полосой около 1,9–2 ТБ/с, MIG до 7 экземпляров и NVLink, но без FP8 и RT-ядер. L40S — универсал для инференса и графики, A100 — для крупных моделей и HPC.

Какие карты ставятся в 1U-сервер?

Низкопрофильные однослотовые T4, A2 и L4 с потреблением до 75 Вт, которым не нужен дополнительный кабель питания. Двухслотовые карты в 1U обычно не помещаются.

Можно ли поставить серверную карту в обычный ПК?

Физически можно, но у неё пассивный радиатор без вентилятора: без направленного серверного обдува карта быстро перегреется. Для рабочих станций выпускаются версии с активным охлаждением.

Почему сервер не видит карту с большой памятью?

Чаще всего в BIOS выключены Above 4G Decoding и большие окна MMIO, или карта стоит в слоте с недостаточным числом линий. Также проверьте питание от райзера и версию прошивки сервера.

Нужна ли лицензия для серверного GPU?

Для работы драйвера, CUDA и MIG — нет. Лицензия NVIDIA нужна для vGPU (виртуальные рабочие столы и деление карты между ВМ) и для корпоративного стека NVIDIA AI Enterprise.

Что лучше для VDI: A16 или L40S?

A16 спроектирована под высокую плотность офисных пользователей: четыре GPU по 16 ГБ на одной плате и много видеокодеров. L40S и A40 выбирают для тяжёлой графики — CAD, 3D, рендеринга, где одному пользователю нужно больше памяти и производительности.

Можно ли смешивать разные карты в одном сервере?

Технически да, если всем хватает питания и охлаждения, но для одной задачи лучше ставить одинаковые карты: фреймворки делят модель поровну, и слабая карта тормозит всю группу. Мосты NVLink соединяют только одинаковые модели.

Стоит ли брать б/у T4 или A10?

Для видеоаналитики, распознавания речи и небольших моделей — да: они экономичны и хорошо поддерживаются. Важна проверка на стенде: ECC, нагрузочный тест и корректная ширина шины PCIe.

Какой запас по блоку питания нужен?

Сумма TDP карт плюс 400–800 Вт на платформу и 20–30% запаса. При схеме 1+1 один блок должен тянуть всю нагрузку, иначе при отказе второго сервер снизит частоты GPU.