Питание и охлаждение GPU-стойки: считаем киловатты

Коротко: GPU-стойка потребляет в 4–10 раз больше обычной серверной: узел на 8 GPU H100 — до 10,2 кВт, на B200 — около 14,3 кВт, стоечная NVL72 — порядка 120–130 кВт. Мощность считают по максимальному потреблению систем, подводят двумя независимыми трёхфазными вводами, каждый из которых держит всю нагрузку, а всё потреблённое электричество отводят как тепло. Воздухом реально охладить до 30–40 кВт на стойку, выше нужны теплообменник в задней двери или жидкостное охлаждение кристаллов (DLC).

Почему GPU-стойка — отдельная инженерная задача

Типовая серверная стойка в корпоративном ЦОД рассчитана на 5–10 кВт: два десятка серверов по 300–500 Вт. Один узел HGX на 8 GPU потребляет 10–14 кВт — столько же, сколько вся такая стойка. Четыре узла дают 40–60 кВт, стоечная система NVL72 — 120–130 кВт.

Вся потребляемая мощность превращается в тепло, поэтому электропитание и охлаждение считают вместе: сколько киловатт подвести, как зарезервировать вводы, чем и куда отвести тепло. Ошибка в любом звене проявляется одинаково — GPU снижают частоты, сервер переходит в аварийный режим или стойку нельзя заполнить.

Сколько потребляют GPU-серверы

Конфигурация	Ускорители	Максимальная мощность узла
2U с 4 × L40S	4 × 350 Вт	около 2–2,5 кВт
4U с 8 × L40S или H100 NVL	8 × 350–400 Вт	около 4–5 кВт
DGX A100 (HGX A100 8-GPU)	8 × 400 Вт	до 6,5 кВт
DGX H100 / H200 (HGX 8-GPU)	8 × 700 Вт	до 10,2 кВт
DGX B200 (HGX B200)	8 × 1000 Вт	около 14,3 кВт
DGX B300 (HGX B300)	8 × 1100 Вт	около 14 кВт
GB200 NVL72 (стойка целиком)	72 × B200 и 36 × Grace	порядка 120–130 кВт на стойку

Цифры для DGX — из спецификаций NVIDIA; серверы других производителей на тех же платах потребляют сопоставимо, точное значение — в калькуляторе мощности производителя под вашу конфигурацию. К узлам добавьте коммутаторы, оптику и серверы управления — по паспортам устройств.

Номинал блоков питания и реальная нагрузка

Мощность стойки считают не по сумме блоков питания, а по максимальной потребляемой мощности системы. В DGX H100 шесть блоков по 3,3 кВт — это 19,8 кВт номинала, а максимальное потребление — 10,2 кВт: остальное — резерв по схеме 4+2.

Но и занижать нельзя. Обучение нагружает все GPU одновременно и надолго, поэтому узел работает близко к максимуму часами и сутками. Кроме того, нагрузка GPU меняется скачками при переходе между фазами вычислений и обмена — ИБП и автоматы должны выдерживать такие колебания. Для инференса средняя нагрузка ниже, но проектируют всё равно по максимуму: пик приходится на часы наибольшего числа запросов.

Плотность: сколько узлов ставить в стойку

Мощность на стойку	Что помещается	Чем охлаждать
До 10–15 кВт	1 узел HGX H100 или 2–3 PCIe-сервера с GPU	Обычный воздух, холодный коридор
20–40 кВт	2–4 узла HGX H100/H200	Воздух с изоляцией коридоров и внутрирядными кондиционерами
40–60 кВт	4 узла HGX H100/H200 или 3–4 узла HGX B200	Воздух на пределе, лучше теплообменник в задней двери или DLC
60–80 кВт	4–5 узлов HGX B200/B300	Жидкостное охлаждение кристаллов (DLC)
120 кВт и более	Стоечная NVL72	Только DLC с CDU

Часто выгоднее поставить два узла в стойку и занять больше стоек, чем модернизировать охлаждение под 40 кВт. Обратная сторона — длиннее кабели вычислительной сети и больше трансиверов вместо медных DAC.

Электропитание: вводы, фазы и PDU

Мощность трёхфазной линии считают по формуле P = √3 × U × I × cos φ. Для серверных блоков питания класса Titanium коэффициент мощности близок к 1, поэтому кВА и кВт можно считать примерно равными.

Линия	Мощность (cos φ ≈ 1)	При загрузке 80%
1 фаза, 230 В, 16 А	3,7 кВт	2,9 кВт
1 фаза, 230 В, 32 А	7,4 кВт	5,9 кВт
3 фазы, 400 В, 16 А	11,1 кВт	8,9 кВт
3 фазы, 400 В, 32 А	22,2 кВт	17,7 кВт
3 фазы, 400 В, 63 А	43,6 кВт	34,9 кВт

Разъёмы. Блоки питания GPU-серверов на 2,8–3,3 кВт подключаются кабелями C19/C20 (16 А); розеток C13 на таких PDU должно быть меньше, чем C19. Вход трёхфазного PDU — промышленный разъём IEC 60309 (5 контактов) или стационарное подключение.
Тип PDU. Для GPU-стоек берут PDU с измерением нагрузки по фазам и розеткам (metered/monitored) или с управлением розетками (switched): нужно видеть перекос фаз и вовремя заметить перегрузку.
Загрузка. Держите длительную нагрузку линии не выше 80% номинала автомата.

PDU и аксессуары — в разделе ИБП и PDU.

Резервирование: два ввода и блоки питания

Стандарт для GPU-стоек — два независимых ввода (A и B) и PDU на каждом. Блоки питания сервера делят поровну между вводами. Расчёт ведут так, чтобы при отключении одного ввода второй выдержал всю нагрузку стойки.

Важно понимать, как ведёт себя сервер при потере части блоков. У DGX H100 шесть блоков по схеме 4+2: если из-за отказа ввода или PDU остаются три блока, система продолжает работать, но со сниженной производительностью. У Dell PowerEdge XE9680 при недостатке мощности включается ограничение частот GPU. Поэтому для обучения, где падение скорости одного узла тормозит весь кластер, вводы рассчитывают с полным резервом.

Отдельно резервируют сеть и хранилище: их отказ останавливает все узлы сразу, а потребляют они немного — их проще посадить на ИБП с длительной автономией.

ИБП и автономная работа

Полная защита GPU-кластера ИБП — это сотни киловатт и батареи на несколько минут, достаточных для запуска дизель-генератора. Практичные варианты:

ИБП на всю IT-нагрузку + ДГУ — обучение не прерывается при пропадании сети. Выбирают для крупных кластеров и коммерческих сервисов инференса.
ИБП только на сеть, хранилище и управление, GPU-узлы — от сети с ДГУ или без. Потеря питания стоит прогресса с последней контрольной точки, поэтому checkpoint делают чаще.
Онлайн-ИБП с двойным преобразованием и запасом по мощности: нагрузка GPU меняется скачками, и ИБП не должен уходить на байпас при каждом пике.

Как посчитать мощность и автономию — в гиде как подобрать ИБП по мощности, модели — в разделе ИБП.

Воздушное охлаждение: сколько воздуха нужно

Тепловыделение стойки равно её электрической мощности: 1 кВт = 3412 BTU/ч. Расход воздуха через серверы считают по формуле V = P / (ρ × c × ΔT), где ρ ≈ 1,2 кг/м³, c ≈ 1005 Дж/(кг·К), ΔT — нагрев воздуха между входом и выходом сервера.

10 кВт при ΔT 15 °C — около 2000 м³/ч.
40 кВт при ΔT 15 °C — около 8000 м³/ч, при ΔT 20 °C — около 6000 м³/ч.

Чтобы такой поток дошёл до серверов холодным, нужны изоляция холодного или горячего коридора, заглушки на всех пустых юнитах, уплотнение кабельных вводов и внутрирядные кондиционеры рядом с нагрузкой. Температура на входе серверов — в рекомендованном диапазоне ASHRAE 18–27 °C. Практический предел воздуха — порядка 30–40 кВт на стойку; дальше вентиляторы серверов потребляют заметную долю мощности, а шум и перепады давления растут.

Теплообменник в двери и жидкостное охлаждение (DLC)

Теплообменник в задней двери (rear-door heat exchanger) — водяной радиатор вместо задней двери стойки. Горячий воздух из серверов проходит через него и выходит в зал почти комнатной температуры. Пассивные двери используют вентиляторы серверов, активные имеют свои и снимают больше. Серверы при этом остаются воздушными, что удобно для модернизации существующего зала.

Жидкостное охлаждение кристаллов (DLC, direct-to-chip) — водоблоки на GPU, CPU и NVSwitch, через которые прокачивается теплоноситель. Тепло собирает распределительный блок CDU и передаёт в контур здания. DLC снимает большую часть тепла узла, остальное (память, диски, блоки питания) уходит в воздух. Для стоек 60 кВт и больше и для NVL72 это основной вариант.

Расход воды: 100 кВт при нагреве на 10 °C — около 2,4 кг/с, то есть примерно 143 л/мин.
Температура контура: ASHRAE делит жидкостные системы на классы W17–W45 по температуре подаваемой воды; тёплая вода 30–45 °C позволяет охлаждать её сухими градирнями без чиллеров большую часть года.
Погружное охлаждение (сервер целиком в диэлектрической жидкости) существует, но для GPU-платформ HGX применяется реже и требует совместимости с производителем.

Расчёт на примере: стойка с четырьмя HGX H100

Исходные данные: 4 узла HGX H100 по 10,2 кВт, leaf-коммутатор и коммутатор управления — примем 1,5 кВт по паспортам.

IT-нагрузка: 4 × 10,2 + 1,5 = 42,3 кВт.
Питание на ввод: каждый ввод должен выдержать всю нагрузку: 42,3 кВт / 0,8 = 53 кВт номинала. Один трёхфазный PDU 63 А (43,6 кВт) не проходит, два PDU по 32 А (35,5 кВт при 80%) тоже мало — нужно два PDU по 63 А или три по 32 А на ввод, то есть четыре-шесть PDU в стойке. Альтернатива — три узла в стойке: 32,1 кВт / 0,8 = 40 кВт, хватает одного PDU 63 А на ввод.
Розетки: 4 узла × 6 блоков питания = 24 розетки C19, по 12 на ввод, плюс C13 для коммутаторов.
Тепло: 42,3 кВт = около 144 000 BTU/ч. Воздухом при ΔT 15 °C — около 8400 м³/ч через стойку; нужна изоляция коридора и внутрирядное охлаждение мощностью не меньше 42 кВт с резервом N+1.
С DLC: если водоблоки снимают около 75% тепла, на воду уходит около 32 кВт (примерно 45 л/мин при нагреве на 10 °C), на воздух — около 11 кВт, что укладывается в обычный холодный коридор.
ИБП: при защите всей стойки — от 53 кВА с запасом на пиковые броски; при защите только сети — единицы кВА.
Вес: четыре узла по 110–130 кг плюс стойка и PDU — около 650 кг; проверьте нагрузку на фальшпол.

Требования к стойке и помещению

Стойка: 42–48U, глубина 1200 мм (серверы HGX — около 900–1000 мм в глубину плюс кабели), ширина 800 мм для удобной прокладки кабелей питания и оптики, допустимая статическая нагрузка не меньше 1000–1500 кг.
Пол: нагрузка на фальшпол по паспорту, при необходимости — распределительные рамы.
Электрика: трёхфазные вводы A и B на каждую стойку, селективность автоматов, учёт перекоса фаз.
Холод: мощность охлаждения по фактической IT-нагрузке с резервом, изоляция коридоров, для DLC — подвод контура и место под CDU.
Доставка: проёмы, лифты и пандусы под узлы весом более 100 кг и стойки в сборе.
Мониторинг: датчики температуры на входе и выходе стоек, учёт мощности PDU, протечки для жидкостных систем.

Стойки и аксессуары — в разделе шкафы и стойки.

Как спланировать питание и охлаждение: 7 шагов

Выпишите оборудование стойки и его максимальную мощность по спецификациям или калькулятору производителя.
Выберите плотность: сколько узлов в стойке позволяет площадка и сколько стоек готовы занять.
Рассчитайте вводы и PDU: каждый ввод на полную нагрузку, загрузка линий не выше 80%, нужное число розеток C19.
Решите, что защищать ИБП: всю нагрузку или только сеть, хранилище и управление.
Выберите охлаждение: воздух до 30–40 кВт, теплообменник в двери или DLC выше.
Проверьте стойку и помещение: глубину, нагрузку на пол, доставку оборудования.
Заложите рост: каждое следующее поколение GPU потребляет больше — 700 Вт у H100, 1000–1100 Вт у Blackwell.

Как выбрать сам GPU-сервер — в гиде как выбрать GPU-сервер для ИИ, чем Blackwell отличается по мощности — в разборе B200 и B300 против Hopper.

Типичные ошибки

Расчёт по сумме номиналов блоков питания вместо максимальной мощности системы — переплата за электрику; расчёт по «среднему» потреблению — перегрузка при обучении.
Однофазные PDU с розетками C13. Блоки питания на 3 кВт к ним не подключаются, а мощности линии хватает на один узел.
Блоки питания на одном вводе. Отказ PDU отключает узел целиком или переводит его в режим ограничения.
Нет заглушек и изоляции коридоров. Горячий воздух возвращается на вход, GPU снижают частоты.
Неглубокая стойка. Узел HGX не закрывается задней дверью, кабели питания пережимаются.
Жидкостная платформа без контура. Оборудование приходит раньше, чем смонтированы CDU и трубопроводы.

Что учесть при закупке

Данные производителя: максимальная мощность каждой системы, число и мощность блоков питания, схема резервирования, тип кабелей (C19/C20).
PDU: трёхфазные, нужный ток (32 или 63 А), число розеток C19 и C13, измерение по фазам и розеткам, вертикальный монтаж в стойку глубиной 1200 мм.
ИБП: онлайн-топология, мощность с запасом на пиковые броски, автономия под запуск ДГУ или корректную остановку.
Стойки: глубина, ширина, статическая нагрузка, заглушки, кабельные органайзеры.
Для DLC: совместимость водоблоков с платформой, CDU, параметры теплоносителя.
Сроки и гарантия: мощные PDU и ИБП нередко идут под заказ — согласуйте график с поставкой серверов.

Обзор всех слоёв кластера — в статье AI-фабрика. Посчитаем питание и охлаждение под ваш набор GPU-серверов и подберём PDU, ИБП и стойки.

Купить ИБП для серверной: цены и наличие → Весь каталог →

Вопросы по теме

Сколько киловатт потребляет сервер на 8 GPU?

Узел на HGX A100 — до 6,5 кВт, на HGX H100 или H200 — до 10,2 кВт, на HGX B200 — около 14,3 кВт по спецификациям DGX. PCIe-сервер с 8 картами L40S — около 4–5 кВт.

Сколько GPU-серверов можно поставить в стойку?

Зависит от подведённой мощности и охлаждения: при 15 кВт — один узел HGX H100, при 40 кВт с изоляцией коридоров — до четырёх, при 60–80 кВт с жидкостным охлаждением — четыре-пять узлов HGX B200. Стойка NVL72 требует 120–130 кВт.

Какие PDU нужны для GPU-стойки?

Трёхфазные PDU на 32 или 63 А с розетками C19 и измерением нагрузки, по одному или два на каждый из двух вводов. Каждый ввод рассчитывают на полную нагрузку стойки при длительной загрузке линии не выше 80%.

Можно ли считать мощность по блокам питания?

Нет. Сумма номиналов блоков питания включает резерв: у DGX H100 это 19,8 кВт при максимальном потреблении 10,2 кВт. Считайте по максимальной мощности системы из спецификации или калькулятора производителя.

До какой мощности хватает воздушного охлаждения?

На практике до 30–40 кВт на стойку при изоляции коридоров, заглушках и внутрирядных кондиционерах. Выше применяют теплообменники в задней двери или жидкостное охлаждение кристаллов.

Что такое DLC?

Direct liquid cooling — жидкостное охлаждение кристаллов: водоблоки на GPU и CPU, через которые прокачивается теплоноситель, и распределительный блок CDU, передающий тепло в контур здания. Оно снимает большую часть тепла узла и обязательно для стоек NVL72.

Чем теплообменник в задней двери отличается от DLC?

Теплообменник в двери охлаждает горячий воздух на выходе из стойки, а серверы остаются воздушными — это проще для модернизации существующего зала. DLC отводит тепло прямо от кристаллов и позволяет достичь большей плотности на стойку.

Нужен ли ИБП для GPU-серверов?

Сеть, хранилище и управление защищают обязательно. Защита всех GPU-узлов нужна, если перерыв обучения или сервиса недопустим; иначе узлы питают от сети с генератором, а контрольные точки сохраняют чаще.

Сколько воздуха нужно на стойку 40 кВт?

При нагреве воздуха в серверах на 15 °C — около 8000 м³/ч, при 20 °C — около 6000 м³/ч. Тепловыделение такой стойки — около 136 000 BTU/ч.

Какая стойка нужна под HGX-серверы?

Глубиной 1200 мм, шириной 800 мм и высотой 42–48U, со статической нагрузкой не меньше 1000–1500 кг. Узел HGX весит более 100 кг и имеет глубину около метра.