ИБП для серверной: как построить электропитание

Коротко: Питание серверной строится цепочкой: ввод от сети и генератора через АВР, затем ИБП, затем блоки розеток (PDU) в стойках и два блока питания в каждом сервере. Для надёжности серверы подключают к двум независимым лучам A и B, каждый от своего ИБП, а каждый ИБП рассчитывают на полную нагрузку стойки. В серверной до 2–3 стоек обычно ставят стоечные online- или line-interactive ИБП на 3–10 кВА, в больших — трёхфазные модульные системы с резервированием N+1.

Из чего состоит система питания серверной

Ввод и АВР. Городская сеть и, если есть, дизель-генератор. Автоматический ввод резерва переключает нагрузку на генератор при пропадании сети.
Распределительный щит с автоматами на каждую линию ИБП и отдельными линиями для кондиционеров и освещения.
ИБП — стабилизирует питание и держит нагрузку от батарей, пока запускается генератор или выключаются серверы.
Сервисный байпас — позволяет вывести ИБП в обслуживание без отключения нагрузки.
PDU — блоки розеток в стойке, раздающие питание серверам и коммутаторам.
Блоки питания оборудования — у серверов и СХД обычно два, для подключения к разным лучам.

Слабое звено в любой точке цепочки обесценивает остальные: два ИБП, подключённые к одному автомату, не дают резервирования.

Топология ИБП для серверной

Для серверной с нормальной городской сетью достаточно line-interactive ИБП с чистой синусоидой (APC SMT, SMX). Если есть генератор, сеть нестабильна или нагрузка критична, берут online с двойным преобразованием (APC SRT, Eaton 9SX и 9PX): он не зависит от частоты и напряжения на входе, что важно при работе от генератора, и не имеет времени переключения. По классификации IEC 62040-3 это класс VFI.

Online-ИБП выделяют больше тепла, но многие модели имеют экономичный режим с более высоким КПД, в котором нагрузка питается от сети через фильтр. Подробно о топологиях и линейках — в статьях как выбрать ИБП и APC Smart-UPS.

Централизованный или распределённый ИБП

Схема	Как устроена	Плюсы	Минусы	Когда применять
Стоечные ИБП в каждой стойке	1–2 ИБП на 2–10 кВА внизу каждой стойки	Просто, масштабируется стойками, легко заменить	Много батарей для обслуживания, тепло в стойке	1–5 стоек, офисные серверные
Центральный ИБП	Один трёхфазный ИБП на всю серверную, разводка по стойкам	Одна точка обслуживания, выше КПД на больших мощностях	Нужен отдельный щит и проект электрики	От 20 кВА, серверные на много стоек
Модульный ИБП	Шасси с силовыми и батарейными модулями горячей замены	Резервирование N+1 внутри шкафа, рост модулями	Сложнее и дороже на старте	Растущие серверные и ЦОД
Два независимых ИБП (2N)	Отдельная система на каждый луч A и B	Переживает отказ и обслуживание целой системы	Двойной объём оборудования	Критичные системы без простоя

Примеры модульных систем — APC Symmetra и Galaxy, Eaton 93PM.

Два луча питания A и B

Серверы, СХД и коммутаторы ядра с двумя блоками питания подключают к двум разным PDU, которые питаются от разных ИБП, а в идеале — от разных автоматов и щитов. В норме блоки питания делят нагрузку примерно пополам. Если один луч пропадает, второй принимает всю нагрузку.

Отсюда главное правило: каждый ИБП и каждый PDU должен выдерживать всю нагрузку стойки, а не её половину. Нагрузку каждого луча держат ниже 40–50% его мощности, чтобы при отказе соседнего не возникла перегрузка. Расчёт мощности с примером — в статье как подобрать ИБП по мощности.

Для оборудования с одним блоком питания (часть маршрутизаторов, консольные серверы, старые устройства) ставят стоечный автоматический переключатель ATS: у него два входа от лучей A и B и выходные розетки, при пропадании одного луча он переключает нагрузку на другой за миллисекунды.

Резервирование: N, N+1, 2N

Схема	Что означает	Что переживает
N	Мощности ИБП ровно хватает на нагрузку	Только пропадание сети, отказ ИБП означает отключение
N+1	Один лишний силовой модуль или ИБП в параллельной группе	Отказ одного модуля или ИБП
2N	Две полностью независимые системы на лучи A и B	Отказ или обслуживание целой системы, включая её щит
2N+1	Две системы, в каждой резервный модуль	Отказ модуля во время обслуживания второй системы

Для серверной малого и среднего бизнеса разумный минимум — два стоечных ИБП на лучи A и B, каждый рассчитанный на всю нагрузку. Это фактически схема 2N на уровне стойки.

Байпас и обслуживание без отключения

Большинство online-ИБП имеют внутренний статический байпас: при перегрузке или внутренней неисправности нагрузка автоматически переходит на прямое питание от сети. Но он находится внутри ИБП, и заменить сам ИБП, не обесточив нагрузку, не позволяет.

Для этого служит внешний сервисный байпас (maintenance bypass) — панель или блок с переключателем, который подаёт сеть на нагрузку в обход ИБП. С ним можно заменить ИБП целиком, обновить прошивку или провести обслуживание батарей. На время работы через байпас нагрузка остаётся без защиты, поэтому такие работы планируют на время, когда сеть стабильна, и при наличии второго луча проводят поочерёдно.

PDU: какие бывают и как выбрать

Базовые — просто розетки и автомат, без измерений.
С индикацией тока (metered) — показывают общий ток на дисплее и по сети; помогают не перегрузить линию.
С мониторингом по розеткам — показывают потребление каждого устройства.
Коммутируемые (switched) — позволяют удалённо выключать и включать отдельные розетки, задавать задержку включения, чтобы серверы не стартовали одновременно.

Для стоек используют вертикальные PDU 0U на всю высоту шкафа с розетками IEC C13 (до 10 А) и C19 (до 16 А). Вход — вилка C20, промышленный разъём или клеммы, по номиналу линии. Для двух лучей в стойку ставят два PDU, по одному с каждой стороны. PDU и аксессуары — в подборке ИБП и PDU.

Размещение, охлаждение и батареи

ИБП с батареями тяжёлые: стоечный на 3 кВА вместе с батарейным модулем весит десятки килограммов. Их ставят в нижнюю часть стойки на полозья, проверяют допустимую нагрузку на пол для напольных систем и оставляют место для обслуживания спереди и сзади.

Батареям нужна температура 20–25 °C. По данным Schneider Electric, каждые 10 °C выше 25 °C сокращают срок службы свинцово-кислотной батареи примерно вдвое, а внутри шкафа батарея обычно теплее окружающего воздуха. Поэтому ИБП не ставят рядом с выбросом горячего воздуха серверов, а тепло от самих ИБП учитывают в расчёте кондиционирования. Планируйте замену батарей раз в 3–5 лет и держите на складе картриджи под свои модели.

Мониторинг серверной

В каждый ИБП ставят сетевую карту управления: у APC это NMC3 (AP9640, или AP9641 с портом для датчиков), у Eaton — Network-M2. К карте подключают датчики температуры и влажности (у APC, например, AP9335T и AP9335TH) и выводят всё в систему мониторинга по SNMP — Zabbix, PRTG или аналог.

Минимальный набор событий для оповещения: переход на батареи, низкий заряд, перегрузка, отказ батареи при самотесте, переход на байпас, превышение температуры в стойке. Отдельно контролируют нагрузку каждого луча на PDU, чтобы вовремя заметить, что один луч перевалил за безопасные 40–50%.

Порядок автоматического выключения

ПО — APC PowerChute Network Shutdown, Eaton Intelligent Power Manager или встроенные агенты гипервизоров — выключает системы по сигналу ИБП. Сценарий задают заранее и проверяют на учебном отключении.

Этап	Событие	Действие
1	Переход на батареи	Оповещение администраторов, ожидание запуска генератора
2	Генератор не взял нагрузку за заданное время	Выключение тестовых и второстепенных ВМ, отключение некритичных групп розеток
3	Остаток работы от батарей ниже порога	Штатное выключение рабочих ВМ и серверов приложений
4	После выключения ВМ	Выключение хостов гипервизора
5	После хостов	Выключение СХД, затем сетевого оборудования
6	Восстановление сети	Включение в обратном порядке: сеть, СХД, хосты, ВМ

Порог для этапа 3 выбирают так, чтобы выключение всего оборудования гарантированно уложилось в оставшееся время с запасом.

Как спроектировать питание серверной: 7 шагов

Посчитайте нагрузку по стойкам в ваттах и прогноз роста на 3–5 лет.
Определите требования к доступности: допустим ли простой при обслуживании ИБП.
Выберите схему: стоечные ИБП на лучи A и B, центральный или модульный ИБП.
Определите автономию: только на выключение или до запуска генератора.
Спроектируйте электрику вместе с электриком: линии, автоматы, байпас, АВР.
Подберите PDU и ATS по току, разъёмам и числу розеток.
Заложите сетевые карты, датчики, ПО автоотключения и график замены батарей.

Типичные ошибки

Оба блока питания сервера включены в один PDU или один ИБП.
Каждый ИБП в паре рассчитан на половину нагрузки.
Два ИБП подключены к одному автомату или одной фазе щита.
Нет внешнего байпаса, и замена ИБП требует остановки серверной.
ИБП стоят в горячей зоне стойки, батареи выходят из строя за 2 года.
ПО автоотключения не настроено или ни разу не проверялось.
Генератор подобран без учёта характеристик ИБП и не держит его нагрузку.

Что учесть при закупке

Подготовьте план стоек с нагрузкой по каждой, схему лучей, требуемую автономию, наличие генератора и параметры ввода (одна или три фазы, номиналы автоматов). Для расширения существующей системы пришлите партномера установленных ИБП, батарейных модулей и сетевых карт.

В заказ включайте комплектующие: батарейные модули и кабели к ним, сетевые карты, датчики температуры, PDU и ATS нужных номиналов, рельсы. Для б/у ИБП уточняйте дату батарей и результаты проверки под нагрузкой, для всех позиций — гарантию и сроки поставки. ИБП, батареи и PDU — в разделе ИБП, шкафы и аксессуары — в разделе Шкафы и стойки.

Смотреть электропитание и pdu в наличии →

Вопросы по теме

Line-interactive или online для серверной?

При нормальной городской сети и без генератора хватает line-interactive ИБП с чистой синусоидой. При работе от генератора, нестабильной сети и критичной нагрузке берут online с двойным преобразованием: выход не зависит от входного напряжения и частоты, переключение на батарею нулевое.

Как рассчитать мощность ИБП для серверной?

Сложите реальное потребление оборудования в ваттах и добавьте 20–30% запаса. Если серверы питаются от двух ИБП, каждый должен выдерживать всю нагрузку, а в норме быть загруженным не больше чем на 40–50%.

Зачем серверам два блока питания и два ИБП?

Чтобы пережить отказ или обслуживание одного ИБП, PDU или линии без остановки. Каждый блок питания подключают к своему лучу, A или B, от отдельного ИБП. При пропадании одного луча второй блок питания принимает всю нагрузку.

Что такое ATS в стойке?

Автоматический переключатель с двумя входами от разных лучей и выходными розетками. Он нужен оборудованию с одним блоком питания: при пропадании одного луча переводит нагрузку на второй за миллисекунды.

Зачем нужен сервисный байпас?

Он подаёт сеть на нагрузку в обход ИБП и позволяет заменить или обслужить ИБП без выключения серверов. Внутренний статический байпас ИБП этого не обеспечивает, так как находится в самом ИБП.

Что такое резервирование N+1?

В параллельной группе ИБП или в модульном ИБП на один силовой модуль больше, чем нужно для нагрузки. При отказе одного модуля оставшиеся продолжают держать нагрузку. Схема 2N — это две полностью независимые системы на два луча.

Какой PDU выбрать для стойки?

Для двух лучей нужны два вертикальных PDU с розетками C13 и C19 под ваше оборудование и входом под номинал линии. PDU с индикацией тока помогают не перегрузить луч, коммутируемые позволяют удалённо перезапускать устройства и задавать задержку включения.

Какая температура нужна батареям ИБП?

20–25 °C. Каждые 10 °C выше 25 °C сокращают срок службы свинцово-кислотных батарей примерно вдвое, а внутри шкафа батарея теплее окружающего воздуха. ИБП не ставят в зону горячего воздуха от серверов.

В каком порядке выключать оборудование при разряде ИБП?

Сначала второстепенные и затем рабочие виртуальные машины, потом хосты гипервизора, затем СХД и в конце сетевое оборудование. Включают в обратном порядке. Сценарий настраивают в ПО ИБП и проверяют на учебном отключении.