Cisco Nexus 9000: как устроена линейка для ЦОД

Коротко: Nexus 9000 — коммутаторы Cisco для центров обработки данных, работающие в двух режимах: NX-OS (автономный коммутатор) или ACI (фабрика под контроллером APIC). Ряд 9300 — фиксированные leaf/ToR-коммутаторы поколений EX, FX, FX2, FX3, GX и GX2 с портами от 10/25G до 400G, ряд 9500 — модульные шасси на 4, 8 или 16 слотов под spine и ядро. Типичная фабрика: серверы на 25G к leaf, leaf к spine на 100G или 400G, поверх — VXLAN BGP EVPN.

Что такое Nexus 9000 и чем он отличается от Catalyst

Nexus 9000 решает задачи ЦОД: плотные порты 25/100/400G, малые задержки, подключение серверов парами через vPC, наложенные сети VXLAN EVPN, телеметрия. Catalyst 9000 — кампусная линейка с PoE, стеком и функциями доступа пользователей. ПО разное: у Nexus — NX-OS или ACI, у Catalyst — IOS XE.

Большинство современных моделей построены на чипах Cisco Cloud Scale: они дают большие таблицы маршрутов и хостов, аппаратную телеметрию потоков и одинаковое поведение в NX-OS и ACI. Кампусный доступ разобран в статье Catalyst 9300.

Ряды 9200, 9300 и 9500

Шасси 9500 имеют по 2 слота супервизора и 6 слотов фабричных модулей. Cisco указывает, что все шасси 9504, 9508 и 9516 принимают любые линейные карты и фабричные модули Cloud Scale, поэтому апгрейд скорости не требует замены шасси. Пример карты — N9K-X9736C-FX: 36 портов 100G QSFP28.

Поколения 9300: EX, FX, FX2, FX3, GX, GX2

Буквы после номера модели — поколение чипа. Чем новее поколение, тем больше скорость портов, объём таблиц и набор функций (MACsec, телеметрия, сегментация).

У 93180YC-FX порты доступа можно перевести в режим Fibre Channel 16/32G — удобно, когда сеть хранения подключается к той же стойке. Поколение GX2 продолжает линию 400G (QSFP-DD) для spine и AI-кластеров.

NX-OS или ACI

NX-OS (standalone) — каждый коммутатор настраивается сам по себе через CLI или автоматизацию: NX-API, Ansible, контроллер Nexus Dashboard Fabric Controller. Подходит, когда фабрика небольшая, команда привыкла к CLI или нужна интеграция с другими вендорами.

ACI (Application Centric Infrastructure) — фабрикой управляет кластер контроллеров APIC: сеть описывается политиками (тенанты, EPG, контракты), а не настройкой VLAN на каждом коммутаторе. Требует топологии spine-leaf; рекомендуемый минимум — кластер из трёх контроллеров APIC.

Режим определяется образом ПО: для ACI ставится отдельный образ aci-n9000-dk9…, для NX-OS — nxos…bin. Переход между режимами — смена образа с полной очисткой конфигурации. Ряд 9200 работает только в NX-OS.

Фабрика spine-leaf и расчёт переподписки

В топологии spine-leaf каждый leaf подключён ко всем spine, поэтому путь между любыми двумя серверами — всегда два перехода. Масштабирование линейное: нужны порты — добавляете leaf, нужна полоса — добавляете spine.

Ключевая метрика — переподписка (oversubscription): отношение суммарной скорости портов к серверам к скорости аплинков. Пример: 93180YC-FX — 48×25G = 1200 Гбит/с вниз и 6×100G = 600 Гбит/с вверх, переподписка 2:1. У 93360YC-FX2 — 96×25G = 2400 Гбит/с против 12×100G = 1200 Гбит/с, тоже 2:1. Для систем хранения и AI-нагрузок стремятся к 1:1, для типовых виртуализаций 2:1–3:1 приемлемо.

В роли spine используют 9336C-FX2 или 9364C-GX (100G), 9316D-GX и модели GX2 (400G), шасси 9500 — когда нужна большая плотность и резерв супервизоров. Сравнение с другими платформами ЦОД — в статьях Arista 7050, 7060, 7280 и Juniper QFX.

vPC и VXLAN BGP EVPN

vPC (virtual Port-Channel) — пара Nexus выглядит для сервера как один коммутатор: сервер собирает LACP-агрегат из двух каналов в разные коммутаторы, и при отказе одного трафик идёт через второй без перестроения STP. Для vPC нужны peer-link (канал между парой) и peer-keepalive (отдельный канал контроля, обычно через mgmt0).

VXLAN BGP EVPN — стандартная наложенная сеть: L2-сегменты и L3-маршрутизация переносятся поверх IP-фабрики, а адреса MAC и IP хостов распространяются протоколом BGP EVPN. Технология совместима между вендорами, поэтому Nexus можно соединить с Arista или Juniper. Межфабричное соединение (EVPN Multi-Site) использует пограничные шлюзы BGW.

Лицензии NX-OS: Essentials, Advantage, Premier

В режиме NX-OS базовые функции работают без лицензии; маршрутизация и EVPN требуют лицензий уровня DCN (Data Center Networking). Ниже — распределение по данным руководства Cisco Nexus Licensing Options.

Essentials продаётся только подпиской (3, 5 или 7 лет), Advantage — подпиской или бессрочно для NX-OS; бессрочная лицензия не переносится на другое устройство. Режима отсрочки (grace period) у Nexus 9000 нет, лицензирование работает по принципу доверия (honor-based): функция включается, а соответствие лицензиям — ответственность владельца.

ПО NX-OS: версии и образы

Долгоживущая ветка прошлого поколения — 9.3(x), файл nxos.9.3.x.bin. Начиная с 10.1 образы разделены по платформам: для коммутаторов на Cloud Scale — nxos64-cs.10.x.x.M.bin. Буква в версии 10.x означает тип выпуска: F — с новыми функциями, M — выпуск сопровождения для эксплуатации.

Для рабочей фабрики выбирайте выпуск, который Cisco помечает как рекомендованный для вашей платформы, и держите одну версию на всех коммутаторах пары vPC. Ранние платформы поддерживаются не во всех ветках 10.x — сверяйте матрицу совместимости. Как найти образ по партномеру — в статье Прошивка по партномеру.

Обдув и питание: PE и PI

Nexus ставят в стойки с горячими и холодными коридорами, поэтому направление потока воздуха задаётся при заказе. Port-side exhaust (PE) — воздух выходит со стороны портов, port-side intake (PI) — входит со стороны портов. Направление обозначено в партномере: блоки питания вида NXA-PAC-500W-PE / -PI, вентиляторы NXA-FAN-30CFM-F (выдув на стороне портов) и NXA-FAN-30CFM-B (забор на стороне портов).

Все вентиляторы и блоки питания в одном коммутаторе должны иметь одинаковое направление, иначе коммутатор перегреется и выдаст аварию. Если порты коммутатора смотрят в холодный коридор, нужен PE; если в горячий — PI.

Задача → что брать

Как выбрать Nexus 9000: 7 шагов

1. Определите режим: NX-OS или ACI — от этого зависят образ, лицензии и требования к топологии.
2. Посчитайте порты к серверам и их тип: SFP28, 10GBASE-T, 1G медь.
3. Задайте переподписку и выберите число и скорость аплинков (100G или 400G).
4. Выберите поколение: FX/FX2 для 25/100G, GX/GX2 для 400G; EX — только если устраивают функции и сроки поддержки.
5. Определите направление обдува (PE или PI) под коридоры стойки.
6. Подберите лицензию: Essentials для BGP и VXLAN EVPN, Advantage для Multi-Site и MPLS.
7. Подберите оптику или кабели DAC/AOC под порты и расстояния — см. SFP и QSFP модули.

На что смотреть при покупке б/у

• Точная модель и поколение (show inventory, show module): EX, FX и GX различаются функциями и сроками поддержки.
• Версия ПО и режим (show version): NX-OS или ACI; если нужен другой режим — учтите переустановку образа.
• Обдув: блоки питания и вентиляторы одного направления, совпадающего с вашей стойкой.
• Комплект: два блока питания, полный набор вентиляторов, рельсы.
• Состояние (show environment, show logging): температура, аварии питания, ошибки портов.
• Лицензии (show license usage): какие функции используются и есть ли на них права.

Мы проверяем Nexus на стенде, сообщаем поколение, версию NX-OS и направление обдува, подбираем оптику и DAC по партномерам.

Что учесть при закупке

В заявке укажите модель с поколением (например, N9K-C93180YC-FX), режим работы (NX-OS или ACI), направление обдува (PE или PI), количество блоков питания, нужную версию ПО и лицензии. Для пары vPC берите одинаковые модели и версии. Отдельно перечислите оптику и DAC по скоростям и расстояниям.

Для б/у оговаривайте гарантию, для новых — сроки поставки. Модели Nexus — в подборке коммутаторы Cisco Nexus и в разделе коммутаторы.

Смотреть коммутаторы в наличии →