ITequipment.ruсетевое и серверное оборудование · МоскваПерейти в каталог →

SAN, NAS и DAS: как устроены и что выбрать

Коротко: DAS (Direct Attached Storage) — диски внутри сервера или в полке, подключённой к одному серверу кабелем SAS. NAS (Network Attached Storage) — файловое хранилище, которое отдаёт папки по сети через NFS или SMB. SAN (Storage Area Network) — отдельная сеть хранения, по которой массив отдаёт серверам блочные тома через Fibre Channel, iSCSI или NVMe-oF. Под СУБД и виртуализацию берут SAN, под общие файлы и бэкапы — NAS, под одиночный сервер или программно-определяемое хранение — DAS.

Три архитектуры в одной таблице

ПараметрDASNASSAN
Что отдаётБлочные устройства одному хостуФайлы и папкиБлочные тома (LUN) многим хостам
ПротоколыSAS, SATA, NVMe по PCIeNFS v3/v4.1, SMB 3.xFibre Channel, iSCSI, NVMe-oF
Кто владеет файловой системойСерверХранилищеСервер
Совместный доступНет (кроме общего SAS для 2–4 хостов)Да, на уровне файловДа, через кластерные файловые системы (VMFS, CSV)
СетьНе нужнаОбычный EthernetFC-фабрика или выделенный Ethernet
ЗадержкаМинимальнаяВыше, есть накладные расходы файлового протоколаНизкая, особенно FC и NVMe-oF
Типичные задачиОдиночный сервер, vSAN, Ceph, кэшОбщие папки, документы, медиа, бэкапСУБД, кластеры виртуализации, 1С

DAS: диски напрямую к серверу

DAS — внутренние отсеки сервера или внешняя полка (JBOD), подключённая SAS-кабелем к RAID-контроллеру или HBA. Это самый быстрый и простой вариант: нет сети, нет протокольных накладных расходов, NVMe-диск по PCIe даёт задержку в десятки микросекунд.

Минус — ёмкость принадлежит одному серверу. Компромисс — массивы с прямым SAS-подключением (например, Dell PowerVault ME5 или HPE MSA в SAS-исполнении), к которым напрямую подключают 2–4 хоста без коммутаторов. На DAS строится и современное программно-определяемое хранение: VMware vSAN, Ceph, Microsoft Storage Spaces Direct объединяют диски нескольких серверов по сети 25/100G в общий пул. Про контроллеры и RAID для DAS — в статье RAID-контроллеры.

NAS: файловое хранение по сети

NAS отдаёт клиентам готовую файловую систему. Протокол NFS используют Linux-серверы и гипервизор ESXi (хранилища NFS-датасторов), SMB 3.x — Windows-клиенты и Hyper-V. Права доступа, квоты, снапшоты папок и антивирусная проверка выполняются на стороне хранилища.

NAS бывают трёх уровней: небольшие устройства на 2–12 дисков для офиса, корпоративные файловые контроллеры (NetApp FAS и AFF, Dell PowerScale и Unity, Huawei OceanStor) и масштабируемые кластерные NAS для петабайтных объёмов. Для сетей 10/25G важны агрегирование каналов (LACP) и отдельная VLAN для трафика хранения. Узкое место NAS — работа с миллионами мелких файлов и операции с метаданными, поэтому под базы данных его применяют реже.

SAN: блочная сеть хранения

В SAN массив отдаёт тома (LUN), а сервер видит их как свои диски. Чтобы несколько хостов работали с одним томом, нужны кластерные файловые системы: VMFS в VMware, Cluster Shared Volumes в Hyper-V, OCFS2 или GFS2 в Linux.

Fibre Channel строится на отдельных коммутаторах (Brocade, Cisco MDS). Каждый порт имеет собственный адрес WWN, доступ разграничивают зонированием (zoning) на коммутаторе и маскированием LUN на массиве. Стандартная схема — две независимые фабрики A и B, каждый сервер и каждый контроллер подключены к обеим.

iSCSI использует Ethernet: те же принципы, но вместо фабрик — две подсети или два физически разных коммутатора, jumbo frames (MTU 9000) по всей цепочке и отдельные VLAN. NVMe-oF переносит протокол NVMe по сети (RoCE, NVMe/TCP, FC-NVMe) и сокращает задержку для all-flash массивов.

Протоколы SAN: сравнение

ПротоколСкорости портовОборудованиеПлюсыМинусы
Fibre Channel8G, 16G, 32G, 64GFC-коммутаторы, HBA, FC-трансиверыПредсказуемая задержка, зрелая экосистема, изоляция от LANОтдельная сеть и компетенции
iSCSI10G, 25G, 40G, 100GEthernet-коммутаторы и сетевые картыДешевле, привычные сетевые инструментыНужна тщательная настройка, чувствителен к потерям пакетов
NVMe/TCP25G–100GEthernet, поддержка в ОС и массивеНизкая задержка без специальных сетейНужны свежие версии ОС и прошивок
NVMe/RoCE25G–100GАдаптеры RDMA, коммутаторы с PFC/ECNМинимальная задержкаСложная настройка сети без потерь
FC-NVMe32G, 64GСовременные FC-фабрики и HBANVMe поверх существующего FCТребует поддержки на всех узлах

FCoE (Fibre Channel поверх Ethernet) на практике уступил место iSCSI и NVMe-oF и в новых проектах встречается редко.

Объектное хранение и гиперконвергенция

Объектное хранилище отдаёт данные не файлами и не блоками, а объектами по HTTP-протоколу S3. Оно масштабируется до петабайт, хорошо подходит для бэкапов (многие системы резервного копирования пишут прямо в S3), архивов, видео и наборов данных для машинного обучения. Реализации — Ceph RGW, MinIO и функции старших СХД.

Гиперконвергентная инфраструктура (HCI) объединяет вычисления и хранение в одних серверах: в каждом узле стоят свои SSD (DAS), программный слой собирает их в общее хранилище с репликацией между узлами. Плюсы — масштабирование узлами и отсутствие отдельного массива. Минусы — каждая запись уходит по сети на соседние узлы, поэтому нужна сеть 25G и выше, а ёмкость растёт только вместе с вычислителями.

Как выбрать архитектуру: 7 шагов

  1. Перечислите нагрузки и их тип доступа: ВМ и СУБД — блоки, общие папки — файлы, бэкап и архив — файлы или объекты.
  2. Оцените число серверов, которым нужна общая ёмкость. Один сервер — DAS, 2–4 хоста рядом — массив с прямым SAS, больше — SAN.
  3. Посмотрите на существующую сеть: есть ли свободные порты 10/25G, FC-коммутаторы, компетенции администраторов.
  4. Сформулируйте требования к задержке: для OLTP-баз нужна задержка до 1 мс, это all-flash по FC или NVMe-oF.
  5. Определите требования к защите данных: снапшоты, репликация на вторую площадку, допустимые RPO и RTO.
  6. Посчитайте ёмкость и рост на 3–5 лет, выберите тип массива — см. как выбрать СХД.
  7. Проверьте совместимость: матрицы поддержки гипервизора, HBA и прошивок массива.

Задача → архитектура

ЗадачаРекомендуемая архитектураКомментарий
Один сервер 1С или файловый серверDAS: SSD в RAID 1/10Проще и быстрее любой сети
Кластер из 2–3 хостов виртуализацииМассив с прямым SAS или iSCSI 10/25GБез FC-коммутаторов
Кластер на 4–20 хостовSAN: FC 32G или iSCSI 25G, all-flashДве фабрики, multipath
Общие папки на сотни пользователейNAS или унифицированная СХД, SMB 3Квоты, снапшоты, интеграция с AD
Бэкап и долгосрочный архивNAS на HDD или объектное S3Неизменяемые копии от шифровальщиков
Масштабирование узлами, филиалыHCI на DAS (vSAN, Ceph)Сеть 25G и выше между узлами
Аналитика, обучение моделейAll-NVMe с NVMe-oF или параллельная ФССеть 100G и выше

Сеть хранения: что закупить вместе с массивом

Типичные ошибки

Что учесть при закупке

В запросе укажите выбранную архитектуру, протокол и скорость портов, число хостов, требуемую полезную ёмкость и тип дисков. Для FC-сети перечислите модели HBA и коммутаторов, для iSCSI — модели сетевых карт. Для расширения существующей системы нужны партномера массива, полок, дисков и трансиверов.

Проверьте комплектность: контроллеры, блоки питания, кабели SAS, модули SFP в портах, рельсы, активные лицензии портов. Для б/у оборудования оговорите тестирование, гарантию и сроки поставки позиций под заказ. Массивы и полки — в разделе Системы хранения, диски — в разделе Накопители.

Смотреть схд и nas в наличии →

Вопросы по теме

В чём разница SAN и NAS?
SAN отдаёт блочные тома по FC, iSCSI или NVMe-oF, файловую систему на них создаёт сервер — так работают СУБД и гипервизоры. NAS отдаёт готовые файлы по NFS или SMB, файловой системой управляет само хранилище. Унифицированные СХД поддерживают оба режима.
Что такое DAS?
Direct Attached Storage — диски внутри сервера или в полке, подключённой к одному серверу через SAS. Это самый быстрый и простой вариант без сети хранения. Ограничение — ёмкость нельзя гибко раздать другим серверам.
FC или iSCSI для SAN?
FC даёт выделенную сеть с предсказуемой задержкой и нужен нагруженным СУБД и крупным кластерам. iSCSI работает по обычному Ethernet 10/25G и дешевле во внедрении. При грамотной настройке iSCSI с отдельными VLAN и двумя подсетями закрывает большинство задач малого и среднего бизнеса.
Можно ли хранить виртуальные машины на NAS?
Да, VMware ESXi поддерживает датасторы NFS, а Hyper-V — SMB 3. Это удобно в управлении, но для нагруженных баз внутри ВМ блочный доступ по FC или iSCSI обычно даёт меньшую задержку. Решение зависит от возможностей конкретного массива.
Что такое NVMe-oF?
NVMe over Fabrics — протокол NVMe, перенесённый по сети: через Ethernet (RoCE или NVMe/TCP) или Fibre Channel (FC-NVMe). Он сокращает накладные расходы по сравнению с iSCSI и SCSI поверх FC. Нужен all-flash массив и поддержка на стороне ОС и адаптеров.
Что такое зонирование в FC?
Зонирование на FC-коммутаторе определяет, какие порты серверов видят какие порты массива. Оно изолирует хосты друг от друга и защищает от ошибок. Дополнительно на массиве настраивают маскирование LUN — какой том виден какому хосту.
Чем гиперконвергенция отличается от SAN?
В HCI хранение собрано из дисков самих серверов, программный слой реплицирует данные между узлами по сети. В SAN ёмкость находится в отдельном массиве с собственными контроллерами. HCI проще масштабировать узлами, SAN — гибче по ёмкости и независим от вычислителей.
Зачем нужно объектное хранилище S3?
Оно хранит данные объектами с метаданными и масштабируется практически без ограничений по числу файлов. Подходит для бэкапов, архивов, видео и наборов данных. Многие системы резервного копирования умеют писать в S3 с защитой от изменения копий.
Нужен ли multipath при подключении к СХД?
Да, для продуктивных систем обязательно. Два пути от каждого сервера через разные коммутаторы к разным контроллерам массива позволяют пережить отказ порта, кабеля, коммутатора или контроллера без остановки ВМ. В ESXi, Windows и Linux драйверы многопутевого доступа встроены.