Система хранения данных (СХД) представляет собой комплекс программных и аппаратных средств, созданных для управления и хранения больших объёмов информации. Основными носителями информации в данное время являются жёсткие диски, объёмы которых совсем недавно достигли 15 терабайт. Основным хранилищем информации в малых компаниях являются файловые серверы и серверы СУБД, данные которых хранятся на локальных жёстких дисках. В крупных компаниях объёмы информации могут достигать сотен терабайт, причём к ним выдвигаются ещё большие требования по скорости и надёжности. Никакие локально подключенные к серверам диски не могут удовлетворить этим потребностям. Именно поэтому крупные компании внедряют системы хранения данных (СХД).

 

Основными производителями устройств, применяемых для построения СХД, являются HP, IBM, EMC, Dell, Sun Microsystems, Infortrend и NetApp.  Cisco Systems предлагает широкий выбор Fibre Channel коммутаторов, обеспечивающих связь между устройствами СХД.

Виды СХД:

DAS (Direct Attached Storage)

DAS архитектура похожа на схему работы с диском обычного PC, где материнская плата соединяется с HDD посредством интерфейсов ATA/SATA.

В архитектуре DAS к серверу(ам) напрямую подключены хранилища данных — такие системы называются DAS внутреннего типа. Существует также архитектура DAS внешнего типа, которая отличается от внутренней допустимым расстоянием между одним или несколькими серверами и устройством хранения.

Возможность внешнего подключения достигается благодаря использованию технологий SCSI и FC.

Из принципиальной простоты архитектуры DAS следуют основные ее преимущества: наименьшая цена по сравнению с остальными и относительная простота внедрения. Кроме того, такой конфигурацией легче управлять ввиду  того, что число элементов системы мало. Целостность данных в DAS обеспечивается применением старой и популярной технологии RAID.
Однако такое решение подойдет для относительно некритичных задач и ограниченного числа рабочих станций. Совместное использование конечных вычислительных ресурсов накладывает ряд ограничений. Количество одновременно подключенных машин, не превышает числа портов в устройстве хранения, а ограниченная пропускная способность увеличивает время чтения-записи (IO), неэффективное использование кеша и т.д.

Частично проблемы производительности могут быть решены парком серверов (например разделенные по типу обрабатываемых запросов), каждый из которых нагружает отдельное устройство хранения.

Однако и у этой схемы начинаются трудности, когда возникает необходимость разделять данные между серверами, или объем занимаемой памяти оказывается неравномерным. Очевидно, что в таких условиях DAS не отвечает требованиям масштабируемости и отказоустойчивости, по этой причине были придуманы архитектуры NAS и SAN.

NAS (Network Attached Storage)

Представим себе сервер в локальной сети, который не делает ничего, кроме как предоставляет доступ к своим папкам в хранилище. В упрощенном виде это и есть NAS –  устройство для файлового обмена в IP сети. Минимальная конфигурация NAS выглядит так:

NAS-устройство (файл-сервер) – это выделенный высокопроизводительный сервер, имеющий собственную ОС, оптимизированную для операций чтения/записи. Сервер имеет несколько сетевых интерфейсов для связи с IP сетью и устройством хранения: GigabitEthernet, FastEthernet, FDDI и проч. Кроме того, NAS обладает большим объемом оперативной памяти, большая часть которой используется как кеш, что позволяет выполнять операцию записи асинхронно, а чтение ускорить за счет буферизации. Таким образом, данные могут долгое время находится в оперативной памяти, не попадая на диск, что сильно ускоряет доступ к ним.

Storage (дисковый массив) –  это шкаф (стойка) с дисками, соединенный (или интегрированный) с файл-сервером.

NAS может быть отдельным сервером (как на рисунке) или входить в состав цельного устройства. В первом случае имеем дело с gateway реализацией NAS, во втором – с монолитной системой. О gateway реализации мы еще вспомним, когда будем говорить о SAN.

Как работает NAS?

NAS поддерживает работу с протоколами шаринга CIFS и NFS. Клиент монтирует у себя файловую систему, предоставляемую NAS’ом и выполняет операции чтения/записи в обычном файловом режиме, а сервер NAS их обрабатывает, переводя на язык блочного доступа, понятный хранилищу данных. Кроме этого, поддерживаются такие протоколы, как FTP, DFS, SMB.

Какой профит от использования NAS и почему типовому решению нужно отводить целый класс?

  •  Операции IO занимают меньше времени, следовательно, NAS работает существенно быстрее, чем сервера «общего назначения» и если в вашей архитектуре есть сервер, который должен отдавать много статики, стоит подумать об использовании NAS.
  • Централизованное хранение проще в управлении.
  • Общее увеличение емкости NAS происходит прозрачно для клиентов, все операции добавления/удаления памяти скрыты от потребителей.
  • Предоставление доступа на уровне файловой системы позволяет вводить понятие привилегий rwx. Забегая вперед, можно отметить, что при помощи NAS без ущерба пропускной способности легко организовать мультисайтовость (о том, что это такое мы расскажем, когда речь пойдет о репликации).

Существует и ряд ограничений, связанных с использованием NAS. В основном это связано с базовым для NAS принципом. Сама по себе избыточность TCP/IP как протокола доступа к данным приводит к накладным расходам. Высокая нагрузка на сеть с довольно ограниченной пропускной способностью увеличивает время отклика. Производительность системы в целом зависит не только от NAS, но и от качества работы коммутирующих устройств сети. Кроме того, без правильного resource allocation, клиент, запрашивающий слишком большие объемы файлов, может влиять на скорость работы других клиентов

SAN (Storage Area Network)

SAN (сеть хранения данных) – это инфраструктура блочного хранения данных, построенная на базе высокоскоростной сети.

Как видно из определения, основное отличие от NAS заключается в предоставлении доступа к данным на блочном уровне. Если же сравнивать SAN и DAS, ключевым понятием здесь является сеть. Так, среди основных компонентов SAN те же компоненты, но от прочих архитектур ее отличает наличие специальных коммутаторов, поддерживающих передачу данных по FibreChannel или (Fast- GB- etc.) Ethernet:

История SAN начинается с конца 1980-х, когда впервые была предложена идея построения FC сети. В ранних реализациях в качестве коммутирующего устройства использовались хабы, такой подход называется управляемой петлей (Arbitrated Loop, далее FC-AL):

Схема взаимодействия в FС-AL аналогична CSMA/CA: каждый раз, когда какой-либо узел в FC-AL собирается выполнить операцию IO, он посылает блокирующий пакет, оповещая всех о начале передачи. Когда пакет возвращается отправителю, узел получает полный контроль над петлей для проведения операции. По окончанию операции все узлы оповещаются об освобождении канала и процедура повторяется. Очевидно, что такая ситуация ничем не лучше DAS, а к проблемам пропускной способности добавляется еще одна: в каждый момент времени только один клиент может выполнять операцию IO. Кроме того, использование 8-битной адресации в FC-AL позволяет иметь не более 127 устройств в сети. Короче говоря, FС-AL оказался ничем не лучше DAS.

На смену FC-AL пришла архитектураFC-Switched Fabric (FC-SW) — в FC-SW вместо хаба используется один или несколько коммутаторов, таким образом данные предаются не по разделяемому, а по индивидуальным каналам.
Как и в Ethernet на базе этих коммутаторов можно построить множество топологий, в частности, к корневому (-ым) может быть подключен другой коммутатор или хаб:

Преимущества SAN очевидны:

  • общий объем памяти может расти не только за счет увеличения емкости существующих сторожей, но и за счет добавления новых;
  • каждый хост может работать с любым устройством хранения, а не только со своим, как в случае с DAS;
  • Сервер имеет несколько «путей» получения данных (multipathing), поэтому, при правильно построенной топологии, даже после выхода из строя одного из коммутаторов система останется рабочей;
  • Есть такая опция, как Boot From SAN, это означает что серверу теперь даже не нужен собственный загрузочный диск;
  • Существует опция zoning, позволяющая разграничивать доступ серверов к ресурсам;
    отчасти решена проблема с пропускной способностью – отчасти, т.к. узким местом по-прежнему остается канал между устройством хранения и коммутатором, однако, такие операции, как например резервное копирование не оказывают влияния на всю сеть.

Еще одно важное преимущество SAN, о котором нужно сказать отдельно. Гибкая архитектура и предоставление доступа на блочном уровне позволяют построить множество различных решений в зависимости от задачи. Например, при использовании на одном из серверов специальной ОС, получится gateway-реализация NAS (см. рис. выше), таким образом в рамках решения для одного предприятия могут сочетаться и DAS, и NAS, и SAN.

По материалам статьи

 

Мастер Продакшн имеет большой опыт построения систем хранения данных на базе оборудования перечисленных выше производителей. При построении СХД мы сотрудничаем с производителями и строим высокопроизводительные и высоконадёжные системы хранения информации. Наши инженеры спроектируют и внедрят СХД, соответствующую специфике вашего бизнеса, а также разработают систему управления вашими данными.

  • СХД Infortrend

    Все модели Infortrend являются полноценными СХД с одним или двумя hardware-контроллерами. Сочетая высокое качество и приемлимую цену данные СХД являются наиболее оптимальным решением для компаний с ограниченным бюджетом.

  • All Flash QSAN™

    Представьте себе превосходную, надежную и простую в управлении СХД, которая предоставляет вам безграничные возможности. Возможность легкой настройки сложных конфигураций, управление с мобильных устройств, высочайшая скорость работы и надежность — все это про All Flash массив от QSAN™.

  • СХД QSAN™
  • NAS серверы QSAN™
  • JBOD Systems QSAN™