Поделиться
РСК представила интеллектуальные СХД «по требованию» с поддержкой DAOS
Группа компаний РСК объявила о поддержке в своих решениях RSC Data Storage-on-Demand новой кластерной файловой системы с открытым кодом DAOS (Distributed Asynchronous Object Storage) корпорации Intel. Теперь стало возможным построение не только многослойных систем хранения данных на базе файловой операционной системы Lustre в архитектуре Composable Disaggregated Infrastructure и гибкое управление пулами дисков с интерфейсом NVMe, но и включение в такие слои высокопроизводительных компонент на основе DAOS.
Долгие годы, несмотря на рост номинальной производительности устройств хранения данных, прирост обеспечивался, в основном, за счет повышения производительности последовательных операций чтения-записи. Использование DAOS позволяет уйти от ограничений старых подходов к построению высокопроизводительных систем хранения данных, связанных с работой протокола TCP/IP, архитектурой ядра ОС Linux и ряда других узких мест, ликвидировав так называемые «бутылочные горлышки» для работы в тех случаях, когда приложению необходим высокоскоростной произвольный доступ к данным.
Существенный рост производительности в случае поддержки DAOS стал возможным благодаря нескольким принципам, заложенным в ее архитектуре: максимально возможному уменьшению использования ресурсов центрального процессора, ядра операционной системы, прерываний, переключения контекста в ходе перемещения данных от устройства хранения к месту обработки; хранению данных, к которым требуется произвольный доступ (мета-данные и кэши данных) на устройствах с эффективной поддержкой побайтного доступа (Byte Level Access) – устройствах класса Storage Class Memory; максимально прозрачной трансляции потоковых и блочных операций чтения/записи в устройствах с интерфейсом NVMe.
РСК переносит свой опыт в построении компонуемых дезагрегированных решений и на управление DAOS, а именно предлагает использование для этого программной платформы оркестрации «РСК БазИС». Реализованные до настоящего момента решения на основе DAOS требовали жестко определенного – на уровне установленной аппаратной конфигурации – соотношения между процессорными ресурсами, наличием энергонезависимой памяти с произвольным доступом (Intel Optane DC Persistent Memory, PMEM), твердотельных накопителей с интерфейсом NVMe. В рамках платформы «РСК БазИС» можно применить компонуемый подход для управления DAOS, разделив сервера с PMEM и сервера с устройствами NVMe в пулы, объединённые быстрой сетевой фабрикой. Оснащение серверов высокопроизводительными адаптерами с поддержкой RDMA с одной стороны, накопителями с интерфейсом NVMe и части серверов – энергонезависимой памятью Intel Optane DC Persistent Memorу с другой, позволяет произвести такую дезагрегацию и дальнейшую компоновку «по запросу» без снижения производительности.
Такой подход, во-первых, позволяет уйти от жесткого соотношения накопителей PMEM/NVMe в серверах хранения. Во-вторых, он позволяет значительно увеличить допустимый объем системы хранения данных. Сегодня требования к объему PMEM в DAOS – не менее 6% от объема локальных накопителей с интерфейсом NVMe – серьезно ограничивают максимальное полезное количество дисков на один сервер хранения. При этом, благодаря компонуемости, неиспользуемые в какой-то момент времени диски можно подключить к другому серверу на основе DAOS или Lustre.
Помимо этого, можно вообще разделить сервера с DAOS и сервера c накопителями NVMe на два пула, тем самым максимально устранив ограничения аппаратной архитектуры сервера (ограниченного возможностями шины PCIe, используемой как накопителями, так и сетевыми адаптерами, а также физических ограничений шасси сервера по размещению дополнительных устройств и их охлаждению).
Эти подходы будут раскрыты в докладе РСК на сессии DUG (DAOS User Group), которая состоится 19 ноября во время крупнейшей всемирной виртуальной конференции-выставки SC20 по суперкомпьютерным технологиям и решениям.
Группа компаний РСК впервые принимает участие в статусе Бронзового спонсора в виртуальной всемирной конференции Flash Memory Summit 2020.
РСК уже более двух лет, с 2018 года, является разработчиком, производителем и интегратором интеллектуальных систем хранения данных «по требованию» (RSC Data Storage-on-Demand). Такие системы уже установлены в Объединенном институте ядерных исследований (ОИЯИ, Дубна), в Санкт-Петербургском политехническом университете Петра Великого (СПбПУ) и Межведомственном суперкомпьютерном центре Российской академии наук (МСЦ РАН).
На данный момент две системы производства РСК являются единственными представителями России в мировом рейтинге IO500 самых высокопроизводительных систем хранения данных – суперкомпьютер «Говорун» с системой хранения данных РСК в ОИЯИ занимает 17 место в этом списке, а суперкомпьютер «Политехник – РСК Торнадо» в СПбПУ находится на 22 позиции. Столь хороших результатов удалось достичь благодаря применению в обеих проектах уникальной технологии создания масштабируемых распределённых и компонуемых «по требованию» систем хранения данных RSC Data Storage-on-demand на основе твердотельных дисков Intel SSD и Intel Optane SSD с интерфейсами NVMe. Суперкомпьютер «Говорун» еще в июне 2018 г., сразу после установки и запуска в эксплуатацию в ОИЯИ, занял высокое 9 место в мировом рейтинге IO500.
Специалисты РСК представили на FMS 2020 свою обновленную интеллектуальную систему хранения данных «по требованию» RSC Tornado AFS, один узел которой может обеспечивать рекордную емкость до 1 Петабайт благодаря использованию 32 твердотельных дисков Intel SSD с интерфейсом NVMe в форм-факторе EDSFF.L (так называемый «рулер»). В таком узле также используются 2 процессора семейства Intel Xeon Scalable 2 поколения, твердотельные диски Intel Optane SSD и модули энергонезависимой памяти Intel Optane DC Persistent Memory. В RSC Tornado AFS реализовано 100% жидкостное охлаждение узла в режиме «горячая вода» с рекордно низким показателем эффективности использования электроэнергии PUE на уровне 1,04.
Еще одно решение РСК для создания систем хранения данных «по требованию» – гиперконвергентный узел RSC Tornado HS. Он построен на базе 2 процессоров семейства Intel Xeon Scalable 2 поколения, серверной платы Intel Server Board S2600BP с 2 портами 10GigE и (опционально) Intel Quick Assist Support. Такой узел поддерживает до 12 твердотельных дисков «с горячей заменой» (hot-swap) Intel SSD с интерфейсом NVMe, например, Intel SSD DC P4511 (NVMe, M.2) емкостью 1-2 TБ, сконфигурирован как диск; или Intel Optane SSD DC 4801X (M.2) емкостью 375 ГБ, сконфигурирован как диск или память с помощью технологии Intel Memory Drive Technology (IMDT).
Это обеспечивает большой объем быстрой памяти - до 24 ТБ на узел, а также большой объем оперативной памяти на 1 узел благодаря применению Intel Memory Drive Technology (IMDT) – до 4,2 ТБ RAM. Гиперконвергентный узел RSC Tornado HS также работает со 100% жидкостным охлаждением в режиме «горячая вода».
Короткая ссылка
