Статья

«Рэйдикс» и Western Digital: что умеет «голливудская» СХД

Бизнес Интеграция Внедрения Инфраструктура
мобильная версия
, Текст: Павел Притула

Что делать с водопадом данных, превосходящим возможности существующих хранилищ информации? Как выбрать быструю, надежную, масштабируемую и при этом недорогую СХД, и возможно ли сочетание всех этих качеств в одной системе? Ответ есть у российской компании «Рэйдикс», чьи решения используются более чем в 30 странах мира.

Система хранения данных – ключевой элемент ИТ-инфраструктуры в тех компаниях, чей бизнес зависит от работы с информацией. Российская компания «Рэйдикс» разработала программное обеспечение для создания высокопроизводительных СХД на базе стандартных комплектующих и предлагает программно-определяемую систему хранения. У «Рэйдикс» уже есть опыт более 5000 внедрений по всему миру, в частности, ее технологии применялись при съемках известных голливудских фильмов и сериалов («Аватар», «Во все тяжкие», «Ходячие мертвецы»). Компания предлагает совместные решения с ведущими мировыми производителями, например, с Western Digital, но при этом остается российской, а ПО RAIDIX включено в Реестр отечественного программного обеспечения.

Потребности рынка

Высокопроизводительные вычисления, или НРС, уже вышли далеко за рамки решения исследовательских задач, они широко применяются корпоративным сектором в бизнес-процессах, связанных с анализом и обработкой информации. Компании накопили значительные объемы больших данных и продолжают их увеличивать. В ближайшие годы рынок ожидает еще более значительный всплеск объемов данных за счет проникновения интернета вещей и промышленного интернета вещей. Это повлечет за собой новую волну проектов по внедрению, замене или масштабированию СХД в расчете на новые нагрузки.

Развитие потребностей крупнейших компаний в видеонаблюдении, глобальный рост числа проектов класса «безопасный город» ставят перед индустрией хранения данных задачи по созданию сетей CCTV на тысячи и десятки тысяч видеокамер. Интерес к ним подогревается и передовыми решениями в области видеоаналитики, позволяющей без участия оператора проводить мониторинг объектов и автоматически реагировать на заданные события. Для надежного хранения и обработки «тяжелых» видеофайлов с камер наблюдения (в том числе и в режиме реального времени) также требуются высокопроизводительные СХД.

Серьезные технологические требования к хранилищам выдвигает медиаиндустрия, где сейчас происходит очередная «революция», связанная с переходом на видеоформаты ультравысокой четкости. В 2018 году, по прогнозам Ovum, число телевизоров UltraHD, или 4К (размер экрана 4096x3072 точек) в России вырастет с 1 млн (11% от общего объема продаж) до 3,7 млн штук. И в краткосрочной перспективе технология 4K станет ведущей, вытеснив традиционную FullHD (1920x1080). Для производителей и поставщиков контента это означает скачкообразное повышение требований к оборудованию. На рынке возрастет спрос на видеоконтент с высокой частотой кадров (не 24, а 30 или 60), благодаря чему картинка станет более естественной и привлекательной. В ближайшие несколько лет наберет популярность еще более «тяжелая» технология 8К (8192x4320).

Традиционные операции с файлами больших размеров (сброс отснятого материала на диски, редактирование, перекодирование, трансляция) на существующем оборудовании станут слишком длительными и неудобными, бизнес-процессы будут простаивать в ожидании завершения операций ввода-вывода. И, если с этим до определенной степени можно смириться, то невозможность работы в реальном времени и потеря кадров из-за задержек в системе хранения данных ставят под угрозу сами результаты работы.

Решение – программно-определяемая СХД

Программно-определяемые хранилища данных (SDS, software-defined storage) достаточно активно применяются российскими заказчиками, они хорошо приняты рынком и по ним уже накоплена достаточная экспертиза. Главное их преимущество – возможность экономично решить задачу обработки и хранения возрастающих объемов данных. SDS отличаются от традиционных СХД другим принципом построения – вся их логика отделена от «железа» и помещена в отдельный программный слой. Это позволяет не приобретать чрезвычайно дорогие вендорские комплексы, а строить систему на оборудовании разных производителей, включая уже имеющиеся в компании хранилища. Такая архитектура позволяет СХД быть простой, гибкой и легко масштабируемой.

Компания «Рэйдикс» была основана специалистами в области хранения данных и учеными-математиками, она разрабатывает ПО для создания программно-определяемых систем хранения данных с 2009 года. В SDS RAIDIX используются параллельные вычисления и математические алгоритмы собственной разработки.

Что такое JBOD и зачем он нужен

Гибкая конфигурация RAIDIX обеспечивает совместимость с дисковыми полками JBOD (just a bunch of disks). JBOD подключаются к хост-серверам по интерфейсу SAS и только хранят данные, а не управляют ими, что полностью соответствует парадигме программно-определяемых решений и удешевляет хранение данных.

Дисковые полки имеют и ряд других преимуществ перед автономными RAID-массивами. Так, они изначально проектируются как дисковые контейнеры, благодаря чему обеспечивают высокую плотность хранения, занимают мало места, хорошо гасят вибрации и отводят тепло. Они рассчитаны на проведение независимых сервисных работ без остановки процессов. JBOD дополняют заложенные в SDS возможности масштабирования, позволяя повышать емкость дискового пространства собственным каскадированием. Устройства JBOD отличаются простотой в использовании и повышают доступность СХД в целом.

Масштабируемость: используем дисковые полки HGST (Western Digital)

Поддержка гибкой масштабируемости и обеспечение высокой плотности хранения данных – это ответ производителей СХД на большинство запросов их клиентов. RAIDIX обеспечивает масштабируемость за счет добавления новых дисковых полок и контроллеров. Для задач хранения свыше 200 ТБ используются дисковые полки 4U60 производства HGST (бренд Western Digital).

RAIDIX поддерживает 64 диска в RAID-массиве и 600 в системе, HGST 4U60 JBOD позволяет достигать плотности хранения до 720 ТБ на 4U. Каждая полка вмещает 60 дисковых накопителей форм-фактора 3,5” или SSD 2.5” с возможностью горячей замены через верхнюю крышку. Полка работает через SAS 12 Гбит/с по двум или четырем путям через два модуля ввода-вывода (максимальная пропускная способность интерфейсов – 8 x 48 Гбит/с). Без остановки операций можно заменять все активные компоненты (блоки питания, модули ввода-вывода, вентиляторы).  

Дисковая полка HGST 4U60 JBOD обеспечивает горячую замену дисков и всех активных компонентов

Дисковая полка 4U60 изготовлена из алюминия, ее сотовая конструкция обеспечивает высокую прочность и низкий уровень вибрации. Для снижения вибрации также используются подпружиненные элементы дисковых кареток. Сами диски рассчитаны на применение в промышленных системах и круглосуточную работу под большими нагрузками. Компания HGST предоставляет 5-летнюю гарантию как на сам JBOD, так и на все диски в комплекте. Возможность расширения – вертикального масштабирования – системы с помощью JBOD является одним из ярких преимуществ программно-определяемой архитектуры хранения.

Производительность

RAIDIX обеспечивает рекордную скорость работы благодаря оптимизации параллельных вычислений RAID на уровне 25 ГБ/с для каждого ядра процессора. При этом в жертву производительности не приносится стабильность: уникальные, по заявлению компании, алгоритмы обработки массивов позволяют сохранять скорость обработки информации даже при пиковой нагрузке на систему и в режиме деградации RAID.

Повышение производительности обеспечивают и такие технологии, как упреждающая реконструкция (Advanced Reconstruction), оптимизирующая скорость чтения в процессе восстановления данных на дисках за счет того, что из процесса исключаются диски с более низкой, чем у остальных, скоростью чтения.

В многопоточном режиме скорость операций повышается за счет оптимизации алгоритмов кэширования. Детектор последовательностей может определять до 100 потоков и заранее помещать данные в память.

Решения RAIDIX учитывают и приоритеты пользователей: некоторые их задачи более важны, чем остальные, и технология QoSmic позволяет балансировать производительность в зависимости от этих приоритетов.

В случае сбоя и отключения дисков время восстановления данных можно сократить. Для этого используется механизм частичной реконструкции, благодаря которому восстановлению подлежит только поврежденная область, а не весь массив.

В системе реализован многоуровневый мониторинг: администраторам доступна подробная статистика производительности системы в реальном времени.

Надежность

ПО RAIDIX умеет работать с массивами различных уровней RAID (включая собственные патентованные алгоритмы), каждый из которых имеет свои особенности и преимущества. Благодаря оптимальной параллелизации вычислений СХД на базе RAIDIX обеспечивают высокую неснижаемую производительность даже в режиме деградации массива. При использовании алгоритмов RAID 6, RAID 7.3 и RAID N+M (где М – настраиваемое количество дисков под хранение контрольных сумм) данные останутся доступными даже в случае отказа 2, 3 и M дисков соответственно.

Системы RAIDIX защищены от скрытого повреждения данных, в них реализованы механизмы оперативного выявления и устранения скрытых ошибок. Так, ПО RAIDIX дает возможность производить реконструкцию массивов RAID 6 и RAID 7.3 в 6 раз быстрее по сравнению с аналогичными СХД того же класса без потери производительности.

В новой версии 4.6 ПО RAIDIX реализован еще один механизм обеспечения целостности данных при сбоях питания – защита кэша на запись с использованием энергонезависимой памяти (NVDIMM-N). Память этого типа, в отличие от аппаратного контроллера, не требует замены батарей, а СХД на ее базе не требует дополнительного контроллера для обеспечения надежности.

Повышенная отказоустойчивость обеспечивается также благодаря использованию двухконтроллерной Active-Active конфигурации с асимметричным размещением массивов данных.

Рентабельность

Многие специалисты знакомы с ситуацией, когда замена вендорской СХД на более мощную систему того же производителя требует больших инвестиций. Даже при наличии технической возможности масштабирования стоимость брендированных комплектующих от производителя СХД значительно выше, чем у аналогичных устройств на свободном рынке.

Программно-определяемые СХД, как правило, экономичнее по стоимости внедрения и владения системой в сравнении с брендами класса «А», включающими в себя дисковые массивы и ПО.  Системы software-defined storage позволяют использовать стандартные комплектующие и не замыкаться на дорогостоящие услуги по техподдержке и обслуживанию от производителей.

Поскольку патентованные алгоритмы RAIDIX обеспечивают высокую плотность хранения данных в RAID-массивах, для хранения всех данных компании потребуется меньше оборудования. Это существенно снижает капитальные затраты.

В зависимости от типов данных, операций с ними и других условий в одной конфигурации СХД могут быть использованы как шпиндельные, так и твердотельные диски, что позволяет дополнительно сэкономить с учетом разницы цен.

Системы на базе RAIDIX не предъявляют повышенных требований к квалификации администраторов систем. Работа с RAIDIX не требует длительного и сложного обучения. В помощь администратору предоставляются интуитивно понятный пользовательский интерфейс и подробная документация. Кроме того, «Рэйдикс» – российская компания, оказывающая локальную техническую поддержку на русском языке, что снимает проблему приоритизации заявок, нередких в работе с Service Desk мировых вендоров.

В дальнейшем рост объемов корпоративных данных будет продолжаться и системы хранения данных появятся даже в тех компаниях, которые раньше о них не задумывались. Заказчики будут формулировать свои требования к ним с учетом тех же принципов: производительности, масштабируемости, надежности и рентабельности. Поэтому в выигрыше будет тот производитель, который сможет предложить наилучшее соотношение этих показателей.