«Северсталь» создает крупнейшее в российской промышленности гибридное хранилище данных

Интеграция Внедрения Big Data
мобильная версия

Компания «Северсталь» объявила о создании гибридного хранилища данных (Data Lake — «озеро данных»). Цель этого шага — обеспечение роста конкурентных преимуществ в долгосрочной перспективе, он стал частью цифровой стратегии предприятия. Инфраструктура призвана хранить собранный на предприятиях массив технологических данных, которые затем будут обрабатываться и использоваться для реализации проектов компании в области глубокой аналитики данных, машинного обучения и искусственного интеллекта.

Хранилище будет предполагать гибридную архитектуру, то есть использовать сочетание двух моделей хранения данных — в собственном центре обработки данных (ЦОД) и аренду мощностей в облачных сервисах. Реализация проекта предполагается на базе преимущественно open-sourсe ПО.

«Северсталь» уже подписала контракт с Lenovo Group на поставку серверов с совокупным размером хранилища 2 ПБ в собственном ЦОДе. Также кластер будет располагать 30 ТБ оперативной памяти и 1 200 ядрами процессорной мощности для вычислений. Это позволит компании создать один из крупнейших корпоративных центров обработки данных среди производственных компаний в России.

Кроме того, было подписано рамочное соглашение с компанией Microsoft об аренде вычислительных мощностей в облачном сервисе Microsoft Azure. Соглашение даст возможность воспользоваться преимуществами гибридной модели и получить доступ к практически неограниченным хорошо защищенным ресурсам публичного облака Microsoft, которое поддерживает технологии различных производителей, включая технологии с открытым исходным кодом. Предполагается построение динамически измеряемого хранилища, которое будет использоваться, прежде всего, под проектные задачи, когда определенные мощности требуются на конкретный период времени.

Для транспорта данных планируется использовать решение на базе открытого программного обеспечения Apache Kafka и Spark, которое позволит не только передавать потоковые данные с низкой задержкой, но и анализировать их в режиме реального времени.

«Практически все аспекты диджитал-трансформации компании сводятся к обработке данных. Поэтому создание инфраструктуры, способной хранить и анализировать огромный массив информации, собираемой нами на предприятиях, заложит основу для реализации цифровой стратегии «Северстали». А гибридная архитектура создаваемого хранилища позволит максимально экономически эффективно решать весь комплекс задач в области машинного обучения и предиктивной аналитики, стоящих перед нами, а также обеспечить высокую производительность процессов передачи и обработки данных и информационную безопасность компании», — сказал директор по развитию цифровых технологий «Северсталь Менеджмент» Игорь Бардинцев.

В Data Lake «Северстали» предполагается хранение, прежде всего, данных, собираемых с датчиков на промышленном оборудовании (IoT), серверов автоматизированной системы управления технологическим процессом, а также MES-систем. На основе собираемых данных планируется реализовать проекты по предиктивной аналитике в таких сферах как предиктивные ремонты оборудования, оптимизация качества производимой продукции и других, где возможно и экономически оправданно применение искусственного интеллекта.

«Цель каждого диджитал-проекта — довести эффективность конкретного процесса до максимума. Мы уже реализовали на ЧерМК несколько интересных инициатив, например, проект по предсказанию дефектов в цехе холодного проката, пилотируем несколько моделей в области предиктивных ремонтов на стане-2000, и видим, что они приносят видимые результаты. Но чем больше у нас будет возможностей для сбора, хранения и обработки данных, тем больше подобных задач мы сможем решить. Поэтому развитие хранилища данных — это перманентный процесс», — отметил Игорь Бардинцев.

Всего в 2017 г. «Северсталь» направит около p1,7 млрд на внедрение инициатив в области информационных технологий, которые направлены на совершенствование операционных процессов и клиентских сервисов.