Спецпроекты

Глобальный конкурс по сжатию данных подтвердил возможность улучшения коэффициента сжатия как минимум на 25%

Интеграция Инфраструктура

Московский государственный университет провел соревнование экспериментальных программ сжатия данных без потерь - Global Data Compression Competition. Партнером соревнования, проходившего с июня по ноябрь 2020 года, стала компания Huawei.

Такие соревнования являются редкими событиями в данной области информационных технологий. Целью конкурса было привлечение интереса к универсальному сжатию данных и стимулирование разработки новых алгоритмов. Конкурировали за денежные призы из общего фонда в размере 50000 евро, разработчики программного обеспечения и исследователи со всего мира. В отдельных категориях сжатые тестовые файлы программ-победителей составили 75% и менее от размера архивов конкурентоспособных современных компрессоров, использованных в качестве эталонов.

Несмотря на постоянно увеличивающийся объем накопителей данных и рост пропускной способности компьютерных сетей, сжатие данных без потерь остается важной задачей во многих областях информационных технология. Достаточно упомянуть такие задачи как снижение сетевого трафика, резервирование файлов и баз данных, распространение дистрибутивов и обновлений программного обеспечения по сети, сжатие критически важных изображений, повышение эффективного объема и скорости работы накопителей данных. С другой стороны, регулярно проводимые сравнения и соревнования для программ сжатия без потерь являются, главным образом, прерогативой энтузиастов. Поэтому цель конкурса, проведенного лабораторией компьютерной графики и мультимедиа МГУ, состояла из двух частей: способствовать исследованиям и разработке новых и существующих алгоритмов универсального сжатия данных без потерь; привлечь внимание к области неискажающего сжатия данных.

Соревнование стартовало в июне этого года. До конца ноября разработчики и исследователи могли присылать на конкурс свои компрессоры. В декабре были подведены итоги и опубликованы результаты. Участники соревновались в 12 конкурсных категорий, отличающихся типом данных и скоростью обработки. Каждая категория имела собственные призы. Только часть тестовых данных была известна участникам, но ранжирование делалось на основании результатов для полных тестов. Несколько участников заслуженно выиграли денежные призы, при этом максимальная сумма выигрыша на человека составила 21 тысячу евро.

Дмитрий Ватолин, руководитель проекта от МГУ, отметил: «Мы удовлетворены итогами конкурса. Нам не только удалось привлечь к участию признанных специалистов по сжатию данных без потерь, но также и способствовать действительно сильным результатам. В отдельных категориях размер сжатых данных составлял 75% и менее от эффективных популярных компрессоров, которые мы использовали как реперные. При этом скорость обработки была сравнимой, так что в определенных случаях однозначно возможно сжатие данных как минимум на 25% лучше, чем для популярных утилит». Д. Ватолин также добавил: «Конкурсы и хакатоны редки в сжатии данных, поэтому мы гордимся, что именно наша лаборатория провела это соревнование. Полагаю, что конкурс дал новые стимулы для развития исследователям и разработчикам алгоритмов и программ сжатия данных».

Хоу Жуй, директор Московского исследовательского центра Huawei, высоко оценил сам факт проведения, а также результаты конкурса. «Сжатие данных без потерь является важной темой наших НИОКР. Быстрое и эффективное обратимое сжатие – это критичный элемент во многих продуктах Huawei линейки Cloud&AI, в особенности в блочных системах хранения данных. Мы готовы поддерживать такие начинания не только финансово, но и с помощью нашей экспертизы. Со стороны Huawei в состав жюри конкурса вошли заслуженные и известные специалисты, что позволило вывести соревнование на еще более высокий профессиональный уровень», - отметил Хоу Жуй.