Зачем металлургу машинное зрение?

Металлургия — сложная в технологическом плане промышленность, происходящие на производстве процессы состоят из множества этапов. В статье мы говорим про один из них — обработку железорудного концентрата, то есть обогащенной руды без лишних примесей.

Концентрат поступает в цех, где его обжигают в специальной печи. Процесс происходит практически непрерывно, в режиме 24/7, — за исключением двух плановых двадцатиминутных перерывов в течение суток.

В печь концентрат поступает в виде окатышей (смесь глины и концентрата в форме гранул диаметром около 10 мм), подаются они на специальных непрерывно движущихся друг за другом 282 тележках, поток которых образует закольцованный конвейер.

Каждая тележка представляет собой многотонную платформу. Поверхность тележки не монолитна, она состоит из множества колосников — тонких металлических пластин, уложенных параллельно друг другу с промежутками в несколько миллиметров. По сути, поверхность тележки — металлическая решетка, которая обеспечивает доступ газовоздушного потока для термообработки сырых окатышей.

Эта решетка должна иметь строгую геометрию, зазор между колосниками (около 4 мм) должен оставаться постоянным все время работы тележки. В каждой тележке — около 400 колосников, и в ходе обжига они могут просесть, сдвинуться в сторону, прогореть и т. д. Это потенциальный источник технологических проблем, поэтому крайне важно следить за состоянием тележек в режиме реального времени.

Подвергаются сильному внешнему воздействию и другие элементы тележки. И если какой-то из них, например, болт, который крепит корпус тележки к ходовой части, выйдет из строя, тележка может накрениться и сойти с рельсов, а весь процесс встать. Издержки такого простоя могут исчисляться сотнями тысяч рублей.

Раньше проблема решалась «в ручном режиме». Во время плановых остановок или просто по ходу движения тележек мастер осматривал полотно колосников и крепления тележек на предмет дефектов. Это было не слишком эффективно. Человеческий глаз, даже самый наметанный, не в состоянии справиться с нагрузкой, поэтому было решено внедрить в процесс осмотра тележек решения на основе машинного зрения.

Для этого перед входом непосредственно в обжиговую машину было установлено четыре камеры: две направлены на колосники, а две — на ходовую часть тележки, где расположены скрепляющие болты. На правую и левую стороны соответственно.

Как нейросеть помогает обжигу?

Стандартные подходы к решению задачи выявления дефектов, такие, как выделение интересующих элементов с помощью контрастности и других привычных вариантов, работали не всегда, так как камеры могли смещаться из-за вибраций, их обслуживания и технологических операций.

Модель необходимо было обучить распознавать колосники вне зависимости от внешних помех и параметров картинки. Сейчас она способна самостоятельно разметить поверхность тележки прямоугольными областями и рассчитать размер зазоров. Для калибровки в процессе обучения на тележках прокатывали лист с принтом шахматных клеток, что позволило системе понимать размеры изображения.

Картинка поступает одновременно с двух камер — они расположены слева и справа от тележки, поскольку по краям колосники из-за специфики процесса обжига особенно подвержены повреждениям. Две камеры необходимы потому, что из-за особенностей оптики и технологического процесса нормально определить зазоры можно только по краям — расположенные по центру зрительно искажаются.

В результате, оператор в интерфейсе цифрового советчика видит аналитику по всему потоку тележек — проблемные участки выделены цветами (желтым, если колосники пока в норме, но вот-вот придут в негодность, и красным, если замена необходима уже во время следующей остановки). Для определения номера тележки также существует нейронная сеть. В итоге специалист может заранее понять расписание подхода тележек к месту осмотра — и при необходимости назначить замену тележки на конкретное время.

Обучение без примеров

Камеры, направленные на ходовую часть тележки (пластину, запятник, уплотнитель и болты) также при помощи нейросетей определяют целостность конструкции.

Здесь тоже возникли сложности с обучением: для машинного зрения необходим массив данных (включающий и норму, и отклонения от нее). При этом в реальной жизни таких отклонений допускать нельзя — это чревато остановкой процессов, а значит, искусственный интеллект пришлось обучать без наличия конкретных примеров.

Обычно нейросети обучают на сотнях и даже тысячах фотографий. В ситуации с тележками использовалось всего несколько примеров поломок.

Как правило, этого слишком мало, чтобы машинное зрение смогло научиться обнаруживать проблемы самостоятельно. Тогда для решения задачи были задействованы библиотеки детекции аномалий: если поступившее с камеры изображение сильно отличается от заранее выбранных «нормальных изображений», система уведомляет оператора. Чтобы собрать базу, специалисты использовали предобученную нейронную сеть, которая умеет из любого крупного датасета с фотографиями выбрать «хорошие». Сеть помогла сгенерировать банк данных из изображений с нормальным расположением элементов тележки.

Поначалу нейросеть воспринимала как неисправности даже пятна или протекшее масло — поскольку визуально элементы тележки выглядели отлично от нормы. Но затем специалисты смогли выставить оптимальный порог реагирования, и нейросеть стала сигнализировать только о действительно имеющихся проблемах.

Аналитика, которую предоставляет система, позволяет не просто следить за состоянием колосников и болтов, но и делать более масштабные выводы. Например, оценивать, тележки от какого поставщика наиболее выносливы. Или подсказывать, какие тележки в ближайшее время придется заменить — даже если у них пока нет существенных повреждений. Так, колосники имеют тенденцию смещаться, и система позволяет оценить, когда зазоры между ними выйдут за рамки нормативов.

За счет исключения внеплановых простоев, оптимизации поставок тележек и своевременного устранения неполадок в НЛМК смогли сэкономить ₽35 млн в год — и это при условии, что проект пока находится в стадии пилота и ждет дальнейшей интеграции в различные бизнес-процессы.