Поделиться
VisionLabs и «Яндекс.Такси» создали систему мониторинга усталости
Алгоритмы анализа лиц VisionLabs стали частью системы мониторинга усталости и внимания водителей, которую намерен запустить «Яндекс.Такси» после пилотного тестирования на нескольких тысячах автомобилей. Система способна оценить состояние водителя, после чего он в случае необходимости получает предупреждающий сигнал или ограничение доступа к заказам сервиса. Нейросеть «Яндекса» научилась распознавать усталость водителей, а технологии VisionLabs помогли делать это в движении.
Устройство мониторинга усталости и внимания – это небольшая инфракрасная камера Yandex Signal Q1 со специализированным ПО. Она закреплена на лобовом стекле и направлена в сторону водителя. Устройство разработали специалисты «Яндекс.Такси», оно отслеживает состояние человека за рулем по 68 ключевым точкам на его лице. При этом требуется распознавать лица как анфас и в профиль, так и в движении, при наклонах головы —для этого были использована технология SDK VisionLabs.
Алгоритмы SDK VisionLabs обрабатывают каждый кадр, находят на нем лицо водителя и выдает координаты расположения глаз, носа, рта и других ключевых точек. Полученные данные используются для создания нормализованного кадра размером 250х250, где лицо находится строго по центру. Этот кадр уже можно использовать для вычисления положения головы в градусах по трём осям: yaw, pitch и roll. Чтобы отследить статус глаз водителя, алгоритмы анализируют изображение глаз и для каждого глаза принимают решение: закрыт он или открыт.
Алгоритмы умеют при помощи технологии IR Liveness определять, находится ли перед камерой сам человек или его фотоизображение. Для анализа используется нормализованный кадр, а на выходе получается результат alive или notalive.
После анализа ключевых точек технологии «Яндекс.Такси» определяют степень усталости по характерным признакам: частоте и длительности моргания, а также зеванию и наклонам головы. Обработка и анализ данных происходит непосредственно на устройстве, поэтому оно может работать автономно без подключения к интернету.
Это позволяет использовать устройство в условиях нестабильной связи, например в междугородних автобусах или грузовиках. На основе полученной информации сервис принимают решение о том, может ли водитель оставаться за рулем или ему нужен перерыв для отдыха.
«Технологически сложно было научиться определять момент, когда степень концентрации внимания водителя близка к снижению настолько, что ему лучше прекратить управление автомобилем. Именно для этого нам потребовалось распознавать множество точек на лице и анализировать их с помощью нейросетей. Мы рады, что с помощью коллег из VisionLabs нам удалось справиться с этой задачей», - отметил глава департамента безопасности поездок «Яндекс.Такси» Роман Маресов.
«Мы рады представить совместную систему для мониторинга состояния водителей. Уникальность проекта «Яндекса» заключается в том, что весь процесс происходит внутри каждой камеры, а не на отдельных серверах. Пилотный проект показал отличные результаты», — сказал Александр Ханин, генеральный директор VisionLabs.
Камера Yandex Signal Q1 была впервые показана на конференции «Безопасная дорога. Стратегия безопасности дорожного движения до 2024 года» в Сколково 24 апреля 2019 года, а 30 мая Тигран Худавердян, управляющий директор «Яндекса», представил камеру на совещании по вопросам развития технологий в области искусственного интеллекта, которое проводил президент РФ Владимир Путин.
Короткая ссылка
