09 Апреля 2025 13:29 09 Апр 2025 13:29 |

Поделиться

Как бизнесу понять, насколько хорошо работает ИИ: каскадное тестирование и дообучение нейросетевых моделей

Основные параметры оценки качества работы ИИ

Оценка качества генерируемого контента. Одна из главных сложностей — оценка качества созданного контента. Генеративные модели способны создавать контент, который внешне выглядит хорошо, но при этом может содержать ошибки или несоответствия. Например, текстовая модель умеет генерировать грамматически правильные предложения, но они будут бессмысленными или даже противоречивыми.

С изображениями проблема заключается в том, чтобы убедиться, что все элементы сцены реалистичны и не противоречат друг другу. Для решения этой проблемы используются различные метрики: например, BLEU (Bilingual Evaluation Understudy), ROUGE (Recall-Oriented Understudy for Gisting Evaluation) — для текстов, а FID (Frechet Inception Distance) — для изображений. Однако эти метрики не всегда отражают реальную оценку качества, так как основаны на статистических показателях и не учитывают субъективную оценку человека.

Многообразие возможных сценариев. Генеративные нейросети работают в условиях высокой неопределенности. Они могут генерировать множество различных вариантов контента в зависимости от начальных условий и параметров обучения. Это делает невозможным тестирование всех возможных сценариев.

Например, одна и та же модель может создать совершенно разные изображения или тексты в ответ на одинаковые запросы. Чтобы справиться с этим, используются методы выборочного тестирования, когда проверяются наиболее вероятные сценарии. Также применяются техники, позволяющие оценить устойчивость модели к различным входным данным, таким как шумовые искажения или изменения контекста.

Этика и безопасность. Еще одна важная проблема — этическая сторона вопроса. Генеративные модели могут использовать для создания контента даже фейковые новости, дипфейки или другие виды дезинформации. Тестирование должно включать проверку потенциально опасных или нежелательных результатов генерации.

Кроме того, необходимо учитывать вопросы безопасности данных. Если модель обучена в том числе и на конфиденциальной информации, она может случайно раскрыть эту информацию через генерируемый контент. Поэтому важно проводить тесты на утечку данных и обеспечивать защиту конфиденциальности пользователей.

Зависимость от данных. Качество работы генеративных нейросетей сильно зависит от качества и разнообразия данных, используемых для их обучения. Недостаток данных или их неравномерное распределение могут привести к тому, что модель будет плохо справляться с определенными задачами.

Например, если модель обучалась преимущественно на изображениях людей определенного возраста или расы, она может хуже работать с другими категориями. Тестирование должно учитывать этот аспект и проверять работу модели на разнообразных наборах данных. Обязательно тестировать данные, которые не участвовали в обучении ИИ. Это помогает выявить возможные предвзятости и улучшить общую производительность модели.

Что должен знать бизнес прежде, чем обучать нейросети

«Обучение нейросетей — один из самых трудоемких процессов в машинном обучении. Одна из основных трудностей — определение адекватного размера и состава обучающего датасета. Качество и разнообразие данных остаются ключевыми факторами успеха нейросети. Недостаточная вариативность данных может привести к переобучению или недостатку знаний нейросети, что, в свою очередь, принесет проблемы в реальной эксплуатации».

Наконец, обучение нейросетей часто сопровождается необходимостью регулярной проверки качества обучения. Это связано с риском избыточного обучения или недостаточности обучения, что требует постоянного мониторинга и коррекции модели.

Существующие недостатки обучения:

• Избыточное обучение: нейросеть, обученная классифицировать фотографии кошек и собак, может начать считать изображения овец кошками, потому что увидела большое количество фотографий кошек и меньшее количество овец. А это уже потеря универсальности, вероятность ошибок и нестабильность в поведении. Поэтому важно проводить регулярные проверки нейросети на новых данных, корректировать модель и использовать разнообразные и сложные данные для тренировки, чтобы избежать излишнего обучения и обеспечить стабильную и надежную работу нейросети в реальных условиях.
• Выбран не тот сегмент: нейросеть, обученная оценивать качество продуктов в одном сегменте рынка, может некорректно оценивать продукцию в другом сегменте, если не учитывать специфический характер данных.
• Обучать нейросети придется часто: процесс внесения изменений в уже обученную модель для улучшения ее производительности или адаптации к новым данным неизбежен. Дообучение может быть сложным процессом из-за риска разрушения ранее достигнутых успехов или потери общей структуры модели. Важно учитывать, что изменения в параметрах нейросети способны повлиять на ее работоспособность в целом, поэтому требуется тщательно следить за изменениями и своевременно реагировать на возникающие проблемы. Основная проблема дообучения заключается в определении момента, когда это необходимо. Дообучение может потребоваться после обнаружения проблем в производительности или при изменении требований к модели. Однако принимать решения о дообучении следует с осторожностью, поскольку неправильный выбор момента чреват потерей предыдущих достижений.
• Сложности формирования датасетов для обучения: формирование качественных датасетов — важная часть процесса обучения нейросетей. Основная проблема заключается в сборе достаточного количества данных, соответствующих требованиям к качеству и репрезентативности. Трудности могут возникнуть из-за недостатка данных, неоднородности их распределения, наличия шумовых данных (не относящихся к решению заданий, но способных исказить работу ИИ при поступлении новой незнакомой задачи) или смещенного баланса классов. Кроме того, формирование датасетов занимает много времени и требует значительных усилий. Сбор данных может включать ручное аннотирование, их очистку от шума и устранение дубликатов. Часто требуется специальная подготовка данных, чтобы сделать их пригодными для обучения нейросетей. Все эти факторы увеличивают временные и финансовые затраты на подготовку данных.
• Временные и денежные затраты на обучение и тестирование: дообучение и тестирование качества нейросетей — сложная задача для бизнеса, требующая значительных временных и финансовых вложений. Проблемы, связанные с дообучением, избыточным обучением, формированием датасетов и мониторингом качества, накладывают на бизнес значительные ограничения в вопросе применения нейросетей. Тем не менее, важность эффективного тестирования и дообучения нельзя недооценивать, так как это ключевой фактор успеха нейросетей в промышленной эксплуатации.

Давайте разберемся, как правильно рассчитать бюджет подготовки новых данных и дообучения нейросети, учитывая специфику рынка. Не существует однозначного ответа на вопрос о том, сколько параметров в средней нейросети. Это зависит от ее архитектуры и других характеристик. Поэтому для понимания цифр мы разберем базовый бюджет. Он даст общее понимание структуры и цифр.

Сколько стоит обучить нейросеть

Стоимость подготовки данных

• Оплата труда специалистов — предполагаем, что зарплата специалиста по подготовке данных составляет 250 000 рублей в месяц в среднем (gross).
• Количество специалистов — 5 человек.
• Длительность подготовки данных — 3 месяца.
• Расчет заработной платы за рабочий период: 250 000 руб. * 3 мес. * 5 чел. = 3,75 млн руб.
• Дополнительные расходы на социальные взносы для ИТ — 7,6% от зарплаты, если есть федеральные ИТ-льготы.
• Итоговая заработная плата с налогами и социальными взносами — 4,035 млн руб.

Расчет затрат на обучение

• Аренда оборудования — в среднем аренда GPU составляет 250 руб./час.
• Время на обучение — 180 дней = 1,080 млн на «железо».
• Оплата труда специалистов — 3 инженера по обучению
• Зарплата инженеров по обучению — 300 000 руб. в месяц (gross)
• Продолжительность работы инженеров — 180 дней = 5,8104 млн руб. (с налогами)
• Финальная стоимость обучения — 6 890 400 руб.

Итоговый расчет

• Подготовка данных — 4 035 000 руб.
• Аренда железа — 1 080 000 руб.
• Обучение — 5 810 400 руб.

Всего на один цикл обучения — 10 925 400 руб.

Можно смело округлять до 11 млн руб., из которых только 10% — это затраты на железо.

Как ускорить процесс тестирования и дообучения и снизить затраты

Для этого необходимо найти оптимальный способ проверки качества корпоративных нейросетей без использования сложного математического аппарата, чтобы даже человек из бизнеса мог легко оценить внедренный ИИ-продукт.

Благодаря каскадному тестированию и автоматическому дообучению на основе отчетов о тестировании существенно сокращается время и стоимость тестирования. Это достигается за счет уменьшения потребности в специалистах по Data Science и ускорения самого процесса тестирования. Экономия времени и средств составляет значительную долю бюджета, что делает метод экономически привлекательным.

Каскадный метод тестирования ИИ — в чем инновационность

Инновационная составляющая метода заключается в инструменте для бизнес-заказчика: ему больше не нужно нанимать армию дата-сайнтистов и использовать дорогостоящие методы оценки работы нейросетей.

Применение данного подхода позволяет начать процесс перехода от традиционного централизованного тестирования людьми и алгоритмами к децентрализованному каскадному тестированию с участием независимых нейросетей, выполняющих функции верификаторов и арбитров. Это кардинально меняет подход к тестированию и приемке работ, позволяя избежать узких мест, связанных с ограниченными людскими ресурсами и высокими требованиями к квалификации персонала.

Как это работает?

Кластер состоит из нескольких каскадов нейросетей, выполняющих разные роли:

• «Верификаторы» — задают вопросы тестируемой нейросети, анализируют ответы и проверяют их между собой.
• «Арбитр» — нейросеть, выбранная голосованием из числа верификаторов, которая выносит итоговое решение.

Ключевая особенность мультиагентного кластера — динамическая настройка. В зависимости от набора вопросов меняются каскады верификации, и, при необходимости, по решению нейросетей, может быть заменен и Арбитр.

Каскадное тестирование нейронных сетей — это процесс последовательного тестирования различных компонентов модели для выявления ошибок и оптимизации их работы. Мультиагентные кластеры могут существенно улучшить этот процесс благодаря способности распределять задачи между несколькими сетями-агентами, работающими параллельно.

Рассмотрим подробнее, как именно мультиагенты могут применяться в каскадном тестировании нейросетей.

Распределение задач

В каскадном тестировании может потребоваться выполнение множества тестов на разных слоях каскада — одновременно, чтобы проверить различные аспекты работы нейросети.

Мультиагентный кластер позволяет разделить нейросети-Верификаторы на каскады в зависимости от степени экспертности. Также внутри кластера осуществляется выбор и назначение нейросети-Арбитра. Тесты происходят на нескольких каскадах, и каждый из них состоит из набора нейросетей. Что важно, процессы тестирования будут выполняться независимо от других. Это значительно ускоряет процесс тестирования.

• Параллельная работа агентов: каждый агент может работать над своим набором тестов параллельно с другими агентами. Это позволяет эффективно использовать вычислительные ресурсы и сократить общее время тестирования.
• Масштабируемость: мультиагентный кластер легко масштабируется за счет добавления новых агентов при необходимости. Если количество тестов увеличивается, можно просто добавить больше агентов без значительных изменений в архитектуре системы.
• Обработка сложных датасетов: сложные сценарии тестирования обеспечиваются за счет взаимодействия нескольких каскадов нейросетей между собой. А также динамической сменой «Арбитра» в зависимости от точности выносимых решений о качестве тестируемой нейросети.

Что умеют мультиагентные кластеры

1. Моделирование реальных условий. Внедряемую нейросеть необходимо тестировать в условиях, приближенных к реальным. Нейросети-верификаторы могут симулировать реальные условия эксплуатации, создавая виртуальные среды, в которых тестируемая сеть должна функционировать. Например, они генерируют данные, аналогичные тем, которые сеть будет обрабатывать в реальной жизни, и наблюдать за реакцией сети на них. В ходе тестирования оценивается реакция сети на предложенные данные, выявляются ошибки и слабые места.
2. Создание отчетов. По результатам тестирования нейросети-верификаторы нашего мультиагентного кластера формируют отчеты, содержащие информацию о работе нейросети, ошибках, проблемах и возможных улучшениях. Отчеты, которые «утверждает» нейросеть «Арбитр», включают детальный анализ поведения сети в разных ситуациях.
3. Автоматическое дообучение. На основании отчетов о тестировании запускается процесс автоматического дообучения нейросети. Он может включать изменение весов и параметров сети, добавление новых данных в обучающий набор. После завершения этапа дообучения цикл тестирования и дообучения повторяется снова. Это позволяет постепенно улучшать качество работы нейросети, делая ее все более устойчивой к различным сценариям и условиям эксплуатации.
4. Генерация синтетических датасетов. Мультиагентный кластер может использоваться не только для тестирования, но и для автоматической генерации синтетических данных. «Верификаторы», имея разные архитектуры и наборы параметров, способны создавать сложные и редкие сценарии, которые нечасто встречаются в реальной среде. Благодаря этому возможно быстро формировать расширенные датасеты для дальнейшего дообучения основной модели, закрывать «слепые зоны» и повышать устойчивость нейросети к новым типам входных данных. «Арбитр» отсеивает некачественные синтетические примеры, поддерживая высокую точность и достоверность сформированных наборов данных.

Какой результат приносит использование

При использовании метода на модельных кейсах тестирования нейросетей получились следующие результаты: удалось снизить процент ошибочных ответов тестируемой нейросети с 12% до 4,8%, что говорит о возможности снижать издержки на поиск аномалий и дообучение нейросетей в пределах 60%

При экстраполяции результатов в экономическую плоскость, мы получаем размер фактической экономии как в миллионах рублей, так и в длительности процесса, поскольку среднее время работы кластера над нейросетью значительно сокращается.

Что нового в мире по направлению поиска галлюцинаций нейросетей?

Напомним, что недавно поставлен новый рекорд в борьбе с галлюцинациями ИИ. Модель o3-mini-high показала результат, достигнув рекордно низкого уровня галлюцинаций — всего 0.8%. Это значительный прорыв, ведь предыдущие модели, такие как DeepSeek-R1 (14.3%) и даже o1 (2.4%), заметно уступают ей по этому показателю.

Эксперты признают, что оценка галлюцинаций — задача не из простых. Часто используют подход «LLM-as-a-judge» (когда одна модель оценивает другую), но это может привести к предвзятости. Ряд западных многомиллионных стартапов, используют иной подход — модель HHEM-2.0. Она анализирует соответствие ответа исходным данным без привлечения других LLM, обеспечивая более объективную оценку.

Второй пример — модель HDM-1, которую создатели позиционируют как «очень надёжный детектор, который превосходит LLM и другие конкурирующие модели в тестах».

Однако к полноценному созданию и использованию мультиагентных кластеров никто из них не подходил. А симптом предвзятости в оценках тестирования на практике решается именно с помощью метода гибкой сменой Арбитров в верхних слоях каскадов нейросетей в зависимости от специфики тестовых запросов.

С другой стороны, «LLM-as-a-judge» позволяет получать только «вердикт», оценку качества, но не дает возможности производить дообучение тестируемой нейросети в автоматическом режиме.

Резюме

Сам метод каскадного тестирования и дообучения нейросетей с помощью мультиагентских кластеров позволяет получить новый опыт в ускорении процесса ввода ИИ-систем в промышленную эксплуатацию — и бизнесу, и разработчикам.

Валентин Каськов, Сергей Червяков

Поделиться

Подписаться на новости Короткая ссылка