Поделиться
«Яндекс» выложил в опенсорс свою новую ИИ-модель, обученную с нуля
«Яндекс» выложил в опенсорс Alice AI Foundation LLM — претрейн-версию своей новой большой языковой модели, обученной полностью с нуля. Модель показывает высокие результаты в программировании и способности к рассуждениям, а по качеству ответов на русском языке превосходит многие мировые аналоги — особенно в задачах на знание фактов, интересных русскоязычной аудитории. Она обгоняет в том числе более крупные опенсорс-модели, не требуя при этом больших вычислительных мощностей для инференса. Об этом CNews сообщили представители «Яндекса».
Разработчики могут использовать ее как в исследовательских, так и в коммерческих проектах благодаря свободной лицензии Apache 2.0.
Новая модель — это экспериментальная версия, на которой «Яндекс» тестирует архитектурные решения для своей будущей единой рассуждающей модели (ЕРМ). Рассуждающая модель ляжет в основу агентных возможностей Алисы AI, благодаря которым пользователи смогут поручать ей выполнение конкретных действий.
Качество модели
Alice AI Foundation LLM работает на архитектуре MoE (Mixture of Experts) и включает 80 миллиардов параметров, из которых в моменте активны только 3 млрд — это обеспечивает исключительную скорость и экономичность ее работы.
В модель заложены способности к рассуждению и работе в агентных сценариях. За счет этого она показывает высокую эффективность в сложных логических заданиях и в программировании. Например, на олимпиадных задачах по математике она делит лидерство с Qwen3.5-35B-A3B-Base, решая подавляющее большинство заданий. А в тестах на написание кода превосходит модель компании NVIDIA Nemotron-3-Super-120B-Base — несмотря на то, что использует в четыре раза меньше активных параметров. Качество в ризонинге и программировании — необходимый навык для эффективной работы агентов, способных выполнять действия по поручению пользователя.
При компактном размере и меньшей требовательности к вычислительным мощностям новая модель обходит на задачах, где нужны широкие фактические знания, и более крупные открытые модели — например, DeepSeek-V4-Flash-Base с 284 млрд параметров и 13 млрд активных. Бенчмарки для оценки знания фактов показывают, что новая модель отвечает на уровне предыдущей закрытой модели «Яндекса» Alice AI LLM, у которой в три раза больше параметров и в семь раз больше активных.
Новые бенчмарки
Для оценки знаний модели, актуальных для русскоязычных пользователей, «Яндекс» разработал два собственных бенчмарка — WikiWebFacts и HardMultiQA. Первый состоит из пар «короткий вопрос — короткий ответ» и проверяет знание дат, определений, событий и персоналий на основе материалов онлайн-энциклопедий и частотных агрегированных поисковых запросов. Второй, HardMultiQA, построен на основе анонимизированного потока запросов к Алисе AI и охватывает более редкие области знаний: от медицины и права до ИT и искусства. В этих задачах недостаточно вспомнить один факт: модель должна выбрать несколько верных вариантов из списка, перечислить сразу несколько фактов, подходящих под условие вопроса, или найти фактическую ошибку в тексте.
Новые бенчмарки создавались для оценки русскоязычных знаний модели, так как англоязычные бенчмарки не позволяют оценить их объективно. Оба бенчмарка компания выложила в открытый доступ вместе с моделью, чтобы разработчики и исследователи могли сами воспроизвести результаты и сравнивать между собой любые модели. Вместе с наборами задач компания публикует эталонные ответы и полный протокол оценки.
Инженерные решения
При обучении модели разработчики «Яндекса» улучшили работу оптимизатора — программы, управляющей процессом обучения. Они перестроили его так, чтобы пересылка данных между видеокартами шла параллельно с вычислениями. Это позволило ускорить шаги оптимизации примерно в два раза.
«Яндекс» также оптимизировал подготовку качественных обучающих данных — для их отбора требовалось оценивать документы с помощью ресурсоемкой модели. Ее запуск на всем корпусе потребовал бы более 200 тысяч часов работы видеокарт. Теперь перед такой оценкой документы проходят через каскад классификаторов. На каждом этапе более сложная и вычислительно затратная модель работает с меньшим количеством документов. Это позволило в десятки раз сократить количество вычислений и при этом сохранить около 95% полезных документов. Кроме того, инженеры значительно обогатили базу знаний модели в области права, медицины и математики.
Новая модель предоставляется под лицензией Apache 2.0, что позволяет свободно использовать ее в коммерческих и исследовательских целях. Она уже прошла основной этап обучения, от которого зависят ее эрудированность, способности и потенциал. Это позволяет использовать ее как основу для создания собственных проектов.
Модель, технические отчеты и бенчмарки уже доступны на платформе Hugging Face.
Короткая ссылка
