Yandex открыл начальный код новейшей ИИ-модели, обученной с нуля
Yandex опубликовал в открытом доступе Alice AI Foundation LLM – претрейн-версию новейшей большенный языковой модели, стопроцентно обученной с нуля. Модель доступна под вольной лицензией Apache 2.0 и может употребляться для сотворения исследовательских и коммерческих решений.
Alice AI Foundation LLM показывает высочайшие результаты в задачках программирования и рассуждений, также в вопросцах, требующих широких фактических познаний, важных для русской аудитории. По ряду тестов модель опережает наиболее большие открытые решения, при всем этом просит меньше вычислительных ресурсов на шаге инференса.
Новенькая модель – экспериментальная платформа, на которой Yandex тестирует строительные решения для будущей единой рассуждающей модели.
В предстоящем она обязана лечь в базу агентных способностей Алисы AI: юзеры сумеют поручать ассистенту выполнение определенных действий и многошаговых задач.
Alice AI Foundation LLM построена на архитектуре Mixture of Experts, либо MoE. Общее число характеристик модели составляет 80 миллиардов, но во время работы активизируются лишь 3 миллиардов. Таковой подход дозволяет соединять масштаб модели с высочайшей скоростью обработки запросов и умеренными требованиями к вычислительным ресурсам.
В модель заложены возможности к рассуждению и работе в агентных сценариях. Это помогает ей решать сложные логические задачки и писать код. К примеру, в олимпиадных математических заданиях модель разделяет лидерство с Qwen3.5-35B-A3B-Base, решая большая часть задач. В тестах на генерацию кода она превосходит NVIDIA Nemotron-3-Super-120B-Base, используя вчетверо меньше активных характеристик.
Способности рассуждения и программирования важны для развития ИИ-агентов, способных без помощи других делать деяния по поручению юзера: рассматривать информацию, работать с сервисами, планировать последовательность шагов и надзирать итог.
На задачках, где требуются широкие фактические познания, Alice AI Foundation LLM опережает и наиболее большие открытые модели. А именно, идет речь о DeepSeek-V4-Flash-Base с 284 миллиардов характеристик и 13 миллиардов активных характеристик.
По результатам бенчмарков, проверяющих познание фактов, новенькая модель отвечает на уровне предшествующей закрытой модели Yandex’а Alice AI LLM. При всем этом у нее втрое меньше характеристик и в семь раз меньше активных характеристик.
Для оценки свойства модели в задачках, животрепещущих для русской аудитории, Yandex разработал два собственных бенчмарка – WikiWebFacts и HardMultiQA.
- WikiWebFacts построен на парах «маленький вопросец – маленький ответ». Он инспектирует познание дат, определений, событий и персоналий на базе материалов онлайн-энциклопедий и частотных агрегированных запросов в поисковике.
- HardMultiQA сотворен на базе анонимизированного потока запросов к Алисе AI. Он обхватывает наиболее редчайшие области познаний – включая медицину, право, IT и искусство. Задания требуют не только лишь вспомянуть отдельный факт, да и избрать несколько верных вариантов, перечислить пригодные факты либо найти ошибку в тексте.
Англоязычные наборы задач не постоянно разрешают беспристрастно оценивать познания, нужные русским юзерам. Потому Yandex также опубликовал оба бенчмарка, эталонные ответы и полный протокол оценки. Создатели и исследователи сумеют воспроизводить результаты и ассоциировать различные модели на единых данных.
При обучении Alice AI Foundation LLM инженеры Yandex’а доработали оптимизатор – компонент, который управляет действием обучения модели. Передача данных меж видеоплатами была организована наряду с вычислениями, что позволило приблизительно в два раза убыстрить шаги оптимизации.
Команда также улучшала подготовку обучающих данных. Для отбора высококачественных документов требовалась оценка ресурсоемкой моделью: ее пуск на полном корпусе занял бы наиболее 200 тыс. часов работы графических адаптеров. Заместо этого был сотворен каскад классификаторов: на любом шаге наиболее непростая и вычислительно накладная модель обрабатывает все наименьший размер документов.
Таковой подход дозволил уменьшить размер вычислений в 10-ки раз и сохранить около 95% нужных документов. Добавочно была расширена база познаний модели в областях права, медицины и арифметики.
Alice AI Foundation LLM уже прошла главный шаг обучения, который описывает ее базисные познания, возможности и потенциал. Модель можно употреблять как базу для собственных решений и дообучать под спец задачки.
Модель, технические отчеты и бенчмарки уже доступны на платформе Hugging Face, а техрепорт – на Хабре.
Напомним, ранее Yandex выложил в опенсорс языковую модель, которая лежит в базе стремительных ИИ-ответов в Поиске.