Сбер представил ИИ-модель Pollux для оценки свойства ответов нейросетей
Исследователи управления экспериментальных систем машинного обучения Сбербанка разработали открытую малогабаритную ИИ-модель Pollux для оценки свойства ответов нейросетей по данным юзером аспектам. Новенькая модель поможет спецам резвее отыскивать ошибки в ответах ИИ, а юзерам – получать наиболее четкие и неопасные ответы от нейросетей.
Сергей Марков, директор по развитию технологий искусственного ума Сбербанка:
Для оценки ответов ИИ нередко употребляют огромные языковые модели, но при массовой проверке это недешево. Не считая того, аспекты оценки зависят от задачки. К примеру, связность рассказа оценивают по развитию сюжета, а связность научной статьи – по логике аргументации. В Pollux мы разработали подробные аспекты оценки и собрали большенный набор данных с экспертной разметкой. И аспекты, и разметка открыты для исследователей. На этих данных мы научили малогабаритную модель, которую можно запускать локально и употреблять для оценки диалогов, RAG-систем и ИИ-агентов. В наших опытах ее оценки лучше согласовывались с экспертными, чем оценки моделей с числом характеристик в сотки раз больше.
Открытая модель-судья содержит 4 миллиардов характеристик и способна оценивать ответы нейросетей на российском и британском языках по аспектам и шкалам, которые описывает юзер. Не считая того, она может рассматривать многоходовые диалоги, результаты работы систем с внедрением наружных источников инфы (RAG), также последовательности вызовов инструментов ИИ-агентами.
Ожидается, что разработка дозволит убыстрить выявление ошибок в ответах нейросетей, также повысить свойство и сохранность систем искусственного ума.
Код и демо Pollux доступны на GitHub.
Напомним, ранее Сбер запустил бесплатную платформу для сотворения ИИ-агентов без программирования – GigaPlatform AI Studio. И запустил экспериментальные ИИ-сервисы для образования – Zoobr и Narra.