Yandex и ШАД выложили бенчмарк для проверки рассуждений нейросетей
Инженеры Yandex’а и студенты Школы анализа данных представили MTGBench – открытый набор тестов, который оценивает, как нейросети управляются со сложными многоэтапными задачками. Он поможет разрабам и компаниям выбирать модели под определенные сценарии. Статью о бенчмарке приняли на научную конференцию EMNLP 2026.
В базу MTGBench легли семь текстовых игр, включая «Поле чудес», «Данетки», «Элиас» и Wordle. Любая состоит из 10-ов шагов и просит учесть прошлые деяния и новейшую информацию. Таковой формат приближен к диалогу с юзером, который равномерно дополняет запрос – к примеру, добавляет даты и бюджет при планировании поездки, из-за что нейросеть обязана учесть в рассуждениях как новейшую информацию, так и прошлые шаги. Это можно проверить в играх, где любой последующий шаг зависит от предшествующего.
Бенчмарк оценивает не только лишь итоговый ответ, да и количество шагов, потраченных на решение. Задания инспектируют способность модели логически рассуждать, применять подсказки, планировать деяния и не противоречить своим ответам. В 4 играх решения инспектируют методы, в других – ИИ-судья, работу которого добавочно оценили люди. Все задания доступны на российском и британском языках.
Исследователи протестировали 16 нейросетей – от малогабаритной версии Qwen до больших моделей Gemini и GPT. Результаты проявили, что полезность режима рассуждений зависит от задачки. Более приметный эффект он дает в играх, где необходимо работать с знаками и знаками, рассматривать подсказки и исключать неправильные варианты. В заданиях на извлечение познаний и осознание смысла улучшения оказались наименее выраженными.
При всем этом высочайший итог в одной игре не гарантировал фуррора в иной, а русские задания в целом оказались для нейросетей труднее английских.
Для сопоставления задания на российском языке предложили людям. Участники отлично совладали с буквенными играми, но наисильнейшие модели с включённым режимом рассуждений получили наиболее высочайшие средние баллы во всех 7 играх.
MTGBench размещен на GitHub и доступен для тестирования и сопоставления нейросетей.
Напомним, ранее сделалось понятно, что подход Yandex’а лег в базу опыта Anthropic по сохранности ИИ.