Яндекс и Школа анализа данных открыли MTGBench — набор из семи текстовых игр для проверки того, как языковая модель рассуждает на протяжении диалога. Компания рассказала о нём 27 октября; первый выпуск репозитория датирован 24 октября. Доступны задания на русском и английском, записи партий и средства повторного анализа результатов.

Одиночный вопрос с готовыми условиями не показывает, умеет ли модель учитывать новые подсказки и собственные предыдущие ходы. Здесь это проверяют через Wordle, «Города», «Поле чудес» и другие игры: нужно постепенно сужать варианты, избегать повторений или отвечать без противоречий. Четыре игры проверяются алгоритмами, ещё три — ограниченным правилами ИИ-судьёй. Оценка учитывает не только решение, но и число ходов.

В исследовании, опубликованном в Findings of EMNLP 2026, авторы сравнили 16 моделей, используя по 100 партий на игру и язык для каждой испытываемой конфигурации. Рассуждение сильнее всего помогало в буквенных задачах; в заданиях на знания выигрыш был меньше и неодинаков. Были и ухудшения: у Gemini 3 Flash Preview средний балл в английских «Данетках» снизился с 0,427 до 0,389. Русскоязычные буквенные игры особенно затрудняли слабые модели, но общего правила «английский всегда лучше» результаты не дают.

Сильнейшие рассуждающие модели сравнялись с человеческой группой или превзошли её во всех семи играх. Это сравнение с небольшой группой носителей русского из одной организации — 476 игровых сессий, а не репрезентативный тест человечества. Авторы также признают ошибки ИИ-судьи и предупреждают: успех в замкнутой игре не устанавливает надёжность агента в реальных многошаговых задачах.

Код выпущен под MIT, собственные данные и разметка — под CC BY 4.0; у сторонних словарей и материалов сохраняются их отдельные условия. Разработчик может подключить другую модель и провести те же испытания, а опубликованные таблицы — пересчитать по готовым записям без новых платных запросов к ИИ.