Исследователи института Ai2 представили StateBench — тест, который отделяет запоминание значений от отслеживания их изменений. В препринте от 2 ноября Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и Luna хорошо справлялись с простыми записями, но резко теряли точность на длинных цепочках зависимых операций.

В открытом генераторе заданий предусмотрены четыре уровня: значение записывают один раз; перезаписывают новым; изменяют относительно прежнего; переносят между переменными. Например, найти последнюю запись «в ячейке A — 7» проще, чем восстановить её содержимое после череды обменов с B и C. Связанные варианты позволяют менять тип зависимости, сохраняя другие условия задачи.

В испытании четырёх готовых моделей требовалось самостоятельно выдать конечное состояние, а не выбрать ответ из списка. На двух сложных уровнях результаты ухудшались при входах порядка 10–64 тысяч токенов — фрагментов текста, которыми оперирует модель. Это измерения авторов на синтетических последовательностях, а не оценка любой работы с документами или кодом.

Был и положительный результат. Отдельные рекуррентные модели Gated DeltaNet с 275 млн параметров, обученные непосредственно на этих заданиях, переносили освоенные операции на значительно более длинные последовательности для первых трёх уровней. На самом сложном уровне перенос оставался ограниченным. Обучение на примерах от простых к сложным почти не помогло большинству проверенных архитектур.

Ускорение обработки длинного контекста и правильное обновление сведений внутри него — разные задачи. StateBench даёт способ проверить вторую отдельно: большая вместимость истории сама по себе ещё не гарантирует верного результата после множества изменений.