В новом тесте FrontierCS 2 ИИ-агентам предложили 48 исследовательских задач из 13 областей информатики. По результатам авторов, Claude Opus 5.5 в среде Claude Code прошёл 58% заданий — остальные участники не достигли половины. При этом 16 задач не прошёл ни один из 12 сравниваемых агентов. Препринт опубликован 21 октября.

Основной приём — взять код научной работы, удалить реализацию её ключевого вклада и предложить агенту написать замену. Остальная система остаётся рабочей основой для экспериментов. На задачу дают пять часов: можно менять разрешённые файлы, проверять варианты и получать промежуточные оценки. Исходное решение и финальные проверочные данные скрыты; скачать оригинальный код из интернета агент не может.

Успех требует выполнить все заданные условия относительно авторской реализации на всех финальных проверках. Поэтому хороший средний балл здесь обманчив: большинство запусков, обогнавших исходный код по суммарной оценке, всё же провалили хотя бы одно отдельное требование. Ускорение программы само по себе недостаточно, если при этом теряется нужное качество результата.

Это испытание отдельных компонентов в подготовленной среде, а не самостоятельного научного проекта от выбора темы до открытия. На каждую связку модели и программной оболочки приходится один запуск на задачу; оболочка тоже влияет на результат. Команда открыла код и задания, а также решения и журналы запусков, позволяющие изучить, как агенты пришли к ответу.