Команда BenchFlow и исследователи из нескольких университетов представили FrontierPhysics — проверку того, как ИИ ведёт физическое исследование от поиска литературы до подготовки рукописи. Препринт вышел 4 ноября. В набор вошли 56 заданий из девяти областей, подготовленных 42 физиками на основе собственной работы.

В FrontierCS 2, о котором мы писали раньше, агенту предлагали восстановить ключевой фрагмент научного кода. Здесь требуется самому выбрать методы, изучить литературу, провести расчёты или эксперименты в предоставленной среде и обосновать результат. Численные ответы проверяют программные тесты, рукопись — ИИ-рецензенты по критериям, составленным специалистами. Для зачёта нужно пройти и тесты, и все обязательные требования к научной состоятельности работы.

Авторы сравнили 22 модели в 26 конфигурациях: по три попытки на задание, до десяти часов на запуск. Наибольшая доля зачтённых попыток — у Claude Opus 5.5 в Claude Code: 46 из 168, или 27,4%. Хотя бы одна попытка удалась на 25 из 56 заданий. Это разные показатели; считать 27,4% долей решённых задач было бы ошибкой. Преимущество над тремя ближайшими конфигурациями GPT статистически не подтвердилось.

Ручной разбор запусков GPT-6 Astra выявил прежде всего недостаточную строгость рассуждений и нехватку исследовательской интуиции. Например, агент проверял вывод способом, уже опирающимся на его исходное предположение, или продолжал менять не тот параметр. Но проверка нашла и девять ошибочно отклонённых попыток из 168: часть заданий исправили, результаты пересчитали. Эту диагностику одной конфигурации нельзя автоматически переносить на остальные модели.

Результат пока предварительный: зачёт по критериям теста не равен принятию статьи научным журналом. Сравнивались модели вместе с разными программными оболочками. Содержательная добавка FrontierPhysics — проверка того, способен ли агент не только получить число, но и выдержать всю цепочку научного обоснования, включая поиск ошибок в собственной работе.