Организации METR всё труднее находить специалистов, которые превосходят модели в её задачах программирования и оптимизации. В отчёте от 20 ноября исследователи представили 36 новых задач: прежний набор за год оказался слишком лёгким для сильнейших моделей. Теперь проверяют и работу, где качество нельзя измерить автоматическим тестом.

В 15 конкурсах оптимизации лучшие модели показали медианный результат на уровне 96–98-го процентиля участников — выше подавляющего большинства, но ниже лидеров. Агентам дали 48 часов, людям на конкурсы отводилось около трёх месяцев. Это сравнение результатов при разных условиях, а не одинакового рабочего времени.

Без ясной обратной связи картина хуже. Ни одно созданное агентами задание METR не сочла достаточно полезным для включения в отчёт. Модели-судьи завышали качество заданий, сделанных сопоставимыми или более сильными моделями. Авторы допускают, что настройка испытаний не раскрыла всех возможностей: агенты недоиспользовали доступные ресурсы.

Есть ограничение и у оценки длительности человеческой работы: лишь три из 34 задач с временными ориентирами опираются на успешные человеческие прогоны, остальные — на оценки исследователей. Общий индекс способностей публичных моделей не показал убедительного ускорения или замедления. Рост результатов продолжается, но эти испытания ещё не устанавливают, насколько ИИ ускоряет исследования и разработку моделей.