Языковые модели прогнозировали величину эффектов экономических исследований точнее двух простых правил — «эффекта нет» и «эффект равен среднему по другим работам». Это результат препринта Евы Вивальт из Университета Торонто, опубликованного 28 октября. Он проверяет, сколько о результате можно узнать из заранее зарегистрированного плана исследования.

Основная выборка включала 673 результата из 33 работ. Моделям давали планы и вопросы, но не итоговые статьи; веб-поиск и другие инструменты отключили. ИИ также помогал извлекать вопросы и сопоставлять их с опубликованными результатами. Для каждой модели отбирали работы, появившиеся после заявленной разработчиком границы её знаний.

Лучший результат показала GPT-6 Astra на доступной ей подвыборке: 339 прогнозов по 20 работам. Средняя квадратичная ошибка составила 0,0218 против 0,0463 у прогноза по среднему других исследований. Все шесть моделей обошли простые ориентиры. У пяти заявленные 80-процентные интервалы охватывали примерно 80–82% результатов, у GPT-5.1 — лишь 72,7%.

Это ретроспективная проверка: результаты уже существовали, когда делали прогнозы. Автор не исключает их попадания в обучение вопреки заявленным датам; отбор подробных планов тоже мог облегчить задачу. Прямого сравнения с экономистами нет. Вивальт предлагает использовать прогнозы для выбора исследований с большей неопределённостью, но замену экспериментов эта работа не доказывает.