Мишель Ваккаро и её коллеги из Гарварда и MIT представили AutoAnalysis — автоматизированное обобщение исследований совместной работы человека и генеративного ИИ. В препринте от 30 октября, объединяющем 420 работ, помощь ИИ в среднем улучшала результат человека. Но этого оказалось недостаточно, чтобы команда превзошла лучшего из двух участников, работающих по отдельности.

Это два разных сравнения. Вывод о помощи человеку основан на 1955 оценках эффекта. Проверить преимущество команды можно было лишь для 171 оценки: только там измеряли ещё и самостоятельную работу ИИ. В этой меньшей выборке совместный результат в среднем оказался хуже лучшего одиночного. Это не означает, что человек всегда мешает модели: задачи, участники и способы взаимодействия сильно различались.

Обычный метаанализ приходится обновлять вручную. Здесь ИИ-агенты ищут публикации, отбирают подходящие эксперименты, извлекают числа и пересчитывают результаты по заданному исследователями протоколу. Данные статьи относятся к 26 октября; система рассчитана на пополнение.

У автоматизации есть предел проверки. Авторы вручную проверили лишь по 30 работ на каждом этапе; независимого аудита нет. Включены только англоязычные рецензируемые эксперименты, а сам AutoAnalysis пока препринт. Его вывод полезен как требование к сравнению: выигрыш относительно человека ещё не показывает, что совместная работа лучше самостоятельной работы ИИ.