В расширенном эксперименте языковые модели получили от 58% до 99% максимального балла за поиск крупных методических ошибок, специально внесённых в отчёты о клинических испытаниях. В версии препринта от 28 октября команда Руслана Раста увеличила современную выборку с трёх до 58 работ. Это проверка способности замечать дефекты исследования; долю безошибочных рецензий эти проценты не показывают.

Авторы использовали опубликованные в 2026 году испытания и исходные тексты без добавленных ошибок для контроля. Всего в работе участвовали 15 моделей, но дополнительные 55 статей проверяли 12 из них. Лучший балл на современной выборке получила Opus 5.5 — 99%; GPT-6.1 Sol набрала 94%, GPT-6 Luna — 86%. У моделей с открытыми весами результаты составили 66–89%.

Открытые протоколы авторов поясняют, что именно измеряли. Модели писали рецензию по тексту рукописи без внешнего поиска. Затем два других ИИ — Fable 5 и Opus 5 — сопоставляли замечания с ключом ответов. За ясно названную и объяснённую ошибку давали один балл, за неполное замечание — половину; оценки усредняли. Проверено 1796 рецензий. Согласие двух автоматических судей само по себе не подтверждает правильность их оценок относительно человеческого эталона.

Проверка исходных текстов добавляет существенную оговорку: модели отмечали в них 14–29% проверяемых типов ошибок, хотя исследователи ничего туда не вставляли. Это нельзя целиком объявить ложными тревогами — в опубликованной статье тоже могут быть реальные недостатки. Но высокий балл на намеренно испорченном тексте ещё не устанавливает точность всех замечаний к обычной рукописи.

Сравнение с людьми здесь историческое. Ориентир в 27% взят из контрольной группы прежнего эксперимента с рецензентами BMJ, разобранного в работе 2008 года: речь о профессиональных рецензентах без дополнительного обучения в рамках того опыта. Современного состязания людей и моделей на всех 58 статьях не проводили. Новый препринт ещё не прошёл рецензирование, а четверо его авторов связаны с ResearchHub Foundation, внедряющей ИИ-проверку. Результат расширяет основания для такой проверки как дополнительного инструмента; надёжность самостоятельного решения о публикации он не устанавливает.