Исследователи Тихоокеанской северо-западной национальной лаборатории США проверили, что ИИ предлагает для случайно выбранных математических гипотез. В препринте от 29 октября модели выдали 70 предполагаемых опровержений и 55 доказательств на 200 задач. Проверку новым запуском той же модели прошли 84% этих ответов; экспертной проверки правильности не было.

Авторы случайно выбрали 200 статей из корпуса OpenConjecture и по одной гипотезе из каждой. Сначала отвечала GPT-5.6 Sol, затем нерешённые задачи передавали GPT-5.6 Sol Pro и GPT-6 Astra Pro вместе с прежними попытками. Так исследование дополняет рассказы об отдельных успехах.

Разбор показал неоднородный результат. Среди прошедших машинную проверку контрпримеров первых двух попыток около 60% сама модель отнесла к готовым стандартным примерам, остальные — к стандартным конструкциям. Некоторые ответы могли использовать пропущенные условия, опровергая буквальную формулировку вместо задуманного утверждения. При третьей попытке пять из шести контрпримеров получили оценку «нетривиальная модификация». Среди доказательств встречались и уже известные результаты, и потенциально оригинальные аргументы.

Главное ограничение проходит через весь эксперимент: решатель и проверяющая модель могут повторять одну ошибку. Поэтому 125 предложенных ответов не означают 125 новых математических результатов. Работа показывает, почему при оценке ИИ важно отдельно проверять правильность, соответствие замыслу задачи и новизну — одного счётчика «решено» недостаточно.