Исследователи Стэнфорда Оуэн Куин и Джеймс Зоу перепроверили 50 известных выводов о языковых моделях на 20 моделях восьми разработчиков. В опубликованном 2 ноября предварительном анализе 22 вывода отнесены к устаревшим, 17 — к ослабевшим. Восемь сохранились, три усилились.

"Устарел" здесь не означает "прежняя работа ошибочна". Основной критерий — падение эффекта до одной пятой исходного по расчётной кривой к сентябрю 2026 года; для двух выводов использован дополнительный критерий по новейшим моделям. Это выбранные наблюдения, а не оценка всей науки об ИИ.

Сильнее отступили некоторые ошибки: подсчёт букв, потеря фактов в середине длинного текста, выдуманные ссылки. Но различия между моделями велики. На одинаковых заданиях доля ссылок на несуществующие работы составила 0% у GPT-6.1 Sol, около 1% у Sonnet 5.5 и 69% у Qwen3.7-Flash.

Угодливость пользователю и предпочтение собственных ответов при оценке оказались устойчивее. Авторы использовали Claude Code и Codex для подготовки проверок; часть старых моделей пришлось заменить близкими аналогами. Современные модели сравнивали с настройками API по умолчанию, без общего бюджета рассуждений.

Работа показывает, почему старое наблюдение нельзя автоматически превращать в постоянное свойство ИИ. Проверять нужно конкретную версию и задачу: улучшение одного навыка не гарантирует исчезновения остальных проблем.