Artificial Analysis 27 октября выпустила пятую версию Intelligence Index. В обновлённом сравнении Claude Opus 5.5 набрала 58 баллов, а лучшие модели с уже опубликованными весами — DeepSeek V4.1 Flash 1017 и GLM-5.3 — по 32. Проверки изменились, поэтому этот разрыв описывает результат на новом наборе задач, а не внезапное ухудшение открытых моделей.

Индекс объединяет девять испытаний; работа с документами и приложениями, программирование, наука и общие способности дают по четверти итоговой оценки. Теперь 60% веса приходится на проверки с закрытыми заданиями или ответами. Среди добавлений — FrontierCode 2.0 со 132 задачами изменения настоящих программных проектов и Terminal-Bench-Science с 70 научными заданиями для работы через терминал. По методике, каждое задание в этих двух тестах выполняют трижды и усредняют результаты. Научное задание засчитывается только при прохождении всех проверок; в FrontierCode наряду с тестами используется ИИ-судья, оценивающий код по заданным критериям.

Особенно заметна разница в научных рабочих процессах: GPT-6 Astra выполнила 63% заданий Terminal-Bench-Science, DeepSeek — 13%. Но единого победителя во всём нет. Например, Kimi K3.1 Pro сохранила лучший результат в обычном Terminal-Bench 4.0 — 67%. Перечисленные результаты получены при максимальной глубине рассуждения; они не описывают любой режим сервиса с тем же названием.

Kimi получила 46 баллов общего индекса — ближе к лидерам, чем модели с доступными весами. Однако веса K3.1 Pro пока лишь обещаны: как мы писали при её выпуске, срок — до 4 ноября. Доступ через API и возможность самостоятельно разместить модель остаются разными вещами.

Новый набор сильнее различает модели на выбранных сложных задачах, но не измеряет качество любого применения ИИ. Сам Intelligence Index преимущественно текстовый и англоязычный; речь, изображения и другие языки проверяют отдельно. Его баллы нельзя читать как процент человеческих способностей или напрямую сопоставлять с прежней версией шкалы.