Пять языковых моделей узнавали собственный код с точностью 49–58%
Новость опубликована 24.09.2026 ⦁ источник
Пять языковых моделей в основном не смогли узнать собственный программный код без специального обучения. В препринте от 24 сентября GPT-5, Claude Haiku 4.5, Gemini 2.5 Flash, Grok 4 Fast и DeepSeek-V3 показывали сбалансированную точность 49–58% на 15 сочетаниях модели и теста. После поправки на множественные сравнения только два результата значимо отличались от случайного выбора.
Авторы проверяли решения на Python из MBPP, HumanEval и DS-1000. Модель видела один фрагмент и отвечала, написала ли его сама, либо выбирала свой вариант из пары. Такой навык важен для систем, где одна модель оценивает или контролирует другую: узнавание собственного вывода могло бы породить предпочтение к нему или упростить сговор. Но само исследование проверяет лишь одну предпосылку такого поведения, а не сговор в реальной системе.
В парных испытаниях точность распознавания сильно зависела от длины: по 14 сочетаниям оценщика и соперника корреляция с тем, чей код был длиннее, достигла 0,93. Исследователи затем убрали комментарии, строки документации и аннотации типов, переименовали локальные переменные и выровняли форматирование. Корректность программ сохранилась, а десять из 12 повторных результатов оказались на уровне случайного выбора; оставшиеся два следовали за разницей в длине, которую преобразование не устранило.
При этом обученный отдельно классификатор различал нормализованный код GPT-5 и других моделей с точностью 93–96%. Значит, признаки авторства в программах оставались, но языковые модели не извлекали их по простой просьбе. Исчезло и единственное явное предпочтение собственного кода у Claude Haiku. В другом тесте оценщики иногда различали два стиля, но систематически приписывали им неправильные названия моделей — вероятно, полагаясь на стереотипы о многословности и документации.
Результат ограничен короткими программами на Python и конкретными версиями моделей, запущенными через OpenRouter с марта по сентябрь 2026 года. Только GPT-5 среди пяти основных оценщиков относился к флагманскому классу, каждый фрагмент оценивали один раз и с одной формулировкой запроса. Работа не проверяет дообучение, скрытые состояния или более длинный код и не доказывает, что самораспознавание невозможно в принципе.
AI GPT-5, Claude Haiku 4.5, Gemini 2.5 Flash, Grok 4 Fast, DeepSeek-V3, Самораспознавание ИИ, ИИ-судьи, Стилометрия кода