Исследователи из Daffodil International University и Гавайского университета проверили, помогает ли автоматически составленная документация кодовым агентам решать задачи в репозиториях. В препринте они получили отрицательный результат: когда агент видел исходный код, ни краткое описание файла, ни найденный контекст прошлых задач не дали статистически значимого преимущества перед одним текстом задачи.

На полном внешнем наборе Gemini 3.8 Flash решила 33 из 58 задач без дополнительной документации, 29 — с кратким описанием и 30 — с извлечённым контекстом. Различия оказались статистически незначимыми. Такой же результат авторы получили в пяти режимах с двумя семействами моделей; задачи, давшие сопоставимые попытки, охватывали десять репозиториев. Более длинное описание иногда даже подталкивало агента переписывать файл вместо точечной правки и ухудшало результат.

При этом документация оказалась полезной, когда исходный файл от агента скрыли. Авторы сначала создали проверку, в которой модель восстанавливала код только по описанию, и настроили запрос для более полного, но компактного пересказа. В 11 задачах SWE-bench Verified такое описание подняло среднюю долю пройденных тестов с 0,08 до 0,71. То есть оно могло заменить недоступный код, но переставало помогать рядом с уже доступным исходником.

Работа ещё не прошла рецензирование и не доказывает бесполезность документации вообще. Авторы отдельно показывают, что она помогает, если содержит требования или намерения, которых нет в коде, либо заменяет слишком большой для контекста файл. Вывод уже: точный пересказ видимого исходника сам по себе не становится полезной памятью для кодового агента — иногда это просто ещё один текст, который надо не перепутать с задачей.