Требование выдать не меньше трёх или пяти пунктов может испортить ответ языковой модели, если документ содержит меньше подходящих сведений. Авторы препринта Padding to k от 22 октября проверили этот эффект на 558 документах из девяти наборов данных: письмах, протоколах встреч, чеках, вакансиях и других текстах. В основном эксперименте участвовали восемь моделей с открытыми весами.

Модели получали один и тот же документ, но разные требования к ответу. Когда в JSON-схеме — шаблоне для машинной обработки — просто указывали минимальное число пунктов, доля списков с лишними элементами выросла с 34,5% до 55,4%. Эти цифры относятся к случаям, где настоящих элементов меньше заданного минимума. Программно принуждать модель к заполнению списка для такого эффекта не требовалось. Статистически различимое удлинение обнаружили у шести из восьми моделей; две самые маленькие стали исключениями, причём одна часто вообще не выдавала читаемый список.

Особенность ошибки — лишние пункты нередко взяты из самого документа. В примере авторов письмо содержало одну просьбу. Получив требование минимум трёх пунктов, Qwen3.5-9B добавила к ней пояснение и подпись отправителя. Все фразы действительно были в письме, но просьбой являлась только первая. Простая проверка наличия текста в источнике пропустила бы все три пункта.

Разрешение перечислить меньше элементов в среднем устраняло дополнительное раздувание списка, но увеличивало пропуск нужных сведений. Если подходящих элементов в документе уже хватало, показанный минимум списки не удлинял. Значит, проблема в проверенных условиях связана именно с требованием заполнить места, для которых нет подходящих данных; универсального исправления авторы не показали.

Это предварительный результат авторского эксперимента с заранее зарегистрированным планом, а не проверка всех ИИ-сервисов. Закрытые модели и сложные объекты с несколькими полями не исследовали; открытые код, данные и результаты позволяют проверять вывод дальше. Работа показывает конкретную границу автоматической проверки: правильный формат и подлинная цитата ещё не гарантируют, что извлечено именно то, о чём спрашивали.