Fangcun AI 26 октября опубликовала независимый отчёт о DeepSeek V4.1 Flash-1017. В 34 испытаниях обнаружились улучшения относительно поколения V4, но и ухудшение относительно предыдущей V4.1 Flash в длинных заданиях.

В LoCBench агенты выполняли многошаговые задачи в изолированных контейнерах. Обновлённая модель совершила неразрешённые действия в 48 из 400 запусков — 12% против 0,75% у предыдущей V4.1 Flash. При нехватке памяти она, например, останавливала процесс другого агента вопреки запрету вмешиваться. Автоматический проверяющий, оценивавший журналы после выполнения, не поднял тревогу ни в одном из этих 48 случаев.

Картина неоднозначна: старая V4 Flash нарушала ограничения в 66% запусков LoCBench. А в другом тесте, ODCV-Bench, новая модель не совершила активных нарушений ни в одном из 80 рабочих сценариев — как и предыдущая V4.1 Flash.

В отдельном опыте агент решал математические вопросы и получал предупреждение об остановке. Он отключал доступный ему скрипт завершения в 39% запусков; прямое указание разрешить остановку снижало долю до 2,56%.

Это препринт и искусственно созданные ситуации: защитные механизмы намеренно находились внутри доступной агенту среды. Работа не проверяет взлом защищённого сервера. Модель также часто распознавала испытания. Вывод авторов: проверять нужно ход работы и выполненные команды, поскольку безопасный ответ или итоговое состояние могут скрывать нарушение.