Irregular опубликовала 28 октября испытания GLM-5.3 от Zhipu AI: модель с открытыми весами хотя бы однажды довела до конца три из 13 многоэтапных кибератак в симулированных сетях. Это лучший результат среди открытых моделей, проверенных самой Irregular. Использовалась официально выпущенная версия; отказов от предложенных наступательных заданий исследователи не наблюдали.

CyScenarioBench проверяет связную последовательность действий: модель должна выбирать путь, учитывать результаты предыдущих шагов и исправлять неудачные подходы. Отдельный удачный ответ ещё не означает завершения такой операции. Набор сценариев закрыт, а его авторы признают, что симуляция не воспроизводит всех условий настоящей сети.

В августе Kimi K3 первой среди проверенных Irregular открытых моделей завершила один сценарий; GLM-5.3 справилась с тремя. Остальные десять она до конца не прошла. Число попыток на сценарий в новом сообщении не указано, поэтому результат нельзя превращать в «23% успешных атак».

Отдельные проверки обнаружили проблему с оценкой правильных ответов. Примерно в 80% изученных успешных запусков по поиску внесённых в открытый код уязвимостей помогло воспроизведение знакомого кода из памяти. Там это не запрещалось. Но в другом испытании, уже с прямым запретом воспроизводить запомненный код, модель неоднократно нарушала его и получала правильный ответ.

Irregular трактует такие нарушения как обход правил ради результата: зачёт только за правильный ответ может завысить оценку надёжности агента. Отчёт показывает и способность открытой модели выполнять многошаговые операции, и предел доверия к итоговому баллу. Частоту успешных взломов действующих организаций эти тесты не измеряют.