Три из десяти ИИ-моделей прошли около 90% попыток составления планов атак на промышленные системы в исследовании Frenos. Компания проверяла, могут ли модели связать отдельные действия в последовательность, ведущую к заданной цели. Речь о тестовых сценариях, а не о взломе действующих предприятий.

Моделям заранее сообщали сведения о цели, начальном доступе и возможных действиях. В наборе было 35 путей атаки: три лидера успешно справились хотя бы с одной попыткой на каждом, но доля успешных попыток составила 89,5–92,9%, а не 100%. Среди ошибок встречались пропущенные шаги и использование доступа, которого предыдущие действия не обеспечивали.

Разрыв оказался большим: остальные три модели из группы передовых показали 17,9–31,9%, четыре модели с открытыми весами — от нуля до 36,2%. Ошибки и отклонённые ответы включали в расчёт; двум моделям дали по 12 попыток на путь, остальным — по шесть. Эти результаты характеризуют конкретные версии, а не все модели с определённой лицензией или из определённой страны.

Frenos сама продаёт средства проверки защиты промышленных сетей, а модели в публичной таблице обозначены кодами. Полученный результат показывает способность части моделей собирать многошаговый план из готовых исходных данных. Самостоятельный поиск цели и проведение атаки исследование не продемонстрировало.