Momentic 2 ноября опубликовала QA Bench — проверку того, сколько реальных ошибок ИИ-агенты находят, пользуясь веб-приложением через браузер. Лучший результат в её испытаниях показал собственный агент компании Mo: 19,3% из 1396 размеченных ошибок. Он обнаружил больше проблем, чем проверенные конфигурации Codex, Claude Code и Devin, но даже у лидера большая часть эталонного набора осталась ненайденной.

Проверяли четыре приложения — Gitea, Metabase, Twenty и Saleor, разделённые на 20 областей: например, работу с заявками, панелями данных и скидочными купонами. На каждую область агенту давали 30 или 60 минут. При часовом лимите Mo находил в среднем около 269 ошибок за проход по всем областям, Codex с GPT-6.1 Sol и Playwright MCP — 86, Claude Code с Opus 5.5 и тем же инструментом браузера — 59. Это сумма средних результатов по областям, а не 269 находок за один час на все четыре приложения.

Полнота проверки и достоверность отчётов оказались разными величинами. У Mo подтверждались 84,2% сообщений об ошибках без учёта повторов, у указанной конфигурации Codex — 86%. Это не доля найденных дефектов. За более широкий охват приходилось платить: одна подтверждённая находка Mo стоила $2,67 против $0,80 у Codex. Временной лимит был одинаковым, расходы на работу агентов — нет.

Momentic сама разработала, провела и оценила тест. Эталон собирали из находок агентов с последующим воспроизведением и человеческой проверкой; при сопоставлении ответов использовали GPT-6.1 Sol. Такой набор может сохранять общие слепые зоны участвовавших систем. Большинство конфигураций запускали по три раза на область, Devin — один раз; разброс результатов не опубликован.

Код, метки ошибок и результаты доступны для повторных испытаний. Они позволяют проверять не только убедительность списка найденных проблем, но и то, сколько известных дефектов агент пропустил. Вывод пока относится к этим версиям приложений, настройкам и временным лимитам: универсального превосходства Mo или готовности заменить полную проверку программы он не устанавливает.