Внешние оценщики из METR опубликовали 20 октября разбор августовского отчёта Anthropic о рисках ИИ. Они согласились: риск катастрофического вреда от рассмотренных моделей, выпущенных или применявшихся внутри компании до 15 июля, низок. Но объясняют это прежде всего ограниченными возможностями самих моделей. Надёжность защитных механизмов и обучения безопасному поведению, по их мнению, обоснована значительно слабее.

Одна из претензий — тесты не воспроизводят важные способы обхода реального контроля. Например, проверка, в которой наблюдающая система видит только действия агента, не показывает, сумеет ли агент оправдать опасное действие своими рассуждениями и убедить наблюдателя пропустить его. METR рекомендует испытывать всю систему контроля целиком, включая длительные попытки агента избежать обнаружения.

Часть закрытых примеров заставила оценщиков считать мониторинг слабее, чем можно было ожидать по публичным сведениям. Итоговую оценку риска это не изменило. Сам обзор METR называет ограниченным: он основан на отчёте, а не на полном доступе к работе компании. Anthropic могла запретить его публикацию или потребовать изъятий, но не воспользовалась этим правом; выводы METR при согласовании не менялись.

Это важно отличать от нового формата внешнего контроля, о котором dok.news писал в сентябре. 15 октября Anthropic сообщила, что шесть сотрудников METR уже получили рабочие места, оборудование и доступ к внутренним системам, сопоставимый с доступом её специалистов по рискам. В этом формате у компании нет права вето на публикацию, хотя остаётся право требовать удаления определённых конфиденциальных сведений. Нынешний обзор подготовлен по прежним условиям. Расширение доступа ещё предстоит превратить в более убедительную проверку безопасности.