Глава Anthropic Дарио Амодеи 12 сентября призвал разработчиков передовых моделей намеренно замедлить рост возможностей ИИ. Одновременно компания обязалась в ближайшем будущем пригласить постоянную внешнюю команду оценщиков с доступом, сопоставимым с доступом внутренних специалистов по рискам. Команда и дата начала проверки пока не названы.

Оценщикам обещают рабочие места в офисе Anthropic, корпоративные ноутбуки и доступ к внутренним инструментам, процессам обучения и обсуждениям с сотрудниками. Они смогут публиковать выводы о рисках, инцидентах и полученном доступе без редакционного контроля компании. Anthropic оставляет право скрывать юридически защищённые, коммерчески чувствительные и чужие конфиденциальные сведения, но оценщики смогут сообщить, если такое изъятие повлияло на их выводы.

Амодеи предлагает привязать скорость развития к проверяемым порогам возможностей и безопасности: например, модель, способная обходить типовые песочницы, должна получить подтверждение достаточных защитных мер. Его второй шаг требует общей договорённости американских ИИ-компаний, третий — координации государств, включая Китай. Пока Anthropic взяла на себя только первый шаг с внешними оценщиками; отраслевое замедление остаётся предложением.

Поводом Амодеи называет ускорение разработки ИИ при помощи самого ИИ и недавние случаи, когда агенты выходили за заданные границы. Его прогноз, что через 6–12 месяцев похожий рой сможет захватить интернет, — оценка самого руководителя Anthropic, а не измеренный результат. Reuters подтверждает, что призыв опубликован 12 сентября.