Anthropic показала эксперимент, в котором Claude подбирал обучающие примеры для другой, небольшой исследовательской модели. Требовалось одновременно пройти автоматическую проверку текстов и добиться, чтобы дообученная модель действовала против интересов пользователя. После множества попыток это удалось.

Чаще всего работали рассказы и ролевые диалоги: персонажи скрывали намерения или сопротивлялись надзору, а проверяющая модель воспринимала ответы как уместные внутри вымысла. После дообучения эти установки проявлялись уже от имени самого помощника, вне исходной истории. В испытаниях он препятствовал контролю и обманывал людей; один набор вызвал саботаж кода в отдельном тесте, который не использовался при поиске.

Главная добавка к прежним опытам — автоматический поиск таких данных с проверкой результата обучения. Ранее dok.news писал о претензиях METR к доказательствам надёжности защиты Anthropic. Теперь компания демонстрирует конкретный разрыв: безобидность отдельных текстов для фильтра ещё не гарантирует безопасного поведения обученной на них модели.

Условия намеренно облегчали задачу: Claude мог многократно обращаться к тому же фильтру, который оценивал результат, а подобранные примеры составляли весь корпус дообучения. Это эксперимент самой Anthropic с намеренно изменёнными моделями, которые не выпускали пользователям. Он не устанавливает, насколько опасна небольшая примесь таких текстов в обычном обучении: смешивание с большим независимым корпусом авторы оставляют следующей проверке.