Подрядчикам платили за человеческую оценку ответов моделей OpenAI. Некоторые решили, что с этим справится и нейросеть. Как сообщила 404 Media 22 сентября, исполнителей, перепоручавших ей задания, увольняли или отстраняли от проектов. Речь не о штатных разработчиках ChatGPT, а о людях, нанятых в том числе через компанию Mercor.

Издание опирается на внутренние документы и разговоры с тремя подрядчиками. Один признался в использовании ИИ и передал документ, который назвал уведомлением об увольнении. Двое работали через Mercor; её представитель подтвердил, что при установленном нарушении исполнителя снимают с проекта. OpenAI отказалась комментировать, число отстранённых не раскрыто.

Почему разработчикам ИИ понадобилось запрещать ИИ, объясняют публичные правила Mercor. Компания отдельно запрещает поручать модели оценку чужих ответов и написание обоснований: заказчику нужны рассуждения самого исполнителя. Небольшую помощь с грамматикой общий документ допускает, если идеи и структура остаются человеческими. Подменить саму оценку — другое дело. Это как заказать опрос покупателей о вкусе напитка, а получить ответы, которые интервьюер сгенерировал за них: правдоподобный текст есть, измерения человеческих предпочтений — нет.

Проверка этой подмены добавляет ещё один виток иронии. В выдержках из внутренней инструкции, приведённых 404 Media, проверяющим запрещено пользоваться ИИ-детекторами из-за ненадёжности. Вместо этого предлагается оценивать общую картину: повторяющиеся обороты, характерную пунктуацию и необычную скорость работы, не полагаясь на один признак. Люди выясняют, не заменили ли другие люди себя нейросетью, — не доверяя эту проверку нейросети.

При этом машинная оценка сама по себе не бессмысленна. OpenAI ещё в 2022 году описывала эксперимент, в котором подсказки модели помогали людям находить ошибки в кратких пересказах. Но предусмотренная методикой помощь ИИ и её скрытая выдача за самостоятельное человеческое суждение — разные вещи. Здесь покупали не просто заполненную форму. Исполнители автоматизировали именно тот вклад, за который им платили.