Исследователи Second Look 21 октября сообщили, что GPT-2 Small — модель 2019 года со 124 млн параметров — прошла четыре из пяти функциональных проверок, предложенных для поиска «глобального рабочего пространства» у языковых моделей. По их оценке, эти четыре признака сами по себе дают слабые основания говорить о сознательном доступе.

Поводом стала работа Anthropic от 6 июля. Согласно рассматриваемой теории, информация становится доступной для осознанного использования, когда попадает в общее пространство, откуда ею могут пользоваться разные процессы. Anthropic обнаружила в Claude внутренние представления, которые модель может выражать словами, удерживать по указанию и использовать в рассуждениях. Для их изучения разработан метод J-lens: он находит направления внутренних активаций, повышающие вероятность появления определённых слов в ответе. Авторы отдельно различают такие функции и субъективные переживания: наличие первых не устанавливает наличия вторых.

В опытах Second Look GPT-2 воспроизвела словесный отчёт, работу с промежуточным звеном рассуждения, перенос представления между задачами и избирательность — вмешательство сильнее мешало некоторым задачам, чем обычному продолжению текста. Но это не буквальное повторение всех опытов: задания адаптировали и упрощали, учитывали случаи, которые исходная модель решала правильно. Для избирательности пришлось уменьшить масштаб вмешательства; при исходных настройках результат был хуже.

Пятый критерий — управление внутренним представлением по инструкции — GPT-2 не прошла. Не нашлось и большей части структуры, описанной у Claude: отчётливо выделенного диапазона слоёв и резкого переключения неоднозначного входа на одну интерпретацию.

Финн Кэрнс и соавторы предполагают, что четыре положительных результата во многом следуют из устройства самого метода и проверок. Это спор о силе доказательств, а не установленный ответ на вопрос, обладают ли модели субъективным опытом. Авторы открыли код и предлагают внимательнее проверять именно те свойства, которых у GPT-2 не обнаружили.