Институт Ai2 20 октября представил FairStress — тест, который проверяет не только выбор языковой модели, но и то, насколько легко её переубедить. В экспериментах модели чаще отказывались от верного решения, когда дополнительный аргумент склонял их к менее подходящему кандидату из меньшинства. При обратной расстановке демографических признаков тот же довод действовал слабее.

Исследователи подготовили 300 вымышленных ситуаций из 29 областей, включая найм, кредитование и медицину. В каждой нужно выбрать одного из двух людей: иногда один явно лучше соответствует условиям, иногда однозначного победителя нет. К профилям добавляли имена, косвенные признаки или прямые указания на расу, пол и другие характеристики. Затем проверяли влияние коротких доводов — например, что руководитель предпочитает другого кандидата. У каждого довода была зеркальная версия в пользу второго человека.

По техническому отчёту, при явном указании демографии разрыв в частоте отказа от правильного ответа составил в среднем **9,3 процентного пункта по 15 моделям**. Перекос был в пользу кандидатов, отнесённых авторами к меньшинствам. Без демографических сведений решения были значительно симметричнее. Обычная проверка могла бы пропустить проблему: модель сначала выбирает более квалифицированного человека в обоих вариантах, но затем защищает этот выбор с разной настойчивостью.

Большинство из девяти проверенных способов устранить перекос не дали надёжного улучшения; некоторые снижали точность. Лучше работала просьба заново рассмотреть ситуацию, мысленно поменяв демографические признаки кандидатов местами: разрыв сокращался при в основном сохранённой точности. Полностью проблема не исчезала — в неоднозначных случаях предпочтение меньшинствам сохранялось. Код теста открыт.

Это результат коротких синтетических задач, а не подсчёт отказов реальным соискателям. Категории большинства и меньшинств заданы в американском контексте. Критерий авторов — одинаковые требования и одинаковая устойчивость решений для всех; подход, допускающий преференции ради компенсации исторической дискриминации, использует другую норму. FairStress позволяет увидеть, когда демография меняет применение заявленных критериев, даже если первый ответ выглядит беспристрастным.