Vals AI и Talent Mobility Fund 28 октября опубликовали Immigration Bench: проверку 25 моделей на 262 вопросах об иммиграции в США. Она сравнивает ответы с веб-поиском и без него, проверяя, достаточно ли свежих источников для устранения пробелов в знаниях.

Без поиска лидер, Claude Fable 5.1, выполнил в среднем 75,4% требований экспертных критериев. Все требования одновременно были выполнены лишь в 26,3% вопросов. Это разные показатели: средний балл не означает долю полностью правильных консультаций.

Поиск улучшил результаты, но неодинаково: у семи моделей прибавка составила менее двух процентных пунктов. Особенно трудными оказались правила 2025–2026 годов. Даже лучшие модели с поиском выполнили только 43,1% относящихся к ним требований. Доступ к документам помог, но в этом испытании не обеспечил их полного учёта.

Критерии составляли специалисты; пользователя изображала GPT-6 Luna, ответы оценивала Claude Sonnet 5. В проверке судьи её решения совпали с согласованными оценками двух экспертов в 88,6% случаев. Диалоги ограничивались пятью обменами репликами, поиск — страницами, опубликованными не позднее 21 сентября. Это испытание моделей через API, а не наблюдение за реальными клиентами: оно выявляет неполноту ответов в заданных условиях, но не измеряет долю людей, которым ИИ причинил вред.