В новом тесте бытовых ИИ-помощников лучшая из 12 моделей завершила 41,7% задач. Исследователи Meta и Университета Дьюка представили InteractiveWorld в препринте от 25 октября: виртуальную среду, где помощник видит сцену глазами пользователя и советует, что делать дальше.

Обычный тест по записанному видео не меняется от ответа модели. Здесь совет приводит к действию и меняет следующий кадр. В основном эксперименте пользователя тоже изображала нейросеть — Gemini 3.1 Pro. Успех определяли по состоянию предметов: выполнены ли все условия задачи, а не насколько убедительно звучит ответ. Код и набор из 120 заданий доступны для исследований; лицензия запрещает коммерческое использование, а часть необходимых компонентов скачивается отдельно после регистрации.

Лучший общий результат показала Claude Fable 5.1. На заданиях, где нужно выбрать решение, она достигла 85%, но на последовательном сопровождении действий — 20%, на планировании — 25%. Остальные модели в среднем завершили не более трети задач. Разовый удачный совет и способность довести дело до конца оказались разными испытаниями.

Авторы также сравнили четырёх помощников с тремя людьми-исполнителями на 36 заданиях: общая картина сохранилась, хотя отдельные результаты менялись. Люди управляли персонажем в той же симуляции. Это предварительная проверка метода, а не испытание готовых умных очков в реальной жизни.