Исследователи Иллинойсского университета в Урбане-Шампейне и Калифорнийского университета в Сан-Диего представили CausalWAM — метод, который помогает роботу выделять детали сцены, важные для действия. В препринте от 30 октября средний успех на 17 заданиях RoboCasa365 вырос с 24% до 43% по сравнению с базовой моделью.

Для предсказания будущего кадра модели нужно учитывать всю сцену. Но при складывании кубиков цвет скатерти может быть несущественен. Авторы добавили к Cosmos 3 Nano отдельный модуль отбора информации для управления и обучали его сосредотачиваться на небольшом числе признаков, сохранив задачу предсказания сцены. Базовый вариант обучали на тех же данных по той же схеме.

В симуляции результат улучшился на 13 из 17 заданий, а на четырёх ухудшился. Проверяли по 100 попыток на задание. На настоящем манипуляторе Franka сравнили по 50 попыток сложить кубики: CausalWAM справилась более чем в половине случаев, базовый вариант — менее чем в половине.

Это измерения авторов, пока без независимого воспроизведения. Основная система всё ещё получает полную визуальную информацию; эксперимент не доказывает, что робот полностью научился игнорировать ненужный фон. Показано преимущество конкретного способа отбора признаков, а физическая проверка ограничена одной задачей.