Исследователи KAIST и NVIDIA представили DreamX — метод, который переносит движение из видео человека в команды роботу без парных учебных записей одного и того же действия. В препринте от 3 ноября показаны письмо маркером, толчок вперёд с поворотом влево и движения двумя руками. Робот исполнял полученную последовательность без зрительной обратной связи.

Человеческая рука и манипулятор устроены по-разному, поэтому скопировать команды между ними нельзя; в обычном видео команд вообще нет. DreamX извлекает из видеомодели компактное внутреннее описание движения, которое можно использовать и для создания нового ролика, и для управления роботом. Для обучения всё равно использовали отдельные видео людей и записи роботов с командами — отсутствие парных примеров не означает обучение без робототехнических данных.

В отдельном опыте авторы обучили систему закрывать верхний ящик, нижний или оба по очереди. На двухруком роботе YAM провели по десять попыток в каждой конфигурации. DreamX завершила закрывание в 80%, 100% и 100% случаев соответственно; сравниваемая Mimic-Video — в 20%, 0% и 0%. Указанные в основной таблице 96,7% для DreamX усредняют две подзадачи — приблизиться к ящику и закрыть его, — а не считают только полностью выполненные задания.

Обе системы дообучали на человеческих и роботических демонстрациях, но исходные модели различались. Это небольшой авторский эксперимент на одном стенде, без независимого воспроизведения; показ переноса движений также не устанавливает надёжность на произвольной задаче. На странице проекта код пока обозначен как готовящийся к выпуску.

Ранее RynnWorld-Latent создавала синтетические уроки для других систем управления. Здесь проверяется другой шаг: одно представление движения связывает человеческую демонстрацию с командами роботу, а при обучении управлению заменяет дорогое предсказание будущего видео.