Команда Alibaba DAMO Academy и Китайского университета Гонконга представила RynnWorld-Latent — модель для создания обучающих видеодемонстраций роботам. В препринте от 27 октября авторы показали: добавление сгенерированных примеров повышало успешность четырёх физических задач. Одной синтетики оказалось недостаточно.

У разных роботов несовместимые команды управления, а обычные видео человеческих действий вообще не содержат таких команд. RynnWorld-Latent использует общее внутреннее представление движения между кадрами. Система позволяет заменить человека на робота в начальном изображении и сгенерировать продолжение с похожими движениями. Другой режим записывает виртуальные демонстрации под управлением оператора, без выполнения каждого движения настоящим роботом. Для конкретной платформы модель отдельно дообучают.

Авторы испытали полученные данные на двух роботах — Marvin-WUJI с ловкими многопалыми кистями и Astribot S1 с захватами. После предварительного обучения на синтетических видео и последующего обучения на реальных демонстрациях система управления π0.5 чаще справлялась с заданиями: подача тарелки со стейком улучшилась с 40% до 60%, уборка посуды — с 45,71% до 68,57%. На каждое задание и вариант системы приходилось 35 попыток.

Результат зависит от способа применения синтетики. Обучение π0.5 только на виртуальных демонстрациях оператора уступило обучению на реальных записях во всех четырёх задачах. В симуляторе LIBERO-Plus добавление большого синтетического набора повысило успех π0 с 53,6% до 79,4%, а более сильной π0.5 — лишь с 84,4% до 84,8%. Это собственные испытания авторов: вклад дополнительных данных не отделён от дополнительных вычислений, физическая согласованность созданных видео и команд не гарантирована.

Код опубликован, веса доступны на Hugging Face. Репозиторий содержит небольшие примеры данных; полный учебный корпус в него не включён. Собственный код имеет Apache 2.0, сторонние компоненты — отдельные лицензии. В отличие от ранее представленной RynnUnify, объединяющей планирование и управление, здесь главный результат — создание дополнительных уроков для других систем управления роботами.