PokeBot 30 октября открыла RoboAPI — доступ к модели Poke-Aurora, которая выбирает движения роботизированного манипулятора по изображению с камеры, состоянию робота и текстовому поручению. На время предварительного испытания сервис бесплатен, но коммерческое использование исключено. Разработчики могут проверить модель на своём совместимом оборудовании, не обучая её заново для каждого задания.

Перенос между роботами затрудняют разные суставы, камеры и способы управления. PokeBot привела входные данные и команды к общей схеме: широкоугольная камера у захвата и управление положением самого захвата. По данным команды, после такого обучения модель переносила навыки с UR7e на незнакомый ей YAM Standard. Poke-Aurora совместно учится предсказывать будущую картинку и действия; подробности нового механизма связи этих двух задач компания ещё обещает раскрыть в техническом отчёте.

В пресс-релизе PokeBot сообщила о 74,2% успешных заданий в собственном испытании почти на тысяче незнакомых предметов и десяти тысячах инструкций. На опубликованной странице результаты заметно различаются: 86% для переноса и упорядочивания предметов, 87,7% для взаимодействия со средой и 54,1% для совмещения положений и форм. Это оценка разработчика на его наборе задач, а не независимая проверка универсального домашнего помощника.

Документация предусматривает установку программы на Linux-компьютер, подключение руки, камеры и захвата, настройку облачного доступа и калибровку. Поэтому отсутствие дополнительного обучения не отменяет подготовки оборудования. Изображения и состояние поступают в облачную модель, а возвращённую последовательность действий исполняет местная система управления.

Компания предупреждает, что предмет в захвате может закрыть камеру, английские инструкции обычно работают лучше, а длинные задания полезно разбивать на короткие. Новое здесь — возможность испытать перенос навыков вне установок производителя; совпадение результатов сторонних пользователей с внутренней статистикой пока не установлено.