Исследователи представили CUA-Master — способ обучать ИИ работе за компьютером, превращая видеоуроки в проверяемые задания. В препринте от 2 ноября команда описала обучение модели на 27 млрд параметров: ошибки агента помогают выбирать, какие упражнения создавать дальше.

Для такого обучения нужны разнообразные последовательности действий в программах. Повторение собственных попыток ограничивает разнообразие опыта. CUA-Master извлекает исходные задания из видео и субтитров, разбивает рабочие процессы на повторно используемые операции и собирает новые упражнения. Выполнение проверяется в виртуальных машинах; после неудачи можно вернуться к сохранённому состоянию и повторить участок работы.

По измерениям авторов, итоговая модель получила 80,2 балла на OSWorld Verified. На WeaveBench сочетание действий через экран и командную строку дало 43,9 балла против 6,6 при управлении только через экран. Это сравнение способов выполнения задач, а не отдельное доказательство пользы видео. На более сложном Agents’ Last Exam полностью пройти удалось 25% заданий.

Обучение зависит от сильных моделей, которые помогают готовить примеры: использование только собственных генераций давало ограниченные улучшения. Авторы также отмечают высокую стоимость взаимодействия с виртуальными машинами и обучения. Результаты препринта не устанавливают надёжность на произвольном рабочем компьютере.

Код и веса CUA-Master-27B доступны для самостоятельного изучения. Практический результат выпуска — исследовательский инструмент для создания и проверки обучающих задач; его запуск требует настройки среды, а не только загрузки модели.