Microsoft 30 октября опубликовала веса Mage-VL-Cowork — компактной модели для управления компьютером. Она умеет действовать по скриншотам через мышь и клавиатуру, а также писать и запускать код для работы с файлами. Веса доступны без заявки под лицензией Apache 2.0; вместе с ними опубликованы инструкции запуска и проверки результатов.

Управление только через экран заставляет агента выполнять десятки кликов даже там, где таблицу или документ проще изменить программно. В Mage-VL-Cowork способ действия выбирает сама модель, без отдельного агента-диспетчера: она может править файл кодом, а затем проверять результат в приложении. Авторы сначала обучали экранным действиям и работе через терминал, затем их сочетанию, а в конце — улучшали поведение обучением с подкреплением, оценивая выполненные задачи.

В техническом отчёте команда сообщает о результате 66,0% в OSWorld-Verified: это среднее двух прогонов по 361 задаче, без Google Drive, с пределом 50 шагов на задачу. После заключительного этапа обучения оценка выросла с 55,84% до 66,0%, а среднее число обращений к модели сократилось на 13%. Проверка охватывала документы, таблицы, браузер, графический редактор и операции системы. Это результаты разработчиков, а не независимое подтверждение надёжности на любом компьютере.

Один из экспериментов показал и обратную сторону расширения возможностей. На отдельном наборе из 672 задач ученики, обученные на примерах с мышью и кодом, справлялись в 37,6% случаев; добавление учителю ещё одного канала — дерева элементов интерфейса — сопровождалось падением результата ученика до 25,1%. При той же модели-учителе более богатый набор инструментов оказался менее удачной основой для обучения. Из этого не следует, что такой канал бесполезен вообще: результат относится к проверенным конфигурациям.

Практический итог выпуска — возможность самостоятельно изучать и дообучать такого агента, включая его выбор между интерфейсом и программной обработкой файлов. Microsoft позиционирует семейство Mage как исследовательские модели, а для Cowork указывает изолированные контейнеры или виртуальные машины. Открытые веса уже доступны; готовность без присмотра работать с личными файлами и аккаунтами этим выпуском не доказана.