Институт фундаментальных моделей IFM при университете MBZUAI 10 ноября представил PAN 2 — модель мира, которая превращает описание действий в видео их предполагаемых последствий. Можно передать исходную картинку и указать, что должно произойти; результат — ролик продолжительностью до 20 секунд. Веса видеомодели и код доступны под Apache 2.0: разработчики могут сами запускать систему и дообучать её.

Внутри работают два разных компонента. Языковая модель составляет подробное описание событий: кто действует, в какой момент и куда движется камера. Диффузионная модель с 29 млрд параметров превращает это описание в последовательность кадров. Замысел — дать агенту возможность сравнить несколько вариантов действий по их смоделированным последствиям, прежде чем выполнять план. Это продолжение подхода первой PAN, представленной в 2025 году, а не впервые найденный способ соединить языковую модель с видеогенерацией.

Открытость имеет конкретные границы. В репозитории PAN 2 есть код предварительного обучения, дообучения на примерах и запуска, но отсутствуют этапы обучения по вознаграждению и объединения моделей, использованные для итоговых весов. Текстовый кодировщик Qwen3.5-9B и декодер Wan 2.2 скачиваются отдельно; языковую модель для составления плана можно выбирать. Поэтому опубликованный пакет не равен полному воспроизведению всего процесса разработки.

В испытании авторов PAN 2 воспроизвела 75,1% отдельных шагов, но лишь 34% планов целиком. Проверялись 100 повседневных задач в двух режимах — с начальной картинкой и без неё: всего 200 запросов и 456 шагов. Это оценка того, что показано в сгенерированном видео, а не успешности настоящего робота. Авторы также предупреждают, что модель может нарушать физические ограничения, а при длинных взаимодействиях внешний вид сцены меняется. Пока результат даёт доступную основу для экспериментов с планированием, но убедительный ролик ещё нельзя считать надёжным прогнозом реального действия.