Artificial Analysis 26 октября опубликовала Code2Video-AA — сравнение 27 языковых моделей на создании коротких рекламных и продуктовых роликов. Каждая получила одинаковые 114 заданий. Средняя стоимость запросов на одно задание различалась более чем в 300 раз — от $0,01 до $3,89. При этом возможность собрать видео и качество его оформления оказались разными показателями.

Модели писали HTML-код с анимацией, который затем превращали в видео средствами HyperFrames. Каждой давали одну попытку без инструментов и самостоятельной проверки результата. По методике испытания, из набора HeyGen выбрали 39 публичных и 75 закрытых заданий; исключили, например, запросы на материалы, которые нельзя нарисовать средствами HTML. Это проверка создания анимационных композиций, а не генерации произвольных кинематографических сцен.

В видео удалось превратить 3042 из 3078 результатов — 98,8%. Даже у худшей по этому показателю модели собрались 110 роликов из 114. Оформление сравнивала Gemini 4 Argon: попарно оценивала соответствие заданию, композицию, согласованность во времени, привлекательность и исполнение. Названия моделей от неё скрывали, однако сама Gemini также участвовала в рейтинге. Это оценка нейросети по заданным критериям, а не предпочтения зрителей.

Первое место заняла Claude Opus 5.5 в конфигурации max with fallback: 1536 баллов Elo при средней цене задания $3,08. Четвёртая GPT-6.1 Sol в режиме max получила 1369 баллов за $0,31 — примерно вдесятеро дешевле. MiMo-V2.6-Flash стоила около одного цента, но набрала 1052 балла. Лучшие модели с открытыми весами отстали от лидера как минимум на 483 балла. Elo здесь выражает относительный результат попарных сравнений: разницу баллов нельзя читать как процент улучшения.

Новая проверка позволяет сопоставить расходы и результаты на одной задаче, причём на странице исследования доступны примеры роликов разных моделей. Успешная сборка файла ещё не означает, что видео выполняет замысел автора. А опубликованные цены относятся к запросам к моделям: они не измеряют полный бюджет производства, эффективность рекламы или стоимость работы редактора.