Исследователи Южно-Китайского технологического и Гонконгского политехнического университетов представили Lab2Sim и метод EduVideo2Code: ИИ получает видео научного опыта и создаёт интерактивную страницу, где пользователь сам выполняет действия с приборами и веществами. Это попытка превратить наблюдение за опытом в управляемую среду — с последовательностью операций и условиями их выполнения.

Сначала система разбирает видео на этапы и уточняет неоднозначные фрагменты. Затем записывает состояния объектов и допустимые действия: например, жидкость должна течь только после открытия крана. По этому описанию генерируется код. Отдельный сеанс модели запускает страницу в браузере, проверяет операции и возвращает ошибки на исправление. На странице проекта показаны примеры с горением свечи и движением молекул; три готовых опыта можно открыть самостоятельно.

В препринте от 2 ноября авторы проверили 218 видео по химии, физике и биологии. При прямой генерации шесть моделей создавали запускающиеся страницы более чем в 93% случаев, но ни одна не набрала 60% по наличию и правильному обозначению оборудования. EduVideo2Code подняла эту оценку у GLM-5.3-Flash с 40,44 до 61,32%, у GPT-5.6-Sol — с 36,61 до 60,76%. Обе связки улучшили все четыре основные оценки относительно прямой генерации той же моделью.

Оставшиеся ошибки существенны. Лучший результат по правильному выполнению процедур составил 41,40%. Проверка предусловий у варианта на GPT-5.6-Sol улучшилась лишь на 1,19 пункта; прямая генерация GPT-6-Astra по этому показателю осталась сильнее. Метод требует больше обращений к модели: в среднем страница проходила 5,3 раунда исправлений. Оценивал результаты другой ИИ, а согласованность с человеческими суждениями проверили на 50 примерах.

Пока доступны демонстрации, а публикация набора данных и кода полного метода ещё впереди: в официальном репозитории находится только README. Работа показывает, как повысить точность перевода видео в интерактивный код, но не устанавливает пользу для обучения школьников. Её авторы рекомендуют проверку преподавателем перед использованием в классе.