Команда Шанхайской лаборатории искусственного интеллекта и китайских университетов представила OpenFlyV2 — модель, которая по изображению с камеры и текстовому поручению выбирает движения дрона. В описанных авторами испытаниях все вычисления навигации выполнялись на борту DJI M30T с компьютером NVIDIA Jetson Orin NX: внешний сервер для управления полётом не требовался.

Главная трудность здесь — совместить понимание сцены и языка с достаточно быстрым управлением на небольшом бортовом компьютере. OpenFlyV2 сжимает историю наблюдений и использует сведения о движении, чтобы сократить вычисления. Модель примерно с миллиардом параметров выдаёт последовательности из 12 точек маршрута с частотой 10 раз в секунду; обычный полётный контроллер отвечает за стабилизацию аппарата и следование этим точкам.

После обучения в симуляции систему проверили в 100 реальных полётах по четырём площадкам. Оператор задавал начальную инструкцию, затем навигация шла без ручного вмешательства. В половине заданий требовался один ориентир, в остальных — последовательность из двух. По ручной оценке авторов, дрон успешно завершил 48% заданий: прошёл нужные ориентиры и остановился у цели за отведённое время.

Дополнительного обучения на реальных траекториях не было, но две площадки уже были представлены трёхмерными сценами в обучающих данных. Поэтому 48% — общий результат по знакомым и незнакомым местам, а не показатель работы только в новой обстановке. Авторы признают, что надёжная навигация, обнаружение ошибок и восстановление после них остаются нерешёнными задачами. Работа опубликована как препринт; это результат исследовательского прототипа.

В репозитории проекта код, веса модели и инструкции по запуску пока обозначены как готовящиеся к выпуску. Опубликован набор данных, однако из публичной версии исключены две среды из соображений приватности. Самостоятельно воспроизвести весь показанный результат по уже выпущенному комплекту пока нельзя.