Nvidia 20 октября представила Cosmos3-H-Dreams — исследовательский ИИ-симулятор хирургических сцен. Он получает начальный кадр с эндоскопической камеры и команды движения инструментов, а затем генерирует продолжение видео. Управлять сценой можно через VR-контроллеры: движения пользователя меняют происходящее на экране.

Предыдущая версия моделировала наложение швов на настольном стенде. Новую обучили на видеозаписях и данных о движениях робота Versius компании CMR Surgical при удалении желчного пузыря. Это более сложная среда: инструменты тянут ткань, заслоняют обзор, меняют форму видимой поверхности. Модель учится воспроизводить эти реакции по записям, без явного расчёта геометрии и механики каждого участка ткани.

Код опубликован на GitHub, а модели доступны на Hugging Face. Репозиторий позволяет как воспроизводить записанные движения, так и подключать шлем с двумя контроллерами. Для стандартной конфигурации требуется больше 32 ГБ видеопамяти. По данным Nvidia, интерактивная генерация работает на одной RTX PRO 6000.

Обучающие сцены ограничены двумя видимыми инструментами; другие инструменты, движения камеры и необычная анатомия могут воспроизводиться неточно. Реалистичная картинка ещё не доказывает, что виртуальная ткань ведёт себя как настоящая. Проверку с хирургами, оценку анатомической точности и моделирование всей операции разработчики перечисляют среди следующих задач. Пока выпущена среда для исследований взаимодействия инструментов и тканей; её пригодность для подготовки хирургов или лечения пациентов не установлена.