HunyuanWorld-Voyager: революция в создании 3D-миров с помощью ИИ

Китайская компания Tencent представила инновационную ИИ-модель с открытым исходным кодом — HunyuanWorld-Voyager. Эта технология позволяет создавать 3D-видеоряд из одного изображения, управляя траекторией камеры для «исследования» виртуальных сцен. Читатели узнают, как работает эта система, её уникальные особенности и какие возможности она открывает для создания виртуальных миров.

Как работает HunyuanWorld-Voyager?

Генерация видео и данных о глубине

HunyuanWorld-Voyager генерирует одновременно два типа данных: цветное видео (RGB) и информацию о глубине (RGB-D). Это позволяет создать эффект 3D-реконструкции без использования традиционных методов моделирования.

Управление траекторией камеры

Пользователь может задавать движение камеры: вперёд, назад, влево, вправо или поворот. Система объединяет данные об изображении и глубине, формируя видеоряд, который отражает заданное движение.

• Длина видео: Одна генерация создаёт 49 кадров (примерно 2 секунды).
• Согласованность: Объекты сохраняют своё положение при перемещении камеры.

Преимущества технологии

Пространственная согласованность

«HunyuanWorld-Voyager обеспечивает гораздо лучшую пространственную согласованность, чем другие ИИ-генераторы видео.»

Использование глобального кэша

Система использует растущую коллекцию точечных 3D-моделей из ранее сгенерированных кадров. Это позволяет проверять согласованность новых кадров с уже существующими.

• Обучение модели: Задействовано более 100 тыс. видеоклипов, включая сцены на движке Unreal Engine.
• Обратная геометрическая связь: Каждый кадр преобразуется в точечный 3D-объект для дальнейшего использования.

Ограничения и будущее развитие

Текущие ограничения

«Хотя результаты работы выглядят как настоящие 3D-модели, это всё же имитация.»

• Длительность: Система поддерживает согласованность в течение нескольких минут.
• Сложности: Поворот сцены на 360° вызывает накопление ошибок.

Будущие перспективы

HunyuanWorld-Voyager является частью экосистемы Tencent Hunyuan, которая включает генерацию 3D-объектов по текстовому описанию и создание видео. Это открывает новые горизонты для разработчиков и дизайнеров.

Таким образом, HunyuanWorld-Voyager представляет собой важный шаг в развитии технологий создания виртуальных миров, хотя и имеет свои ограничения.