NVIDIA опублікувала код штучного інтелекту, який перетворює 2D-відео в 3D-об’єкти

Група інженерів та розробників з NVIDIA опублікувала вихідний код для Neuralangelo — моделі штучного інтелекту, що перетворює 2D-відео в 3D-об’єкти. В описі моделі автори зазначають, що за допомогою Neuralangelo можна «генерувати реалістичні віртуальні копії будівель, скульптур та інших об’єктів реального світу».

Про свою роботу команда розробників повідомила на цьогорічній конференції IEEE Conference on Computer Vision and Pattern Recognition. Сама модель працює на основі примітивів миттєвої нейронної графіки, технології NVIDIA Instant NeRF, яка перетворює 2D-зображення на 3D-моделі. Зокрема штучний інтелект вибирає кілька кадрів з 2D-відео об’єкта чи сцени, знятої з різних ракурсів. Після визначення положення камери кожного кадру створює приблизне тривимірне зображення сцени та оптимізує візуалізацію для підвищення чіткості деталей.

«Можливості 3D-реконструкції, які пропонує Neuralangelo, стануть величезною перевагою для творців, допомагаючи їм відтворити реальний світ у цифровому світі. Цей інструмент зрештою дозволить розробникам імпортувати деталізовані об’єкти — малі статуї чи масивні будівлі — у віртуальне середовище для відеоігор або промислових цифрових двійників», — зазначив старший директор з досліджень та співавтор наукової статті про модель Neuralangelo Мін-Ю Лю.

Відкритий вихідний код можна знайти за цим посиланням. Він дозволить розробникам впроваджувати технологію у свої проєкти та створювати об’єкти для мистецтва, відеоігор чи робототехніки.

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини