NVIDIA створила нейромодель, що за секунди перетворює фото на 3D-сцену

Щоб перетворювати фото на 3D-об’єкти, дослідники роками використовують алгоритми штучного інтелекту. Їх вчать знаходити проміжні значення і реконструювати те, чого бракує на фото. Одна з технологій для цього називається Neural Radiance Field, або NeRF.

Зараз команда NVIDIA стверджує, що навчилася робити це набагато (подекуди в тисячу разів) швидше. Її метод отримав назву Instant NeRF. Він поєднує надшвидке навчання нейронної мережі та рендеринг.

Instant NeRF потрібно кілька секунд, щоб потренуватися на кількох десятках фото й отримати дані про ракурси зображень. Після цього технологія може створити 3D-сцену за десятки мілісекунд.

Щоб все працювало добре, об’єкт на фото має стояти приблизно у тій самій позі. Якщо руху буде забагато, то й 3D-сцена вийде розмитою. Поглянути, як це працює, можна у відео:


NVIDIA порівнює свій винахід із появою Polaroid: він дозволив миттєво отримувати фотографії, а цього разу йдеться про миттєві 3D-сцени. Тому для демонстрації технології команда відтворила фото Енді Воргола з культовим фотоапаратом.

Старіші технології NeRF теж могли досить швидко видати результат, пояснює NVIDIA. Наприклад, вони створювали тривимірну сцену за кілька хвилин. Але цьому передували години навчання алгоритму.

В майбутньому Instant NeRF може неабияк пришвидшити створення сцен для ігрової індустрії, архітектури та інших галузей. Наприклад, одне з цікавих застосувань — це навчання автопілоту в машинах, аби вони краще розуміли форми й розміри об’єктів реального світу.

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини.

👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Підписатись на коментарі