3D сканування зі смартфоном: застосунки для фотограмметрії та поради фахівців

У нещодавніх інтерв’ю з Анатолієм Уманцем та Оленою Ільницькою ми вже підіймали тему сканування об’єктів середовища для подальшої монетизації або ж використання у концепт-арті. Такі асети не тільки додають більшої реалістичності вашим сценам, а й відкривають нові можливості, як от 3D друк, формування бібліотек унікальних кітбаш сетів тощо.

Сьогодні ми хотіли б зосередитись на практичній частині цього процесу, розглянути перспективні програми для 3D сканування та поради від українських художників.

Стрімкий розвиток доступності 3D сканування

Якщо ще декілька років тому 3D сканування вимагало комплексного обладнання та програмного забезпечення, яке не було доступним більшості ентузіастам, то завдяки стрімкому розвитку попиту на подібні технології наразі це більше питання практики, аніж дороговартісних камер. Ба більше, ця тенденція не демонструє ознак сповільнення, адже оцифровувати об’єкти за допомогою смартфону чи планшету і спеціального застосунку стало поширеною практикою, що демонструє гідні результати.

Загалом, програми, що компілюють дані у відсканований об’єкт можна класифікувати за режимами 3D сканування, які вони використовують: фотограмметрія та LiDAR.

Технологія Light Detection & Ranging (скорочено LiDAR) переважно доступна лише для власників останніх моделей iPad і iPhone. І хоч у неї і є перевага у роздільній здатності, фіксація 3D простору відбувається у режимі реального часу і відтворення форми досить точне.

Фотограмметрію обирають як кращий та дешевший режим для захоплення високодеталізованих текстур та ширший вибір допоміжних застосунків.

На сьогодні фотограмметрія є найпопулярнішою формою 3D сканування об’єктів за допомогою смартфону. Суть процесу полягає у тому, що вам необхідно зробити подеколи сотні фотографій об’єкта з різних ракурсів для досягнення оптимального результату.

Варто зазначити, що деякі застосунки для фотограмметрії мають певні обмеження щодо точності та деталізації моделі, тому у будь-якому разі доведеться у Blender, чи подібній програмі для роботи з 3D моделями, підчищати артефакти та оптимізувати меш.

Як обрати гідний застосунок для фотограмметрії і на які з них варто звернути увагу

Перш ніж ми перейдемо до технічних параметрів тих чи інших застосунків варто згадати, що деякі телефони мають вбудований інструментарій для 3D сканування об’єктів у просторі. Певно, найкращі результати демонструвала лінійка Sony Xperia, яка мала вбудований 3D Creator з п’ятьма різними моделями для сканування: selfie scan, face scan, head scan, food scan та freeform scan.

І хоча результати були досить непоганими, наразі користувачі зазначають, що від 5 моделі лінійки Sony відмовились від використання багатокомпонентного датчика, що забезпечував якісне надповільне знімання на користь тонкого дизайну смартфонів.

Схоже поки власникам як Android, так і IOS ґаджетів не уникнути використання допоміжних застосунків, які варто обирати за наступними параметрами:

• Точність захоплення та швидкість обробки;
• Сумісність програмного забезпечення;
• Вартість;
• Простота використання.

Нижче розглянемо найбільш ефективні і корисні застосунки для фотограмметрії.

Polycam

Офіційний ресурс

• Точність захоплення та швидкість обробки: працює як в режимі реального часу з LiDAR, так і на власному режимі фотограмметрії, що є дещо повільнішим, але точнішим за результатами.
• Сумісність програмного забезпечення: на жаль, для власників Android програма пропонує більш обмежений інструментарій, аніж для IOS.
• Вартість: наявна безкоштовна базова версія; pro та версія для команд від $99.99 на рік.
• Простота використання: UI є досить мінімалістичним та інтуїтивним, а кількість освітнього контенту точно допоможе опанувати застосунок швидко.
• Формати експорту: OBJ, GLB, FBX, DAE, STL. Загалом, функції експорту та спільного доступу подібні до iOS інструментів.

KIRI Engine

Розробники у X

• Точність захоплення та швидкість обробки: моделі мають якісні 4К текстури та AR функціонал у застосунку.
• Сумісність програмного забезпечення: застосунок працює не тільки з IOS чи Android, а і має десктопну версію для перегляду сканів зі зручним експортом на подальші платформи.
• Вартість: безкоштовна з обмеженням у 3 експорти на тиждень. Є підписка — $14.99 на місяць, або ж $59.99 на рік.
• Простота використання: UI також є цілком інтуїтивним, а розробники та спільнота активно діляться освітнім контентом.
• Формати експорту: OBJ, FBX, STL, GLB, GLTF, USDZ, PLY, XYZ.

RealityScan

Офіційна сторінка застосунку

• Точність захоплення та швидкість обробки: розроблений компанією Epic Games, застосунок використовує AR для створення попередніх переглядів, які виділяють області, для якої потрібні додаткові фотографії. А інструмент Cropping box дозволить вам видалити зайві артефакти та шум.
• Сумісність програмного забезпечення: доступний для iPhone та iPad від iOS 16, а також телефонів і планшетів Android, які підтримують ARCore та працюють на Android 7 та вище.
• Вартість: безкоштовна, але є обмеження на експорт
• Простота використання: інструментарій є інтуїтивним і не потребує жодного попереднього досвіду з 3D скануванням.
• Формати експорту: FBX, USDZ та GLB/glTF через Fab (колишній Sketchfab)

Досвід 3D сканування українських digital художників

«Я був здивований, якого результати можна досягти просто завдяки телефону, не купуючи ніякої спеціальної техніки та обладнання»

Дмитро Цмох — Senior Environment Concept Artist (Gunzilla Games, Keal, Axis, Volta, Frag Lab, Nuare та інші)

Наразі я працюю в студії Gunzilla Games на посаді Senior Environment Concept Artist, але останні три місяці займаюся скінами для персонажів і зброї для гри Off The Grid. До цього працював майже рік у студії Keal як позаштатний концепт художник і робив розкадрування та концепти для коротких відеопрезентацій нових видів зброї для цієї ж гри.

Загалом у мене за плечима вже понад 12 років роботи в ігровій індустрії і за цей час я співпрацював з такими студіями як: Axis, Volta, Frag Lab, Nuare та інші. Працював над великою кількістю різних проєктів та виконував різноманітні завдання: створював оточення, персонажів, ефекти та інше

Що стосується сканування, то я завжди був зацікавлений тим, як передавати фотореалізм краще і якісніше у роботі. Та я думаю що всім зрозуміло, що ніщо не може бути більш реалістичним, ніж реальні об’єкти, що нас оточують. Тому мені завжди було цікаво копнути в цю область та вивчити щось нове.

Додатковим поштовхом почати сканувати було те, що я вже майже 3 роки живу в Нідерландах і тут 80% часу сіре небо, а це чудово замінює фотостудію, оскільки розсіяне світло без гострих тіней на предметах ідеально підходить для цього процесу. І на вулицях Амстердама часто сміття стоїть уздовж доріг купами. А я завжди хотів робити якісь занедбані приміщення як у The Last of Us.

Я почав сканувати дуже випадково, побачивши рекламу програми Polycam в інстаграмі, і був здивований якого результату можна досягти просто завдяки телефону, не купуючи ніякої спеціальної техніки та обладнання.

Я знав і до цього про такі програми як RealityCapture, але все що я бачив про роботу в ній, мені здавалося складним і вимагало вкладень: купівля фотоапарата, спалахів для камери, поляризаційного фільтра та інше. Плюс, це обладнання з собою щодня носити втомишся, а оскільки я часто сканую різне сміття на вулиці, просто гуляючи і не плануючи знайти щось спеціально, то просто невелика програма на телефоні в кишені є ідеальним рішенням.

Думаю, що чимдалі, тим сканування реальних об’єктів ще більше захопить індустрію і цінуватиметься навіть більше, ніж зараз, оскільки фотореалізм в іграх з кожним роком виходить на все вищий рівень.

Також, реальний об’єкт немає стилю і дизайну окремого художника чи інших дизайнерських речей, які передають «почерк» художника, що може виділяти його асети на тлі інших об’єктів у сцені. Тож, як я і говорив раніше, немає нічого реальнішого за реальний світ і реальні об’єкти. Це завжди буде актуальним та затребуваним в іграх та кіно. Тут вигадувати нічого не потрібно і це завжди буде круто виглядати.

Більше робіт Дмитра ви можете побачити на його ArtStation та Instagram

«Для medium-pro рівня, телефону достатньо для більшості потреб»

Станіслав — незалежний Digital Artist (3DCoat, Doja Cat, Adidas, Jamala, Crocs, Ukrposhta, Odesa Archaeological Museum та багато інших)

Я почав експериментувати зі скануванням елементів оточення десь у 2018 році. Мій навколишній світ складався з сірої радянської забудови, відсутності інфраструктури та розрухи довкола. Це не Європа, де куди не глянь, знайдеш щось гарне. Тож я швидко навчився бачити красу там, де її не бачать інші, помічати цікаві деталі середовища, щось, що викликає емоції. Мені завжди хотілося ловити ці моменти і ділитися з іншими, тож я фотографував це, а фотограмметрія — логічна еволюція цих прагнень.

Коли я знайшов козацькі кладовища на Одещині, ці прагнення остаточно сформувались і доповнились місією збереження та популяризації історичної та культурної спадщини. Так народився проєкт «Козацькі свічки».

Я відсканував значну частину козацьких хрестів 18-19 ст. на цвинтарях Одещини, надрукував їх на 3D-принтері і виготовляю свічки, які може придбати кожен і мати у себе частину спадщини. Ми можемо втратити це все будь-якої миті, це я розумів це ще до повномасштабної війни, але зараз це ще більш актуально.

Пайплайн був доволі стандартний. Я використовував iPhone 6s, адже телефон має низку переваг над камерою:

• Компактність, можливість знімати в щілинах та місцях, куди камера не пролазить.
• Швидкість зйомки.
• Смартфони більш «розумні» ніж камери.

Також я користувався камерою Sony RX100. Камери дають більшу роздільну здатність, але менш зручні. З сучасними телефонами, такими як iPhone 15 Pro, до переваг додається висока роздільна здатність, сканер LIDAR та широкий асортимент додатків для сканування. Дуже гарний результат дає Polycam (текстура + normal map + гарна топологія). Тож для medium-pro рівня телефону достатньо для більшості потреб.

Обробляю скани в Blender, а нещодавно мої партнери з 3DCoat додали потужні інструменти для цієї роботи, тому рекомендую звернути увагу на цей софт.

Потенціал фотограмметрії безперечний. Вона зараз доступна на середньому чи професійному рівні як ніколи. Але щоб досягти Industry standard результатів, потрібне відповідне обладнання, як те, що використовують Hideo Kojima та Frederik Heyman з яким я працював над кліпом для Арки. Такі технології як Scan Engine дозволяють сканувати зірок, щоб вони потім з’являлися в іграх, фільмах та кліпах. До цього активно додаються AI-технології тож так, прогрес не зупинити.

Більше робіт Станіслава ви можете побачити на його ArtStation, YouTube та Instagram

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини