Що таке фотограмметрія, як вона допомагає зберегти українську спадщину і чим корисна для геймдеву

Вітаю, мене звати Андрій, і я є членом команди SKEIRON. Ми займаємося збереженням та популяризацією української культурної спадщини, використовуючи такі технології, як фотограмметрія, лазерне сканування для створення цифрових 3D-копій, а також AR та VR для інтерактивного відтворення результатів сканувань.

Команда Skeiron вже багато років турбується про долю культурної спадщини України. Наша мета полягає в тому, щоб зацифрувати якомога більше архітектурної та культурної спадщини України та зберегти від руйнівних впливів часу та війни.

Ми сканували культурні об’єкти перед війною. Зараз, під час повномасштабного вторгнення, ми розуміємо ще більшу нагальність цього завдання. Саме тому ми ініціювали проєкт #SaveUkrainianHeritage про який розповімо згодом.Особисто я координую такі проєкти, як «Музей у 3D» та #SaveMariupolHeritage, про які теж детальніше далі.

У цьому блозі я хотів би розповісти вам про нашу роботу з фотограмметрією та скануванням історичних пам’яток України, а також про можливості, які відкриваються завдяки цим технологіям.

Що таке фотограмметрія і як відбувається цей процес

Фотограмметрія — це своєрідна магія, яка дозволяє перетворити звичайні фотографії в тривимірні моделі об’єктів. Погодьтеся, звучить дуже круто! Але як це працює?

Уявіть собі, що фотографії — це маленькі детективи, які збирають уламки інформації про об’єкт з різних ракурсів. Коли вони об’єднуються в одну команду, вони можуть розгадати загадку тривимірної форми об’єкта.

Техніка фотограмметрії включає такі основні етапи:

1. Знімання фотографій: фотографування об’єкта з різних ракурсів, забезпечуючи достатнє перекриття між фотографіями. Це забезпечує наявність достатньої кількості спільних ознак між сусідніми зображеннями.
2. Вирівнювання фотографій: на цьому етапі програми фотограмметрії знаходять на фотографіях спільні точки (ознаки) та вирівнюють знимки відповідно до їх відносного положення й орієнтації.
3. Відтворення 3D-моделі: програма використовує збіги між зображеннями для відтворення тривимірної моделі об’єкта у вигляді хмари точок або полігональної сітки.


4. Текстурування: на цьому етапі програма накладає текстури з фотографій на відтворену 3D-модель, створюючи візуально реалістичний зовнішній вигляд моделі.
5. Експорт та оптимізація: залежно від потреб користувача, 3D-модель може бути експортована у різні формати, а також оптимізована для подальшого використання в програмах візуалізації, аналізу, або створення контенту для застосунків AR/VR.

В чому складнощі й переваги фотограмметрії

Для розуміння складнощів та переваг нам потрібно порівнювати цю технологію з іншими чи подібними методами. А інша технологія для створення цифрових копій — це лазерне сканування. Фотограмметрія та лазерне сканування є двома різними технологіями для вимірювання та відтворення фізичних об’єктів у цифровому форматі. Обидві мають свої переваги та недоліки, тому треба вибирати метод в залежності від конкретних вимог. Або використовувати обидва, як це робимо ми. Трохи нижче я розповім, як і для чого ми працюємо в такий спосіб.

Складнощі фотограмметрії:

1. Необхідність багатьох фотографій: як митець, який намагається зобразити об’єкт з різних ракурсів, вам потрібно мати багато зображень, щоб забезпечити достатній рівень деталізації.
2. Залежність від якості фотографій тож зовнішні умови, такі як освітлення, погода або рух, можуть впливати на якість знімків і ускладнити процес фотограмметрії.
3. Нестача ознак для обʼєднання подібних фото: Це як спробувати знайти своїх друзів на фестивалі, де всі одягнені в однакові куртки — важко розібратися, хто є хто.
4. Велика кількість фотографій і складність об’єктів можуть призвести до довгого часу обробки даних.

Переваги фотограмметрії:

1. Низькі витрати на обладнання: Фотограмметрія може виконуватися за допомогою стандартного фотоапарата, тому витрати на обладнання менші, ніж в випадку лазерного сканування.
2. Зручний багаж: Замість того щоб нести важкі сканери, все, що вам потрібно, це камера і, можливо, штатив. Таким чином, вам не доведеться ставати шерпом, щоб носити важке обладнання
3. Висока роздільна здатність текстури 3D-моделей, що може бути використана для відображення дрібних деталей на фресках та нарисах інтер’єрів.

Переваги лазерного сканування:

1. Висока точність: лазерне сканування забезпечує високоточні вимірювання та є найкращим варіантом для точних обмірів для реставраційних та відновлювальних робіт архітектурних об’єктів.
2. Швидке збирання даних: лазерне сканування може швидко захоплювати великі обсяги даних, що робить його хорошим вибором для проєктів з жорсткими термінами.

Об’єднання технологій фотограмметрії та лазерного сканування можна порівняти з поєднанням двох кращих інструментів у торбинці майстра. Лазерне сканування дає точну та детальну геометрію об’єкта, в той час як фотограмметрія, з її високою роздільною здатністю може допомогти детально відобразити текстуру об’єкта з великою роздільною здатністю. Об’єднання цих двох технологій дозволяє нам отримати найкраще з обох світів, детальну та точну геометрію та високу якість текстури в одному опрацьованому скануванні.

Так, наша команда на практиці застосовує об’єднання фотограмметрії та лазерного сканування в проєкті #SaveUkrainianHeritage. Це дозволяє нам отримувати найкращі результати, які відображають детальну та точну геометрію з високою роздільною здатністю текстур, які допоможуть нам зберегти історичні пам’ятки та нашу українську спадщину для майбутніх поколінь.

Чим ми користуємось для створення цифрових копій.

Для використання об’єднання фотограмметрії та лазерного сканування потрібен спеціальний софт. Одним з відомих та популярних програм для цієї задачі є Reality Capture.

Reality Capture — це програмне забезпечення для створення 3D-моделей реальності. Він використовує фотографії, лазерне сканування та інші дані для автоматичного збирання інформації про оточення та створення 3D-моделі з високою точністю. Це як варіант можна використовуватися для створення копій середовища для гейміфікації.

Ми також використовуємо програму Leica Cyclone Register 360 для опрацювання даних лазерного сканування. Ця програма допомагає нам об’єднувати дані з різних станцій сканування, щоб побудувати високоточну 3D-модель реальності.

Поради для тих, хто хоче використовувати фотограмметрію

Якщо ви початківець в фотограмметрії, ось декілька порад для вас:

1. Почніть з меншого, наприклад, сканування маленького об’єкта в домашніх умовах.
2. Ви можете використовувати свій телефон, щоб фотографувати зображення для подальшого 3D-оцифровування. Це допоможе вам отримати перший досвід у цифровізації оточення без суттєвих вкладень.
3. Використовуйте безкоштовну версію Reality Capture: якщо ви хочете отримати досвід у цифровізації та обробленні даних, ви можете використовувати безкоштовну версію Reality Capture. Це дозволить вам цифрувати у 3D без витрати грошей, що правда для експорту результатів вам потрібно буде сплатити певну комісію сервісу.

Головне — не боятися експериментувати та відкрити для себе нові можливості!

Як ця техніка може допомогти у розробленні ігор

Фотограмметрія може бути корисною для розробки ігор та застосунків з віртуальною реальністю (VR) у кількох напрямках:

1. Швидке створення реалістичних 3D-моделей. Ці моделі можуть слугувати основою для створення середовищ ігор.
2. Відтворення реальних локацій: завдяки фотограмметрії розробники можуть відтворити реальні локації у віртуальному світі, створюючи більш імерсивний та автентичний досвід для користувачів.
3. Віртуальні тури: фотограмметрія може допомогти у створенні віртуальних турів різних місць, таких як музеї, історичні пам’ятки та інші цікаві місця. Це може бути особливо корисно для освітніх застосунків та розваг.


4. Реалістичних текстур та матеріалів у 3D-середовищі. Це збільшує рівень деталізації ігрового світу або VR-середовища.
5. AR: Фотограмметрія може сприяти наповненню AR-додатків, оскільки вона може допомогти розробникам створити 3D-моделі реального середовища, які можуть бути використані для поєднання віртуальних об’єктів з реальним світом.
6. Заміна зеленого екрана: фотограмметрія може замінити традиційні техніки зеленого екрана, використовуючи відтворення реальних середовищ у 3D-просторі для створення ефектів змішаної реальності у кіно, рекламі та іграх.
7. Створення історичних симуляцій: фотограмметрія може бути використана для відтворення історичних місць та подій, що дозволяє гравцям та користувачам VR пережити важливі моменти історії з більш високим ступенем деталізації.
8. Підготовка до надзвичайних ситуацій: фотограмметрія може допомогти у створенні реалістичних симуляцій для підготовки співробітників служб порятунку, військових та медичних працівників до роботи в різних надзвичайних ситуаціях у форматі навчальної гри.
9. Створення персонажів Metahuman на основі відсканованих облич.
   

Про співпрацю з розробниками гри Puzzling Places

Минулого року ми почали спілкуватися з розробниками гри Puzzling Places, які звернулися до нас з проханням надати декілька наших 3D-моделей для використання у їхній грі. Вони пропонували створити «Пак» з українськими моделями, 50% прибутку від якого за перші три місяці ми б могли передати на благодійні організації. В результаті ми передали благодійним організаціям приблизно 6 тисяч доларів протягом вересня — грудня, а інші 50% фінансували нашу діяльність у Skeiron.

Після закінчення цього тримісячного періоду ми передали розробникам Puzzling Places права на використання наших моделей, і тепер вони також отримують прибуток з їх продажу.

Щоб створити 3D-моделі для Puzzling Places, нам не довелося проводити додаткове сканування, оскільки ми вже сканували ці об’єкти для нашого проєкту PocketCity AR. В цьому проєкті, за допомогою AR-технологій, ми можемо переглядати архітектурні об’єкти України на друкованих листівках, а також слухати аудіо-екскурсії про ці об’єкти архітектури.

Це був виклик, але наша пристрасть до проєкту та бажання допомогти зберегти історичні пам’ятки та просувати нашу культуру за допомогою сучасних технологій, дали нам сили для подолання цих труднощів.

Як далі команда планує використовувати цифрові копії українських архітектурних об’єктів

1. Найперше ми надіємося, що для цього не буде потрібно використовувати наші сканування, але в теперішній час ніхто і ніщо не затраховане і ці копії можуть стати основою для відновлення втрачених об’єктів. Цифрові моделі можуть допомогти відновити об’єкти, які були знищені або пошкоджені у зв’язку з війною, катастрофою або іншими причинами. Це дозволить зберегти історичну пам’ять для майбутніх поколінь. Наприклад, у Львові ми сканували мозаїку Володимира Патика, яка була знесена забудовниками і в майбутньому відновлена ним ж за допомогою нашого сканування. Те саме стосується і інших об’єктів, які ми відсканували, вони слугуватимуть цифровим бекапом архітектурної спадщини України.
2. Застосування в туристичній сфері для закриття локальних потреб: цифрові моделі ми використовуємо для створення туристичних застосунків, як от: Pocket City AR, Підзамче нарешті, Оголені вулиці міста Хмельницького (прибирали у доповненій реальності рекламу з фасадів історичних будівель) та інші, які допомагають туристам легше орієнтуватись та отримувати більш захопливий імерсивний досвід при взаємодії з архітектурними моделями у AR.
3. Співпраця з музеями та галереями: При скануванні інтер’єрів музеїв ми маємо можливість розробляти додатки з AR анотаціями, таким чином відвідувачі навівши камерою свого смартфона на експонат у музеї можуть побачити анотації у доповненій реальності.
4. Також нам цікава співпраця у виробництві реклами та фільмів з застосуванням візуальної графіки у Unreal Engine 5, так як ми маємо певний досвід з створенням оточення у цьому ігровому середовищі. То ж якщо у вас є пропозиції по партнерству то ми б з радістю їх розглянули.

Про проєкти «Музей у 3D», #SaveUkrainianHeritage і #SaveMariupolHeritage

Наші основні три напрями діяльності мають великий потенціал для збереження унікальних об’єктів архітектури України, а також велику користь для розвитку та допомоги музейної справи.

1. Проєкт #SaveUkrainianHeritage відіграє важливу роль у збереженні історії, оскільки ми працюємо над створенням точних 3D-моделей архітектурних об’єктів. Це дозволяє віртуально відвідувати та оцінювати значущість об’єкти культурної спадщини та використовувати це як цифровий бекап. Для проєкту ми використовуємо лазерне сканування та фотограмметрію, також здебільшого обʼєднуємо обидві технології, як вже описував вище.
2. Проєкт по відтворення цифрової копії втраченої архітектури в проєкті #SaveMariupolHeritage також є важливим для розуміння та передачі історії міста майбутнім поколінням. Створення цифрової копії за допомоги фото та відео допомагають зберегти пам’ять про Маріуполь та його культурні скарби. На жаль, в цьому проєкті ми не говоримо про точність, так як маємо обмежений доступ до даних через війну. Для цього проєкту була створення 3D-хмара точок центральної частини міста, та окремо Маріупольський Драматичний театр. Також ми розробили глибинний сферичний тур Драмтеатром із застосуванням паралакс-ефекту та проєктування панорам на геометрію інтер’єрів та екстер’єрів. В рамках цього проєкту ми ще шукаємо міжнародних донорів для фінансування, адже роботи там ще є багато. Також, забігаючи наперед, ми ведемо розмову з українським інді-розробником ігор про використання нашої 3д моделі для майбутньої гри про місто.
3. Проєкт «Музей у 3D» допомагає музеям популяризувати свої колекції та забезпечувати кращий доступ до експонатів за допомогою сучасних технологій. Мобільний застосунок та інтерактивна друкована продукція забезпечують нові враження від відвідування музеїв та заохочують ширше коло відвідувачів. В цьому проєкті ми плануємо додавання функціоналу, який дозволить працівникам музеїв самостійно фотографувати експонати та надіслати фотографії через особистий кабінет на сайті проєкту, що зробить процес ще більш доступним і сприяє розвитку мережі музеїв в час війни.

Що ще можна почитати/подивитися про фотограмметрію

Щоб дізнатися більше про фотограмметрію, рекомендую ознайомитись з такими книгами, статтями та відео:

• «Photogrammetric Computer Vision: Statistics, Geometry, Orientation and Reconstruction» авторів Wolfgang Förstner та Bernhard P. Wrobel. Ця книга надає відмінний вступ у ази фотограмметричної технології, включаючи опис різних методів та алгоритмів.
• «Introduction to Modern Photogrammetry» авторів Edward M. Mikhail, James S. Bethel і J. Chris McGlone. Цей підручник розглядає сучасні методи фотограмметрії та їх застосування.
• «3D Mapping with Drone Photogrammetry» — безкоштовний курс від Pix4D. Цей курс розглядає основи фотограмметрії з дронів та показує, як створювати 3D-моделі з використанням програмного забезпечення Pix4D.

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини.