Як ми перенесли епізод із книги у віртуальну реальність. Мій досвід фотограмметрії, 3D-моделювання і не тільки
Привіт! Мене звати Олександр Васильєв. Я розробник некомерційної громадської організації з Чернівців «Лабораторія культурних досліджень». Ми перенесли сцену із художньої книги у віртуальну реальність. Це був перший такий великий проєкт, яким мені доводилося займатися. І у цій статті я хочу розповісти як це відбувалося, та яками інструментами я користувався.
З чого все почалося
Навички AR/VR-розробки я опанував лише цього літа. Я це зробив практично з нуля завдяки навчанню від «Лабораторії культурних досліджень». Раніше організація займалась культурою та креативними індустріями, але після початку повномасштабної війни вони організували навчання з AR/VR-розробки для місцевих та переселенців. За декілька місяців я разом з іншими учасниками навчання опанував професію AR/VR-розробника та навіть отримав стипендію на свій проєкт.
Невдовзі після цього організація запропонувала мені долучитися до створення VR-сцени з книги зі ще двома розробниками. З одним з них, Володимиром Шибою, я разом навчався на курсі «Лабораторії культури», а інший, Антон Благій, був нашим ментором.
Ми вирішили відтворити у VR книгу чернівецького письменника Максима Дупешка «Історія, варта цілого яблуневого саду». Це художній роман про Чернівці у минулому столітті. Оскільки автор з Чернівців, ми домовилися з ним про авторське право та могли спілкуватися, щоб уточнювати різні моменти. Тож ми з колегами прочитали цю книгу й обрали момент, який би могли відтворити у віртуальній реальності.
Про що наша VR-сцена
Ми все обговорили і разом з письменником вирішили взяти в роботу епізод зі знайомством головних персонажів. Автор сказав, що ця сцена важлива у книзі, бо з цього й починається вся історія. Водночас через цю сцену ми могли показати настрій Чернівців між світовими війнами. Через персонажів, їхню мову, загальний настрій ми намагалися передати те, що Чернівці сто років тому були спокійним містом, де можна було зустріти людей різних національностей, де люди пили каву за столиком на тротуарі, слухали музику, а найбільшою подією було те, що трамвай зійшов з рейок.
Ось у цьому епізоді, котрий ми обрали для відтворення, все й починається з трамвая. Водій зашвидко їхав, трамвай зійшов з колії, на дорогу вийшли обурені пасажири, які жаліються на водія. Серед тих пасажирів був і головний герой Павел. Він вийшов на площу і побачив на балконі дівчину Дору, у яку закохався з першого погляду.
Як ми створювали сцену у віртуальній реальності
Перед тим, як починати розробку сцени, ми ретельно готувалися. Цей етап мені сподобався найбільше. Я раніше не робив таких великих проєктів, тому мені було цікаво, які методи, застосунки, рушії ми використаємо. Загалом усю VR-сцену ми створили на ігровому рушії Unity, а все разом зібрали завдяки плагінам OpenXR та SteamVR.
Над загальною концепцією та дизайном сцени працював Антон Благій. Він був найбільш досвідченим у нашій команді, тому керував процесами. Раніше Антон працював режисером у ляльковому театрі, тож він творча людина і має креативне бачення. Він також написав і сценарій для сцени, додав у сцену різні штуки, які можуть зрозуміти лише місцеві.
Епізод з книги, котрий ми вирішили відтворити, відбувається на перехресті вулиць у Чернівцях, які реально існують. Це допомогло нам із загальним виглядом сцени. З іншого боку — це трохи ускладнило завдання, оскільки треба було точно відтворити розміри, пропорції, вигляд будинків, бо вони існують насправді й чернівчани могли порівняти реальне перехрестя з віртуальним. Тому ми з Антоном багато часу проводили на цьому перехресті, працювали над тим аби все мало правдоподібний вигляд. Також Антон відшукав фото старих Чернівців
Я займався розробкою персонажів. Аби передати цей книжковий епізод, ми вирішили, що потрібно понад 10 героїв. Майже їх усіх я моделював на основі реальних людей методом фотограмметрії. Цей метод використовує команда SKEIRON для сканування будівель історичної спадщини. У цьому блозі вони детально розповіли про фотограмметрію. У нас не було суперспеціалізованого обладнання. Тому, наприклад, ландшафт, відстані між будинками і їхні габарити ми робили «на око».
А для моделювання персонажів я використовував застосунок для смартфона Polycam. Через нього ми зробили понад 300 фото однієї людини з різних сторін. Цей застосунок використовує технологію штучного інтелекту, аби об’єднати зображення та створити із них 3D-модель. Ми обрали такий метод, бо він здався нам найбільш цікавим і водночас простим. Ми з розробниками навіть себе оцифрували, як другорядних перехожих. Для створення інших персонажів ми запрошували наших знайомих, акторів, які мали підхожий одяг у стилі минулого століття. Їх ми фотограмметрували відразу у тій позі, яка мала б бути у їхніх персонажів згідно із сюжетом. Оскільки ми знімали ці фото на смартфон, то тут важливо було додати максимально багато світла, щоб фото вийшли більш якісними. Тому ми робили фото при денному світлі із застосуванням софтбоксів. Застосунок видав нам готові моделі. Їх ми зачистили від зайвих елементів та зменшили розмір через Instant meshes. Потім вже готові «полегшені» 3D-моделі розмістили у сцені віртуальної реальності згідно із сюжетом.
Для історичної правдивості при створенні персонажів ми шукали інформацію про те, який вигляд мали люди у Чернівцях в ті часи. На одному з місцевих сайтів ми знайшли статтю зі світлинами мешканців Чернівців у ХХ столітті.
У сцені є різні персонажі й виглядають вони по-різному — це студенти, містяни, які п’ють каву та слухають музику за столиком на тротуарі, також є жінки з околиць міста — вони одягнені у характерний для Буковини народний одяг.
Також ми оцифрували й самого автора книги, Максима Дупешка. Він виступив у ролі водія трамвая. Пасажири, котрі вийшли з трамвая підсміюються над водієм, а він взявся за голову, бо не знає що робити далі. Глядач сцени може підглянути за цим моментом з книги і навіть послухати те, що кажуть герої.
Перших трьох персонажів ми робили досить довго, оскільки використовували велику зв’язку складних програм. Загалом на перших героїв ми витратили приблизно місяць. Решту персонажів зробили за два тижні. Щоправда, це могло зайняти й менше часу, якби ми зібрали та відфотограмметрували всіх за один день. На практиці зробити подібне досить складно, бо тут роль грає людський фактор.
Тому я із цікавості вирішив спробувати створити одного персонажа іншим способом — без залучення людей, а все зробити на комп’ютері. Для цього я спочатку використав генератор облич на сайті This Person Does Not Exist для отримання обличчя людини, Face Gen Artist Pro та Daz studio — для створення людини без одягу і волосся.
Одяг я симулював у Marvelous designer. Опанування цієї програми далося мені доволі нелегко. На щастя, я знайшов
Хоч я трохи й помучився з цією програмою, але це виявилося для мене насправді найцікавішим у всьому проєкті. При моделюванні одягу я ніби занурився у ту епоху, відчув увесь стиль, якщо так можна сказати. Я дуже раджу розробниками спробувати Marvelous designer. У ньому навіть можна зробити дрібні складки на одязі, тобто все буде максимально деталізовано. Так я створив червону сукню для матері головної героїні, котра сидить на балконі.
Також під час розробки ми пробували анімувати персонажів. Для рігу використали Mixamo, а для анімації Accurig. Проте це не ввійшло у фінальну версію нашої сцени.
Як звучить сцена
Озвучкою персонажів займався мій колега Володимир Шиба. Ми запланували, що декотрі персонажі матимуть репліки. Частину з цих фраз ми взяли з книги, це слова головних героїв. А частину — вигадав письменник спеціально для нашого проєкту. Нам хотілося додати життя і колориту до сцени, розширити її контекст. Також деякі фрази ми додали самі вже в процесі розробки. Частину реплік ми задумали перекласти декількома мовами, що побутували у Чернівцях на той час. Це — румунська, їдиш, німецька та українська. Так ми хотіли передати мультикультурність міста у міжвоєнний період. Ми залучили і професійних дикторів, і людей, які просто володіли іноземними мовами на такому рівні, щоб правдоподібно озвучити персонажа.
Також важливо було «оживити» сцену звуками навколишнього середовища, адже це дає зовсім інші відчуття. У сцені можна почути спів птахів, шум натовпу, далекий гавкіт собак та звуки залізничного вокзалу — все максимально наближене до реальності. До речі, декількох собак ми розставили на виходах із сцени. Вони виконували роль блокаутів — коли до них наближаєшся, то вони гавкають і не випускають за межі площі, де відбувається епізод.
Особливу роль також відіграє музика — крім очевидного впливу на настрій і емоційну складову, вона певною мірою задає темп, в якому гравець буде вивчати сцену. Мій колега Володимир сам пише музику та співає, тому він дуже творчо та педантично підійшов до цього питання. Він самотужки написав «саундтрек» для сцени. Він лунає із грамофона вуличної кав’ярні. Це легка фортепіанна мелодія, своєрідний омаж на твори Шопена. Вова спеціально «зістарив» звук, щоб він нагадував звучання старої платівки.
Як глядач може проходити цей епізод
Одягнувши шолом віртуальної реальності, глядач/гравець опиняється поблизу вуличного кафе на Фонтанній площі, котра колись існувала в Чернівцях. На початку сцени ми залишили підказки, своєрідну інструкцію — як користуватися контролерами, як пересуватися сценою.
Загалом гравець може рухатися цією VR-сценою вільно, будь-яким маршрутом. Поруч на столику вуличного кафе гравець може захопити контролером яблуко, книгу, пляшку чи чашку з кавою. Поруч із трамваєм скупчилися персонажі сцени — водій, румунські студенти, які жаліються на нього, а також євреї, які їхали на аудієнцію до місцевого цадика. Коли гравець наближається до цих персонажів, спрацьовує тригер і чути їхні репліки.
Інша група персонажів розміщена біля балкона сусіднього будинку. Це головний герой Павел, котрий задивився на дівчину та закохався у неї. На балконі стоїть його юна кохана Дора та її матір.
Антон БлагійГравець може пройти повз будинки, порозглядати їх. На тротуарах стоять і інші персонажі, по дорозі на возі, запряженому конем, їде візник. Біля одного з будинків стоїть жінка у вбранні, яке носили жительки передмістя Чернівців сто років тому. Гравець може допомогти їй зібрати до кошика яблука, які розсипалися тротуаром через те, що перед цим повз неї занадто швидко проїхав трамвай.
Віртуальну сцену створили для VR-шоломів Oculus Quest 2 та HTC Vive Pro. Файл сцени можна завантажити за цим посиланням.
Епізод з книги у віртуальній реальності можна безкоштовно побачити у бібліотеці в Чернівцях. Ми робили там презентацію для читачів бібліотеки — зібралося понад 70 людей. Тепер за декілька місяців цієї стаціонарної виставки з нашою сценою її пройшли понад пів тисячі людей. Я радію цьому, оскільки це був цікавий досвід для мене, і люди спробували технології віртуальної реальності, і змогли подивитися на знайому книгу іншим способом.
Над віртуальною сценою працювали VR-розробники Антон Благій, Олександр Васильєв та Володимир Шиба. Зараз наш Антон Благій перебуває на службі в ЗСУ.
Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини
Немає коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарів