Нова «Матриця» — це Unreal. Як створювали технічну демонстрацію «Матриці» на Unreal Engine 5 для консолей

Перед виходом нової «Матриці» вийшов окремий проєкт для консолей, який називається The Matrix Awakens: An Unreal Engine 5 Experience. Він показує можливості рушія UE5 у новій «Матриці». Про те, як розробляли цей проєкт і що в ньому цікавого, детально розповіли у fxguide: публікуємо переклад цього матеріалу.

У 1999 році Кім Лібрері був керівником з візуальних ефектів у оригінальному фільмі «Матриця». Сьогодні він технічний директор Epic Games і разом зі своєю командою повернувся у «Матрицю», аби розробити техдемонстрацію для консолей. Її, до речі, вже можна безкоштовно завантажити на PlayStation 5 і Xbox Series X/S.

Це оригінальна й концептуальна частина світу The Matrix Awakens, створеного Warner Bros. Режисеркою і сценаристкою проєкту стала Лана Вачовскі.

Кіану Рівз та Керрі-Енн Мосс погодились на створення їхніх цифрових версій, що відтворюють Нео та Триніті — як сучасних, так і зразка 1999 року.

Примітка: An Unreal Engine 5 Experience не є частиною самого фільму, це технічна демонстрація того, на що здатен UE5, — жодних спойлерів там немає!

Відтворення в UE5 славнозвісного польоту кулі 22 роки по тому

Команда Epic в цьому проєкті мала випробувати всі свої нові технології та переконатися, що UE5 готовий.

«Цей проєкт справді показує багато досягнень UE5, кращу техніку та майстерність, нові технології сканування персонажів. Я думаю, що багато наших відкриттів перетвориться на інструменти і ми також випустимо багато зразків такого контенту наступного року», — каже Лана Лан, старша художниця персонажів.

Пакет, який можна завантажити на консолі, важить близько 28 гігабайтів. Він демонструє, що можна зробити в режимі реального часу на домашніх ігрових пристроях. Пізніше частини асетів (наприклад, з фрагментами міста) опублікують на сайті Epic і їх можна буде завантажити на настільні ПК.

Також цей проєкт об’єднав професіоналів, які раніше працювали над оригінальною трилогією, з командами Epic Games та партнерами: sSideFX, Evil Eye Pictures, The Coalition, WetaFX (або Weta Digital) тощо.

Оператор Даніель Массачезі та режисерка/співсценаристка/продюсерка Лана Вачовскі на зйомках художнього фільму

Наприклад, Лана Вачовскі, Кім Лібрері та Джон Гаета були друзями з часів оригінального фільму.

«Коли я сказала їм, що знімаю ще одну „Матрицю“, вони запропонували мені прийти і пограти з пісочницею Epic. І, дідько, яка це пісочниця!» — каже Вачовскі.

Усе відео відтворюється в режимі реального часу, за винятком двох кадрів, які відрендерили заздалегідь. Перший, коли виникає безліч копій Нео і Триніті, а другий, коли видно загальний план міста. Тут дуже багато даних, тож у реальному часі вони повільно завантажувалися б і порушили загальний темп викладу. Усе інше рендериться в реальному часі на звичайних консолях.

Цифрові актори

У демонстрації є досить переконливі цифрові копії Кіану Рівза та Кері-Енн Мосс. Щоб досягти цієї реалістичності, команда Epic 3Lateral зробила високоякісне 3D-сканування облич акторів та 4D-записи їхніх виступів. Це виконували у студії в сербському місті Новий Сад. Рівз і Мосс були у Німеччині та полетіли у Сербію, щоб зробити ці сканування.

Цифрова Кері-Енн Мосс

«Це був справді важкий проєкт. У нас був цифровий Кіану Рівз, який стояв у тому ж кадрі, що й справжній Кіану Рівз — наче поруч з ним! Ви думаєте, що можете перетнути межу „Моторошної долини“, а за мить вже показуєте справжню людину поруч із цифровою, це було важко», — згадує Піт Суманасені, старший технічний художник Epic.

У Twitter реакція на опублікований тизер була жвавою. Користувачі бентежились і не могли відрізнити цифрового Кіану від справжнього. Команді Epic вдалось досягти успіху.

«Коли ви вперше бачите старшого Кіану — це відео, яке ми зняли в Epic. А коли актори вертаються після зустрічі з Морфеєм — це вже цифрові копії. Кольори моделей підправили, щоб вони відповідали оригіналу», — пояснює Піт Суманасені.

Є також один момент, коли ми бачимо кадри в дзеркалі. Це фрагменти справжнього фільму, які були зроблені в UE5. У першому кадрі з Морфеєм знятий справжній актор, та потім, коли з’являється Томас Андерсон (Нео), використовується цифрова копія. Навіть вступна сцена, де Андерсон спить за столом, — це цифрове відтворення кадрів з оригінального фільму, яке відбувається в реальному часі.

Epic використала безліч нових технологій. Наприклад, команда 3Lateral застосувала різні способи сканування, зокрема мобільний 4D-сканер із 7 стереопарами камер. Ці дані виявилися особливо цінними.

Водночас цифрові матеріали, форми та всі фонові персонажі використовують технологію Metahuman.

Однак для «Матриці» потрібні були конкретні костюми й зачіски, яких немає в стандартних налаштуваннях Metahuman. Тож доводилось усе це створювати окремо й імпортувати.

Адам, який працював над оригінальним проєктом MeetMike, пояснює, як з часом змінилася робота з волоссям в UE:

«Коли ми робили Digital Mike, то використовували Xgen, а потім імпортували в рушій невеликі геометричні стрічки. З того часу ми доклали багато зусиль, щоб покращити робочий процес і систему. Тепер не треба додавати стрічки: ви можете вводити сплайни з контрольними точками, а волосся створюється на основі цього лекала».

Достатньо одного імпорту, після чого Engine генеруватиме всю динаміку волосся в реальному часі.

Усі акторські діалоги в демонстрації — це їхній власний голос, записаний у Сербії. Здебільшого команда 3Lateral відтворила кожну фразу, яку актори казали у 4D-записі.

Крім цього, актори записали набір рухів (ROM, або range of motion). Коли якісь фрази змінювались, технологія машинного навчання могла дібрати відповідні рухи обличчя.

«Але не було жодних рядків, які зняли б близько до камери і які потім не були б використані за допомогою нової технології 4D», — пояснює Марко Бркович, головний технічний аніматор 3Lateral Studio.

Хоча над зовнішністю головних героїв багато працювали, вони все одно функціонують на звичайній технології 3Lateral Metahumans. Вони створені на базі того ж Metahuman-фреймворку, що й усі інші персонажі. Система, яка опікується всіма рівнями деталізації та керуванням обличчя, однакова для всіх.

Наприклад, очі персонажів — це звичайні моделі з Metahuman, лише трохи відредаговані, щоб вигляд рогівки був точнішим. У базовій моделі використаний скан очей Кріса Еванса з Epic Games.

«Ми спустились у кролячу нору з усіма цими офтальмологічними документами та спробами розібратись з усіма осями очного яблука», — розповідає Лана Лан.

Команда створила моделі очей, а потім порівняла їх зі сканами очей Кріса. Тоді модель відрегулювали, щоб вона була подібна на очі Кіану Рівза та Керрі-Енн Мосс.

Цифрова копія молодого Кіану Рівза

Адам Скатт, старший художник персонажів Epic Games, сказав, що зробити копію молодого Кіану Рівза було одним із найскладніших завдань.

Коли Кіану прийшов у 3Lateral, щоб його відсканували, він якраз закінчив зйомки в основному проєкті та був гладко поголений. Але все ж йому 57 років, а актора треба відтворити таким, яким він був у 1999 році.

«Ми не мали ідеальної нейтральної пози. На референсі з 1999 року актор був під надзвичайно яскравим світлом, тому, гадаю, примружився. Потім у нас був референс з вулиці, але там він одягнув сонцезахисні окуляри», — розповідає Адам Скатт.

Щодо гардероба, то команда мала справжній костюм Триніті, який припасували до моделі. Її відсканували та зробили референс.

«У нас була купа архівів від Warner Bros. Також ми мали референси з Керрі-Енн Мосс в оригінальному фільмі. Завдяки цим зразкам зробили її одяг у Marvelous Designer», — згадує Адам Скатт, який також керував розробкою цифрового одягу.

MetaHuman Creator

Цікаво, що у міське середовище відкритого світу «Матриці» додали героїню, яка була одним із двох початкових персонажів у першій версії MetaHuman Creator.

Кінематографічний дебют героїні у новому Matrix Experience

Команда мала бюджет на процесор, графіку та швидкодію під час створення Experience. Наприклад, коли цифрові персонажі на білому тлі, фону, по суті, не було. Тож це дозволило використати більше джерел освітлення з трасуванням променів, як зазначає Піт Суманасені. Коли ж сцени відбувались в машині, фон був складним і освітлення використовували менше.

Коли проєкт вперше зібрали докупи, він працював зі швидкістю лише 15 кадрів на секунду, але з оптимізацією частота кадрів швидко зросла.

«Коли ми починали, все перевищувало наш бюджет: ми використовували багато текстур 4K, багато геометрії, Lumen, який мав окрему вартість, нову техніку тіньових карт для сонячного світла. Спочатку ми розширювали межі всього», — каже Піт Суманасені.

Однак остаточний проєкт обмежився можливостями ігор, які працюють на PS5 або XBox Series X/S. Команда не хотіла створювати демоверсію, яка б не відповідала можливостям нових AAA-ігор.

Створення світу

Приклад проєкту Valley of the Ancient дає уявлення про нові технології рушія UE5. Однак The Matrix Awakens: An Unreal Engine5 Experience йде далі, адже це інтерактивна демоверсія, яка працює в реальному часі та яку може завантажити кожен охочий в будь-яку мить. Проєкт містить катсцени, перший демонстраційний розділ з шутером і зрештою має цілий світ, який користувачі можуть досліджувати.

Багато екшн-сцен в демонстрації виникли завдяки зусиллям команди. Її учасники їздили на автомобілях містом, щоб зробити захопливі кадри.

У технічній демонстрації також показано функції UE5 Nanite і Lumen. Після інтерактивної частини користувачі можуть досліджувати відкрите міське середовище, використовуючи віртуалізовану геометричну систему мікрополігонів UE5. На ній створені і сім тисяч будівель, 45 073 припаркованих автомобілі (на 38 146 можна їздити), 260 км доріг, 512 км тротуарів, 1248 перехресть, 27 848 ліхтарних стовпів і 12 422 люки. Усе це є у віртуальному світі, трохи більшому за реальний центр Лос-Анджелеса.

Під час прогулянок містом чи керування автомобілем можна зустріти 35 000 металюдей, які займаються своїми повсякденними справами.

«Звичайно, тут важлива відстань, найближче ми бачимо справжніх металюдей, а ті, що далеко, — це по суті анімовані статичні сітки, згенеровані на базі металюдей», — пояснює Лана Лан.

Будівлі надзвичайно деталізовані, оскільки вони створені з мільярдів трикутників Nanite, а не через карти нормалей. Користувач може підійти до будь-якої будівлі та роздивитись, наскільки там багато елементів. Для їх створення використали понад 1000 асетів, кожен з яких складається з мільйонів полігонів.

У місті можна знайти приховані великодні яйця: від номерних знаків до різних магазинів. Загалом середовище простягається на 4138 м в ширину та на 4968 м у довжину, тож тут є де заблукати.

Освітлення

Для реалістичного освітлення використовують динамічну систему Lumen, яка виконує трасування променів у реальному часі. Ця ж технологія діє і в кінематографічній частині — для реалістичних та м’яких тіней.

Водночас джерелами світла у демонстрації є лише сонце, небом і матеріали, що випромінюють світло. Жодних джерел освітлення для ліхтарів чи фар автомобілів немає. Вночі місто освітлюється через вікна будинків на вулиці.

Проєкт вийшов масштабний, а працювати над ним почали більш ніж рік тому. Для цього залучили від 60 до 100 художників, чимало з них працюють дистанційно

The Matrix Awakens: An Unreal Engine 5 Experience — це не гра і не стане нею в майбутньому. Однак така демонстрація показує, яким може бути майбутнє інтерактивного контенту, а також піднімає планку для візуальної частини в консольних проєктах.

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини