Як саунд-дизайн впливає на оптимізацію гри під час портування

Вітаю, мене звати Олексій Погорілий, я обіймаю посаду Sound Designer у Pingle Game Studio. У світі сучасної розробки ігор, де візуальна достовірність та ігрові механіки часто займають центральне місце, легко не помітити значну роль, яку відіграє звуковий дизайн у створенні захопливого та яскравого ігрового досвіду. Мистецтво саунд-дизайну пройшло довгий шлях з часів зародження ігор, еволюціонуючи від простих звукових сигналів до складної дисципліни, яка покращує сприйняття ігрового сюжету, геймплей та емоційний вплив. У цій статті я спробую розкрити багатогранну роль саунд-дизайнера та значення звуку в сучасній розробці ігор.

Інструментарій саунд-дизайнера

Саунд-дизайнер — це важливий елемент команди розробників ігор, який відповідає за створення звукових компонентів, що доповнюють візуальну та інтерактивну складові гри. Його арсенал включає в себе широкий спектр технік і технологій, які дозволяють йому створювати багатий звуковий образ. Від навколишнього звукового ландшафту до діалогів персонажів, від потужних екшн-сцен до ледь вловимих відтінків природного оточення — саунд-дизайнери використовують цілу палітру інструментів для створення світу, який гравці можуть не лише бачити, а й чути та відчувати.

Одним з інструментів в роботі саунд-дизайнера є звукова Фолі-студія (Foley), де за допомогою різних предметів і реквізиту можна створити будь-які звуки з реального світу. Кроки по різних поверхнях, шелест одягу, брязкіт зброї — всі ці знайомі усім звуки додають реалізму, який занурює гравців у ігровий простір. Крім того, розвиток технологій звукозапису дозволив саунд-дизайнерам записувати високоякісний звук у найрізноманітніших середовищах, гарантуючи, що кожна звукова деталь буде автентичною та переконливою. Наприклад, можна записати звук під водою, та перетворити його у крутий, виразний саунд-ефект, або відтворити атмосферу ніби гравець під водою. Але про це далі.

Імерсивний наратив

Звуковий дизайн сам по собі виступає в ролі оповідача, посилюючи глибину сюжету, переконливість та емоційний вплив. Наприклад, озвучення діалогів виходить за рамки простого дикторського тексту. Воно включає в себе поєднання ледь вловимих голосових інтонацій, дихання та додаткових фонових шумів, щоб створити живі образи персонажів. Якщо це зроблено майстерно, гравці емоційно включаються в персонажів, їхні стосунки, пригоди та переживання. Це сприяє більшому зануренню в ігровий процес.

Окрім історії, яку розгортають персонажі, оточуюча атмосфера значною мірою тримається на звуковому оформленні. Скрип підлоги в покинутому маєтку, віддалене протяжне завивання вовка в безлюдному пейзажі — ці слухові підказки дають гравцям уявлення про історію ігрового світу, його таємниці та виклики, які чекають на них попереду. Дають йому фонову інформацію про світ гри, його історію, культуру та інші деталі. Вони розповідають про вигаданий всесвіт та додатково впливають на його сприйняття.

Залучаючи уяву гравців, звуковий дизайн стає невід’ємною частиною ігрового наративу, допомагаючи гравцям скласти мозаїку історії, використовуючи як візуальні, так і звукові орієнтири.

Ігровий процес та реакція гравця

Окрім підсилення наративу, звуковий дизайн відіграє значну роль у механіці ігрового процесу та зворотному зв’язку з гравцем. Кожна дія гравця — чи то постріл зі зброї, стрибок, чи відчинення дверей — супроводжується певним звуком. Цей звуковий супровід не лише посилює активність гравця, але й надає йому цінну інформацію. Наприклад, звук віддаленого перезаряджання зброї дає гравцям зрозуміти, що час шукати укриття. А звук кроків ворога, що наближається позаду, викликає реакцію «бий або тікай», та дає інформацію, звідки чекати атаки.

Крім того, саунддизайн сприяє кращому сприйняттю простору, особливо в іграх зі складним 3D-середовищем. Завдяки продуманому розташуванню, використанню бінаурального аудіо (технологія, яка імітує сприйняття звуку двома вухами) або Dolby Atmos, саунд-дизайнери можуть створити уявлення глибини та направленості звуку. Це дозволяє гравцям точно визначати місцезнаходження потенційних загроз або об’єктів, що знаходяться за межами екрану, сприяючи більш захоплюючому та динамічному ігровому процесу.

Створення настрою та атмосфери

Звуковий дизайн — це потужний інструмент для формування загального настрою та атмосфери гри. Від жахів до фентезі, від наукової фантастики до історичної драми — звуковий супровід створює умови для виникнення емоцій та очікувань гравців. Уявіть собі гру в жанрі хоррор з моторошними шепотіннями, що лунають у напівтемряві коридорів, або яскравий фентезійний світ, наповнений вигадливими мелодіями та гомоном метушливих ринків. Ці звукові ландшафти не лише допомагають гравцям зануритися в атмосферу гри, але й викликають відповідну емоційну реакцію — страх, здивування, захоплення чи ностальгію.

Розвиток інтерактивних звукових рушіїв

Роль саунд-дизайну в сучасній розробці ігор значно збагатилася завдяки технологічним інноваціям. Динамічні аудіо системи можуть адаптуватися до дій та вибору гравців, плавно переходячи між різними музичними темами або посилюючи звукові ефекти під час виконання конкретних дій.

Пройшли ті часи, коли ігровий звук був чимось статичним та одноманітним. Сьогодні ігри — це живі, дихаючі світи, і звук є невід’ємним елементом, який наповнює життям віртуальні простори. Ця трансформація значною мірою пов’язана з появою інтерактивних звукових рушіїв, таких як Wwise та FMOD , які кардинально змінили те, як звук застосовується та сприймається в іграх.

Адаптивні звукові сценарії та ефект занурення гравця

У просторі сучасної ігрової індустрії, де першочерговими є ефект занурення та увага до деталей, роль звуку зростає в геометричній прогресії. Такі аудіо-рушії, як Wwise та FMOD, стали провідною технологією створення динамічного, інтерактивного та захопливого звукового супроводу у відеоіграх.

Ці звукові рушії дають розробникам і саунд-дизайнерам можливість контролювати кожен звуковий елемент у грі. Вони дозволяють створювати складні звукові ландшафти, які адаптуються в реальному часі до дій гравця, змін навколишнього середовища та сюжетного розвитку. Результатом є слуховий досвід, який розгортається разом з ігровим процесом, занурюючи гравців у глибину ігрового світу.

Також в арсеналі інструментів рушія є системи інтерактивної музики та мікшування в реальному часі, які забезпечують динамічну зміну звуку відповідно до середовища та ігрових подій. Наприклад, коли гравець потрапляє до темної, зловісної печери, звуковий рушій може плавно перейти від безтурботної мелодії та атмосфери лісу до моторошного звукового ландшафту з відлунням, посилюючи відчуття настороженості та небезпеки у гравця.

Така адаптивність не лише покращує відчуття занурення, але й посилює емоційний вплив ігрових подій. Уявіть, як зростає напруга в стелсі, коли гучнішають звуки наближення охоронців, або як тріумфально зазвучить музика, коли гравець подолає складне випробування. Ці динамічні звукові сигнали викликають емоційні реакції, які є невід’ємною частиною зв’язку гравця з грою.

Ефективність та взаємодія

Wwise та FMOD не лише покращують якість звуку, але й спрощують процес розробки. Саунд-дизайнери можуть працювати ефективніше, використовуючи візуальні інтерфейси цих рушіїв для реалізації складних аудіосистем без необхідності глибоких знань програмування. Це дає змогу зосередитися на творчості та експериментувати, адаптуючи звукові елементи, паралельно тестуючи їх у грі та вносячи зміни до саунд-дизайну.

Портування та оптимізація звуку

Окрім створення звукових систем, аудіо-рушії грають ключову роль у процесі оптимізації звуку та портуванні гри на інші платформи. Коли гра переходить з однієї платформи на іншу, вона повинна коректно працювати на різних апаратних конфігураціях. Для цього ретельна увага має бути приділена звуковим ресурсам. Оскільки розробники ігор розширюють свої горизонти, випускаючи свої творіння на різних платформах — від консолей до ПК і мобільних пристроїв — проблема перенесення звуку стає очевидною.

Кожна платформа має власні апаратні специфікації, можливості обробки та системи відтворення звуку. Те, що звучить із ефектом присутності на висококласному ігровому ПК, може не дуже добре відтворюватися на портативній консолі або мобільному телефоні. Таким чином, перенесення звуку вимагає тонкого балансу між збереженням запланованої якості звуку та його адаптацією до можливостей цільової платформи. Оптимізація звуку — це не лише забезпечення його роботи на різних платформах, але й збереження оптимальної якості звуку.

Розробники ігор прагнуть створити звук, який посилює занурення в гру, мінімізуючи при цьому вплив на системні ресурси. І здавалося б, до чого тут саунд-дизайнер? Але якщо детальніше зануритись у проблему оптимізації, то ми зможемо побачити, що інколи навіть один лише саунд-дизайнер може вирішити багато проблем при портуванні. Ця робота вимагає ретельного підходу до балансування складності звуку, стиснення та використання проміжного програмного забезпечення, такого як аудіо-рушії.

Звукові файли можна стискати без втрати якості, що дозволяє грі завантажувати та обробляти звуки більш ефективно. Використовуючи такі формати як Ogg Vorbis або AAC, розробники можуть зменшити розмір файлів, зберігаючи при цьому більшість їх деталей. Більше того, розробники можуть визначати пріоритетність аудіопотоків, завантажуючи лише необхідні звуки для поточного ігрового сценарію і поступово додаючи додаткові звуки за потреби.

Strayed Lights

Найважливішим при оптимізації є рівномірне навантаження системних ресурсів (RAM\CPU\GPU). Якщо на графічний процесор звук майже не має впливу, то на об’єм використовуваної пам’яті та навантаження центрального процесора звук має дуже вагомий вплив. Вони задіяні у декомпресії аудіо-файлів, динамічному завантаженні та вивантаженні звукових ресурсів, обробці просторового звуку тощо.

Одним з цікавих кейсів у Pingle Studio був проєкт Strayed Lights. Цю гру необхідно було портувати з ПК на майже всі консолі минулого та нового покоління, а саме : PS4, PS5, Switch, Xbox One та Xbox Series X. У проєкті використовувався аудіо-рушій Wwise, за допомогою якого вдалося вирішити дуже багато проблем при портуванні.

Основною проблемою був великий об’єм саунд-банків (результуючі файли аудіо-рушія, в яких містяться звуки та вся необхідна інформація про їх поведінку у грі) та відсутність оптимізації звуку. На початку роботи всі саунд-банки проєкту важили 5.5 GB — це дуже багато. Наприклад, на платформі Switch зберігання у RAM великої кількості важких банків призводило б до помилок та крашів. Причиною великого розміру саунд-банків була відсутність налаштувань конверсії на всіх аудіофайлах у грі. Тож для вирішення цієї проблеми були підібрані необхідні аудіокодеки у налаштуваннях конверсії.

На початку використовувалися PCM кодеки, які зовсім не стискають аудіо. Тому всі аудіофайли мали свої оригінальні розміри при частоті дискретизації 96 кГц, яка є завеликою та надмірною для використанні у грі. Загалом звукові файли важили 5.5 GB. Але після застосування різних кодеків в залежності від типу звуків (музика, атмосфери, голос тощо) та платформи, нам вдалося досягти розмірів саунд банків в середньому 1 GB. Це звільнило близько 480 MB RAM пам’яті та прибрало пов’язані з цим помилки.

Ось так, добре підібрані налаштування конверсії можуть врятувати нестачу RAM пам’яті. Окрім того, якщо використовувати нативні кодеки платформи, наприклад XMA для Xbox, — ми зможемо знизити навантаження на CPU завдяки хардварному декодуванню аудіо на стороні консолі.

Five Nights at Freddy’s: Security Breach

Ще один дуже цікавий кейс — це проєкт Five Nights at Freddy’s: Security Breach. На ньому теж використовувався аудіо рушій Wwise. І якщо на прикладі Strayed Lights ми побачили, як можна оптимізувати використання RAM під обмеження платформи, то у цьому проєкті мова піде про розвантаження CPU і те, як інколи одна увімкнена функція може все виправити.

Читайте також «Портування FNAF9 на Nintendo Switch»

У даному випадку ми портували гру з ПК на Nintendo Switch. Ті, хто працював з цією платформою або дивися технічні характеристики консолі, розуміє, що бюджети ресурсів цієї консолі дуже стислі. Основною проблемою було сильне навантаження на СPU, що відбувалося через велику кількість обробок у реальному часі.

Щоб файли не оброблялися під час гри, необхідно обробити їх заздалегідь, і вже готові запакувати у саунд банк. А з цим чудово справляється аудіорушій. Таким чином, наприклад, ефекти реверберації, які додатково навантажували CPU, були відрендерені у самому Wwise та збережені у готовому вигляді у саунд банк. Для цього було необхідно лише поставити позначку на необхідному полі. І якщо на початку ми мали швидкість обробки звуку (Audio Thread) 16.1 ms, то після розвантаження процесору завдяки рендеру та переходу на нативні кодеки компрессії (OpusNX) ми досягли 6.3 ms, що дуже знизило навантаження на CPU.

Тож інколи навіть незначні, на перший погляд, речі можуть сильно вплинути на розвантаження CPU.

Технічні інновації та перспективи розвитку

Забігаючи наперед, можна сказати, що потенціал звукового дизайну в іграх виглядає безмежним. Адже віртуальна реальність (VR) і доповнена реальність (AR) продовжують розвиватися, і звуковий дизайн відіграватиме ще більш важливу роль у створенні переконливого і занурюючого ігрового досвіду. Виклик полягає в розробці аудіотехнологій, які ще більше посилюють відчуття присутності та співзвучної реакції ігрового середовища.

Висновок

Підсумовуючи, можна сказати, що впровадження аудіорушіїв, таких як Wwise та FMOD, перетворило ігрове аудіо на комплексний та динамічний вид мистецтва. Роль саунд-дизайнерів еволюціонувала від створення статичних аудіокліпів до формування складних та адаптивних звукових ландшафтів, які сприяють зануренню гравців у гру, викликають у них емоції та зацікавленість. Ці рушії дають можливість саунд-дизайнерам тісно співпрацювати з командою розробників, гарантуючи, що звуковий вимір гри бездоганно поєднується з її наративними та ігровими елементами. Межі технологій продовжують розширюватися, майбутнє ігрового звуку виглядає багатообіцяючим, а саунд-дизайнери перебувають на передовій інновацій та творчості.

Оскільки ігри знаходять свій шлях на все більш різноманітних платформах, мистецтво перенесення та оптимізації звуку набуває нового значення. Розробники повинні вирішувати проблеми адаптації звуку до різних платформ, зберігаючи при цьому якість і вплив оригінального дизайну. Завдяки ретельному підходу, методам стиснення, динамічному завантаженню та ретельному тестуванню розробники ігор можуть гарантувати, що звук залишатиметься цілісною та захоплюючою частиною подорожі гравця, незалежно від платформи, яку вони обрали для гри.

Тож наступного разу, коли ви візьмете в руки контролер або вдягнете шолом віртуальної реальності, знайдіть хвилинку, щоб оцінити майстерність саунд-дизайну, який підніме ваш ігровий досвід на нові висоти звукового сприйняття.

Теми: Pingle Game Studio, sound design