Фахівці Google представили GameNGen — перший ігровий рушій на базі нейромережі

Четверо фахівців розробили GameNGen. Це перший ігровий рушій, який створено на базі нейромережі. Він вже може симулювати класичну Doom з кадровою частотою 20 кадрів/сек.

Про це стало відомо з офіційної сторінки технології на Github. Там розробники виклали всі файли та документацію для застосування GameNGen. Створенням рушія займалися четверо фахівців: Дені Валевскі та Янів Левіафан з Google Research, Шломі Фрухтер з Google DeepMind та Моав Арар з Тель-Авівського університету.

«GameNGen може інтерактивно симулювати класичну гру DOOM з частотою понад 20 кадрів в секунду на одному TPU. Прогнозування наступного кадру досягає PSNR 29,4, що можна порівняти зі стисненням JPEG з втратами. Під час тестування люди відрізняли ігрові кліпи від симуляції лиш трішки частіше за випадкове вгадування», — сказано в описі рушія.

Технологія навчається у два етапи. Розробники не могли збирати дані про те, як грають люди в конкретний проєкт, у потрібному масштабі. Тому вони реалізували RL-агент, який самостійно вчиться грати.

В результаті формується база сесій, на яких модифікована дифузійна модель вчиться будувати наступний кадр на основі інформації з попередніх кадрів і дій. Для цих цілей розробники перепрофілювали Stable Diffusion v1.4.

Нагадаємо, нещодавно ми писали про реліз Godot версії 4.3. Оновлення стало наймасштабнішим за весь час існування рушія й включає покращення від 3500 учасників спільноти.

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини