Українець навчив мозок мухи грати в Rainbow Six Siege. І вона вже робить хедшоти у грі

Нещодавно дослідники Google Research спільно з HHMI Janelia та іншими науковцями створили першу повну карту мозку й центральної нервової системи дорослої фруктової мухи. Для цього використали штучний інтелект, який об’єднав мільйони двовимірних зрізів у тривимірну структуру.

Доступ до мапи відкрили для всіх охочих, що одразу запустило хвилю експериментів в ігровій індустрії. Віртуальну муху вже змусили грати в Beat Saber, помістили у DOOM (де для пострілу генерують віртуальний неприємний запах) та зробили основним персонажем у Fly Escape Room.

Та поки західне ком’юніті розважалося з аркадами і ретро-шутерами, автор українського YouTube-каналу «Облога» Олександр «GHOOD BHOY» вирішив поставити перед мухою значно складніше завдання. Він інтегрував її свідомість у Rainbow Six Siege.

З написанням коду, налаштуванням та архітектурою автору допомагали платні версії Claude та ChatGPT Astra. В основі проєкту лежить імпульсна нейронна мережа (spiking neural network), де віртуальні нейрони обмінюються не числами, а імпульсами, імітуючи роботу живої нервової системи.

Щоб комаха змогла взаємодіяти з грою, довелося розробити специфічну екосистему:

Окремий модуль комп’ютерного зору безперервно зчитує зображення з монітора та конвертує пікселі у сигнали, які здатна обробити нейромережа;
Паралельно система захоплює ігровий звук, щоб модель могла зіставляти його з візуалом і вираховувати точні координати противника в просторі;
На основі цих даних цифровий мозок мухи ухвалює рішення, які спеціальний контролер транслює у фізичні натискання WASD, рухи мишкою та використання здібностей оперативника.

Навчити муху грати виявилося непросто. Спочатку автор намагався згодувати їй одразу весь геймплей, але система не розуміла контексту: дивилася в стіну, ходила боком і стріляла під ноги. Тоді процес розбили на базові блоки. Комаху послідовно вчили переміщатися коридорами, керувати камерою, контролювати віддачу та відрізняти союзників від ворогів.

Для повноцінного тренування знадобилося близько 20 терабайтів даних. Замість звичайних відео використовувалися спеціально перекодовані записи ігор від високорангових, де кожен кадр був ідеально синхронізований із таймінгами натискання клавіш.

Після сотні тестових матчів муха зробила свій перший кіл у реальній грі. Граючи за Vigil на мапі Clubhouse, вона почула кроки на вулиці, зробила ротацію за допомогою імпакта, розпізнала ворога у вікні та дала хедшот із дробовика BOSG.

«Коли вона побачила перші мікропікселі на даху, то звела два незалежні сигнали в один, зрозуміла, що це ворог, розпізнала і зробила постріл. Хедшот. Я не повірив, що це зробила вона. Ван-тапом. Буквально муха переграла людину», — ділиться враженнями Олександр.

Зараз ігровий рівень нейромережі коливається між «сріблом» та «золотом». Їй усе ще складно дається механіка нахилів, а в критичних ситуаціях вона пушить позиції замість того, щоб грати від оборони, адже в неї відсутній інстинкт самозбереження.

Проте модель постійно самонавчається на власному досвіді, закріплюючи вдалі дії без втручання розробника. У майбутньому автор планує пустити муху в рейтингові матчі на своєму основному акаунті, щоб спробувати досягти рангу Diamond.