«Одна відповідь на дві години». Ентузіаст створив у Minecraft робочу LLM з редстоуну

Ютубер sammyuri створив у Minecraft робочу LLM на кшталт ChatGPT. Для цього він використав редстоун — ігровий мінерал, який може передавати сигнали.

У своєму відео sammyuri детально пояснив структуру свого «комп’ютера». Зокрема, він продемонстрував пристрій, який «стиснув» повноцінний ШІ-чат у гіганта з редстоуну та ПЗП з понад п’ятьма мільйонами параметрів. Автор зазначає, що модель навчали в Python на датасеті TinyChat з простих англомовних діалогів. Модель використовує 240-вимірне вбудовування і словник на 1920 токенів у шести шарах.

Машина займає 1020×260×1656 блоків. Автор додав, що його відео записано з модом Distant Horizons. Саме тому віддалений редстоун виглядає дещо дивно через спрощені рівні деталізації (LOD). Якщо ж говорити про продуктивність, то навіть із прискореною частотою тіку на високопродуктивному редстоун-сервері генерування однієї відповіді займало близько двох годин.

Загалом, це не вперше sammyuri щось будує у Minecraft. На його каналі є відео, в яких він розповідає, як створив у Minecraft свій Minecraft та окремий CPU, на якому можна пограти у Тетрис. Інші розробники з редстоуну створювали функціональні дисплеї, калькулятори та навіть машину, здатну запускати прості ігри на кшталт Minesweeper.

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини про геймдев