Дослідники розробили модель, що дозволяє створювати анімації персонажів на основі рухів людей з відео

Команда дослідників представила SMPLer-X. Це нова універсальна базова модель, яка збирає дані про людські рухи та пози (EHPS). Отриману інформацію можна використовувати для анімації віртуальних персонажів, в тому числі ігрових.

Результати роботи SMPLer-X можна оцінити в ролику нижче. На відео показано, як працює технологія, а також конкретні приклади її застосування.

Для навчання моделі застосували 4,5 мільйона прикладів з різних джерел. Кінцевий результат виявився напрочуд вдалим. Розробники перевірили SMPLer-X на семи профільних тестах, і кожного разу показник відповідав сучасним потребам.

«Для масштабування даних ми провели систематичне дослідження на 32 наборах даних EHPS, що охоплює широкий спектр сценаріїв, з якими не може впоратися модель, навчена на будь-якому окремому наборі даних. Що ще важливіше, спираючись на інформацію, отриману в результаті об’ємного процесу бенчмаркінгу, ми оптимізуємо нашу схему навчання та обираємо набори даних, які призводять до значного стрибка в можливостях EHPS. Для масштабування моделі ми використовуємо трансформатори зору для вивчення закону масштабування розмірів моделей в EHPS. Крім того, наша стратегія точного налаштування перетворює SMPLer-X на спеціалізовані моделі, що дозволяє їм досягти подальшого підвищення продуктивності», — пояснили дослідники.

Код SMPLer-X знаходиться у відкритому доступі на GitHub за посиланням. А на окремій сторінці можна слідкувати за розвитком моделі.

Нагадаємо, нещодавно ми писали, як засновник GitHub Кріс Ванстрат анонсував платформу для розробників ігор void.dev. Як саме вона буде виглядати, поки невідомо.

Підписуйтеся на Telegram-канал @gamedev_dou, щоб не пропустити найважливіші статті і новини