Як я створив локальний ШІ-перекладач для Discord, який може говорити моїм голосом
Вітаю, спільното.
3 дні тому задався питанням: чи можна вже сьогодні в войсі вести спілкування з людьми мовами яких ви не знаєте в голосових чатах, на дзвінках чи то в діскорді чи то в гугл міті, і все це через локальний інференс на вашій скромній машині — не ідеально, але можна. Невеличка ремарка з приводу «не ідеально» — тести велися виключно українським мовленням (ну тобто з англіцизмами і на жаль подекуди й русизмами).
Додаткова ідея також полягала в тому щоб це все працювало на звичайних машинах (в контексті саме роботи з локальними ШІ).
Транскрибувалося, перекладалося й озвучувалося вашим склонованим теж локально голосом, а також найвільніші ліцензії (в контексті монетизації, хоча я з цим проектом цього не планую) які надають ці локальні нейронки з відкритими вагами, використовувався для тесту хіба один donationware — VB Cable, але його використання конкретно цього ПЗ опціональне, якщо у вас є придбані чи інші аналогічні речі то повинно бути доступно використовувати їх, хоча слід зауважити я цього не протестував. В теорії повинно бути достатньо використати коректне ім’я віртуального пристрою щоб все завелося та вставити його в .env файл вашого форка/клона, бо саме по імені ведеться пошук всередині Windows пристрою з яким буде вестися робота.
Пробували ми з Клодом різні варіанти та мікси локальних нейромереж, та йшли по розробці почергово — спочатку push to talk, а потім спробували й в streaming мовлення.
Зі стрімінгом зіштовхнулися з проблемами якості перекладу, через що страждало й озвучення, а також вимог часу до початку того як вас вперше почують, відлік йшов від початку вашого мовлення. Якщо коротко, то під час стрімінгу під капотом виконується значно більше роботи аніж під час push to talk.
Під час PTT ми одним кроком захоплюємо весь монолог, який потім транскрибується й перекладається з усіма розділовими знаками, що дозволяє якісніше читати текст вже вашим інструментом озвучення.
А от робота зі стрімингом це вже інший рівень головного болю, бо вашому перекладачу треба перекласти ваші слова які в нього є на поточний момент, через що розділові знаки втрачаються, а розділові знаки також є по факту відрізком тексту який віддається під час стрімінгу інструменту що займається озвученням.
Приклади того як в кінці перекладалося моє мовлення:
- «А ні, я сказав» -> Oh no, I said
- «А ні, я сказав навпаки» -> No, I said the opposite
Тобто коли прийшло останнє слово, початок перекладу змінився як і сенс вимовленого. Але якби голос уже встиг сказати «Oh no, I said», забрати це назад було б неможливо.
- «Мені подобаються» -> I like that.
- «...ігри, де треба думати й домовлятися з командою» -> Games where you need to think...
Перекладач не дочекавшись кінця, сам закрив речення та вигадав «that» і поставив крапку, а якби голос одразу це озвучив, людина на іншому кінці почула б «I like that. Games where you need to think...» — тобто те, чого я взагалі не казав. Саме тому програма не озвучує переклад, доки слова не перестануть змінюватися — звідси й затримка в кілька секунд.
Переклад та транскрипція викликалися раз на 0.5 секунд щоб синхронізувати ваше мовлення з тим як його треба обробити перекладачу, бо в цьому питанні дуже важливий контекст що перекладач має, якщо його недостатньо то вийде щось чого ви взагалі не казали та на увазі не мали, через це в нас затримка в кілька секунд перед стартом вашого склонованого мовлення.
Цю проблему частково фіксить більш якісний перекладач, хоча впевнений що й там воно всього не покриє. Але проблема більш якісного перекладачу означає більше навантаження на вашу відеокарту.
До проблем якості також додається якість вашого мікрофону, та ваша дикція. Хоча слід зауважити, що дикція є не зовсім великою проблемою, бо цю річ повинна фіксити саме технологія. Але якщо у вас бінго першого та другого, то результат буде не дуже. В теорії це можна пофіксити якимись програмами шумоподавлення, але це припущення та поле для експериментів.
На поточний момент найкраще опрацьовується саме англійська мова усіма транскрайберами (тобто коли на вхід заходить саме англійська), вже сьогодні можна побачити дивовижні результати, траплялося мені відео якогось дуже старого американського кіно, з їх превалюючими акцентами тих днів, і транскрайбер впорався там бездоганно. Тобто найбільша проблема на поточний момент — недостатня якість роботи саме з українською мовою.
Всю свою систему я піднімав локально:
- RTX 4070 12GB
- AMD Ryzen 5 7500F 6 ядер та 12 потоків
- HyperX QuadCast S з кардіодним режимом (що не є найякіснішим, але є найкомфортнішим, мені не доводиться тримати його прямо біля губ)
І невеличкий гачок для тих кому цікаво більше чисел та інфи в моєму Репо з «дослідженням», опис спроб та помилок, метрики включно з факапами й метриками поточного стану стрімінг режиму:
1. Розпізнавачі на моєму голосі
| Модель | Де працює | WER, набір A | WER, набір B | Час на фразу |
|---|---|---|---|---|
| Parakeet-TDT-0.6B-v3 int8 | CPU | 12,2% | 9,4% | ~215 мс |
| Parakeet Ultra int8 (спільнотний int8-експорт) | CPU | 7,7% | 8,3% | ~190 мс |
| Parakeet-TDT-0.6B-v3 fp32 | GPU | 8,3% | 8,8% | ~165 мс |
| Parakeet Ultra int8 | GPU | 8,3% | 8,8% | ~230 мс |
| NeMo FastConformer CTC uk (лише українська) | CPU | 26,0% | 23,2% | ~106 мс |
| Nemotron 3.5 ASR Streaming int8, найкращий розмір порції | CPU | 18,2% | 20,4% | потоковий |
WER — частка слів, які розпізнавач записав неправильно (пропустив, додав чи переплутав): що менше, то краще. Набори A і B — ті самі 20 фраз, записані двічі: у наборі B я сидів ближче до мікрофона й перемкнув його в кардіоїдний режим. Час на фразу — скільки розпізнавач обробляв одну таку фразу, тобто мова йде про кілька секунд мовлення.
2. Від відпускання клавіші до першого звуку перекладу
| Умови | Розпізнавання й переклад | Перший звук |
|---|---|---|
| Без гри, короткі фрази | CPU (Parakeet Ultra + quickmt) | ~0,55 с |
| Без гри, ті самі фрази | GPU (Parakeet v3 + quickmt) | ~0,41 с |
| Процесор завантажений на 100% | CPU | ~1,05 с |
| Процесор завантажений на 100% | GPU | ~0,51 с |
| У Path of Exile 2 | CPU | |
| Довга фраза (~9 с) у грі під час запису відео | CPU | ~1,4 с |
Голос (Qwen3-TTS 1.7B) у всіх рядках працює на GPU. За замовчуванням розпізнавання й переклад — на CPU: на GPU швидше на ~0,15 с, але це ще ~3,5 ГБ відеопам’яті, яких поруч із грою бракує.
3. Ресурси й точність
| Що | Результат |
|---|---|
| Відеопам’ять в основному режимі | ~5 ГБ: розпізнавання й переклад на CPU, голос на GPU (з легшим голосом ~3 ГБ; усе на GPU ~8,5 ГБ) |
| FPS у Path of Exile 2 | без обмежень: |
| Помилки розпізнавання на моєму голосі | ~8% слів |
| Модель, що на папері обіцяла 5,7% на українській | на живому мовленні — 26% |
Хвилинка самореклами — якщо вам потрібен сутінковий геній, то я відкритий до пропозицій :)
Немає коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарів