Синтез: важлива сумісність конкретного рантайму

PR #32020 додає аудіоконвеєр ZONOS3-Mini, голос за замовчуванням, роботу з еталонним голосовим фрагментом і параметрами подачі. Автор окремо попереджає: оригінальний пакет моделі використовує власний варіант GGML, який не є автоматично сумісним із llama.cpp. Отже, не можна просто перенести будь-які готові ваги між двома реалізаціями. Картка Zyphra вказує Apache 2.0 для ваг та описує 43 мови, але заяви про швидкість її власних рантаймів не варто переносити на нову інтеграцію без вимірювань.

Нормалізація тексту впливає на вимову

Перед об’єднанням інтеграції розробник додав нормалізацію тексту. Рецензент повідомив про наскрізну перевірку конвертованої моделі Q8_0 з f32 mmproj через llama-tts і /tts, зокрема чисел, грошей, часу та порядкових числівників англійською і французькою. У рев’ю водночас наведено проблемні випадки: окремі валютні конструкції французькою та іспанською й читання чотиризначних чисел як років англійською. Це конкретні результати учасника проєкту, а не наш незалежний тест або гарантія правильної вимови довільного тексту.

Розпізнавання: два сімейства, спільна інтеграція

PR #32329 додає Higgs Audio v3 STT та Microsoft VibeVoice-ASR разом, оскільки, за поясненням автора, вони мають спільну основу. Рецензент перевірив Q8_0 із f16 mmproj на англійських і французьких фрагментах через /v1/audio/transcriptions, /v1/chat/completions та сеанс транскрибування в реальному часі. Він повідомив про коректні часові позначки, розділення мовців і врахування контекстної підказки у VibeVoice, зокрема на межі 30-секундного сегмента. Ці короткі приклади не доводять однакової точності на годинних записах чи спеціалізованій українській лексиці.

Що перевірити перед локальним упровадженням

Офіційна картка Higgs вказує Apache 2.0 та англійську мову, а картка Microsoft VibeVoice-ASR-HF — MIT і багатомовні можливості. Вони опубліковані відповідними організаціями на Hugging Face; це не окремий реліз команди платформи. Можливості оригінальної реалізації, включно з довгим аудіо, слід звіряти з поточною підтримкою llama.cpp. Розмір ваг, точність квантування, додаткові компоненти й тривалість запису впливають на пам’ять та затримку. У перевірених PR немає універсального мінімуму оперативної пам’яті або бенчмарка для всіх пристроїв.