Сбер открыл исходный код мультиязычной модели распознавания речи GigaAM Multilingual

Команда Сбера выпустила в открытый доступ акустические модели GigaAM Multilingual и GigaChat Audio, ориентированные на качественное распознавание языков стран СНГ. Разработка решает проблему деградации качества при транскрибации длинных аудиозаписей и нехватку обучающих данных для миноритарных языков. В текущей версии стек официально поддерживает русский, казахский, киргизский, узбекский и английский языки.

Архитектура GigaAM Multilingual включает аудио-энкодер на базе Conformer и модель распознавания речи CTC ASR. Энкодер обучался на двух миллионах часов аудиоданных, охватывающих более семидесяти языков, с использованием целевой функции в стиле HuBERT. Для предотвращения доминирования широко представленных языков над малоресурсными исследователи применили стратегию балансировки данных на уровне кластеров при предварительном обучении и доменно-ориентированное сэмплирование на этапе тонкой настройки.

При тестировании на спонтанной речи предложенный подход демонстрирует более высокую точность распознавания целевых языков по сравнению с открытыми аналогами, такими как Whisper Large v3 и Omnilingual-1B, при этом сохраняя вычислительную эффективность. Исходный код, веса энкодера и ASR-модели опубликованы в открытом репозитории, что дает сторонним разработчикам готовый инструмент для адаптации голосовых систем к условиям сильного дисбаланса обучающих выборок.