GRAFT: новый метод синтеза речи с точным произношением редких слов
Группа исследователей представила GRAFT — метод точного контроля произношения слов в системах синтеза речи на основе нейросетевых кодековых языковых моделей. Работа опубликована на arXiv.
Современные системы синтеза речи достигают высокой разборчивости и естественности, но сталкиваются с проблемой неоднозначности текста. Редкие имена собственные, заимствования и технические термины часто произносятся неверно. Даже модели, использующие фонемное представление, не гарантируют корректного произношения конкретного слова.
GRAFT решает эту задачу, позволяя управлять произношением заданного слова с помощью короткого аудиообразца. Образец кодируется с помощью того же токенизатора речи, что и сама модель, и привязывается к позиции слова в тексте. Благодаря конверсии голоса в процессе подготовки обучающих данных голос образца отделяется от голоса целевого диктора — подсказка может быть в любом голосе, но выходной аудиосигнал сохраняет голос диктора.
В слепом исследовании на английском языке участники ранжировали системы, и GRAFT уверенно занял первое место. Произношение сложных слов в нём оценивалось как максимально близкое к эталонной записи.
На объективном бенчмарке для пяти языков GRAFT снизил фонемную ошибку целевого слова на 22–39% по сравнению с текстовым базовым вариантом. Метод также превзошёл существующие открытые системы с нулевым обучением — как на фонемах, так и на тексте — по точности произношения, сохраняя при этом схожесть с голосом диктора и естественность речи.
Разработка может найти применение в голосовых помощниках, синтезаторах речи для людей с ограничениями здоровья и в системах автоматического озвучивания контента с иностранными терминами.
