Программа состоит из двух нейросетей глубокого обучения. Первая преобразует текст в спектрограмму и передает алгоритму WaveNet, который озвучивает ее, генерируя соответствующие звуковые элементы. Tacotron 2 справляется с трудными для произношения словами и названиями, а также меняет речь в зависимости от пунктуации. Например, она может с помощью интонации подчеркнуть слово, написанное с заглавной буквы.
Ученые перестали понимать, как работает ИИ
Технологии
Образцы работы Tacorton 2 можно прослушать на официальном сайте Google. Эта технология, скорее всего, сразу начнет использоваться в продуктах компании. WaveNet, впервые анонсированная в 2016 году, теперь служит для генерации голоса в Google Assistant. Tacotron 2 может стать еще более мощным дополнением к сервису.
Дежавю не ошибка мозга, а попытка ее предотвратить
Идеи
К сожалению, пока программа может говорить только единственным женским голосом. В отличие от Tacotron 2, продукт канадского ИИ-стартапа Lyrebird, по словам разработчиков, способен точно имитировать голос любого человека. Для этого достаточно звукового файла продолжительностью 1 минута.