采风全网
达观天下

语音合成走到今天,难点变成了那半秒的沉默

先从一通电话说起

前阵子接到一通自动外呼,报完一长串数字之后,它停了半秒。那半秒不像人在换气,更像在等一个指令。音色已经足够像了,别扭的地方在节奏上。

这大概是语音合成眼下的处境:当声学部分被神经网络填得越来越平,露出来的往往是别的东西。

难点挪了位置

早年的拼接式合成靠录音单元拼句子,衔接处总有毛刺;后来的参数式方法声音干净,却带着一层挥不去的电子味。端到端模型把这些抹平了,输入文字、输出波形,中间少了很多手工环节。于是问题从“像不像人”转到“像不像这个场合里的人”。

真正花时间的常常是文本前端。数字怎么读,多音字怎么选,专名、缩写、中英混排怎么处理,规则和模型混着用,出错时特别显眼。一句播报里数字读错,听众立刻出戏。

再往上是韵律。哪里该停,哪个词该重,语速在哪一段放缓,这些靠标点猜不出来。模型能学到统计上的习惯,但对语境的理解仍然有限。

风格控制是另一条线。想让同一个声音读出疑问、提醒或者安抚,通常要给模型额外的条件,稳不稳定取决于训练里见过多少相近的语境。演示片段听感顺滑,换成真实稿件常常要打折扣,原因多半在这里。

实时交互里的取舍

流式合成要首包快,就得把句子切块送进模型。块与块之间前后文不足,韵律容易断,语气可能在半句里换了个调。延迟和连贯像一根绳的两头,工程上只能按场景去调。

评价本身也是难题

主观打分能给出一个均值,但均值盖住了差异:同一段合成音,用在导航播报里听着利落,放进有声书里就显得平。可懂度和自然度是两件事,前者容易测,后者取决于听的人想听什么。

它不必骗过耳朵

语音合成的用途大多不要求以假乱真。导航、播报、无障碍朗读、长文听读,这些场景要的是稳定、耐听、长时间不出岔子。一段十分钟的音频,前后音色漂移一点、重音错几处,对体验的影响往往大过单句的相似度。声音克隆另说,授权和标识是绕不开的前提。

我的判断是,接下来一段时间的改进,大概率来自更干净的标注、更细的文本前端和更贴近场景的评测方式,而不是再堆一个更大的模型。那半秒的停顿什么时候变得自然,可能比音色更像人更能说明问题。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:语音合成走到今天,难点变成了那半秒的沉默
文章链接:https://tech.cfdanews.com/ai/2151.html