先从一通电话说起
前阵子接到一通自动外呼,报完一长串数字之后,它停了半秒。那半秒不像人在换气,更像在等一个指令。音色已经足够像了,别扭的地方在节奏上。
这大概是语音合成眼下的处境:当声学部分被神经网络填得越来越平,露出来的往往是别的东西。
难点挪了位置
早年的拼接式合成靠录音单元拼句子,衔接处总有毛刺;后来的参数式方法声音干净,却带着一层挥不去的电子味。端到端模型把这些抹平了,输入文字、输出波形,中间少了很多手工环节。于是问题从“像不像人”转到“像不像这个场合里的人”。
真正花时间的常常是文本前端。数字怎么读,多音字怎么选,专名、缩写、中英混排怎么处理,规则和模型混着用,出错时特别显眼。一句播报里数字读错,听众立刻出戏。
再往上是韵律。哪里该停,哪个词该重,语速在哪一段放缓,这些靠标点猜不出来。模型能学到统计上的习惯,但对语境的理解仍然有限。
风格控制是另一条线。想让同一个声音读出疑问、提醒或者安抚,通常要给模型额外的条件,稳不稳定取决于训练里见过多少相近的语境。演示片段听感顺滑,换成真实稿件常常要打折扣,原因多半在这里。
实时交互里的取舍
流式合成要首包快,就得把句子切块送进模型。块与块之间前后文不足,韵律容易断,语气可能在半句里换了个调。延迟和连贯像一根绳的两头,工程上只能按场景去调。
评价本身也是难题
主观打分能给出一个均值,但均值盖住了差异:同一段合成音,用在导航播报里听着利落,放进有声书里就显得平。可懂度和自然度是两件事,前者容易测,后者取决于听的人想听什么。
它不必骗过耳朵
语音合成的用途大多不要求以假乱真。导航、播报、无障碍朗读、长文听读,这些场景要的是稳定、耐听、长时间不出岔子。一段十分钟的音频,前后音色漂移一点、重音错几处,对体验的影响往往大过单句的相似度。声音克隆另说,授权和标识是绕不开的前提。
我的判断是,接下来一段时间的改进,大概率来自更干净的标注、更细的文本前端和更贴近场景的评测方式,而不是再堆一个更大的模型。那半秒的停顿什么时候变得自然,可能比音色更像人更能说明问题。