打电话查话费,播报声报完金额会停半秒,再接下句。多数时候你不会注意这半秒;一旦它短了或长了,耳朵立刻觉得不对劲——不是内容错,是节奏错。语音合成做了这么多年,字念得准早已不是主要矛盾,最难缠的恰恰是这些夹在字缝里的东西。
字与字之间,藏着大量信息
人说话不是匀速输出的。换气、犹豫、重音落点、句尾轻微下沉,都在传递“我现在是什么状态”。这些在语言学里常被归到韵律和副语言层面。录音棚里念稿子的人往往把这些抹平了,声音干净、稳定,却也失去了毛边。合成系统如果只用这类语料训练,输出就容易“太顺”——每一句都像播报,连情绪激动时也不喘。
于是问题变成:模型能不能学到“不该平整的地方”。近几年的做法是把停顿、语气、时长当作可控条件,让使用者能指定“这里慢一点”“这句带点疲惫”。听着简单,实操里很难:标注依赖人的判断,不同标注者对同一句话的切分未必一致。
声码器决定“像不像”,也决定“累不累”
端到端语音合成通常分两步:先把文本变成中间声学表示,再由声码器还原成波形。声码器负责细节——气声、齿音、尾音的衰减。早期声码器出来的声音有种塑料感,问题往往不在音素,而在这些高频细节被抹掉了。现在这一环进步明显,代价是算力,延迟也跟着上来。实时对话场景里,几百毫秒的等待会被放大成“卡”,所以流式合成、分块生成成了工程上的重点。
这里有个容易被忽略的取舍:细节越丰富,声音越可信,也越容易被误用。音色能被复刻之后,“这是不是本人说的”变成了一个新问题。谨慎的做法是把授权、水印、可追溯标识做进流程,而不是等出事再补。
好听不等于合适
我常觉得,评价一套语音合成系统,不该只看它念一段散文有多顺,更该看它在具体场景里是否得体:
- 导航播报:需要短、清楚、不抢注意力,情绪反而是干扰;
- 有声书:需要长时间听不疲劳,句读要贴合语义而不是标点;
- 无障碍阅读:语速可调、发音稳定,比音色华丽更实在;
- 客服外呼:一句话说错,用户信任就掉了,容错空间很小。
这些场景对“像人”的要求并不一致。有的地方,稍微机械一点反而让人安心,因为听者知道自己在和系统打交道。
剩下的难点在语料之外
技术上的进步大多能靠数据和算力推着走,但语音合成还有一块绕不开:真实说话里的不规范。方言混杂、口语重复、边说边想,这些在录音棚语料里是“噪声”,在真实交流里却是主体。要让合成声音适应这种松散,靠清洗数据解决不了,得换一种建模思路——允许不确定,允许停顿出现在语法上不该出现的地方。
所以我不太在意某次演示里那句话有多像真人。更有意义的观察是:当说话人改变情绪、加快语速、被打断又接上时,系统还能不能守住自然。这半秒的停顿,大概还会被讨论很久。