采风全网
达观天下

语音合成留下的破绽,往往藏在一次呼吸里

深夜戴耳机听有声书,念到一句本该收住的话,声音后面拖出半个呼吸的长度。我说不清哪里不对,但手指已经按了暂停。判断“对面不是人”,靠的常常不是音色像不像,而是这种几乎听不见的地方。

从“听得懂”到“听得出”

语音合成的目标换过几次。早期追求可懂度——字正腔圆、不出错就够了,机械感被当成理所当然的代价。后来拼接式把真人的音节切碎重组,参数化方法用声学模型生成频谱,句子的连贯性好了一些,但语调仍像被熨斗压过。端到端的神经方法把文本到波形连成一条链路之后,“像人”的门槛明显降低。现在随手打开一个工具,几十秒的样本就能得到一个音色相近的声音,成本低到让人不太习惯。

可懂度解决的是“听清楚”,自然度解决的是“听着舒服”。这两件事做好之后,剩下的问题才浮出来:听得出。

对的是字,错的是语气

一句“我知道了”,可以是应答,也可以是敷衍,还可以是不耐烦。文字层面完全一样,声音层面差在重音落在哪个字、句尾是平是降、停顿放在“我”后面还是“知道”后面。语音合成在音节级别早就过关,卡住的是这些跨字、跨词、跨句的韵律决策。它需要的不只是声学模型,还有对上下文的理解——这句话在对话里承担什么功能,说话人和听者是什么关系。

另一处常被低估的是文本前端。数字、单位、缩写、多音字、地名、人名,怎么读,靠的是一层规则加模型的判断。“重”在“重复”和“重量”里不是一个音,“行”在“银行”和“行走”里也不是。这类错误不会让整段音频崩掉,但会让听的人在某个瞬间出戏,而且往往记住的就是那一下。

被去掉的东西,恰恰是在场感

早期做降噪和美化,把呼吸、唇齿音、轻微的气息起伏都清理干净,声音变得光滑,也变得空。真人说话是有物理痕迹的:换气的位置、句首的一点气声、情绪上来时喉部的紧。近些年的做法反过来,开始刻意建模这些“不干净”的成分。这不是审美偏好,而是听觉系统判断“有人在那里”,依赖的正是这些不该出现却总会出现的小动作。

延迟是另一条硬约束

语音合成在朗读场景里可以从容地整句生成,但在实时对话里不行。用户说完话,等半秒还算自然,等两秒就变成尴尬。于是流式合成成了必需:文本一边进,音频一边出,首包时间被压得很小,后面的部分再逐步补齐。代价是模型看不到完整句子,韵律规划必须在信息不全时先做决定。端侧运行又是另一种取舍,省掉网络往返,但要接受算力和内存的边界。

很难说清“好”是什么

评估是个麻烦。可懂度可以测,自然度只能靠人打分,而打分的稳定性并不高。同一句合成音频,放在客服场景里可能合格,放在纪录片旁白里就嫌轻浮。合适与否取决于语境,语境又很难写进指标。于是工程上常见的做法是把目标场景的语料收窄,让模型在特定风格上稳定下来,而不是去追一个通用意义上的“自然”。

“像”之后的问题

音色克隆变得容易之后,一个新问题摆在前面:这段声音的使用,被说话人授权了吗,听众有没有可能被误导。技术本身不做判断,但产品要做。可追溯的水印、明确的授权流程、在合成音频里保留可识别的标记,这些不是限制,而是让“听起来像”不至于变成麻烦。

回到那个深夜的瞬间。我暂停之后又点开,继续听下去,那句话的呼吸仍然有点长。语音合成这些年的进步,是把大部分时间里的破绽抹平了;剩下的一点点,可能要靠对语境的理解,而不是更厚的模型。至于那半个呼吸到底该多长,恐怕得看它前面那句话说了什么。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:语音合成留下的破绽,往往藏在一次呼吸里
文章链接:https://tech.cfdanews.com/ai/1208.html