采风全网
达观天下

语音合成最难的部分,可能不是「像人」

夜里听有声书,读到一句收尾的话,声音落下去,接着是一段停顿。那个停顿太整齐了——不长不短,正好卡在让人觉得「该换气了」的位置之前。音色没有问题,语调也没有问题,可就是这一下,让人从故事里出来了。

类似的经验大概不少。语音合成这几年进步很快,把一段声音「搬」到另一个人身上,已经不算稀奇的事。但真正让人出戏的,常常不是像不像某个人,而是那些细枝末节:一句话里的轻重,逗号后面停了多久,句尾有没有一点点泄气。

耳朵挑剔的地方,不在音色上

我们习惯把「像不像」归给音色,其实音色只占开头几秒。人一旦确认这是谁的声音,注意力就转到别处去了:重音落在哪个字上,疑问句末尾抬了多少,说到一半有没有换气的痕迹。这些在文字里完全不存在,文本只给了标点和段落。

所以合成系统的难处,一部分不在「发声」,而在「决定怎么发声」。同一句话,可以读得平,也可以读得有起伏;可以在「但是」前面顿一下,也可以一口气带过去。选哪一种,取决于上下文、取决于说话人的习惯,也取决于这一段到底想让人听出什么。

停顿是最难写的那个标点

文本里的逗号只表示「这里断一下」,断多久没有写。合成时得靠时长预测和韵律建模去猜:三十毫秒还是三百毫秒,句号后面要不要多留一点,段落之间要不要留得更长。猜得准,听起来就顺;猜得偏一点,整句就有点飘。

麻烦在于训练素材。录音进入训练之前通常要修剪,把咳嗽、口误、长久的沉默剪掉,留下干净的部分。干净有利于学习,但也把「人怎么停顿」这件事一起剪薄了。模型学到的是一个平均化的节奏,四平八稳,谁听都觉得没错,又谁听都觉得少点什么。

呼吸声与那些不完美

于是有人反过来做:刻意保留吸气声、轻微的唇齿摩擦、句尾那一点没托住的音。这些在传统录音里是要被修掉的瑕疵,现在成了调节自然度的手段。

我的看法是,这确实有效,但容易用成新的模板——每一句都配一个吸气声,反而更像机器在模仿人。呼吸不是装饰,它跟句子长短、情绪强弱有关。一句很短的话后面挂一个深呼吸,听感上就假了。

不同场景,「像」的含义不一样

讨论自然度,得先问在哪儿用。

  • 导航播报:清晰优先,节奏稳定、吐字完整比情绪重要,稍显生硬反倒让人安心。
  • 有声书:需要层次,同一段里得有轻重缓急,停顿要跟情节走,不能被平均化处理掉。
  • 客服与提示音:可预期比个性重要,语调起伏太大反而增加理解成本。

把这些场景混在一起谈「自然」,容易各说各话。有人嫌合成声音太平,有人嫌它太活——往往只是用途不同。

越像,判断的成本越高

还有一个绕不开的方向:语音合成越接近真人,听的人越难凭耳朵分辨。这件事技术本身给不出全部答案,行业里被反复提起的思路是来源标注、音频水印、使用授权这类机制。它们能不能跟上生成的速度,现在还说不好,但至少不该被当成事后补丁。

回到那个夜里。让我出戏的不是音色,是那个停顿太像被安排好的。人对声音的判断其实很宽容,允许沙哑、允许气短、允许一个字的尾音塌下去。真正让人觉得「这是人在说话」的,往往不是完美,而是这一句话里的临时决定。合成要学的,也许不是更像人,而是更像「这一次」。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:语音合成最难的部分,可能不是「像人」
文章链接:https://tech.cfdanews.com/ai/1431.html