在地铁里听有声书，某一句的停顿落错了位置——不是读错字，是那句话在该换气的地方没换，在不需要停的地方停了半秒。耳朵立刻知道不对，但很难说清哪里不对。这大概是语音合成最日常的困境：字都对，声音也干净，可听着不像人在说话。
过去几年，合成语音的清晰度和自然度进步明显，很多场景已经够用。真正卡住人的，往往不是音色，而是节奏。
标点只给出粗粒度的提示
文本交到系统手里时只是一串字符。逗号、句号能提示大致断句，但一句话在哪里停、停多久、要不要带一个轻微的吸气声，取决于语义重心、句法结构、说话人的习惯，甚至取决于这句话是在安慰人还是在提醒人。人说话时会用停顿组织信息，也会用它换取思考时间。这些信息不在字面上。
所以韵律预测常常被当成一个回归问题来做：给定上下文，预测每个音素的时长和基频。麻烦在于，同一句话的合理读法往往不止一种。模型学到的是一种平均化的说话方式，稳妥，但也容易平。听十几秒不觉得，听半小时就开始走神。
从文本到波形，中间隔着一段“表演”
一条语音合成的链路大致包括文本正则化、韵律预测、声学模型和声码器。文本正则化决定“2024”念成“二零二四”还是“两千零二十四”，“3:5”是比分还是时间；韵律层决定句子的呼吸；声学模型把音素映射成声学特征；声码器再把特征还原成波形。每一环都在丢失一些信息，也在补上一些猜测。
端到端模型把这几个环节压得更紧，短句上的效果很直观。但长文本是另一回事：几十分钟的音频里，音色要稳，语速要匀，情绪不能突然跳。有声书、课程讲解这类内容对一致性的要求，比对单句自然度的要求更苛刻。一句话好听，和一段话耐听，不是同一件事。
“像”与“是”之间还有一段路
评价合成语音通常靠主观听测，让一批人打分。分数受素材、设备、听众经验影响很大，同一套系统在安静的录音棚和手机外放里，听感差别不小。所以听到“接近真人”这类说法时，值得追问一句：在什么文本上、什么场景下、和谁比。
另一条边界是授权。声音是可以辨认的个人特征，几句干净的录音就足以训练出一个相似的音色。技术上的可行和实际该不该做，中间隔着同意这件事。做语音合成产品的团队，近年在授权流程和音频水印上投入不少，这部分工作不出现在演示里，但决定了这项技术能不能被长期使用。
回到那半秒。它不是一个可以单独优化的参数，而是语义、习惯和情境共同作用的结果。合成语音离“像人”还有距离，但这个距离正在从音质转向节奏，从“能不能听清”转向“愿不愿意一直听下去”。