把一个内部问答接进客服后台，试运行两周，同事最先夸的不是准确，而是语气：回复变得像人写的，有称呼，有停顿，还会主动补一句“情况不同可以再说”。真正让人不安的事出现在第三周——一段读起来毫无破绽的回复，把退换流程里的两个环节调换了顺序。没有人立刻发现，因为它实在太顺。
顺滑是怎么来的
大语言模型训练时做的事，是判断在给定上下文里下一个词该是什么。它被反复奖励的是“接下来最像人话的内容”，而不是“这句话在现实里是否成立”。这两件事在多数日常话题上高度重合，所以它常常显得懂行；但重合不等于等同，一旦分开，句子依然通顺，错误也就没有了外观。
传统软件出错会留下痕迹：报错、空白、字段缺失、页面卡住。模型出错不这样，它给的是一段格式齐整、语气笃定的文字，甚至比人写的更整齐。对读的人而言，这意味着少了一个本能的警报信号。
它出错的几种常见样子
- 把相近的术语换掉，句意仍然成立，指的东西变了；
- 把流程里的步骤顺序打乱，读起来逻辑自洽；
- 沿用早已改过的口径，因为旧说法在语料里更常见；
- 该说“这条我查不到”的地方，给出一个语气自然的替代答案。
这几种情况的共同点是：都能骗过快速扫读。人工抽检时，眼睛容易被句式带着走，读完觉得没毛病，其实毛病就在被替换的那个词上。
评测难在哪一步
旧办法测不了大语言模型这类输出。过去验收一套系统，靠的是明确规则：字段对不对、金额加不加得上、跳转是否落到指定页面，这些都是可以判定的。而“这段话的意思对不对”，需要有人真的读一遍再判断；读到一定量之后，不同人的标准就开始分叉——有人在意措辞，有人只在意结论，有人盯着有没有编造。
一个折中的做法是把评测拆开。可以判定的部分交给机器：引用有没有指向原文、数字与源头是否一致、该拒绝的地方有没有拒绝、格式是否稳定。剩下的语义判断留给人工，但把范围缩小到这些机器判不了的地方。代价是需要维护一套对照样本，好处是每次调整都有了可比的对象。
把它放在什么位置
我倾向于把大语言模型当作出稿工具，而不是出结论的工具。让它先写一版，把结构搭起来、把常见问法覆盖掉，再由人删改和核对——在这个用法里，它的错误是可以被接住的，因为下一位读者本来就是来改的。反过来，如果回复直接对外且没有人复核，那它的通顺就从优点变成了风险。
还有一层容易被忽略：用得久了，人对它的依赖会改变自己的工作方式。写东西前先问一句，慢慢就少了先想清楚的那一步。这不是模型的问题，是流程设计的问题。要不要留这一步，取决于这件事错了以后有多难补。
所以回到那个后台。我们后来加了两样东西：一段固定格式的来源说明，和一条“不确定时必须回退到人工”的规则。回复没那么漂亮了，但点开的人知道自己在看什么。