校对一份内部材料时,我碰到过一个很典型的情形:文中需要一句出处,模型给出了一段看起来严丝合缝的引述,措辞工整,连页码都像模像样。顺着线索去查,原书里并没有这句话。它没有拼错,也没有语病,只是把一个不存在的东西写成了存在。
这类现象通常被叫作模型幻觉。名字听着像故障,实际更像是语言模型工作方式的副产品。
它为什么能编得这么顺
模型的基本动作是预测下一个词。训练时它见过大量连贯文本,因此学会了什么样的句子接在什么样的句子后面。当上下文提供了足够多的“形状”——比如“某份报告指出”“有研究认为”——它就顺着这个形状往下接。至于那个“某份报告”是否真实存在,并不在它的直接判断范围内。
另一个常被忽略的点是,模型的输出往往缺少“我不知道”这条路径。它被反复训练成给出完整回答,而含糊、拒答、反问在语料里占比不高。于是当信息不足时,它倾向于用合理的推测把空位填上。
看起来像知识,其实是补全
- 措辞平稳、逻辑通顺,与真实内容在语感上很难区分;
- 数字、日期、引文格式常常齐备,但来源经不起核查;
- 越是冷门细碎的问题,越容易出现无中生有;
- 同一个问题多问几次,答案可能互相矛盾。
这些特征说明,模型幻觉不是随机噪点,而是它在概率上做了一个看起来合理的选择。
把它当什么用,决定了风险有多大
如果只是让它帮忙改写一段话、列几个思路,幻觉的代价有限,人一眼能看出不对。但一旦把输出直接放进对外发布的内容、合同条款、技术文档,问题就从文字瑕疵变成了事实错误。
可行的做法并不复杂:把需要事实支撑的部分拆出来,逐条核对;在提示里要求它对不确定的地方明确标注;涉及来源、数字、法规表述的位置,回到原始材料。检索增强一类的思路,本质上也是给它一个可查的外部依据,而不是只靠内部记忆。
还有一点值得说:讨论模型幻觉时,容易把责任全推给模型,但提问方式同样影响结果。问题越笼统,模型越需要自行补全;把范围、口径、是否需要出处讲清楚,编造的空间会小一些。
流畅和准确是两件事
把模型幻觉理解为一种补全倾向,而不是偶发的失误,这种认识本身就够用了。它提醒我们,语言的流畅和事实的准确并不等价。前者模型很擅长,后者仍然需要人去确认。知道这一点,用起来会踏实一些。