有人让助手整理一份内部资料,问题并不复杂:某项流程在哪个环节需要二次确认。回答很快,语气也笃定,甚至补上了“通常由项目负责人复核”这样的细节。可当人去翻原文,发现这句话原文里没有,流程也并非如此。问题不在错得很离谱,而在错得太顺滑。
流畅不等于有据
这类现象常被称作模型幻觉。它不一定是整段编造,更多时候是模型在语义上“接得很顺”:上下文像什么,它就顺着写出什么。语言模型擅长预测下一段话,而不是天然知道哪句话有出处。于是,当资料里缺少明确条款,它可能用一个合理但未经证实的细节补上空位;当问题带有预设,它也可能顺着预设给出肯定回答。
这解释了一个容易被忽略的点:它往往藏在细节里。主体框架看起来对,时间、对象、条件、引用来源却可能发生偏移。人读长文时容易抓大放小,顺滑的过渡句又降低了警觉,错误就这样滑过去。
问题不只在模型,也在提问方式
同一个模型,面对“请根据以下材料回答”和“你觉得这项流程怎么走”,表现可能不同。前者把回答约束在给定文本里,后者更像开放式推测。若系统没有把材料边界、检索结果和不确定性提示展示清楚,用户很难分辨哪一句来自原文,哪一句是模型补全。
检索增强常被用来缓解这个问题:先把相关资料找出来,再让模型基于资料组织回答。它有用,但不是开关。检索不到、片段切分不当、多个文档说法冲突,都会把新的不确定性带进来。界面若只给一段漂亮答案,不标注引用位置,用户仍然要凭感觉判断。
把不确定性放回界面
对产品设计来说,减少模型幻觉不只是换模型,也包括改变呈现方式。比如把关键结论和原文出处放在一起,允许用户一键回看上下文;对没有依据的句子给出提示,而不是等用户自己去发现;在资料不足时明确说“未找到”,而不是用流畅句子填空。这些做法不炫目,却贴着真实使用场景。
- 回答里区分“材料原文”和“推断补充”,不要混成一段。
- 引用要能点回具体段落,方便核对条件和上下文。
- 对模糊问题先追问范围,少做无条件补全。
- 把人工复核放在高风险环节,而不是事后补救。
它不会被彻底消灭,但可以被看见
讨论这类问题,容易走向两个极端:一种认为只要模型够大就会自然消失,另一种认为既然会编造就不该使用。现实大概在中间。模型能力在变化,应用边界也在变化,但语言生成本身带着概率性,完全消除并不现实。更实际的目标是让不确定性可见:哪些话有出处,哪些话是推测,哪些问题需要人再确认。
对使用者而言,值得保留的习惯不是怀疑一切,而是对“太顺滑的细节”多看一眼。问一句“这句话原文在哪”,常常能把讨论拉回可核对的地方。模型幻觉不是一个只靠技术名词就能解决的问题,它更像一面镜子,照出我们如何设计信息、如何阅读答案,以及是否愿意为确认多花半分钟。