有人向模型要一份参考文献,得到的条目格式齐整:作者、期刊、年份、页码一应俱全。拿去检索,查无此文。这类经历如今不算稀奇,它指向一个已被反复讨论却仍难解决的问题——模型幻觉。
麻烦的地方不在于模型会出错,而在于它错得很有样子。一段编造的引文,语气和真实引文没有区别;一个不存在的条款编号,读起来比真条款还顺。人判断信息真伪,很大程度依赖表达是否连贯、细节是否具体,而这恰恰是模型最擅长的部分。
它为什么会“编”
语言模型的训练目标,是根据上下文预测接下来的词。这个目标奖励的是“像”——像人类写的文本,像该领域应有的措辞。至于内容是否对应现实,并不在预测任务之内。当上下文要求一个具体数字,而模型内部没有可靠依据时,它仍会给出一个概率上合理的数字。填补空白是它的本能,不是故障。
所以模型幻觉不是偶发的程序错误,更像是生成方式的副产品。指望单纯扩大规模让它彻底消失,理由并不充分:更会说话,也意味着更会圆场。
不是所有错误都算
有必要做个区分。知识停在某个时间点、对专业术语理解偏了、把两个相近概念混在一起,这些属于能力边界内的偏差。而幻觉的特征是:模型在缺乏依据时依然给出确定表述,且形式上无可挑剔。前者可以靠更新语料和调整提示来改善,后者需要在使用方式上设防。
风险集中在硬信息上
观察下来,容易出问题的往往不是大问题:
- 具体数字、日期与统计口径;
- 文献、法规、标准条款的编号与出处;
- 人名、职务与机构的对应关系;
- 冷门领域的细节,尤其是训练语料稀薄的部分。
反过来,让它梳理思路、改写表达、列出考虑维度,出错概率低得多。判断标准其实简单:内容越能被外部核查,越要核查;越是开放性的讨论,越可以放心一些。
把它当作者,别当资料库
实际操作里,有效的做法不复杂。让它给出可追溯的线索而非结论,比如提示检索方向、关键词,而不是直接报出处;接入检索或工具,把回答建立在可查材料上;在提示中明确允许它说“不确定”,往往比逼它给答案更接近真实。对硬信息,人工复核仍是必要环节。
产品设计上也有取舍。有些界面会把来源标注和不确定提示放在显眼位置,有些则用流畅的排版把一切抹平。后者体验更好,代价是把核查成本转移给了读者。
我不认为模型幻觉会有一个干净的终点。它更像需要长期管理的风险,而不是等待修复的缺陷。真正值得关注的进展有两个方向:模型能否在没把握时明确说没把握,以及使用者是否养成追问“这个说法从哪来”的习惯。前者靠技术,后者靠时间。