有一次旁听一场内部评审,讨论的是一款客服问答工具。演示过程中屏幕弹出一段回答,措辞非常笃定,连条款编号都给了。坐在角落的产品经理举起手机,翻了两分钟,说这个编号在制度里不存在。会议室安静了一下。没有人指责模型,因为那个编号已经在前一天的测试记录里被复制过一遍。
这就是「模型幻觉」最容易被忽略的样子:它不总是离谱,常常只是比正确答案多了一点细节。多出来的那部分,恰好看起来最像专业。
它更像补全,而不是撒谎
从机制上讲,模型做的事是沿着已有的上下文往下接。接得顺、接得像,是它的强项;判断这句话在现实世界里有没有对应物,并不在它的动作范围里。于是当上下文里缺一个编号、一个日期、一个名字,它倾向于用最符合语境的形状把它填上。填出来的东西在语法和语气上都成立,只有事实那一栏是空的。
这也解释了一个常见错觉:越具体的内容越容易让人放下戒心。笼统的回答反而会引起追问,带小数点、带引用格式、带部门名称的回答却容易被默认已经查过。
为什么自查经常没用
有人会问,让模型自己检查一遍不就行了。实践中,自查能纠掉一部分明显矛盾,但对那些一开始就被编出来的细节帮助有限。原因不复杂:生成错误和检查错误调用的是同一套判断方式。让它复核,它多半会用同样的逻辑把同一个说法再确认一遍,语气甚至更坚定。
另一个现实问题是,幻觉的分布不均匀。熟悉的、常见的主题上,模型容易说对;边缘的、更新频繁的、内部才有资料的题上,说错的概率明显上升,而使用者恰恰在这些题上最需要答案。需求最迫切的位置,也是它最不可靠的位置。
把验证成本挪到前面
如果幻觉无法被彻底消除,能调整的就是人和系统之间的分工。几件小事,在实际使用中往往比追求「更聪明的模型」更管用。
- 把输出按可核查程度分层。事实、条款、数值、时间一律视为待验证项,观点、草稿、改写、提纲可以放宽。不要让同一种信任度覆盖所有字段。
- 给模型喂它真正需要的东西。与其反复叮嘱「不要编」,不如把可用的资料放进上下文,并明确告诉它资料之外的部分应当标注不确定,而不是补齐。
- 在流程里留一个具体的人。不是抽象的「人工审核」,而是一个知道去哪查、查哪一栏的人。责任落在岗位上,比落在提示词里可靠。
- 记录被改过的答案。模型答错的地方往往集中在少数几类问题上,把这些修正攒下来,比每次重新试更有价值。
这些做法的共同点是承认一件事:模型幻觉不是偶发故障,而是这类工具的固有成本。把它当成成本,就会在预算里给它留位置;把它当成意外,就只能在事故后收拾。
一个更务实的期待
回到那场评审。后来他们做的改动并不复杂,把带编号、带数值的输出统一加了一个提示,要求同时给出处,找不到出处就写找不到。错误没有消失,但错误的样子变了,从一句像模像样的话,变成了一句「资料中未提及」。对一个要拿去回复客户的工具来说,这个变化比回答得更流畅重要得多。
模型幻觉这个词听起来像在描述模型的缺陷,实际上它也在描述使用者的习惯。工具的边界摆在那里,愿不愿意在采纳之前多花两分钟,是另一件事。前者在进步,后者得自己决定。