夜里整理资料,让助手补一段行业背景。它给出几行看似完整的说明,还附带引用格式:作者、年份、链接一应俱全。点开链接,页面却不存在。回头核对,那句话像从几篇材料里拼出来的,逻辑顺滑,出处却对不上。这种体验并不罕见,人们通常把它叫作模型幻觉。
它麻烦的地方,不在于答错。答错容易被发现。麻烦在于,错误被包装成可信的样子:语气笃定,结构完整,细节具体。人一旦急着用,就容易跳过核验。
流畅本身,不是证据
语言模型生成回答时,依据的是训练中形成的统计关联,而不是对现实世界的实时查证。它擅长根据上下文补全“像会出现”的词句。引用格式、条款编号、产品参数、时间地点,都可能被模仿得很像。可“像”与“真”之间,还隔着一次确认。
这也解释了为什么简单问题不一定更容易出错。问题越开放,需要拼接的细节越多,模型越容易用看似合理的填充补上空缺。用户看到的是流畅段落,模型内部完成的却可能是一次概率选择。
它为什么不总能自己发现
模型幻觉难以自检,原因不神秘。生成答案的机制,和检查答案的机制,常常并不是两套彼此独立的东西。让同一个模型“再想想”,有时只是换一种说法重述原有判断。它可能承认不确定,也可能继续补细节。后一种更隐蔽,因为补充的内容依然通顺。
所以,不能把“请确保准确”当成核验。提示词能改善表达,却替代不了外部证据。需要查证的内容,还是得回到原始材料、数据库或人工确认。
把核验写进流程
企业使用生成式工具时,边界要提前说清楚。哪些任务可以直接起草,哪些内容必须标注来源,哪些结论需要人工复核,最好在流程里写明。比如内部制度问答,可以要求回答附带原文位置;产品参数整理,可以让模型只做抽取,不做推断;对外承诺类文本,则保留人工确认环节。
- 让模型回答“依据是什么”,并区分原文、推断和未知。
- 对引用、数字、条款、链接做抽样核对,不只看语言是否通顺。
- 把检索、工具调用和规则校验接入流程,减少凭记忆补全。
- 在低风险场景先试用,记录出错类型,再决定是否扩大使用范围。
这些做法不能消灭模型幻觉,但能把“看起来对”变成“有据可查”。对使用者来说,真正需要培养的,也许不是对流畅答案的信任,而是对关键细节的停顿:这句话从哪里来,能不能被验证,如果错了,代价由谁承担。
当答案像真的,核验就不能也像真的。