采风全网
达观天下

模型幻觉不是撒谎,它只是缺少「不知道」这个选项

一位做电商客服的朋友给我看过一段对话记录。用户问某款耳机能不能七天无理由退货,机器人回答得很顺畅:可以,只要包装完好,还附了一条读起来很像官方条款的说明。问题是,那条规定并不存在。朋友说,真正麻烦的地方是它答得太像真的,用户拿着截图来投诉,他们才发现。

这类事情现在有个统一的名字:模型幻觉。它指模型生成了看起来合理、实际上与事实不符或缺乏依据的内容。定义不复杂,复杂的是我们习惯把它理解成「模型在骗人」。这个类比很自然,但容易把人带偏。

它的动作是补全,而非虚构

语言模型的基本动作是预测下一个词。训练时它见过大量文本,学到的是什么样的句子接在什么样的话后面比较自然。这个目标里没有「真」这一项。一段编造的条款和一段真实的条款,在语法、语气、结构上可以同样顺滑,模型没有内在开关去区分它们。与其说它在编,不如说它在补全——把缺失的部分填成看起来合理的样子。

这也解释了为什么错误常出现在细节上:日期、编号、人名、条款序号。这些位置恰恰是「像」和「对」距离拉开的地方。叙述越连贯,细节越容易被顺手带出来,读者也越容易放下戒心。

「不知道」不是一个被鼓励的回答

还有一个常被忽略的因素:模型被训练成给出回答。用户提问,它沉默或者说「我不确定」,在很多评价方式里都不算好表现。久而久之,它倾向于把不确定包装成肯定的语气。这里没有意图,只有行为模式。

于是出现一种错位:模型表达确信的程度,和它实际掌握依据的程度并不挂钩。人说话时,犹豫、停顿、加限定语,往往意味着心里没底;模型的这些信号是概率分布的产物,不能当作可信度的读数。

不是所有错误都该叫这个名字

这里需要一点区分。知识过期、检索到的资料本身有误、提问里的指代含混导致理解偏差,这些属于信息链条上的问题,和模型凭空生成内容不是一回事。把所有错误都收进「模型幻觉」这个筐里,会模糊应对方向:该更新知识库的去更新,该澄清问题的去澄清,剩下的才轮到生成环节。

另外,不同场景对「合理但不精确」的容忍度差别很大。头脑风暴、草稿润色,错一点无所谓;条款引用、参数说明,几乎零容忍。同一个行为,放在不同场景里,严重程度并不相同。脱离场景谈这件事,容易变成空谈。

把它当作产品约束来设计

我更愿意把它看成一条工程约束,而不是一个等着被彻底修好的缺陷。约束的意思是:你没法假设它不存在,只能围绕它做设计。

  • 让回答带出处。能点开原文的引用,比一句漂亮的结论更有用,也给了人核对的入口。
  • 允许说「不知道」。在系统提示和交互层面给拒答留出空间,而不是逼着模型必须交出答案。
  • 把不确定性放到界面上。语气上的暗示不够可靠,明确标注「此回答基于检索结果」或「未找到依据」更直接。
  • 在关键环节保留人工复核。对外承诺、合同条款、数字类信息,机器出草稿,人来定稿。

这些做法都不新鲜,也都不彻底。它们的作用是让错误更早被发现、更容易被追溯,而非消灭错误。对使用者来说,这比宣称「准确率很高」实在得多。

一点个人判断

我倾向于认为,这类问题会长期存在,只是形态会变。随着检索和工具调用变多,凭空编造的比例可能下降,但错误会转移到「引用了不合适的资料」「工具返回的结果被误读」这些环节。问题不会消失,只会换位置。

比较务实的心态是:把模型当成一个速度很快、语气很稳、但从不主动承认自己没把握的合作者。它的流畅值得利用,它的确信不值得直接采信。那位客服朋友后来在系统里加了一条规则——凡是涉及售后政策的回答,必须先给出条款链接,否则转人工。改动很小,但它承认了一个前提:这类错误是常态的一部分,并非意外。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型幻觉不是撒谎,它只是缺少「不知道」这个选项
文章链接:https://tech.cfdanews.com/ai/2226.html