采风全网
达观天下

「模型幻觉」最麻烦的不是答错,而是答得太顺

不少人第一次被语言模型误导,不是因为答案离谱,而是因为答案太正常。问一条并不存在的条款,它能给出编号、生效日期和适用范围,句式工整,语气笃定。等翻完原文才发现,那一整段内容其实都是凭空生成的。

它是在补全语言,并非在撒谎

把模型想象成一个读过大量文本的接续器:给定前文,它估计下一个词最可能是什么。这个机制擅长把语言捋顺,却不负责确认真假,因为训练目标里没有“对得上现实”这一项。当上下文缺少依据,它不会自动停下来,而是沿着已经形成的语气、格式和逻辑继续往下写。空白被填满,缺口被抹平,于是就有了模型幻觉。

换句话说,幻觉是一种工作方式的副产品,并非偶尔跑偏的故障:它在概率上合理,在事实上未必成立。

顺滑比错误更难发现

明显的错误会触发警觉。读到“这个数字明显不对”时,多数人会去查。麻烦的是那种格式完整、术语准确、逻辑自洽的回答。它读起来像是从某份文档里摘出来的,于是核对这一步被悄悄跳过。风险往往不在对话窗口里,而在下游:一段被复制进内部文档的说明,一条写进工单的处理意见,一行留在代码里的注释。等到有人依据它做判断,源头的虚构已经被稀释得看不出痕迹。

能把模型幻觉压到什么程度

工程上有一些务实的做法,目标在于让问题更早暴露,并非让它消失:

  • 把回答绑定到可检索的资料上,让模型先找依据再组织语言,不再凭记忆复述;
  • 要求给出出处,并让出处本身可以被点开核对;只给一个看起来像编号的东西没有用;
  • 在提示和产品交互里留出“不知道”的位置,允许它拒答或反问;
  • 对结构化字段做校验,数字、日期、专有名词这类内容单独走一遍检查;
  • 把人工抽检做成常规流程,尤其在高频复用的场景里。

这些手段能降低频率,却很难降到零。只要输出仍由概率生成,模型幻觉就会以某种形式存在,差别只在它出现的位置是否容易被发现。

把问题换成:这段输出能否追溯

与其追问“能不能彻底消除”,不如追问“这段输出能不能被追溯”。一个会说明依据来自哪里、哪些部分属于推断、在什么情况下不作答的系统,即便偶尔出错,也比一个永远流畅的系统更好用。使用者需要的是有得查,而被说服本身并不够。

流畅是模型的强项,也恰是它最容易掩盖问题的地方。把“读起来对”和“确实对”分开看待,是使用这类工具时最基本的一道防线。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:「模型幻觉」最麻烦的不是答错,而是答得太顺
文章链接:https://tech.cfdanews.com/ai/1042.html