采风全网
达观天下

模型幻觉:当答案比事实更像事实

一份会议纪要整理到一半,屏幕上多出一句“预算缩减约两成”。这句话读起来毫无违和,语气、位置、句式都对,可会议里没人说过。我盯着它看了几秒才反应过来:这行字不是我写的,是模型替我补上的。

这种时刻不太容易用一个词概括。行业里管它叫「模型幻觉」,但“幻觉”带着点玄学味道,容易让人以为是模型看错了什么。实际情况更朴素:它在做自己唯一会做的事——根据前文预测下一个最可能的词。而“看起来最可能”和“符合事实”,本来就是两件事。

它不是在撒谎,它没有“不知道”这个档位

人编造事实时通常心里有数,会犹豫,会补一句“大概是”。模型的输出没有这层内部标记,一段确凿的表述和一段猜测的表述,语气可以完全一样。它缺的不是诚实,而是一个把“我没有依据”说出口的通道。

这也解释了一个常见现象:问得越具体,越容易得到具体但站不住的答案。抽象的问题它容易含糊过去,一旦被追问时间、数字、条款编号,它倾向于把格式填满。

检索和工具调用把概率往下压,但压不到零

接上搜索、数据库、计算器之后,很多离谱的输出确实消失了。可只要有一步需要模型自己去“读”和“总结”,风险就还在:它可能读错来源,可能把两份文档的内容缝在一起,也可能引用了一条真实存在、却与问题无关的材料。外挂知识库不是免疫,只是把错误的形态换了一种。

  • 有出处的答案,也要看这段出处是否真的支持这句结论;
  • 格式规整的答案,恰恰值得多看一眼,规整不等于准确;
  • 越贴近业务细节的地方,比如金额、时间、责任主体,越值得人工回查。

把它当概率现象管理,而不是当故障修复

工程上有个习惯:出了问题找根因,修掉,加回归测试。模型幻觉不太吃这一套。它不是一个能被彻底关闭的开关,更像是随场景、随提问方式浮动的概率。今天问同样的问题没出错,不代表明天也不会。与其把它当成一个等待修复的缺陷,不如当成一种需要长期共处的作业条件。

落到日常,我的做法是把核查成本提前算进去。写给自己看的草稿,让它大胆补;会发出去、会被别人当作依据的东西,任何事实性断言都得有可点开的来源,或者由我自己重新确认一遍。凡是模型给出的“引用”,默认先当作线索,而不是证据。这两种定位差别很大。

另一种办法是改变提问的形状:别问“某某事发生在哪一年”,而是让它列出几种可能的说法并标注不确定性,或者干脆要求“不确定就说不确定”。前者逼它交出一个确定答案,后者给了它一条退路。在这样的提问下,模型幻觉会明显收敛,但不会归零——这一点最好一开始就认下来。

回到那份会议纪要。我把那行字删了,顺手把剩下的段落又核了一遍,又发现两处被我默认接受的表述。真正麻烦的从来不是错得多离谱,而是错得很顺。顺到我们不再停下来问一句:这句话,是谁说的?

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型幻觉:当答案比事实更像事实
文章链接:https://tech.cfdanews.com/ai/1291.html