采风全网
达观天下

当模型幻觉穿着自信的外衣:一次查证经历

前阵子帮同事核对一份内部培训材料,其中一段关于行业标准的引述读起来十分顺当:条款编号、发布年份、适用范围都写得清清楚楚。我顺手去查原始出处,结果翻遍了公开资料也没找到那条编号。再把那段话丢回给模型追问依据,它换了个说法,仍然言之凿凿,只是这次的年份和上一版对不上。

这就是「模型幻觉」最日常的样子。它不是胡说八道到一眼可辨,而是把不存在的东西讲得像模像样,语气平稳,格式规整,甚至连引用体例都替你想好了。越是看起来专业的内容,越容易让人放下戒心。

顺滑的表达,为什么反而更危险

语言模型的工作方式,可以粗略理解为在给定上下文后预测下一个词。它学的是文本里的搭配规律与叙述节奏,而不是一个可逐条核查的事实库。当被问到细节,它倾向于续写一个“合理”的答案:编号该长什么样,年份通常落在哪个区间,句式怎样才像正式文件。这些判断都在语言层面完成,与真假无关。

于是出现一种错位:表达的流畅度和内容的可靠性并不同步。人写东西卡壳时,往往是因为不确定;模型不会卡壳,它的不确定被均匀地抹平在句子里。读者接收到的是自信,而不是自信背后的证据。

还有一种情况更隐蔽。对话是连续的,前面的假设会被后面默认继承。你随口设定一个前提,它顺着往下推,越推越具体,越具体越像真的。等到你回头看,最初那个未经确认的前提早已被层层包裹,成了整段回答的地基。

它不擅长说“这里我不确定”

让模型评估自己的输出,效果有限。它没有独立于生成过程之外的第二套核查机制,自我检查常常还是同一套语言判断的重复。你问它“确定吗”,它可能改口;再问一次,又改回去。改口的动作本身,说明它在根据对话压力调整措辞,而不是在接近事实。

这带来一个实践上的提醒:追问不等于验证。连续质疑能让答案变化,但变化的方向未必是正确。真正有用的动作是离开对话,去原始材料里找那一行字。

几个成本不高的应对办法

  • 把可核查的部分单独拎出来:编号、日期、人名、条款、链接。凡是能被外部资料确认的,都不以模型说法为准。
  • 要求它区分“有依据的陈述”和“推测”。即便它给出的依据仍需核实,这种区分至少能让模糊地带显形。
  • 少在提问里预埋未经确认的前提。前提一旦进入上下文,后面的推理都会带着它走。
  • 对格式过于完美的答案多留一分心。表格、分点、引用样式都只是外壳,不构成可信度。
  • 把模型用在容错高的环节:起草、改写、梳理思路、生成待查清单。把最终判断留给能承担责任的人。

也要承认,模型幻觉并非纯粹的错误。在创意写作、头脑风暴这类不追求事实唯一性的场景里,偏离常规的联想恰恰是价值所在。问题出在场景错配:把它当检索工具用,却按聊天的方式验收。

边界在于谁来签字

我现在的习惯是,凡是要对外发布、要提交、要被别人当作依据的内容,都过一遍人工查证。这不是对工具的不信任,而是清楚它的能力边界:它擅长把话说圆,不擅长替事实担保。模型幻觉不会因为模型变大就彻底消失,它更像是这类系统的一种固有脾气,需要在使用方式上被管理。

那天培训材料最后改成了两句朴素的话,没有编号,也没有年份,只保留了可以确认的部分。读起来不如原来漂亮,但经得起追问。这大概就是与模型相处的合适距离:用它把思路铺开,再由人把话说实。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当模型幻觉穿着自信的外衣:一次查证经历
文章链接:https://tech.cfdanews.com/ai/1641.html