采风全网
达观天下

它把不存在的文献说得头头是道:模型幻觉从哪来

深夜改稿,我让模型帮我找一段可引用的出处。它很快给出作者、期刊、年份,连页码都齐全。顺着线索去查,那本期刊没有这一期,作者也查无此文。这不是它第一次这样,也不会是最后一次。

这类体验如今太常见,以至于有了专门的说法:模型幻觉。它不只是算错,更是在没有依据的地方,仍然生成读起来顺理成章的内容。数字可能张冠李戴,引文可能被拼接,因果关系可能被顺手补全。表面看是“记错了”,实质上是它在做另一件事——根据上下文预测下一个最像样的词。

它被训练成“接着说”,而不是“先核实”

语言模型的训练目标,决定了它擅长延续一种语气、一种句式、一种叙述节奏。至于这句话在现实世界里是否成立,并不在它每一步的计算里。人写错东西,通常先有一个模糊的记忆,再把它写歪;模型则可能压根没有那段记忆,只是把常见的人名、年份、术语按概率拼在一起,恰好拼成一个可信的形状。

这也是为什么问题往往出现在“看起来最该准确”的地方:参考文献、条款编号、产品参数、历史细节。越是需要精确对应现实的地方,越容易暴露这套机制的短板。相反,写一段抒情文字、拟一封邮件,它很少露怯,因为那里本来就不要求逐字核对。

有人把希望寄托在更大的模型、更长的上下文上。规模确实能减少一部分低级错误,但很难把这类现象清零。模型的输出是一串概率选择,只要它被要求给出确定答案,而手里又没有足够依据,编造就是一条成本很低的路径。用检索把外部资料接进来,能缓解,但检索结果的取舍、拼接和表述,仍然由模型完成,新的错位依旧可能发生。

更难的是,它不知道自己不知道

人在不确定时会迟疑,会说“我记不清了”。模型的不确定,藏在概率分布里,却常常被表达成一句语气平稳的陈述。经过对齐训练之后,它更倾向于给出完整、有帮助的回答,而不是一句“我不知道”。这让模型幻觉多了一层迷惑性:错误不是以犹豫的姿态出现,而是以确信的姿态出现。

所以与其追问“怎么彻底消除”,不如换个问法:在哪些环节,我们可以不接受它的自信?把模型当成一个反应很快、但从不主动标注出处的同事,会更容易摆正位置。需要事实的地方,让它给线索而不是给结论;需要结论的地方,把核对环节留在人这边。提问方式也值得调整,与其问“这个说法出自哪里”,不如问“有哪些公开材料支持这个说法,哪些地方你不确定”。后一种问法,往往能让它多透露一点原本会省略的犹豫。

模型幻觉不会因为一句提醒就消失。它更像是这类工具自带的摩擦系数,提醒我们:语言流畅和事实正确,是两件需要分开检验的事。接受这一点,用起来反而踏实——不是因为它不会错,而是因为我们知道它会在哪里错。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:它把不存在的文献说得头头是道:模型幻觉从哪来
文章链接:https://tech.cfdanews.com/ai/523.html