采风全网
达观天下

模型幻觉最麻烦的地方,是它错得很体面

有人让模型整理某主题的参考文献,返回的条目格式齐整,作者、年份、刊名、页码一应俱全,连标识码都长得像真的。逐条去查,有几条查不到。它没有胡言乱语的语气,偏偏是最像真的那部分出了问题。

错得流畅,是因为它在预测“像不像”

模型逐字往下写,训练目标偏向让下一段文字在上下文里显得合理。合理与真实高度相关,但不重合。当它没有相应依据时,空缺会被最符合语言习惯的内容填上——这就是模型幻觉的生成土壤:它并不是在撒谎,更像是把“通顺”当成了“正确”。

这也解释了幻觉为什么常出现在细节上:人名、日期、编号、条款序号。整体论述也许站得住,边缘的碎片却经不起核对。

有些错,不该记在幻觉账上

并非所有错误都属于模型幻觉。知识截止导致的信息过期、提问本身含糊、必须有实时数据才能回答的问题,属于另外几类。把它们混为一谈,改进方向就会失焦:该补检索的去做微调,该澄清需求的去怪模型。

还有一种更微妙的情况:问得越具体,模型越倾向于给出具体答案,哪怕它并没有依据。这种“配合”由训练方式和产品设计共同塑造,靠一句提示词很难完全扭转。

让它说“不确定”,比让它更聪明更难

抑制幻觉的常见做法是给它外部材料,要求基于给定文本作答,并允许它说找不到。技术上这不算复杂,难在产品层面:一个频繁回答“我不确定”的助手,短期体验并不讨喜。于是不少系统选择把不确定性藏起来,用流畅的语气盖过去。

另一条路是在把核对成本交给读者之前先把它降下来——引用可回溯、结论标注来源、把推断和事实分开放。这些做法不会消灭模型幻觉,但能让它在被阅读时更容易被发现。

填缝能力也有它的另一面

写文案、头脑风暴、起名字这类任务里,补全空缺恰恰是价值所在。那里没有唯一正确答案,通顺的联想就是产出。判断标准随场景变化,同一个特性在不同任务里可以是缺陷,也可以是功能。

所以真正该问的不是“能不能彻底消除”,而是“在这个场景里,错了会怎样”。这个问题的答案,决定了要投入多少核对,也决定了哪些环节不该交给它。

回到那份参考文献。它提醒的事情很朴素:流畅是一种表达质量,不是一种证据。把这两件事分开看,使用模型时的许多困惑会清楚不少。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型幻觉最麻烦的地方,是它错得很体面
文章链接:https://tech.cfdanews.com/ai/866.html