采风全网
达观天下

越流畅越可疑:模型幻觉为何总在细节处露馅

有人让助手概括一本冷门小说的第三章,回答来得很快:人物、转折、甚至一句引文都安排得妥帖。问题在于,那本书只有两章。这类回答不是孤例,它有个被反复提起的名字——模型幻觉。

把它理解成“撒谎”并不准确。模型没有意图,也没有藏着真相的抽屉。它做的事情,是根据前文预测下一个最可能的词。训练目标奖励的是“像”,而不是“对”。当语料里关于某类问题的表述足够多,模型就能拼出一个高度可信的壳;壳里有没有东西,是另一回事。

流畅与真实,是两套机制

人读一段文字,会同时判断它说得顺不顺、有没有依据。模型把这两件事拆开了:前者是语言建模的强项,后者依赖外部事实的约束。约束松一点,回答就漂亮;约束紧一点,回答就变得迟疑、啰嗦,甚至拒答。产品体验和事实准确之间的这条缝,正是模型幻觉最容易钻出来的地方。

有人寄希望于检索增强:先查资料,再组织语言。这确实能压住一部分凭空编造,但也带来新的缝隙。检索到的片段可能本身过期,可能被断章取义,也可能与问题只是表面相关。模型把这些片段缝进回答时,仍然要做一次“合理推测”。推测一旦越界,幻觉就换个形式回来。

不是所有错误都该叫幻觉

边界值得分清。信息过时、问题本身含混、用户预设了错误前提,这些情况下的偏差,与模型凭空生成不存在的内容,是不同性质的问题。把它们统统装进一个词里,讨论容易失焦。真正需要盯住的,是模型在缺乏依据时仍然给出确定语气——那种“不知道自己不知道”的状态。

这也解释了一个反直觉的现象:回答越长、越具体,越要留个心眼。细节是幻觉的高发地带,因为细节最容易被语言惯性补全。一个年份、一个数字、一句所谓原话,往往比整体结论更容易露馅。

把“不确定”做成一种输出

想让模型幻觉彻底归零,短期内不现实。更务实的方向,是让不确定变得可表达。比如在事实性问题上要求给出处,出处对不上就不说;比如在置信度低时主动收窄结论,而不是硬凑一个完整答案;再比如在产品层面,把“这个问题我查不到可靠信息”设计成一种正常回复,而不是失败。

对使用者来说,判断力仍然要留在自己手里。遇到具体数字、引文、时间线,多问一句“依据是什么”,往往比换一个更大的模型更管用。模型可以把话说得很顺,但顺不顺和真不真,从来不是一回事。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:越流畅越可疑:模型幻觉为何总在细节处露馅
文章链接:https://tech.cfdanews.com/ai/310.html