有人向模型打听一本旧书的版本信息。回答来得干脆:出版社、译者、年份,一样不缺,句子也顺。去查,书是真的,译者也是真的,年份却对不上。整段话没有一处读起来别扭,破绽是在书外被发现的。
这类情况通常被叫作模型幻觉:生成的内容看起来合理,却与事实不符。这个说法其实有点误导,它让人以为模型内部看见了某个错误的东西。更贴近实情的描述是——它在没有依据的地方,继续往下写了。
它不是在编,是在续写
语言模型学的是文本如何接续,不是一本核对过的事实台账。训练语料里出现得密集、结构清晰的部分,它接得稳;到了稀薄、模糊、彼此矛盾的地方,它依然会按“最像答案的形状”把句子补完。补完的动作本身没有真假之分,只有像与不像。
于是流畅与准确被拆成了两条线。一段话语法无瑕、术语齐备、节奏舒服,只说明它在语言上很合规。人类判断真假时常用的那些线索——语气是否笃定、细节是否密集、表述是否犹疑——在这里几乎全部失效,因为输出风格是统一的,不会在不确定的地方突然露出毛边。
不是所有错都叫模型幻觉
把所有偏差都归进这个词,会让处理方式跑偏。知识停在某个时点、问题本身含混、模型该答却拒答、简单推理里算错一步,这些各自成因不同,对应的办法也不同。检索能补上时效,澄清能解决歧义,提示方式能改善拒答,而纯粹凭空补全的那一类,才更接近“幻觉”的本义。混为一谈的结果,往往是加了一堆措施,谁也没对准。
让它说“不确定”,代价是什么
常见做法是接入外部资料、要求给出来源、允许模型表达不确定。这些确实有用,但都有代价。一个动不动就声明“我无法确认”的模型,很快会滑向另一种不可用:用户得不到任何可推进的信息,仍要自己去查。真正值得追的目标不是消灭错误,而是校准——模型表达出的不确定程度,与它实际出错的概率大致对得上。这比单纯压低错误率难得多,也更贴近可用性。
需要提醒的是,模型幻觉并不会随着模型变大而自动退场。它更可能的表现是变得更难辨认:句子更通顺,格式更规范,套话更少,看起来更像一个认真核对过的人写的。识别成本从“读起来别扭”转移到了“必须去查”。
- 把输出当草稿,而不是结论,尤其是带具体年份、编号、条款的句子。
- 要来源,并且真的点开看,来源与结论是否对得上,是两件事。
- 把关键判断留在有反馈的环节,让能验证的人或系统去碰一下。
- 读到特别顺、特别完整的段落,多停半秒——那里最可能是空白被补上的地方。
说到底,对付这类问题靠的不是更聪明的提问技巧,而是一种阅读习惯:把“说得真好”和“说的是真的”分开对待。模型越像人,这个习惯越值钱。