一句像结论的错话
读一段由模型生成的说明时,人很容易被句式带走:因果连接完整,措辞稳妥,甚至还会主动补充背景。停下来核对才发现,其中某个关键前提并不存在。这种“看起来有依据、实际上站不住”的输出,常被归入模型幻觉。它未必表现为胡言乱语,更多时候是语法正确、语气自信,却在事实、引用或推理环节悄悄偏航。
之所以难识别,和生成方式有关。模型按上下文预测下一个词,流畅度天然被优化,而“这句话是否有来源”并不总在同一个目标里。训练语料覆盖不到、问题本身含糊、上下文被误读,都会让模型用看似合理的连接填补空白。于是,答案越完整,读者越容易把连贯误当成可靠。模型幻觉的麻烦不在于它明显错,而在于它错得安静。
不是所有错误都叫幻觉
讨论时需要留一点边界。信息过期、提示词含混、工具返回失败,也会造成错误答案;这些更像系统链路问题,不宜一概装进模型幻觉的筐里。把错误分类,才能决定是改检索、改提示,还是增加人工确认。若把所有偏差都叫幻觉,团队反而难以定位。
在实际使用中,我会把校验拆成几层:先看回答是否区分事实与推测,再看关键结论能否回到原始材料,最后检查它有没有忽略限定条件。对需要引用的场景,要求模型给出可核对的出处,比要求它“更自信”有用;对开放问题,让它列出不确定点,也比追问一个确定答案更稳妥。检索增强能缓解一部分问题,但不能替代校验,因为检索到的内容也可能被误读或拼接。
- 把“流畅”当作线索,而不是证据。
- 对关键数字、时间、人物关系保留复核动作。
- 在产品里展示来源与不确定性,别只给一个干净结论。
把幻觉当成可靠性问题
我更愿意把模型幻觉看作可靠性工程的一部分,而不是一句“模型不聪明”的评价。它提醒我们,生成式系统的输出需要边界:哪些任务可以自动完成,哪些必须带出处,哪些要交给人判断。界面若只呈现答案,用户就很难看见风险;界面若把依据、限制和不确定处摆出来,误信成本会下降。
对普通使用者来说,一个实用习惯也许是慢半拍:先问这句话从哪里来,再决定要不要相信。模型可以帮忙整理思路、暴露盲点,但它给出的确定性,不该自动变成我们的确定性。承认这一点,模型幻觉才不会只停留在术语里。