一句很顺的答案,未必有出处
有人把一段产品说明丢给模型,让它总结成三句话。模型返回了结构完整、语气笃定的内容,还顺手补了一条“上线时间”。去内部知识库核对,才发现时间对不上。这样的时刻并不戏剧化,却足够让人停顿:错误不是以“我不知道”的样子出现,而是以“我知道”的样子出现。模型幻觉常被描述成一本正经地胡说,但更准确地说,它是在缺少依据时仍继续生成,把语言上的连贯误当成事实上的可靠。
它为什么会“补全”缺失的那一格
语言模型的工作方式,决定了它擅长预测下一段话该怎么接。它没有天然的事实核查开关,也不会自动知道内部资料更新到了哪一版。当问题超出训练范围、检索材料不足,或者资料本身互相矛盾时,它可能沿着最常见、最顺滑的表达继续往下写。对写作者来说,这叫文气;对信息使用者来说,这可能就是风险。模型幻觉并不总是荒诞离奇,更多时候只是把不确定的地方填得太自然。
所以,单靠“让模型更谨慎”并不够。提示词可以要求它标注不确定,但如果系统没有给出可查的材料,谨慎也可能只是另一种措辞。更实际的做法,是把回答拆成“结论”和“依据”:结论可以生成,依据最好能回到原文、页码、链接或数据库记录。否则,用户只能凭语气判断真假,这并不公平。
把追问变成流程,而不是礼貌
面对模型幻觉,追问“你确定吗”有用,但有限。模型可能再次给出自信的确认,也可能顺着用户的怀疑改口。更有价值的是换一种问法:这个结论来自哪段材料?如果材料里没有,它会怎么标注?当检索不到时,系统是否允许它说“不知道”?这些问题看起来琐碎,却能把一次聊天变成一次可追溯的核对。
- 让答案附带出处,而不是只给结论;出处要能被点开或定位。
- 把“不知道”设计成正常输出,不逼模型在空白处强行补全。
- 对涉及时间、数量、条款的内容,回到原始材料复核,不把流畅当成证据。
模型幻觉不会因为一句提醒就消失。它更像系统边界上的噪声,提示我们别把生成能力等同于核实能力。对企业内部的知识问答、客服回复草稿、会议纪要整理来说,真正需要设计的不是更漂亮的回答,而是回答之后的检查动作:谁来看依据,哪里可以停下,什么情况下必须转人工。把这些问题提前写进流程,比事后惊讶更有用。