凌晨两点,客服系统里跳出一句“可以为您办理三个月无理由退换”。值班的人愣住:条款里并没有这一条。第二天回看对话,句子语气笃定,格式规整,甚至带着编号,像是从制度文件里摘出来的。
这类错误常被归入“模型幻觉”。它并不神秘:语言模型根据上下文预测下一个词,擅长把缺失的拼图补成看起来合理的图案。问题在于,合理不等于真实。当知识没有覆盖、检索结果互相冲突,或用户的问题暗示了一个并不存在的设定,模型仍可能给出流畅答案,而不是停下来承认不知道。
流畅感会掩盖证据缺口
人读一段话,会下意识把“表达清楚”和“判断可靠”连在一起。模型幻觉恰好利用了这一点。它不只会编事实,也会编过程:凭空补出引用、把模糊记忆写成确定结论、在追问中继续维护前一个错误。对话越长,上下文越像一张已经铺开的纸,模型越倾向于沿着纸面写下去,而不是回头检查第一笔是否画错。
因此,单靠“让模型更谨慎”的提示并不够。可操作的做法,是把回答拆成可验证的步骤:需要事实的地方先检索,再生成;没有来源时明确标注不确定;涉及规则、条款、操作步骤时,要求引用原文并允许“无法回答”。界面也要给人留出核对的入口,而不是只给一个漂亮的结论。
- 先问答案需要哪些证据,再决定是否让模型自由生成。
- 把“不知道”设计成合法输出,而不是失败。
- 在关键流程里保留人工复核,不让流畅文本直接变成行动指令。
它更像一种边界提示
我并不认为模型幻觉能被彻底消除。生成式系统的工作方式决定了它会在不确定处继续写,差别只在于错误是否容易被发现、是否被流程拦住。对使用者来说,重要的不是期待一个永不犯错的回答机器,而是知道哪些问题可以交给它起草,哪些问题必须回到原始材料。对产品来说,模型幻觉也不只是技术指标,它暴露的是证据链和交互设计有没有留出余地。
那句凌晨的退换承诺,真正危险的地方不在措辞,而在它太像真的。识别这种“太像”,是使用生成式工具时绕不开的一步。