客服机器人回复得很顺:“根据最新规则,这项服务可以随时取消。”语气笃定,附带的链接却打不开。这类错误常被叫作模型幻觉。它麻烦的地方不在错,而在错得像真的。
它为什么能把空白填满
语言模型按上下文预测接下来该出现什么词。知识不足、问题含糊或上下文自相矛盾时,它仍会把句子补完整。常见句式、惯用搭配和看似合理的因果关系,于是替代了缺失的事实。模型幻觉更像是生成机制的副产品,而不是偶尔冒出的故障。需要区分的是创造性发挥与事实性断言:前者可以宽容,后者必须约束。
更棘手的是语气。模型没有“心虚”这种状态,它不会因为证据不足就自动变得迟疑。用户看到的流畅、完整和礼貌,容易被人脑当成可靠信号。于是核验成本被悄悄转移给读者:要么信,要么自己查。
先看问题有没有可答的边界
有些提问本身没有稳定答案,有些则超出模型掌握的范围。把开放推测当成事实查询,触发幻觉的机会就会增加。企业使用生成式AI时,与其要求它每次都给出圆滑答案,不如把任务拆成可核验的小问题,提前说明来源要求和拒答条件。很难被彻底消除,但可以被识别、被压低。
一些场景对错误更敏感。对外公告、规则解释、合同要点、产品参数,一旦被润色成确定句,纠正成本会上升。相反,头脑风暴、草稿扩写、语气改写,即使出现偏差,也更容易被人工发现。判断风险,不必等到模型上线后再补救,任务本身是否允许试错,已经决定了该配多重的核验。
把核验写进流程
- 关键结论要能追溯出处,并抽检链接是否真实可达。
- 规则、价格、合同条款等信息设置人工复核,不让模型独自定稿。
- 提示中明确“不知道就说不知道”,给拒答留出空间。
- 保留对话日志,定期回看错误集中在哪些问法。
还可以把“引用”当作一道门槛,而不是装饰。真正可用的出处,应当能被打开、被定位、被读懂;只给出看似权威的名称,却没有可核对的内容,反而会增加误判。对团队来说,保留错误样本也很重要,它能暴露哪些问法在诱导模型编造,哪些提示词需要收紧。
这些做法不神秘,难的是愿不愿意为核验留时间。一个AI应用是否可信,不只看它答得多顺,也要看它何时停住。面对模型幻觉,克制不是保守,而是让工具留在可解释、可追责的范围内。