会议开始前,让助手把一份内部文档压缩成几行要点。它给出的答案条理清楚,语气笃定,还补充了两条原文里没有的限定条件。翻回原文核对时,那些限定并不存在。这种落差,往往就是人们谈论模型幻觉时的起点:它并非在故意撒谎,而是在生成过程中把“像”当成了“是”。
流利不等于可靠
语言模型的基本动作,是根据上下文预测接下来可能出现的词。它可以组织出通顺的段落,却没有内置的事实核验器。遇到资料缺口、问题含糊,或者提示词要求“必须给出答案”时,它容易用常见表述把空白填满。模型幻觉常伴随确定语气,这未必说明它对答案有把握,也可能只是表达习惯。读起来顺滑,读者容易跳过核对。
先把三类情况分开
- 资料缺失:知识库没有覆盖,模型仍然拼出一段看似完整的回答。
- 语义含混:问题本身有多种解释,回答沿着其中一种展开,使用者却按另一种理解。
- 表达压力:提示词要求简短、肯定、少说“不知道”,模型于是收起不确定性。
这些情况不应混为一谈。过期信息、计算失误、检索不到原文,属于流程和工具的问题;把所有错误都叫模型幻觉,会模糊责任边界。模型幻觉指向的是“没有充分依据,却生成得像有依据”。
提问方式也会改变结果。一个带着预设的追问,容易把回答引向预设方向;一个缺少上下文的短问题,则留给模型自行补全的空间。把问题拆小、给出材料、说明哪些内容必须来自原文,通常比反复要求“认真回答”有用。对生成结果保持一点迟钝,先看依据,再看语气,往往能避开不少误判。
把生成和核验拆开
在企业场景里,客服答复、制度问答、报告初稿都可能用到生成式工具。如果流程默认“一次答对”,风险会被推到使用者眼前。稳妥的做法,是让生成和核验各走一步:要求回答附带可追溯来源,对关键结论设置人工复核,允许系统说“不知道”或“需要补充材料”,用结构化输出减少自由发挥。核验不必让每个环节都变慢,它只是把不确定的地方提前暴露。
讨论模型幻觉,不是为了给错误找借口。边界说明清楚,使用者才知道什么时候该停。系统可以保留创造性的写作场景,但在事实问答、对外承诺、制度解释这类任务里,生成结果应当被当作草稿,而不是结论。这个区分需要写进流程,也需要让使用者看得见。
对使用者来说,识别模型幻觉不能只靠直觉。可以看它是否给出依据,是否把事实与推测分开,是否在资料不足时收住。对系统设计者来说,承认边界,别把自然当成真实。模型可以说得流畅,但流程不能因为流畅就省略核对。