当你向一个生成式助手询问某个细节,得到的回答往往语气平稳、格式完整,甚至带着出处的样子。可一旦去核对,那个出处并不存在,那个细节也对不上。人们常用“模型幻觉”描述这种错位:语言看起来成立,事实却站不住。
它像在补全,而不是在确认
生成模型的基本动作,是根据上下文预测接下来该出现什么。训练时,它学到的是怎样让文本连贯、符合语言习惯,而不是怎样为每一句话建立证据链。遇到知识空白,它会顺着上下文把空白补上。于是,句式、语气和结构都可能合理,内容却偏离事实。模型幻觉并非故意欺骗,它没有一套稳定的“我知道自己在编”的开关。
为什么语气越肯定,越需要停一下
概率高不等于事实真。模型给出的,是语言上合适的下一个片段,不是经过核验的结论。用户容易把流畅当成可信,把完整当成准确。对编辑、产品和使用者来说,一个关键动作是让不确定性可见:允许回答“不知道”,要求给出可核验的来源,把大问题拆成可检查的小问题,并对具体数字、引用和承诺多做一次确认。
模型幻觉的形成,也和任务边界有关。封闭任务、结构化输出、有明确校验规则时,可以用规则和工具兜底。开放事实问答、时效信息、精确定义,单靠模型风险会上升。检索增强能缓解问题,但不能消除问题:检索错、引用错、拼接错仍会发生。把外部资料接进来,只是把验证的位置前移,不是把验证取消。
先定义哪些错误不可接受
与其追求一句“零幻觉”的口号,不如先定义哪些错误不可接受,再设计流程。把模型当草稿助手、线索生成器,而不是最终裁判;让它在不确定时停下来,让关键结论回到可查证的路径上。模型幻觉提醒我们的,不是语言模型一无是处,而是语言流畅与事实正确之间,隔着一段需要被认真对待的验证距离。