会议纪要工具把一句“再确认”扩写成“已决定上线”,语气笃定,格式完整。审阅者若只看结果,很难分辨哪一句有依据、哪一句是补全出来的。这不是简单的错别字,而是模型幻觉的典型表现:语言形式完整,事实依据未必存在。
生成式模型的工作方式,不是先查证再作答,而是根据上下文预测接下来该出现什么词。它会倾向于保持连贯,而不是先验证真伪。当问题超出训练覆盖,或上下文根本没有答案,语言惯性会填满空白。于是出现不存在的引用、条款、接口参数,读起来却像经过整理。模型幻觉不是模型“说谎”,它没有稳定的意图,只是概率输出缺少事实锚点。
流畅不等于可信
人容易被完整句子说服。排版清楚、语气确定、术语齐全,都会让读者降低警惕。这里需要区分语言层面的置信和事实层面的置信:前者来自表达顺滑,后者需要来源、时间和可复核的推理链。产品界面如果只给答案不给依据,等于把判断成本转给用户。模型幻觉在交互里常被“自信语气”放大,尤其是在多轮对话中,前文的一句猜测可能被后文当成前提继续展开。
把校验放进流程
- 先检索再回答:让模型基于可追溯资料组织语言,并给出处;没有资料时明确说不知道。
- 约束输出:对字段、格式和可执行动作设边界,高风险操作要求二次确认。
- 保留上下文:记录提问、资料版本和生成时间,方便回溯依据缺口。
- 评测无答案场景:把“不知道”“证据不足”纳入测试,而不是只测流畅度。
- 人工复核:把复核放在责任边界上,而不是当作事后补丁。
这些手段不能保证零错误。它们改变的是错误暴露的方式:从藏在流畅答案里,变成可追踪的依据缺口。
边界与判断
语言模型的知识边界会随上下文变化,长文档、工具调用和多轮对话都可能引入新的缺口。对普通资讯问答,容忍度可以放宽一些;对合同表述、代码部署、对外承诺,校验成本应前置。企业评估人工智能应用时,别只看演示时的流畅度。演示环境往往问题清晰、上下文干净。要追问:没有答案时系统怎么表现?引用能否点开?资料更新后旧结论会不会残留?这些问题直接指向可用性。模型幻觉不是某次版本升级就能抹掉的瑕疵,而是伴随生成式系统的结构性不确定性。承认它,才有机会把产品设计从“炫技”拉回“可核验”。