客服系统里有一段自动摘要:用户问“周五前能否回复”,摘要却写成“已确认周五解决”。人工回看聊天记录,才发现“周五”只是用户提出的期望,并没有被确认。这类偏差常被叫作模型幻觉。
它更像在补空白,不像在编故事
语言模型的工作方式,是根据上下文续写概率较高的内容。资料缺口、指代不清、时间条件互相冲突时,它仍可能给出通顺答案。模型幻觉常出现在这些边界:问题含糊,来源不足,使用者又要求一个确定结论。语气肯定不代表依据充分。
几个容易忽略的环节
- 把流畅当正确。句子顺,逻辑像样,不等于事实被核对。
- 把引用当证据。链接存在,不代表链接内容支持那句话。
- 把一次纠正当永久修复。同类问题换个问法,仍可能复发。
模型幻觉难处理的地方,是它错得合理。错误如果离谱,人一眼能看出;错误如果贴着常识,反而容易滑过复核。内容团队可以把不确定显式化:要求标注依据,允许回答“不知道”,对时间、责任主体、承诺范围等字段做人工确认。这里的重点不是让模型显得聪明,而是让流程能接住不确定。
把边界写进流程
草稿、归纳、改写,通常适合交给模型;需要检索原文、权限判断、对外承诺的任务,则要保留人工签核。模型幻觉无法靠一句提示词消失,但可以通过来源约束、二次核对和发布前检查降低影响。把模型当实习生,是一个可操作的定位:它可以先做一版,但不能替人承担确认责任。
发布前不妨问三句:这句话的依据在哪?谁来确认?如果错了,会影响谁?答不上来,就先别发。对企业官网内容来说,这种停顿不是拖慢流程,而是把可核验的信息留在页面上。