采风全网
达观天下

当模型幻觉撞上工作流:一句笃定的错话,代价由谁承担

一个内部知识库问答助手上线两周,被转发最多的一条消息来自财务同事:她问差旅报销的截止日期,助手给出了一个具体到某一天的答案,语气平稳,还附了两句解释。她照着做了,随后发现那个日期只存在于助手的那句话里。这类事故没有报错,没有日志异常,只有一个人在事后对着屏幕愣了几秒。

它不是在记错,而是在接着说

把它理解成记忆出错,容易让人以为多喂些资料就能解决。语言模型的工作方式是逐个预测接下来的词,它优化的是这句话接得顺不顺,而非这件事是否属实。当上下文里缺少依据时,它不会自动停下,反而会沿着最连贯的方向补完。所谓模型幻觉,本质上是生成机制的正常输出,只是恰好落在了需要事实的位置上。

更麻烦的是对齐训练带来的副作用。模型被反复教导要有帮助、要正面回答,于是“我不知道”成了它不太愿意说出口的话。一个含糊的推托常常不被视为好的回应,久而久之,猜一个答案就变成了默认策略。

有时候,是尺子用错了

并非所有被指为幻觉的输出都属于同一类。有的句子可以被外部资料直接证伪,属于硬错误;有的只是超出了训练数据覆盖的范围,当下无法判定真假;还有一些,是用户把创作类输出当成了查询结果,让模型写一段虚构的产品说明,再责怪它编造参数。这三种情况需要的处理方式差别很大,混在一起谈,讨论往往会滑向“模型不可靠”这种没有出口的结论。

让错误变得可见

工程上能做的事不少,方向值得说清楚。检索增强把外部文档放进上下文,能降低凭空作答的概率,但它只是把依据摆在旁边,并不保证模型真的引用。要求模型给出处、并在界面上把出处做成可点击的原文,更接近问题的根部;单靠在提示词里反复叮嘱“不要编造”,作用有限。拒答机制同样重要。评估集里如果全是应该答对的样本,模型就学不会在边界上收手。

  • 把回答和依据一起呈现,让读者花几秒核对,而不是花很久去信任;
  • 在无法确认时给出明确的不确定标记,而不是用流畅的措辞含糊带过;
  • 把关键结论的复核放进流程,而不是寄希望于这一次刚好没出问题。

我倾向于把模型幻觉当成一个界面设计问题,而不只是模型缺陷。既然它无法被彻底消除,那就该让错误暴露时的成本足够低:可追溯、可回滚、可被普通人一眼识别。一个会在答案旁坦白“这条没有找到来源”的助手,更容易被长期留在真实的工作流里。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当模型幻觉撞上工作流:一句笃定的错话,代价由谁承担
文章链接:https://tech.cfdanews.com/ai/303.html