采风全网
达观天下

模型幻觉:当AI把猜测说得像事实

问一个模型某个冷门软件的配置项,它会给出一个看起来完全合理的参数名,附带一段格式规整的示例,语气笃定。去官方文档里搜,没有这个东西。参数名是拼出来的,示例是编的,但整段回答的语法、术语、逻辑都挑不出毛病。

这就是人们常说的模型幻觉。它不是模型「不知道」却硬答那么简单,更接近于:模型在缺乏依据时,仍然沿着最像答案的方向把句子补完。对它来说,流畅和正确是两套彼此独立的评价标准,而输出时只有前者能被即时满足。

它为什么会编

语言模型的训练目标是预测下一个词。这个目标奖励的是「像」,不是「真」。在海量文本里,正确的表述和错误的表述共享同样的句法结构、同样的术语搭配,模型学到的是这种分布规律。当上下文需要一个引用、一个数字、一个函数名时,最可能的续写未必存在于现实,但一定存在于语言习惯里。

另一个来源是训练数据本身的稀疏。冷门知识、内部文档、新近变动的内容,在语料中占比极低,模型对其缺乏稳定表征。此时它并不会沉默,而是用邻近领域的模式去填补空缺。填补过程平滑得几乎不留痕迹,用户看到的是一段完整答案,而不是一个被标记为「推测」的片段。

还有一层与提问方式有关。问题越具体、越带预设,模型越容易顺着预设走。问「某某库的第三个参数默认值是多少」,等于告诉模型这个参数存在、且是第三个。它接下来说的数字,可能只是为了让对话继续下去。

为什么不能靠一句话根治

常见做法是让模型在不确定时承认不确定。这在部分场景有效,但它要求模型对自身知识边界有准确判断,而这恰恰是它不擅长的部分。一个模型如果分不清自己知道什么、不知道什么,就很难稳定地表达「我不知道」。

检索增强能缓解问题:先把相关资料找出来,再让模型基于资料作答。它把「凭记忆回答」换成「看着材料回答」,对事实性问答帮助明显。但检索本身可能召回不相关内容,模型也可能在材料与问题之间做出错误连接。幻觉没有被消除,只是被推到了另一个环节。

更现实的做法是把验证责任前置。凡是涉及具体数字、引用、接口、法规条款的输出,都当作待核对的草稿,而不是结论。这不是对模型的不信任,而是对它工作方式的理解:它擅长组织语言和搭建框架,不擅长担保细节的真实性。

在什么边界内可以共处

有些任务对幻觉的容忍度天然较高。头脑风暴、改写、提纲、把一段技术描述换成通俗说法,这些场景里,一个偏离事实但结构清晰的回答仍有参考价值,人可以在后续修改中校准。

另一些任务则几乎零容忍。对外发布的事实陈述、需要署名的引用、直接进入生产环境的代码片段,都属于这一类。区分这两类任务,比笼统讨论模型可不可靠更有意义。

  • 把模型输出当作初稿,而不是终稿;
  • 对可核查的具体信息逐条回源;
  • 在提示中明确允许它说「不确定」,降低强行作答的倾向;
  • 对高频使用的场景,积累自己的核对清单,而不是每次从零判断。

模型幻觉不会因为某次版本更新而消失。它更像是这类系统的一种固有特征:语言能力越强,编造时的说服力也越强。与其期待它不再出错,不如把使用方式调整到能容纳出错——让它在该发散的地方发散,在该严谨的地方由人接手。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型幻觉:当AI把猜测说得像事实
文章链接:https://tech.cfdanews.com/ai/2122.html