采风全网
达观天下

模型幻觉:一句读起来毫无破绽的错话

深夜查一个旧型号的零件参数,我把问题丢进对话框。回答来得很快,型号、年份、尺寸,甚至一句“该系列后期做过改版”都齐了。我去核对,发现那个型号根本不存在,或者说,存在的东西和它描述的差得很远。整段话的语气,和真正正确的答案没有任何区别。

这就是模型幻觉麻烦的地方:它很少是一段明显的乱码,多数时候是一段语法、格式、语气都对的话,错只错在事实。

它是怎么“编”出来的

语言模型做的是预测下一个片段。这个目标本身不关心“真”,只关心“像”。当上下文足够强,一个不存在但格式很像的名字,概率并不低;一旦它被写出来,后面的句子就会围绕它继续自洽下去。模型没有一本可以翻的册子,它有的是大量关于“这类问题通常怎么回答”的形状。

还有一层原因在表达空间。人可以说“我不确定”,模型也学过这句话,但它说这句话的倾向,往往被训练目标推向反面——流畅、完整、有结论的回答更容易被接受。于是“不知道”被填成了一个看上去合理的答案。

为什么很难当场发现

人对错误的警觉,很大程度依赖形式线索:结巴、犹豫、含糊、格式错乱。这类错误恰好把这些线索全抹掉了。

  • 细节越具体,越像真的:编出来的编号、日期、条款,比笼统描述更容易让人放松警惕。
  • 格式自带背书:分点、小标题、引用样式,都是“认真查过”的视觉暗示。
  • 追问不一定有用:直接质疑,它常常顺着你的质疑改口,而不是回到事实。

第三点值得单独说。很多人以为多问几轮就能挤出真相,实际上多轮对话更常见的结局是双方一起漂移——你越具体地暗示,它越顺着你给的方向补。

有些错,不该算进来

边界也要划清。信息本身在更新、不同来源口径不一、或者问题本身没有确定答案,这些情况下模型给出的分歧,不该一概算作模型幻觉。把所有不满意都叫幻觉,反而会让人放弃分辨,只留下一个笼统的不信任。

真正值得盯住的,是可核查的事实性断言:谁、什么时候、多少、哪一条。这类内容要么对,要么错,中间地带很小。

当草稿用,别当答案用

我的习惯是分两步。先让它把问题拆开,告诉我需要哪些信息、哪些地方我可能想错了,这一步出错成本很低。再让它给具体断言,然后我自己去对。反过来用——先要结论再补验证——几乎一定会偷懒。

使用上还有几个不费力的做法:把“请给出出处”写进要求,看它是否愿意承认没有;让它先复述问题再回答,含糊的提问往往在这里露出来;关键处要求它标出哪些部分属于推测。这些做法不能消除模型幻觉,但能把一部分错误从“看不见”变成“看得见”。

模型幻觉不太像一个能被彻底修好的缺陷,更像这类系统当前的说话方式。知道这一点,用法就会变:它适合帮你把思路摊开、把草稿写完、把没想到的角度提出来;至于那句话里的数字和名字,还是得自己去看一眼。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型幻觉:一句读起来毫无破绽的错话
文章链接:https://tech.cfdanews.com/ai/705.html