采风全网
达观天下

大语言模型答得太顺的时候,才是麻烦的开始

一个不算陌生的场景:把公司内部的制度文档、产品说明、历史工单一起交给大语言模型,问它“客户三年前买的设备想换配件,流程怎么走”。回答很快,条理清楚,分了三步,还贴心地提醒备好发票。翻回原文核对,第二步在文档里根本不存在。

这类错误不容易被发现,因为它长得和正确答案一模一样——同样的句式,同样的笃定,同样的排版。人判断一段话是否可信,很大程度依赖它的表达是否顺畅,而大语言模型恰好极其擅长把话说顺。于是核对这一步,常常被读感替代了。

它优化的方向是“像不像话”,不是“对不对”

从机制上说,模型在做的事是依据上下文预测接下来的词。它被训练成给出更符合语言习惯的续写,而不是去某个库里调一条记录。它没有默认的“不确定”开关,也很少主动说“资料不足”,因为在它读过的海量文本里,一个干脆的答案比一句迟疑更常见。

这不是打一个补丁就能消除的问题,而是这类工具的性质。理解这一点之后,用法就会变:不再指望它给出结论,而是让它产出可以被人检验的草稿。

把它当刚入职的同事,而不是当数据库

  • 先让它复述问题、列出需要哪些材料,再谈答案;
  • 要求它指出每句话依据的是哪一段原文,指不出来的部分单独列出来;
  • 明确告诉它,资料不足时可以直接说不足;
  • 最后的核对留给人,而且核对的人要读得懂原文。

这些做法像是流程约束,实质是把输出从“结论”降级为“草稿”。降级不等于贬低。草稿的价值在于省掉从零开始的那半小时;至于省下来的精力是拿去核对,还是拿去干别的,取决于使用者自己。

喂进去什么,比换哪个模型更影响结果

同样一段提问,附上三页准确的制度原文,和附上三十页新旧版本混杂的压缩包,得到的回答常常不在一个水平线上。文档是否过期、切分有没有把一句话拦腰截断、取出来的段落是否真的相关,这些工程细节对结果的影响往往更直接,只是它们不如换模型那样容易被拿出来讨论。

所以很多“模型不好用”的抱怨,追到底是用料的问题。

有些场合,它不该是第一个入口

需要唯一正确答案的事、需要明确责任归属的事、依赖实时状态的事,都不适合直接交给大语言模型去裁决。它更顺手的地方在另一侧:改写、归纳、翻译、起草、把散乱的会议笔记整理成结构、把一份长文档压成能读的摘要。这些任务的共同点是,错了容易被看出来,或者错了代价很小。

我现在拿到一段漂亮的回答,习惯先问自己一句:这里面哪一句是我能独立验证的。如果一句都找不出来,那它再好读,也只是一段好读的话。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:大语言模型答得太顺的时候,才是麻烦的开始
文章链接:https://tech.cfdanews.com/ai/2091.html