采风全网
达观天下

模型记不住你的产品手册,检索增强生成能补多少

见过一个挺典型的场面:客服同事把刚改过的退换货规则贴进对话框,问模型“这样写清楚了吗”,它答得头头是道;转过头让它按这份规则回答用户提问,它却把半年前作废的条款搬了出来。问题不在语言能力,而在它并不知道“这份规则”指的是哪一份。

检索增强生成处理的正是这类错位。名字听上去像技术黑话,拆开看很朴素:回答之前,先去资料里找。

它把一个问题拆成了两半

常规的对话模型把知识压在参数里,训练完成那一刻,知识就封存了。要更新,只能重训或者微调,代价不小。检索增强生成换了个思路:把文档切块、编码成向量存进库里,用户提问时先拿这个问题去库里找几段相关度较高的内容,连同问题一起交给模型,让它“看着材料回答”。

这一步拆分带来一个容易被忽略的变化:模型的职责从“记住一切”收窄成“读懂眼前这几段”。前者几乎做不到,后者是它擅长的事。不少企业知识库问答能跑起来,靠的就是这种收窄。

难的地方大多不在模型

做过几轮之后通常会发觉,出问题的环节很少是生成,多是检索。可以列几处常见的坎:

  • 切块。文档切得太碎,一段话失去上下文,召回来也读不懂;切得太长,关键句被无关内容稀释,相似度算出来反而模糊。
  • 相似不等于相关。向量距离近,只说明表述接近,不代表这段内容能回答问题。用户问“能不能开专票”,召回一堆讲发票类型的段落,一句能用的都没有。
  • 模型未必肯用材料。上下文里明明给了正确条款,它仍可能顺着自己的“印象”往下写。材料与常见说法冲突时,这类情况尤其明显。
  • 时效与权限。制度改了、文档撤了,向量库里的旧片段还在;不同角色能看的资料范围不同,检索这一层如果不管权限,后面怎么补救都别扭。

这些问题有个共同点:都不靠换模型来解决。换模型改变的是读懂材料的能力;材料找没找对,是另一条链路上的事。

有些问题,检索补不上

检索增强生成适合“答案就在某几段文字里”的提问,比如条款、参数、流程、口径。碰到需要通读整批材料再下判断的问题,它就显得吃力:召回的是若干片段,片段之间的关联还得靠模型自己接,接错了也不会报警。

还有一类是知识根本没被写下来。老员工知道某类工单要先走哪一步,但手册上没有。这部分内容检索不到,也不该指望检索去补。把它写下来,是人的工作。

另外,问题本身含糊时,检索会放大含糊。用户问“这个怎么弄”,向量化之后仍是一团雾,召回的内容自然散。这时候先做澄清,比调检索参数管用。

如果要动手,顺序大概是这样

先别急着挑向量库。把要回答的问题列出来,几十条就够,每条标注“答案在哪份文档的哪一段”。这份东西既是评测集,也是需求说明书;它会告诉你文档该怎么切、哪些内容压根没有。

然后才是切块和召回的调优,并且每次只改一个变量。检索这类系统,改动之间互相干扰,一次动三处,出了问题也说不清是谁的责任。

最后是回答环节的约束:要求模型在材料不足时明确说“没找到”,而不是补一段听起来合理的推测。这条规则看着保守,实际能省掉大量返工。

我自己的判断是,检索增强生成更像一项数据整理工作,而不是模型工程。它把“模型不懂我们的业务”这句抱怨,翻译成了几个具体问题:文档在哪、切得对不对、找得回来吗、找回来它肯用吗。这些问题都不性感,但每解决一个,系统的可信度就实打实往上走一点。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:模型记不住你的产品手册,检索增强生成能补多少
文章链接:https://tech.cfdanews.com/ai/2305.html