把一个问答机器人接到内部文档库上,头几天往往表现不错:回答有出处,措辞也像那么回事。用上两三周,问题开始冒出来——问的是A型号的保修条款,答的却是B型号的;问的是流程第三步,答的却是第一步。多数人的第一反应是模型不行,该换了。但把检索日志翻出来逐条比对,会看到另一幅画面:模型拿到的参考段落,本身就跟问题对不上。
这正是检索增强生成最容易被误解的地方。名字里有“生成”,真正的工程质量却大半压在“检索”上。
它解决什么问题,代价又是什么
检索增强生成的基本思路并不复杂:面对一个问题,先从外部知识库里找出相关段落,连同问题一起交给模型,让模型基于这些材料作答。换来的好处有两件——知识可以随时更新,不必重新训练;答案能落到具体出处,便于核对。
代价是把一个环节变成了两个环节串联。生成模型擅长组织语言和做局部推理,它不负责判断材料是否切题;检索环节负责找材料,却不理解最终答案要长什么样。任何一环失效,后面都很难补救。检索没找到,模型只能凭训练时留下的印象去猜,说得越流畅越危险。
三个常见的断点
- 切分方式。按固定字数机械切块,很容易把一条完整规则劈成两半:前半段写“以下情形不予受理”,后半段才是具体条件。检索命中的是前半段,答案就反了。
- 表述错位。用户用的是口语和简称,文档里写的是术语和完整型号。向量相似度未必能把两者拉到一起,编号、缩写、错别字尤其容易漏。
- 上下文过载。为了不漏,一次召回十几段,其中大半无关。模型要在噪声里挑答案,被无关内容带偏的概率反而上升。
先看召回,再看别的
如果正确的段落根本没进上下文,换什么模型都无济于事,它只能编。反过来,材料给对了,普通的模型也能答得规规矩矩。所以调优的起点通常是召回命中:拿一批真实问题,人工标注哪一段才该被检索到,再逐条看漏在了哪里。
在这个基础上,一些工程做法比较常见:把用户的口语问题先改写成文档里的说法,或者同时用几种问法去召回;精确匹配交给关键词检索,语义相近交给向量检索,两路结果合并;召回数量放宽一些,再用一个轻量的重排模型筛一遍;以及要求答案必须附上引用段落,找不到依据就明确说不知道。最后这一条看着笨,却能挡掉相当一部分自信的错误。
它也有不划算的时候
知识总量不大、更新也不频繁时,直接把材料放进长上下文窗口,工程复杂度会低不少。任务真正需要的是固定的输出风格和格式时,微调更直接。而当答案需要对多份文档做汇总和计算——比如把十几条规则交叉比对得出结论——检索增强生成只能提供素材,真正的推理还得另想办法。
还有一个常被忽略的成本:文档治理。知识库里留着过期版本、彼此矛盾的条目、写了一半的草稿。检索越精准,错误被引用得越理直气壮。很多团队是在这一步才发现,自己缺的不是模型,而是一份谁负责更新、哪一版为准的约定。
所以我不太把它看成一门可以即插即用的技术。检索增强生成更像一组约束条件,它把“我们的文档到底准不准、全不全”这个问题,从可以含糊其辞的后台,推到了必须回答的前台。这一问答不好,再花哨的架构也只是把错误包装得更像答案。