客服、售前或内部知识库的编辑常碰到一种落差：模型回答得很顺，追问依据时却只剩一段概括。检索增强生成被拿来讨论，起点往往不是让模型显得聪明，而是先把可引用的材料摆到它面前。
这套做法可以拆成几个动作：把文档切分成便于查找的片段，为片段建立索引；用户提问后，先检索相关片段，再让模型带着这些片段组织答案；输出时保留出处，方便人工核对。它没有改变模型的语言能力，改变的是答案生成前能看到什么。
“先找再答”解决的不是记忆容量
大模型的知识来自训练数据，训练完成后，参数里的内容就固定下来。企业制度、产品说明、项目文档却会更新，也不适合全部塞进提示词。检索增强生成把外部知识放在模型之外，用检索结果补足上下文。这样，更新文档比重新训练模型轻得多，回答也能围绕指定材料展开。
另一个价值在可追溯。答案旁边附上来源片段，编辑或业务人员能判断这句话有没有根据，哪里需要改写。对知识密集型场景来说，可核对性因此成了落地时的硬要求。不过，出处本身不等于正确，检索到的片段如果过期或彼此矛盾，模型仍可能组织出看似合理的结论。
难点常发生在检索之前和之后
不少人把检索增强生成理解成“接一个向量库”，但真正影响体验的环节更琐碎：文档怎么切分，标题和表格能否保留语义，同义问法能不能被召回，权限边界如何过滤。切得太碎，上下文不完整；切得太粗，检索结果又夹带无关内容。
- 检索阶段要处理召回与噪声：查到的材料不相关，模型只能绕着写；漏掉关键段落，答案就会缺一角。
- 生成阶段要约束表达：要求模型只依据材料作答，遇到材料不足时明确说明，而不是自行补全。
- 维护阶段要跟踪文档版本：知识库更新后，索引与引用需要同步，否则出处会变成旧版本的影子。
这些工作不太像“模型能力”问题，更像信息组织问题。它们决定检索增强生成能不能从演示走向日常使用，也决定了维护成本落在谁身上。
边界比想象中清楚
检索增强生成适合回答有材料依据、需要引用来源的问题；遇到开放推理、创意写作或材料本身缺失的任务，它并不能自动补上判断力。若知识库质量参差，检索只会把问题放大。另一个容易被忽略的边界是延迟：多一次检索、多一段上下文，响应时间和调用成本都会变化，产品设计要在体验与可控之间做取舍。
所以，与其把它当成一个万能插件，不如把它看作一条“材料—检索—作答—核对”的工作流。流程里每个环节都需要人来设定规则，也需要在答案之外保留可检查的痕迹。检索增强生成真正补的，可能不是模型的记忆，而是答案与材料之间那条原本容易断掉的线。