采风全网
达观天下

知识库刚更新,检索增强生成为什么还会答旧政策?

客服同事把退货政策改完,重新上传到知识库,第二天仍然收到用户截图:模型在回答里引用了旧条款。开发同学先怀疑模型没学会,但把请求日志翻出来,被召回的那份文档已经下线。问题往往不在生成环节,而在文档进入检索池之前,没有人把它标记为失效。

这类场景能解释检索增强生成的实际处境。它把外部知识检索出来,拼进上下文,再让模型组织回答。链路听起来直白,工程上却横跨文档采集、切分、索引、召回、重排、上下文组装和回答约束。任何一段松动,最终都会表现为“模型答错”。

检索结果不对,生成再稳也没用

很多人把RAG理解成给模型外挂一个知识库。真正跑起来会发现,知识库不是静态仓库,而是持续变化的文档流。制度修订、产品参数调整、FAQ补充,都会让旧片段失去时效。如果索引只做增量写入,不做失效标记,旧文档会一直留在候选集里。模型通常无法判断哪份文件已经作废,只能依据拿到的上下文作答。

另一个常见偏差是切分。把一份长文档按固定字数切开,容易把条件和结论分到两个片段。检索时命中了条件段,却没命中结论段,回答就会缺一半。检索增强生成对碎片质量很敏感,片段本身要能独立表达一个完整意思,否则拼接出来的上下文只是看起来相关。

它解决的是知识供给,不是推理能力

需要区分两类问题。一类是模型不知道最新政策、内部规范、产品细节,这类问题适合用检索补充材料。另一类是问题需要多步推理、计算或对冲突信息做判断,检索只能提供素材,不能代替推理。把后者也交给检索增强生成,容易得到一段引用充分但结论绕口的回答。

我在看RAG系统时,会先问三个问题:文档由谁维护,失效由谁标记,回答引用能否回溯到具体片段。这三个问题决定体验,接入哪个模型只是其中一环。模型升级会改善表达,但不会自动修复索引里的旧文档。

评测要盯住检索,不只盯住回答

只拿最终回答做人工打分,很难定位问题。可以拆开链路看:召回阶段有没有把目标片段找出来,重排阶段有没有把它留在上下文里,生成阶段有没有准确使用。维护一小批带标准片段的测试问题,每次文档更新后跑一遍,能发现是知识缺失、检索偏移,还是模型没有遵循上下文。

  • 文档更新时同步失效旧版本,避免新旧条款同时被召回。
  • 切分后保留标题、适用范围和生效时间,让片段具备自解释能力。
  • 回答中保留引用位置,方便人工核对,也方便后续修正。

检索增强生成不是一次接入就结束的项目,它更像一套需要日常维护的知识供应机制。文档治理、检索质量和回答约束要一起看。否则,模型表面上在“查资料”,实际上只是在旧资料里打转。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:知识库刚更新,检索增强生成为什么还会答旧政策?
文章链接:https://tech.cfdanews.com/ai/2286.html