内部知识库里明明躺着那份文档，模型答起来却含含糊糊，甚至顺手补出一条并不存在的条款。这种场面见得多，问题常常不在模型本身，而在它回答的那一刻，手里并没有那份材料。
它不是在回忆，而是在查
检索增强生成做的事并不复杂：先用问题去文档库里找相关片段，把找到的内容和问题一起塞进上下文，再让模型基于这些材料组织回答。模型仍然负责理解和表达，但事实的来源从参数挪到了外部资料上。
这个变化真正有意思的地方，不在于模型变强了，而在于答案变得可以指认。参数里的知识是被压缩过的、模糊的，还带着训练截止的时间戳；文档里的内容则可以翻到某一页给人看。
卡住的地方通常在检索
很多人以为难点在生成，其实更常见的瓶颈在前一步。文档怎么切、用什么方式召回、召回之后怎么筛，每一步都可能漏掉东西或者塞进噪声。
- 切得太碎，一段话被拦腰截断，语义就断了；切得太长，无关内容混进来，反而稀释了重点。
- 用户的问法和原文用词不一致时，向量未必找得到那一段，尤其当原文用的是内部术语或缩写。
- 召回十段，真正能用的可能只有一段，剩下的要靠重排和过滤挡在上下文之外。
所以一套检索增强生成系统能到什么程度，很大程度上由检索环节决定。把精力全放在换一个更大的生成模型上，未必能解决“根本没找到”的问题。
得允许它说“没找到”
如果检索结果为空，或者相关度很低，而模型仍被要求给一个完整答复，它只能靠语言惯性往下写。这不是这个架构独有的毛病，但它让问题更显眼：材料就在那儿，答案却绕开了材料。
比较务实的做法是在指令里写清楚，材料不足时直接说明，同时把引用的片段一并交回给使用者。人能看见依据，也就能自己判断这句话该不该信。
它补的是依据，不是能力
有些需求天然不适合交给检索拼上下文，比如需要跨很多文档做长期归纳，或者要求精确计算的地方。再就是文档本身的质量和时效——资料陈旧、版本混乱，检索得越准，错得越整齐。
我的看法是，检索增强生成最实在的价值，是把“模型说了什么”变成“模型凭什么这么说”。它不承诺正确，只是把依据摆到桌面上。对使用者来说，能核对，比听起来顺耳重要得多。