采风全网
达观天下

当模型开始查资料:检索增强生成的使用边界

一份产品手册改了版,客服机器人却还在按旧话术回答。这类问题常被归到“模型不够聪明”,但当资料本身已经更新,答案仍停在过去,往往说明知识没有接进生成流程。检索增强生成被拿来解决这类断层:先找材料,再让模型组织回答。

它补的是资料,不是判断力

把检索增强生成理解成“模型答题前先翻书”,大体没错,但真正跑起来,翻书只是中间一环。文档要解析,段落要切分,索引要建立,用户问题可能还要改写,召回结果需要筛选,最后才被拼进上下文。任何一环粗糙,输出都会显得不可靠。

一个常见误会是,接上知识库就等于事实准确。检索层只负责把材料带到模型面前,不负责判断材料是否过期、是否互相矛盾。资料里写着旧价格,系统不会自动知道新价格在另一份表格里;权限没做好,它甚至可能把不该出现的段落带进回答。知识接入和知识治理是两件事。

切分与召回,藏着大量手工判断

文档切得太碎,单段缺少主语和条件,模型拿到的是半句话;切得太长,一段里混着多个主题,检索命中后也会把噪声一起送进去。切分没有通用答案,得看文档结构和提问方式。表格、脚注、跨页条款,处理起来也麻烦。

召回同样不是“搜到就行”。用户问“退款要多久”,文档写的是“售后处理周期”,字面不重合,检索就可能漏掉。查询改写、同义词扩展、重排,都是为了让候选段落靠近问题。但每加一层处理,系统就多一处需要观察的地方。日志里要能看见:召回了什么,为什么选中它,最后有没有被用上。

上下文不是越多越好

有些实现为了稳妥,把多段材料一并塞进上下文,期待模型自己挑。结果可能相反:无关段落分散注意力,互相冲突的说法让回答变得含糊。检索增强生成的上限,不只取决于模型参数,也取决于喂进去的材料是否干净、集中、可追溯。

引用也常被低估。回答末尾附上来源,不等于可核验。来源要能定位到具体段落,引用内容要真的支撑结论。否则用户看到的只是装饰性的链接,反而增加信任成本。

先问资料能不能支撑答案

检索增强生成适合资料密集、更新频繁、答案需要出处的场景;如果问题依赖实时计算、复杂推理,或者知识库里根本没有可靠材料,加一层检索并不会自动变出答案。我的判断是,把它当作内容工程来对待:先把资料整理好,再谈生成。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当模型开始查资料:检索增强生成的使用边界
文章链接:https://tech.cfdanews.com/ai/537.html