大模型进入企业应用时,常见障碍并不是模型不会回答,而是回答缺少依据:内部制度、产品手册、项目文档更新频繁,模型参数中的知识却停留在训练时刻。检索增强生成提供了一条工程化路径:在生成答案之前,先从企业自己的知识库中检索相关内容,再让模型基于检索结果组织语言。
先检索,再生成
检索增强生成的核心流程可以概括为三步:把文档切分成适合检索的片段并建立索引;将用户问题转换为查询,从索引中召回相关片段;把召回内容与问题一起交给模型,要求模型依据材料作答并给出出处。与直接微调相比,这种方式不需要频繁重新训练模型,知识更新可以通过更新索引完成,更适合制度、产品资料、技术文档等经常变化的内容。
落地时值得关注的环节
- 文档治理:先明确哪些文档可以进入知识库,清理重复、过期和互相冲突的内容。检索质量的上限往往由语料质量决定。
- 切分与索引:片段过大会引入噪声,过小会丢失上下文。可按标题、段落和语义边界切分,并为不同文档保留来源、版本和权限信息。
- 混合检索与重排:关键词检索擅长精确匹配,向量检索擅长语义相近。两者结合,再通过重排模型筛选,通常比单一方式更稳定。
- 引用与权限:答案应尽量附带来源片段,方便员工复核;同时要确保检索结果遵循原有文档权限,避免越权访问。
- 评测与迭代:准备一批真实问题,持续观察召回率、答案准确率和无答案时的拒答表现,而不是只看演示效果。
常见误区
一种常见误区是把检索增强生成等同于“接一个向量数据库”。实际上,文档解析、切分策略、查询改写、权限过滤和评测机制都会影响最终效果。另一种误区是忽视无答案场景:当知识库中没有足够依据时,系统应明确说明无法回答,而不是让模型自由发挥。此外,知识库需要持续维护,文档更新后应及时重建索引,否则检索结果仍会滞后。
从可控场景开始
企业实施时,可以先选择问题相对集中、文档基础较好的场景,例如内部制度问答、产品资料查询或售后支持辅助。上线前保留人工复核环节,上线后记录高频问题和未命中问题,反哺文档治理与检索策略。检索增强生成并不是替代模型能力,而是把企业知识以可维护、可追溯的方式接入生成流程。对于希望稳步推进人工智能应用的企业来说,它更像一项需要持续打磨的基础工程。