知识库问答准备上线时,团队常碰到一个场面:通用模型回答得顺,但内容偏离内部文档。有人提议做模型微调,把资料灌进去。这个反应很自然,不过值得停一下:问题究竟在知识缺失、检索没召回,还是输出格式不稳?
先分清“不知道”和“不按规矩说”
如果答案依赖检索,模型负责组织语言,训练未必能补知识。检索没带回正确段落,调模型也难凭空知道。若问题出在语气、格式、字段抽取反复飘,训练可能帮上忙,但先看提示词和规则能否收住。我的判断是:训练适合稳定行为,不适合频繁变动的知识。
数据不是越多越安心
准备训练样本时,常会想把历史对话全倒进去。可这些对话里有错答、过时口径和互相矛盾的表述。模型会学模式,也会学噪音。做模型微调前,需要少量但边界清楚的样本:输入是什么,期望输出是什么,哪些情况应拒答或转人工。样本说明要写清,数量不是起点。
- 先写清楚要改变的行为,而不是笼统地“让模型懂业务”。
- 保留反例和边界样本,避免模型只记住顺口答案。
- 给样本标注来源和有效期,方便后续复查。
评估要放在训练之前
不少项目把训练当起点,评估留到上线前。其实在动手前就该有一组固定问题,覆盖常见问法、边界问法和易混淆问法。训练后看输出是否稳定、是否引用正确段落、是否在不该回答时收住。没有这组问题,训练很容易变成感觉上的变化。评估不是给模型贴分数,而是判断行为是否可控。
维护成本常被低估
训练不是一次性动作。业务口径变了、文档更新了、样本过期了,模型行为可能跟着漂。需要有版本记录、回归测试和回滚方案。若团队没有持续维护的人手,先理顺检索、提示词和人工审核流程,可能是一种务实选择。
什么时候值得做
当任务重复、输入输出边界清楚、已有足够干净样本,并且通用模型在固定格式或固定语气上反复失稳时,模型微调才有较明确的位置。它解决的是行为塑形,不是替代知识库,也不是绕过数据治理。把它放回工具箱,而不是当成万能开关,判断会清楚很多。