客服系统上线后,通用模型回答得挺流畅,但一碰到自家产品术语就开始绕圈。团队第一反应常是“做个模型微调”。这个反应很常见,也值得先停一下。
先分清缺的是知识还是行为
如果缺的是最新价格、库存、政策条款,微调未必是合适入口。这类信息变动快,靠训练把知识压进参数,更新一次就要重来;常见的稳妥做法是检索增强,把资料放在外部,让模型回答时引用。
模型微调适合处理的是“怎么答”,不是“答什么”:固定格式、语气、分类口径、特定任务输出。它像给模型加一层行为约束,而不是塞进一本随时会过期的说明书。
数据的关键不在数量,在贴近现场
准备样本时,常见误区是收集一堆“标准问答”。可真实用户说话带省略、错别字、前后矛盾。若训练样本过于干净,模型在演示里表现顺滑,上线后却对真实输入发懵。样本要覆盖业务里常见的模糊表达,也要保留少量边界情况,让模型学会不胡乱发挥。
另一个容易被忽略的环节是评估。微调之前先留一套不参与训练的测试集,按业务口径看输出:格式是否稳定,拒答是否合理,遇到未知问题会不会编。只看几条顺眼的例子,容易把偶然当成能力。
成本藏在后面
训练一次的费用看得见,维护成本却常被低估。业务口径一变,样本要重做;模型版本升级,行为可能漂移;上线后还要持续收集失败样本。把模型微调当成一次性项目,往往会在过一阵子后收到一堆“怎么又不对了”的反馈。
把微调排在提示词调试之前,也常会造成返工。原始需求可能只是“回答别太啰嗦”,用系统提示和输出约束就能解决,没必要动训练。先做低成本试验,再决定是否投入数据标注和训练资源,顺序反了,返工就会变多。
现实的路径,是先把问题拆开:需要外部事实,优先检索;需要固定动作,考虑提示词与流程约束;只有当行为模式稳定、样本能持续积累、评估口径清晰时,模型微调才值得进入排期。它不是捷径,更像一项需要维护的工程资产。