有人拿几百条客服问答去做模型微调,想让模型学会自家业务的口吻。训练跑完,回答确实带上了内部术语,但遇到通用问题也开始绕圈。这个场景常被误解成“模型学坏了”,其实它提示的是:微调改变的是输出倾向,不是往模型里塞一本可检索的手册。
先分清“教知识”和“改习惯”
提示词、检索增强和模型微调经常被放在同一张桌上讨论,但它们解决的问题不同。提示词约束当次输入,检索增强把外部资料带进上下文,而用样本改参数,则是让模型在特定任务上形成稳定的回答习惯。比如固定格式的工单摘要、统一口径的邮件草稿、带步骤的排查话术,这类任务重复度高、判断标准清晰,适合用参数调整来形成习惯;而政策条款、库存价格这类频繁变动的信息,塞进参数里并不合适,检索或查库通常合适。
样本会放大习惯,也会放大偏差
参数调整的效果往往不取决于样本数量,而取决于样本是否一致。同一个问题,如果标注里出现几种互相矛盾的答法,模型会学到模糊的边界;如果样本只覆盖顺利路径,遇到异常输入就容易硬套模板。准备样本时,先明确任务定义:输入是什么、输出允许哪些变化、哪些情况必须拒答或转人工;规模可以后放。评估也不能只看几条顺眼的回答,要留出未参与训练的样本,检查格式遵守、事实边界和通用能力是否被挤压。小样本微调常见的风险是过拟合,模型记住了样本里的措辞,却没学会背后的规则。
把回滚写进流程
模型微调不是一次性动作。参数更新后,原有能力可能被新任务牵走,出现所谓灾难性遗忘;上线前需要一组固定评估样本,覆盖正常输入、边界输入和不该回答的输入。上线后保留旧版本,观察输出漂移,出现异常能切回。这个流程听起来笨,却能避免把一次微调变成不可解释的黑箱。我的判断是:当任务需要稳定风格、固定结构或明确拒答边界时,可以考虑调整参数;当需求只是补充经常变化的知识,先改检索和提示词,通常已经够用。微调不是万能补丁,它接近一次带约束的习惯训练,约束没写清,模型就会用它的方式补空。