见过一个挺典型的场面:团队拿几百条客服对话做了模型微调,测试集上的表现几乎挑不出毛病,格式规整、语气也稳。上线一周,开始出现答非所问——用户问的是退换货政策,模型回了一段流程话术,听着像那么回事,细看全是套话。
问题不在参数没调好。是这件事从一开始就被理解错了。
它改的是说话方式,不是知道什么
微调做的事情,说到底是让模型在给定输入下更倾向于某一种输出分布。你把一批格式统一、语气一致的样本喂进去,它学到的是“这类问题我该这么答”,而不是“这类问题的事实是什么”。前者是行为,后者是知识。
把新知识塞进权重里当然也能成,但代价不小。样本量有限时,模型很容易把知识记成固定模板,一旦提问方式和训练数据差得远,就开始硬套。更稳妥的做法通常是让检索去承担事实,让模型微调去承担表达——哪个环节出问题,也更容易定位。
数据这一关,比调参难得多
调参有工具、有默认值,跑不动了还能换配置。数据没有。
- 标注口径是否一致:同一类问题,两个人给出的答案如果判断标准不同,模型学到的是中间那团模糊地带。
- 边界样本够不够:只教它怎么答,不教它什么时候该说“这个我不确定”,上线后它就会对所有问题都自信作答。
- 格式是否统一:标点、分段、称呼方式上的细微差异,会被成倍放大到输出里。
几百条干净、口径统一的样本,往往比几万条来源混杂的样本更有用。这件事说起来简单,做起来要花的时间通常在预期之外。
评测别留到最后一步
一个常见疏漏是只看目标任务的表现。微调之后的模型,通用能力可能出现回落,这在圈内被称作灾难性遗忘——它对训练数据里的问法越来越熟练,对此外的输入却变得迟钝。
实用一点的做法是留一个小规模的回归集合,覆盖几类原本表现正常的任务,每轮训练后都跑一遍。不需要多复杂,能看出“这次是不是把别的地方弄坏了”就够。另外,训练时按比例混入一部分通用数据,通常也能缓解这种退化,具体比例得试。
有些需求,压根不该走这条路
如果诉求是“让它多知道一些事实”“让它能查到最新政策”,那第一选择一般不是微调。检索、提示词、外部工具,成本更低,更新也更灵活。
反过来,如果诉求是“输出结构必须稳定”“判断口径必须统一”“语气要贴合业务场景”,那模型微调是合适的工具。它擅长的正是这类行为层面的收敛。
还有一笔账容易被忽略:维护。基座模型迭代、业务口径调整、数据分布漂移,任何一项变动都意味着重新准备数据、重新训练、重新评测。把它当成一次性的收尾动作,后面大概率要返工。
所以在动手之前,值得先问一句:我要改的,是它知道的东西,还是它说话和判断的方式。答案不同,路径完全不同。