客服团队把产品手册和工单记录整理成问答对,想让通用模型学会回答内部系统里的操作问题。试了几轮提示词,回答语气越来越像,关键步骤却仍会漏。问题不只在“模型不够聪明”,还在于内部术语、按钮名称和异常处理路径从来没有被写成统一教材。于是,团队开始考虑模型微调。
数据不是越多越好,而是越一致越有用
准备数据时,容易把“收集”当成“整理”。把聊天记录直接导出,里面会混着追问、省略、情绪和重复确认。模型看到的如果是半句话和互相矛盾的答案,学到的也只是模糊的对应关系。对具体业务来说,少量口径统一、边界清楚的样本,通常比一大堆积压记录更能说明问题。
如果业务知识每天变化,先把更新机制想清楚。模型微调更像把一套已经说清楚的任务固定下来:输入什么、输出什么、遇到边界怎么停。它不负责替团队发明规则,也不适合承载频繁变动的文档内容。
任务定义比调参更磨人
真正耗时的部分常发生在标注之前。团队需要先回答几个不浪漫的问题:
- 同一个问题,两个人给出的答案是否遵循同一套口径?
- 模型答错时,是知识缺失、格式不对,还是任务本身没有定义清楚?
- 上线后由谁来看失败样本,多久回看一次?
这些问题不解决,训练损失再好看,也只是把混乱压缩进了参数里。一个可用的评估集不需要很大,但要稳定,能覆盖常见问题和容易误判的边界,让团队在每次改动后知道究竟动了哪里。
上线之后,维护才刚开始
模型微调留下的不是一个“已完成”的开关,而是一份需要持续照看的资产。数据会变,业务口径会变,基座模型也可能更新。没有版本记录和回滚方案,出了问题只能凭印象猜测。
比较稳妥的做法是保留一小套人工维护的评估样本,每次换数据、换基座模型或调整输出格式,都先过一遍这套样本。它不必追求覆盖所有情况,但应保持稳定,让团队能区分是数据变了、提示词变了,还是模型本身发生了偏移。
有些需求其实不必走到这一步。如果答案主要依赖频繁更新的文档,先把检索和权限链路做扎实,通常能减少不必要的训练。如果只是偶尔调整语气,提示词和少量示例可能已经够用。判断是否要做模型微调,可以先看三个信号:业务里有稳定的输入输出格式,靠提示词难以保持一致;已有相对一致的标注口径,能说清什么算对;团队愿意为后续评估和维护留出人手。
三个信号都出现时,再谈训练也不迟。它不是默认选项,更像一份承诺:承诺团队愿意把任务讲清楚,也愿意在模型上线后继续照看它。