夜里把权重拉进内网,第二天跑通一次推理,很多团队会松一口气:好像最难的部分已经过去。真正麻烦的,是接下来几周——业务同事开始问能不能再准一点,运维问显存为什么又满了,法务问许可证到底允许什么。
这就是开源模型常见的落差。下载动作很轻,长期运行很重。模型文件只是起点,后面还跟着数据、评测、部署、监控和版本管理。
授权不是一个勾选框
先看许可证。不同开源模型对商用、再分发、署名、修改后发布的要求并不一样,有些条款还会随着版本变化。团队如果把权重直接放进产品镜像,或者对外提供接口,需要确认的是整个分发链路,而不只是“能不能下载”。这件事最好在技术验证前就过一遍,否则代码写得越顺,返工越贵。
跑分之外,还要跑业务
模型在演示问题上的回答流畅,不代表能接住业务里的长尾输入。实际评测要拿自己的脏数据:错别字、口语、表格、多轮上下文、权限边界。很多失败不是模型不会答,而是它答得太自信。评测集不必大,但要能复现,并且和线上输入保持同一分布。否则调参只是在追一个漂亮的离线结果。
成本从采购转移到工程
开源模型常被理解成省掉授权费,但账单会换一个位置出现。推理需要显卡,量化会损失一点效果,批处理能摊薄成本却增加延迟;为了稳定,还要做限流、缓存、降级和日志。更隐蔽的是人力:数据清洗、提示词维护、版本升级后的回归测试,都要有人长期盯着。一次微调跑通只是证明流程可行,离可持续运行还有距离。
- 许可证和分发方式先确认,再谈集成。
- 评测集用自己的业务输入,保留失败样本。
- 把推理成本、延迟和维护人力一起算进预算。
我倾向于把开源模型看成一种“可检查的依赖”,而不是免费替代品。它的价值在于团队能看见权重、能控制部署位置、能按自己的数据做调整;代价是这些自由都要用工程能力兑现。若没有明确的维护人和评测流程,再顺手的下载也会变成新的技术债。
所以,跑通一次微调之后,别急着扩大范围。先问三个问题:许可证是否覆盖真实分发方式,评测是否能解释线上失败,维护成本是否有人长期承担。答案不清楚时,慢一点反而更省。