机房角落里一台闲置的 GPU 服务器,一份从镜像站拖下来的权重文件,一个下午就能跑起来的推理服务。很多团队对开源模型的第一印象就停在这里:省钱、可控、不求人。真正把服务接进业务系统之后,另一组问题才开始浮现。
先说清楚一件事:能被下载,和能被放心使用,中间隔着一段不短的距离。
开源到什么程度
「开源」在模型领域并不是一个统一的说法。有的项目放出权重和推理代码,训练数据、清洗流程、训练脚本、评测方法留在内部;有的连权重都附带使用限制。对使用者来说,这决定了几件事能不能做:能不能复现、能不能审计、出了问题能不能自己修。
如果只把它当黑盒调用,公开程度差别影响不大;一旦要针对业务做微调,或者在合规场景里解释模型为什么这样回答,公开到什么程度就直接变成了工作量。选型时值得把「公开了哪些文件」当成一个具体问题问出来,而不是停在标签上。
写在附件里的条款
许可证通常不在首页,而在仓库的一个文本文件里。里面会涉及商用范围、用户规模阈值、署名方式,以及对输出结果的再分发约束,有些条款还会随模型版本变化。把这段文字交给法务读一遍,能省掉不少来回确认。
从能跑到能扛
演示环境和生产环境之间,隔着一串很具体的工程问题:
- 推理框架与手头硬件的适配程度,换一种卡型可能要重做一遍
- 量化之后精度掉了多少,掉在哪些输入上
- 上下文拉长后显存怎么涨,长文档场景能不能撑住
- 并发上来之后,吞吐和延迟之间怎么取舍
- 日志、审计、版本回滚这些不出彩但必须有的东西
这里面没有一项能靠下载解决。它们构成自建成本的主要部分,也常常是被低估的部分。
评测这一关没人替你过
公开评测集和你的业务分布往往不是一回事。那些分数能说明一些情况,但说明不了你手上的那批工单、那份合同、那些口音很重的录音。比较踏实的做法是攒一套小而真实的题集,几十条到几百条,覆盖常见输入和几个已知的坑,每次换模型、换量化方案都跑一遍。
还有一点容易被忽略:如果评测题目本身取自公开数据,而模型训练时也用过这些数据,分数就会虚高。自己出题,哪怕手写,也踏实得多。
成本没有消失,只是换了地方
不付接口调用费用,不等于没有账。硬件折旧、运维人力、每次迭代前后的验证时间,都会落到别的科目上。调用量小的场景,自建未必划算;数据不能出门的场景,这笔账又要按另一套算法来算。
什么时候不该用它
需求变化快、调用量低、团队里没人愿意长期维护推理服务,这些情况下先用托管服务更省心。开源模型交给团队的是决定权,也把责任一并交了过来:版本要自己跟,漏洞要自己补,效果下滑要自己查。
所以那个下午跑通的服务,只是一个起点。真正的问题是:你打算为它投入多少持续的注意力。这个答案,权重文件里没有。