深夜的办公室里,一个小组把几十 GB 的权重拖进内网机器,跑通第一段推理。输出勉强能读,标点在长文本里偶尔错位,速度也不算稳定。接下来几天他们才发现,真正消耗时间的不是下载,而是把这份权重塞进已有服务:显存不够要换量化方案,并发一高就排队,某个业务词总是被答偏。开源模型给人的第一印象是“免费”,但第一周结束,账本上的数字只是换了个位置。
权重放出来,不等于全部放出来
讨论开源模型时,“开源”两个字常被当成一个开关:开了就能随便用。实际更像一段光谱。有的项目放出权重和推理代码,训练数据与训练流程留在门内;有的连数据配方也公开一部分;还有的把许可证写得相当细,商用规模、署名方式、衍生版本是否要沿用同一许可,各有说法。
这些差别不是法务部门的琐事。它直接决定三件事:能不能嵌进对外产品,能不能用自家数据继续训练,改过之后能不能再分发。许可证读起来枯燥,却往往比参数量更能说明一个模型适合被用来做什么。拿到权重先翻一遍许可条款,比跑分更能省下后面的返工。
成本从采购单挪到了人身上
把许可费省下来,钱并不会消失。它变成了几项新支出:推理机器、量化与加速的工程投入、一套能反复跑的评测集、以及线上出问题时要有人值班。这些开销不会出现在采购流程里,而是摊在每个月的工时上。所以“免费”更准确的说法是“成本可预测”——你提前知道要投入多少人,而不是按调用量付费。
另一面是可控。数据不出内网,版本可以固定在某个提交上,同样的输入能复现同样的输出。对需要留痕、需要审计的团队来说,这份可控本身就是价值,哪怕单次推理并不便宜。
社区是维护,不是售后
商业服务有工单系统,有响应时间的承诺。开源项目更多是 issue 区、讨论群和零散的提交记录。一个问题报上去,修不修、什么时候修,取决于有没有人愿意接手,也取决于维护者当下在忙什么。这不是缺陷,是这种协作方式的常态。
- 上线前先确认版本节奏:是持续迭代,还是长期停在某个稳定点。
- 把关键依赖锁死,别让一次自动更新改掉线上行为。
- 评估自己有没有能力接手:读得懂代码、改得动推理层,才算真正拥有它。
换句话说,用一个模型,也在选一群人。这群人是否活跃、是否回应、是否愿意解释设计取舍,比文档写得多漂亮更有参考价值。
不确定的部分要留白
能力边界是最容易被高估的地方。一次演示跑得漂亮,不代表在长尾输入上同样稳;一套公开评测拿到的结果,也未必对应你的业务分布。稳妥的做法是自建一小批贴近真实场景的样本,反复测,记录失败类型,而不是凭一次对话下判断。
内容边界同理。权重交到手里之后,输出是否合规、是否恰当,责任落在使用方。对齐做得再细,也只是降低了概率,不会替你做决定。这方面我的判断偏保守:越是能改代码,越要预留一道人工复核的环节。
回到那个深夜的办公室。他们最终没有换模型,而是改了预处理和一段后处理逻辑,把错位的标点挡住。这件事说明的正是开源模型的分量所在——它把“改一行代码”的权力交了出来,同时也把判断的责任一并交出。免费的是下载,昂贵的是判断。