周末把一个开源模型的权重下载到本地，几十 GB 的文件在硬盘上慢慢铺开。第一次跑推理时，风扇明显转快了，一句回答要等十几秒。那一刻我意识到，拿到权重只是起点，能不能用得顺手是另一回事。
下载完成，不等于能用
权重是文件，模型能不能跑起来取决于内存、显存和量化方式。把参数压到更低精度，可以塞进普通机器，但输出会发生变化：有些任务几乎不受影响，有些需要多步推理的问题会中途断掉。这不是抱怨，而是使用前就该知道的前提。
许可证也要读。不同项目的条款对商用、再分发、署名各有要求，有的还附带使用范围限制。所以严格说，多数所谓的开源模型只是“开放权重”——训练数据和训练代码未必一起公开。这个差别在个人试验时无所谓，进入产品流程后会变成需要有人负责的问题。
推理便宜，调优不便宜
在自己的机器或服务器上跑，请求量稳定时，单次推理的开销确实能降下来。但真正花时间的地方在别处：整理数据、统一格式、做评测集、反复试错。一个团队花两周清洗数据带来的改善，往往比换一个模型更明显。
- 硬件：显存决定能装下多大的模型，量化决定跑得多快，两者要一起试。
- 数据：格式统一、去重、剔除互相矛盾的样本，比单纯堆数量更有意义。
- 评测：自己写几十条贴近业务的问题，比看公开分数更接近真实情况。
分数之外的东西
公开评测能筛掉明显不合适的选项，却很难告诉你它在你的场景里表现如何。同一句话换个说法，输出可能就变了。比较实际的做法是拿一批真实问题跑一遍，把失败案例分类：是理解偏了、格式不对，还是干脆编造内容。分完类才知道该改提示词、补数据，还是换方向。
还有一个容易被忽略的环节是维护。模型版本会更新，依赖库会变，当初调好的参数过几个月可能就不适用。如果没有固定的人负责这件事，本地部署的隐性负担会慢慢堆积。
它适合什么样的团队
愿意投入工程时间、对数据流向敏感、需要把模型放进自己环境里的团队，开源模型是有意义的选项。反过来，如果目标是尽快上线、请求量波动大、没有专门维护人手，直接调用现成接口更省心。这背后是成本结构的差别，并非路线之争。
我的判断是：开源模型降低了进场的门槛，但没有降低把事做好的门槛。下载只要几分钟，把它变成稳定可用的东西，通常得按月来算。