凌晨两点,进度条终于走完。几十个 GB 的权重文件落在本地磁盘上,目录里还躺着配置文件、分词器、一份许可证。很多人到这一步会松一口气,觉得模型已经“拿到手”了。真正的麻烦,往往从第二天早上开始。
权重不等于能跑起来
文件下载完成,只是把模型搬进了机房。要让它稳定地对外提供服务,中间还有一段不短的路:推理框架怎么选,显存够不够,是否要做量化,并发上来之后如何做批处理,日志和监控接到哪里。这些问题在托管接口上被服务商处理掉了,自建之后全部落到自己头上。
一个常见的误判,是把“能跑通 demo”当成“能上线”。单卡单请求跑通,与几十路并发下的延迟表现,是两件不同的事。前者也许一个下午,后者可能要花几周。
许可证那一页,不要跳过
开源模型这个词容易让人联想到宽松的自由软件许可,但实际情况要复杂。不同项目对商用范围、署名要求、再分发条件的规定差别不小,有的还附带额外的使用限制条款。这些文字通常写在仓库根目录的一个文件里,篇幅不长,却直接决定一个方案能不能落地。
比较稳妥的做法,是在技术评估的同一张表里加一列“许可确认”,让工程和法务一起看,而不是等产品做完了才发现要改路线。
微调的账要提前算
不少人打算拿开源模型做底座,喂自己的数据做微调。这里容易被低估的不是算力,是数据。清洗、去重、统一标注标准,这些工作没有捷径。微调之后还要防能力漂移——原本能答对的问题,在新数据上训练几轮反而答歪了。因此需要一套自己的评测集,哪怕只有几百条,也要在每次训练前后跑一遍。
看评测,也要看配置
同一个模型,在不同量化精度、不同推理参数下,输出质量会有可感知的差异。所以看到一个分数时,值得多问一句:这是在什么配置下测的,评测脚本是否公开。对企业自己的场景来说,外部评测的参考价值有限,真正有用的是从业务里抽出来的那批问题。
哪些情况值得自己维护服务
自建不是默认选项。下面这些情况,自己维护一套推理服务通常算得过来:
- 数据不便离开内网,或对外部接口有明确的合规约束;
- 调用量长期稳定,成本结构可以算清楚;
- 需要对模型做较深的定制,包括结构改动或特殊的前后处理;
- 团队里有人能长期负责这套服务的运维。
反过来,如果只是验证一个想法,或者调用量波动很大,先用托管接口把业务流程跑通,再决定要不要下沉到自建,往往更省事。技术选型中,维护成本常常被低估。
开源模型给出的是一组可能性,不是一份答案。它把选择权交给使用者,同时把相应的责任一并交了过来。权重下载完的那一刻,考验才刚开始。