周一的评审会上,团队把内部文档问答的改造方案摊在白板上。有人主张继续调用外部接口,有人希望把整套流程搬进自有环境。争论到中途,问题逐渐清晰:真正要决定的不是“要不要用开源模型”,而是哪些环节可以交给它,哪些环节必须留在工程系统里。
数据流向决定部署位置
文档问答看上去是一个输入框,背后却拆成文档解析、切片、检索、重排、生成和权限校验。开源模型通常承担生成与整理,把检索结果组织成可读回答;检索质量、权限控制、日志审计则不该指望模型自觉完成。把权重放在自有环境里,确实能减少原文外送,但部署不是复制一个仓库就结束,还要面对推理服务、并发管理和监控告警。数据不出门只是起点,能否说清数据在系统内如何流动,才是部署前要回答的问题。
成本账要算到维护窗口
开源模型的成本不只在机器上。版本更新、依赖冲突、提示模板漂移、输出格式变化,都会占用维护窗口。小团队如果一开始铺得太开,很容易把“省下接口费”换成“多出一个需要照看的服务”。一种务实的做法是把范围压窄:固定几类文档、限定回答必须带出处、把不可回答的问题交回人工。流程跑通后,再判断是否扩大使用面。这里的判断标准不是参数规模,而是团队能否持续承担维护责任。
边界比口号重要
许可证、内容合规、输出不确定性,都需要在落地前写进规则。开源不等于没有约束,也不等于把责任交给模型。企业需要定义不可回答的场景、引用来源的展示方式、人工复核的触发条件。它适合作为内部辅助环节,帮助整理材料、生成摘要、提示可能遗漏的条目;涉及对外承诺或敏感判断时,仍要保留人工确认。把边界说清楚,使用范围反而容易扩大。
我的判断是,先把这类方案放在内部文档摘要和非关键问答里,保留检索、权限与审计系统,观察维护负担是否与预期相符。若团队被版本与依赖拖住,退回调用接口加人工复核的组合,也不是失败。开源模型带来的不只是部署选项,更是一道关于责任分配的选择题。