把大语言模型接进一套内部问答系统,前两周通常很顺利:文档能读,问题能答,语气客气。真正的麻烦往往出现在第三周——有人发现它回答得像模像样,但依据的是一条早已作废的规定。
这不是模型突然退步,而是它从一开始就在做另一件事。
它在生成合理的句子,不是在核对事实
大语言模型输出的是上下文里最可能的下一段文字。这个机制带来惊人的流畅度,也带来一个副作用:不确定的时候,它不会明显卡顿。人说话时犹豫、停顿、改口,都是信号;模型把这些信号抹平了。于是“我不知道”和“我确定”在语气上几乎没有差别,阅读者只能靠内容本身去判断,而多数人没有这个余裕。
所以第一个要调整的不是模型,是对它的期待。它更像一个读了很多材料、表达很顺、但不会主动承认没把握的实习生。你可以让它起草,不能让它签字。
接上检索,只解决了一半
用检索增强生成把外部文档塞进上下文,确实能压低凭空编造的比例。但检索解决的只是“有没有找到材料”,剩下的问题依然存在:找到的三段话互相矛盾,该听哪一段?文档是两年前的,是否还适用?问题本身有歧义,是按字面理解还是按意图理解?
这些不是模型能自己裁决的。它会把互相冲突的两段话缝成一段读起来很顺的答复,矛盾被语法掩盖了。要处理这一点,需要有人在资料侧定义优先级、标注有效期、写清楚适用范围——是内容治理的活,不是调参的活。
评估这一步,最容易被跳过
演示时挑的都是好问题,上线后遇到的是碎的、带错别字的、上下文缺失的提问。建议在接入阶段就把几件事定下来:
- 让“无法回答”成为一个正式的输出选项,而不是失败;
- 记录拒答的比例和分布,那往往比满意率更有信息量;
- 对涉及流程、权限、责任的回答保留人工复核;
- 定期翻看提问日志,看真实分布和设想差多远。
还有一点常被忽略:回答会随着知识库更新、提示词微调而漂移。上个月调好的效果,这个月未必还在。持续抽检比一次性验收更接近现实。
哪些活可以交出去
分类、打标签、改写语气、长文摘要、把会议记录整理成条目、给出初稿——这些任务容错空间大,人扫一眼就能发现偏差,交出去划算。反过来,需要承担后果的判断、需要解释“为什么这样规定”的场合、涉及具体个人权益的处理,还是留在人这边。这不是对技术的保守态度,而是把责任放在能承担它的位置上。
回到开头那个场景。第三周发现的问题,其实第一周就存在,只是被演示的顺利遮住了。把大语言模型用好的关键,多半不在选型和参数上,而在接入之前想清楚:它答错的时候,系统会怎样;谁能发现;发现了之后怎么改。这些问题不性感,却决定了这套东西能不能长期待在生产环境里。