客服工位旁多了一块小屏幕,回复草稿自动出现在输入框上方。上线第一周,大家觉得省事;第二周,有人开始悄悄关掉它,改回手动打字。问原因,答案不复杂:草稿语法没问题,语气也没问题,但读起来像一份放之四海皆准的说明书,不像这家公司的人说的话。
这不是模型不会写,而是它太会写。AI大模型擅长把话说圆,可业务现场需要的往往不是圆,而是准——对准工单里的那个具体问题,对准客户已经说过的三句话,对准公司内部那条不成文的处理习惯。
演示和工位之间,隔着一段“最后一公里”
在演示环境里,提问是干净的,上下文是完整的,答案自然漂亮。到了工位,问题常常缺主语:客户只发来半句话,订单号藏在上一封邮件里,历史记录前后矛盾。模型要回答,先得有人把这些碎片拼起来。拼不起来的部分,就成了胡猜的入口。
于是很多团队开始补工程:检索先限定来源,回答里保留引用,拿不准时转人工。这些动作不新鲜,却决定了一个AI大模型能不能从展厅走进日常。模型能力是一层,周围的管道是另一层。管道漏了,再好的语言组织也会变成噪音。
评估比调用难
接口调通只要半天,判断“这次回答算不算好”却可能拖上几周。准确算好吗?语气温和算好吗?客户问题没解决但态度很好,算好吗?不同岗位的人给出的答案不一样。用人工抽检,成本高、覆盖窄;用自动打分,又把评分器的偏好悄悄带进来。
比较务实的做法,是从真实工单里挑一小批高频场景,把标准写具体:哪些信息必须出现,哪些话不能说,什么情况下必须转人工。评估集不求大,求能反复用。每次改动提示词或换检索策略,都拿同一批问题过一遍,看哪些回答变了,为什么变。
把“聪明”拆成可检查的步骤
与其期待模型一次给出完美答复,不如把过程拆开:
- 先检索,限定可用的资料范围,不让模型凭印象发挥;
- 再生成,要求回答里带上出处,方便人工复核;
- 遇到不确定的字段,停下来问,而不是填一个看起来合理的值;
- 记录每次调用的输入和输出,出了问题能回看。
这些约束看起来在限制模型,实际上是在给使用者建立预期。知道它在什么范围内可靠,才敢把哪些活交给它。AI大模型负责语言层面的组织,流程负责边界。两者分工清楚,工位上的人才不会一边用一边提心吊胆。
有些问题不该交给它
需要承诺的、需要判断责任归属的、涉及个人情况需要酌情处理的,这些场景里,模型可以帮忙整理信息,但不适合直接给结论。人工兜底不是技术失败的标志,而是设计的一部分。把兜底路径做得顺手,比反复调整提示词更能减少返工。
回到那块屏幕。关掉它的人后来又打开了草稿,不是因为模型换了版本,而是流程里多了几道看得见的闸门:引用能点开,转人工的按钮就在旁边,回答里不确定的地方标了出来。技术落地大概就是这样,不轰动,但能持续。