假设一个十来人的技术支持团队,工单每天几十条,回复内容大同小异。有人提议:把历史工单和产品文档一起交给大语言模型,让它先起草一段回复,人工过一眼再发出去。这个想法听起来很顺,落地第一周就会撞上问题。
问题不在于它写不出话,而在于它写得太像真的。文档里没写的条款,它能顺着语气补上一句,术语对、格式对、口吻也对,唯独事实是编的。审核的人如果只是扫一眼,很容易放过。这类错误不会天天出现,但一旦出现在对外回复里,代价由人来承担。
几个绕不开的取舍
- 上下文与成本。把整本手册塞进提示词,回答确实更贴题,但每一次调用都要为这些 token 付费,多轮对话还会不断累积。窗口变大,不等于应该无限往里塞,通常更实际的做法是检索出相关的那几段再喂进去。
- 可复现性。把温度调低只是减少了随机性,并不等于同一个问题问两次会得到同一段话。流程设计要把这一点当成前提,而不是当成 bug 去修。
- 评测。真正难的是怎么知道改动提示词之后,总体是变好还是变坏。手里没有一批带标准答案的工单,任何调整都只是凭感觉。这件事没有捷径,只能一边跑一边攒。
这三件事互相牵制。为了压低幻觉去加约束,回答会变得啰嗦、答非所问;为了流畅放松约束,编造的概率又上来。多数团队最终停在一个不好看但能用的位置,而不是某个漂亮的极值。
哪一段该交出去,哪一段得留着
把流程拆开看,会清楚很多。归类、提取要点、把长工单压缩成三行摘要、把中文草稿转成英文初稿——这些环节错了成本低,人一眼能看出来,适合交出去。而承诺交付时间、解释计费规则、认定责任归属,这些一旦说错就要道歉甚至赔偿,应该留在人手里。分界线不是“难不难”,而是“错了以后多难收场”。
按这个标准衡量,大语言模型更像一个反应快、知识面杂、但不知道自己在说什么的实习生。给它清楚的任务说明、可查的依据、明确的输出格式,它能省下大量重复劳动;至于签字,还是得有人来签。这个心理模型朴素,但比把它当成“可以托付的同事”要稳妥得多。
还有一点常被忽略:接入之后,团队的工作内容会变。原来写回复的时间,转成了读回复、挑毛病、维护文档和整理评测集。这部分工作不显眼,却决定了整套流程能不能长期跑下去。如果没有人愿意承担它,工具再好也会慢慢被绕开。