前阵子帮一家做工业耗材的公司看客服后台。他们刚把AI大模型接进在线咨询,第一周效果看着不错,回复速度快,语气也客气。第二周问题来了:有客户问某款滤芯能不能用在高温环境,模型答得很流畅,还补了一句“完全可以”。技术同事去查,这款滤芯的耐温上限根本没写在知识库里。
这类事故不稀奇。流畅和准确是两件事,但用户在聊天窗口里很难分辨。对做企业官网和数字服务的人来说,这可能是接入AI大模型后最先要接受的现实:它更像一个表达能力强、但记性不牢的新同事,而不是一台查得到的机器。
问题往往不在模型,在喂给它的东西
很多团队把精力放在调提示词上,反复修改“你是一位专业的客服”这类开场。改到第十版,回答还是会在参数上跑偏。原因通常不在措辞,而在资料。产品手册是PDF,参数散落在表格和脚注里;售后政策三年改过两次,旧版本还挂在内网;不同销售写的FAQ口径也不一致。
这时候模型能做的,是把这些混乱用一种自信的语气复述出来。要让AI大模型少犯错,先得把知识整理成它能读的形式:一段话说清一件事,标明适用范围和更新时间,把“不确定”和“不适用”也写进去。听起来是笨功夫,但它决定了后面所有环节的上限。
检索能补记忆,补不了判断
常见的做法是加一层检索:用户提问,系统先去文档里找相关段落,再让模型基于这些段落回答。这确实能减少凭空编造,但也带来新的问题。检索到三段资料,两段说可以,一段说在特定条件下不行,模型会怎么选?它可能挑最像答案的那段,而不是最保守的那段。
所以检索之后的环节需要人参与设计。比如在提示里明确:资料之间冲突时,优先说明限制条件;没有明确说明的,直接回复“这项需要工程师确认”。这不是让模型变笨,而是把它的角色从“答题者”改成“信息整理者”。
- 回答里带上资料来源的标题,方便用户和客服复核;
- 涉及参数、价格、交期的提问,一律走人工确认;
- 把“我不知道”设计成一个正常出口,而不是失败。
让人愿意接手,比让人相信它更难
还有一个容易被忽略的成本:客服人员的信任。系统刚上线时,如果它经常给出需要返工的回答,人工坐席会逐渐养成“先不信”的习惯,把所有对话都重看一遍,效率反而下降。要解决这个,指标不能只看“自动解决率”。更实际的做法是统计哪些问题被转人工、转得对不对,以及人工修改后的回答和原回答差在哪里。
这些差异记录积累下来,比任何一次提示词优化都值钱。它会告诉你知识库的缺口在哪,也会告诉你用户真正在意的措辞是什么。AI大模型在这里的作用,不是替代人,而是把人的修改动作变成可复用的资料。
边界写清楚,才敢往外放
回到开头那家耗材公司。后来他们做的事很朴素:把所有涉及温度、压力、材质的问答单独拎出来,逐条加上适用条件;上线前让三位老客服各测五十个问题,把答错的记下来;对外页面明确写着“参数以技术确认单为准”。模型还是那个模型,但回答的边界清楚了。
如果正在考虑把AI大模型放进官网或客服系统,可以先问自己一个问题:当它答错时,用户能不能看出来,我们能不能查到原因。这两个问题有答案,再谈体验和效率也不迟。