采风全网
达观天下

给AI大模型喂了三个月工单,才发现它学不会沉默

设想一个不算复杂的场景:把过去几年积累的客服工单整理成知识库,接入AI大模型,让它替一线人员回答问题。上线第一周通常很惊艳——措辞得体,格式规整,还能自动归纳。

真正让人头疼的是第二个月。模型并非答不上来;它的问题是答得太顺。工单里那些“这个我们确实不支持”“需要走线下流程”“建议你直接联系对方”的答复,模型学不会。它更愿意给出一个完整的、看起来能解决问题的答案,哪怕这个答案在业务上根本不成立。

它不擅长的事,是承认不知道

这跟训练方式有关。语言模型的输出是逐字概率采样的结果,它被优化的方向是让“下一个词更可能”,并不判断“这句话是否有依据”。所以当检索到的资料不足时,它不会停下来,而是用语法和常识把空缺填满。填出来的东西读起来毫无破绽,这正是危险的地方。

工程上常见的补救是检索增强:先从文档里找相关段落,再让模型基于这些段落作答。思路没错,但它把系统的上限从“模型有多聪明”转移到了“检索有多准”。检索漏掉一段关键说明,模型照样会自信地编造。不少团队在这里投入精力后才发现,这些精力其实应该花在文档清洗和切片策略上。

还有一种做法是给它一个“拒答”的出口,比如在提示词里写清楚:资料不覆盖时,请回答“没有查到相关内容”。这句话有效,但效果不稳定。它更像是一种提醒,并不能算一种能力。

评测比调参更难

另一个容易被低估的环节是评测。离线跑一批问题,准确率看着不错,上线后仍然出问题,原因往往很简单:真实用户的问法和测试集不是一回事。测试集是团队自己写的,带着对业务的熟悉;用户则会把两三个问题揉在一句话里,会省略前提,会问那些工单里从来没有出现过的情况。

所以比较务实的做法,是把线上真实的对话回流成评测集,而不是一次性地攒一批题。这件事枯燥、没有技术含量,但它决定了你知不知道自己到底在改什么。

成本是隐形的约束

还有一层常被忽略:延迟和费用。上下文越长,响应越慢,按 token 计费时账单也跟着涨。一个需要三秒才出结果的助手,在电话客服场景里基本没法用。这时,规则引擎、关键词匹配、甚至一个小得多的模型,反而更合适。AI大模型不是非用不可的默认选项,它更像是解决某一类模糊语义问题的工具。

我倾向于把这类项目分成两半看:一半是模型能力,一半是业务约束的翻译。后者往往更费力——把“什么情况下必须转人工”“哪些承诺不能给”写成模型能理解的规则,比调提示词难得多。而这些规则,恰恰是AI大模型落地时最不该省略的部分。

回到开头那个场景。三个月后团队真正学会的,多半是怎么让它在该闭嘴的时候闭嘴,而不是怎么让模型答得更多。这个能力不好量化,也不好演示,但它决定了这套东西能不能长期留在生产环境里。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:给AI大模型喂了三个月工单,才发现它学不会沉默
文章链接:https://tech.cfdanews.com/ai/2214.html