客服窗口里,用户问“地址填错了能不能改”,机器人回了一段新品推荐。这类错位并不罕见。把问题归到“模型不懂”很省事,却容易漏掉真正发生的事:问题在进入模型之前,已经被意图识别、上下文拼接和工具调用改写过一遍。
大语言模型在这里做的事,是根据已有上下文继续生成文字。它并不是在数据库里逐条查找答案。企业知识如果没有被放进提示或检索结果,模型只能凭训练语料里的语言规律去补。接入检索之后,回答质量开始取决于检索片段是否相关、上下文是否装得下、指令是否彼此打架。模型只是链路中的一段。
答非所问,常常发生在接口层
一个开放问题进入企业系统,通常要经过几道处理:判断意图、抽取参数、选择知识源、拼装提示、调用工具、生成回复。任何一步偏移,最后都可能表现为“答非所问”。比如用户说“改地址”,意图分类却落到“售后咨询”;比如历史对话太长,关键那句被截掉;比如工具调用把订单号当成手机号;比如提示里既要求简短,又要求列全步骤,模型只能取舍。
这些问题很难靠换一个模型解决。可操作的做法是把链路摊开:记录原始问题、改写后的查询、召回的片段、工具参数、最终回答和用户反馈。日志不需要宏大,但要能回答“问题在哪一步变形”。没有这层可观测性,调提示就像蒙着眼睛改代码。
语气顺,不等于事实稳
大语言模型生成句子时,连贯性来自概率,不来自对事实的核验。它可以把一段不存在的规定写得像内部通知。对企业应用来说,这意味着一部分工作要放在模型外面:关键回答附上出处,找不到依据时允许拒答,超出范围时转人工。拒答不是失败,它是系统边界的一部分。
另一个容易被忽略的点是上下文工程。同一个模型,提示里放三行制度摘要和放三十页文档,行为可能完全不同。检索增强能补知识,但也会把不相关段落带进来。需要控制片段长度,标注来源,区分指令和资料。模型对“请忽略以上内容”这类输入并不天然免疫,输入清洗和权限隔离仍要单独做。
把它当组件,而不是答案机器
我倾向于把大语言模型看成企业问答链路里的一个组件。它负责组织语言,不负责定义事实,也不负责承担最终责任。组件就需要有接口、有超时、有回退、有监控。上线前要准备一组真实问题做回归,覆盖改写、多轮、空结果和越界请求;上线后要看拒答率、转人工率、引用命中情况,而不是只看回答像不像人话。
下次再遇到客服机器人答非所问,先别急着把问题归到模型。翻一翻日志:原始问题是什么,检索到了什么,提示里塞了什么,工具返回了什么。多数时候,答案不在模型参数里,而在那几行没人看的中间结果里。