设想一个被派去处理内部请求的 AI Agent。它能读工单、翻文档、发通知,必要时还能改一条状态。上线第一周很顺,第二周它遇到一条措辞含糊的请求,按自己的理解把事情推进到了下一步。事情不大,也没造成损失,但从那天起,团队看它的眼神变了。
这类故事在讨论里常被归为“模型还不够聪明”。我不太认同。多数时候问题不在它会不会做,而在它做之前有没有一个能停下来问的机制。
演示与上线之间,少的是那双盯着屏幕的眼睛
演示环节通常是这样的:有人提需求,Agent 拆解步骤、调用工具、给出结果,一圈人围着看。整个过程里屏幕前始终有人,出岔子会被立刻打断。这套流程能跑通,很大程度靠的是人。
上线之后,那双眼睛没了。任务被塞进队列,异常没有接收方。能力没变,处境变了。
让“我不确定”成为一种合法输出
语言模型倾向于给出一个答案,而不是承认模糊。放在对话里,这只是体验问题;放在执行链路里,它会变成风险。一句“帮我处理一下这个”,在人看来有歧义,在被执行的那一端看来往往只是一个待完成的指令。
可行的做法是把不确定显式化。比如约定三类情况必须停下来:同一句需求存在两种以上合理解读;操作不可逆,发出去就收不回;缺少可核对的来源。停下来不等于失败,它只是把决定权交还给人。一个系统如果连“暂停”这个动作都没有,谈可靠性就有点早。
权限按影响面分层,而不是按方便程度
很多部署里的权限是一步到位的:给个账号,能读也能写。省事,但也意味着一次误判的代价被放大。更稳妥的方式是按影响面切分:先只读,再允许写入可回滚的内容,最后才是不可逆的操作。能被收回的权限才叫权限,收不回的权限本质上是信任的透支。
与之配套的是过程留痕。不是简单记一句成功或失败,而是记下它看到了什么、依据什么做了判断、调用了哪些工具。这些记录平时没人看,出事时是唯一能复盘的东西。聪明解决的是做对,留痕解决的是知道为什么错。
人的位置:从补锅到划边界
有人担心 AI Agent 会取代岗位。就目前的形态看,更现实的变化是人从执行者变成边界设定者:决定哪些事它可以自己定,哪些必须回来问,哪些干脆不交给它。这份工作不轻松,也不显眼,但它决定了系统能走多远。
回到开头那个场景。如果它在遇到含糊请求时能停一下,发一句“这里有两种理解,你指的是哪种”,后面那些眼神的变化可能就不会发生。让机器学会做事,这几年进展很快;让它学会在该问的时候问,进展慢得多,也重要得多。