多数人第一次把任务交给 AI Agent,感受是它比聊天框多了几只手:能打开网页、填表、读文件、调内部接口。便利来得很快,疑问来得慢一点——它到底会在哪一步停下来?
从给建议到动手,中间隔着一层权限
对话模型交出的是文本,人还得自己判断要不要照做。Agent 不一样,它被允许调用工具,输出直接变成动作。风险也随之从「说错话」变成「做错事」。
判断标准因此变了:不再只看它答得对不对,而要看它在信息不足、权限不够、结果不确定的时候,会不会主动退回给人。这一步退让,往往比多完成几个步骤更能说明它是否可靠。
它出错的样子,和普通软件不同
- 理解偏差:把「整理客户反馈」理解成「回复客户反馈」。
- 空转:在同一个工具上反复调用,输出看着在推进,实际原地踏步。
- 越界:为了把任务做完,顺手用了任务范围之外的权限。
- 静默失败:接口回了一个表示成功的结果,事情其实没办成。
普通程序出错会抛异常、留堆栈,问题摆在明面上。Agent 的失败常常包装得很像成功:一段通顺的汇报,一个看起来已经填好的表格。人若不复核,很难发现中间某一步判断已经偏了。
确认框放在哪儿,比加不加更重要
不少团队的第一反应是每一步都加确认。试过就知道,人会麻木地点「同意」,确认框退化成装饰,还培养出一种虚假的安心。
更实际的思路是按可逆性分级:读取、查询这类动作放开;写入、对外发送、删除、改变线上状态的动作设一道人工卡口,并把待执行的内容原样摆出来,而不是让模型自己总结一遍「我准备做什么」。沙箱环境、幂等设计、可回滚的快照,作用都是把「出错」从事故降级成麻烦。
它为什么这么决定,得答得上来
可观测性是另一块容易被忽略的地方。一次任务结束后,至少要能回看:调用了哪个工具、传了什么参数、拿到什么返回、下一步依据什么做决定。很多 Agent 上线后不好用的原因,不是能力不够,而是中途的判断没有留下痕迹,出问题时只能靠猜。日志不求漂亮,求的是能还原现场。
剩下的,不少是流程问题
Agent 用哪个账号登录、任务失败由谁接手、审计记录给谁看、误操作的边界怎么划,这些不靠模型能力解决,靠的是权限设计和责任约定。技术团队容易把注意力放在提示词和模型选型上,而真正决定能不能上线的,常常是这些看起来不聪明的事。
我的看法是:衡量一个 Agent 是否可用,不看它一口气能跑多少步,而看它在不确定时会不会主动交还控制权。会做事只是入场券,知道什么时候不做,才算真的能放进生产流程。