想象这样一个下午:你把一批文件交给一个 AI Agent,让它核对表格里的字段、补齐缺失项、最后发一封确认邮件出去。它开始跑了,中途某个接口的参数理解错了,但它没有停,而是在错误的结果上继续往下走。半小时后它交回一份格式完整、逻辑自洽、内容却已经偏掉的成果。你打开它,第一眼很难看出问题出在第几步。
这类场景正在变多。讨论 AI Agent 的时候,人们习惯把注意力放在它能调用多少工具、能拆解多复杂的任务,但真正决定它能不能被放心交出去的,往往是另一件事:它知不知道自己什么时候该停下来。
它和聊天机器人的那条分界线
把大模型包一层界面,让它回答问题,这是过去几年熟悉的产品形态。Agent 的不同之处在于循环:观察当前状态、决定下一步动作、调用工具、拿到返回结果、再观察。它的产出不是一个回答,而是一串动作之后落在真实系统里的状态改变。
这串动作一旦变长,性质就变了。单步判断做得再稳,二十步连起来,整体走通的概率遵循的是乘法而不是加法。任务链条每延长一段,中途出现理解偏差、上下文丢失、工具返回值被误读的机会就多一次。所以把复杂任务拆给 Agent,并不自动等于效率提升,它同时把「一步出错」放大成了「一路出错」。
权限设计不是附加项
要真的干活,Agent 就得拿到写权限:改文件、发邮件、写入业务系统。这些能力与风险是同一件事的两面,无法只取其一。实际做法上,有几件事值得提前想清楚:
- 最小权限:完成当前任务所需的范围之外,不应默认开放;
- 可回滚:每一次写操作都留下痕迹,出错时能撤回而不是只能道歉;
- 关键节点停留:发送、提交、删除这类不可逆动作,设置为需要人工确认;
- 预算与时限:给循环设上限,避免它在某个环节反复试错而无人知晓。
这些约束看起来是在削弱 Agent 的能力,实际上是让它在边界内可被信任。一个没有刹车的系统,没人敢让它上真实的路。
评估比想象中更难说清楚
判断一个 Agent 是否可靠,比判断一个模型是否会答题要麻烦得多。同一件事可能有很多条路径,有的绕远但正确,有的直接但结果可疑。任务成功与否只是表层,更值得看的是轨迹:它为什么选了这一步,跳过的那一步是不是有意为之,中间有没有出现过它自己都没意识到的假设。
这就带来一个工程上的现实:可观测性要做得比能力更早。日志、状态快照、每一步的输入输出,这些不产生直接业务价值的东西,恰恰是排查问题的唯一入口。很多团队在能力上投入很多,在可观测性上投入很少,结果系统一旦出问题,只能看到结果错了,却说不清错在哪里。
人该退到哪一步
讨论 AI Agent 时,一个常见的二元框架是「全自动」还是「全人工」。这个框架并不好用,因为真实的分工是连续的。比较务实的心态,是把它当成一个能力不错但需要交底的同事:可以放手让它做,但要能随时问它做到哪了、依据是什么、下一步打算做什么。
回到开头那个下午。那份成果之所以让人不安,不是因为它不够聪明,而是因为它不知道自己在第几步开始偏了,也没有在偏的那一刻发出任何信号。对使用者来说,能够中断、能够回看、能够在关键处接管,这些体验的价值可能比再多接几个工具都要高。
能力会继续变强,这一点大概没什么疑问。但一个系统能不能被真正用起来,往往取决于它愿不愿意在不确定的时候说一句「我卡住了」,而不是继续往下走。