看过一段演示:屏幕上的程序打开浏览器,登录、填表、核对、提交,中间没有一次人工干预。关掉视频,回到自己的系统里做同一件事,它在第三步就停了。原因并不是模型不够聪明,而是它没有那张表的填写权限,旁边的工程师也说不清该不该给。
这类停顿,是今天谈 AI Agent 时最真实的部分。它不玄,也不戏剧化,就是一个又一个具体的决定:给多少权限、出错谁来兜、怎么知道它做对了。
它到底“自动”在哪一步
现在被归到 AI Agent 名下的东西,大致有三个共同点:能调用外部工具,能把一个目标拆成多步执行,能根据中间结果决定下一步。三个里少一个,很多时候更接近带函数调用的聊天框——能办事,但办到一半要人接手。
判断一个系统是不是真在跑多步,有个简单的观察方式:看它失败的时候会做什么。只会返回一句“操作失败”的,通常还是单轮;会重试、换路径,或者在拿不准的时候停下来问人的,才勉强算进入多步。
演示和生产之间隔着的并不只是模型
演示视频里,任务一次跑通就够了,失败的那几次剪掉。生产环境不行,它要面对的是重试、幂等、超时、审计日志,以及“这一步做了一半断掉,怎么恢复到干净状态”。
- 同一个动作被执行两次,会不会重复下单或者重复发信;
- 执行到一半进程挂了,状态存在哪里,重启后从哪继续;
- 出了问题,能不能还原它每一步看过什么、点过什么。
这些问题都不新,写后端的人熟。只是当执行者从代码变成模型,不确定性变大,原来靠“写死”就能保证的东西,现在要靠约束和校验兜住。我倾向认为,接下来一段时间 AI Agent 的可用性提升,更多会来自这类工程约束,而不是模型又涨了多少分。
权限是最容易被糊弄的部分
不少实现把“人类确认”当成安全阀:每次敏感操作弹个窗,用户点允许,责任就算转移了。实际用起来,弹到第五次,人就开始无脑点。确认点太多,等于没有确认点。
更实在的做法是反过来想:哪些动作一旦做了就收不回来。发出去的邮件、提交的订单、删掉的记录,属于这一类,应该卡死;查资料、读文件、生成草稿,做错了成本很低,可以放开手。这条线画清楚了,确认弹窗会少很多,也才有意义。
另一个常被忽略的是可撤销性。能撤回的操作,权限可以给得宽一些;不能撤回的,宁可让它多问一句。这比在提示词里反复叮嘱“请谨慎”有用得多。
怎么知道它真的在干活
评估是个麻烦事。单步准确率好看,不代表端到端任务能完成;任务成功率上去了,也可能是因为任务本身被拆得足够小。比较稳妥的做法是拿真实业务流程去做回归,把“完成”“部分完成”“中间停下求助”分开记,而不是只统计一个通过率。
还有一层是人的感受。一个自动化流程花四分钟跑完一件事,中途没有任何输出,和它每步都汇报一次,用户对它的信任程度完全不同。进度可见这件事,在自动化里经常被当成装饰,其实它是信任的来源。
有些场景现在就不该放手
涉及他人权益的操作、责任归属说不清的动作,以及一次错误代价远高于人工成本节省的流程,眼下都不适合交给 Agent 全权处理。这不是保守,是算账。
回到开头那个停住的第三步。真正要回答的问题,核心在于“继续之后出了问题,我能不能收拾”。