看过不少这样的演示:一句话交代需求,屏幕上的助手自己去翻表单、比对内容、改状态、拟通知,几分钟跑完。会议室里气氛通常不错。
然后在真实环境里用上一段时间,用的人就慢慢少了。
这个落差我听过很多次。演示环境里的任务是闭合的——数据干净、目标明确、出错时有人在旁边盯着。真实业务里的任务往往横跨几个系统、拖上好几天,中间还有人改主意。同一个 AI Agent 在前一种场景里跑得漂亮,在后一种场景里常常停在半路。
演示里任务是闭合的,真实里不是
把模型接到工具上,让它自己循环调用,这件事本身不难。难的是它要清楚自己走到哪一步了。
演示时上下文很短:一次对话、一份数据、一个目标。真实任务里,前一步的结果就是后一步的输入,中间可能有失败、有重试、有人插话改了需求。如果这些状态全靠一次性塞进上下文,模型很快会在中途丢掉关键信息,或者把做过的事再做一遍——重复发通知、重复改状态,这类事故在落地阶段并不少见。
现在比较常见的做法是把状态搬到模型外面:用一张任务表、一份流程记录,让每一步的输入输出都留痕,模型只负责当前这一步的判断。这听起来不那么“智能”,但它把不确定性收进了一个可控的范围里。
谁来判断“做完了”
另一个被低估的环节是验收。调用接口返回成功,不等于事情办成了;表格里那一行改了,不等于改对了。
有些团队让另一个模型来当裁判,检查结果是否满足要求。这个办法有用,但裁判本身也会出错,而且错误往往更隐蔽。所以真正上线的系统里,验收常常被拆成两半:能确定性校验的交给代码,剩下模糊的部分交回给人确认。这不是技术上的退让,而是把结束条件写清楚——一件事如果连完成标准都说不明白,就不该交给一个自主执行的系统。
自主性的分寸
讨论 AI Agent 时,很容易把“能自主完成多少步”当作进步的方向。但在企业场景里,我看到的多数需求恰恰相反:人们要的是可预期的省事,不是惊艳的自主。
所以实际形态通常是:人划定边界,它在边界内自己跑;越界的动作,比如对外发送、删除、改动权限,要走确认。这类设计会牺牲一些流畅感,换来的是出错时能拦住。对使用者而言,能预判它在什么情况下会停下来,比它能一口气做完多少事更重要。
有些动作不适合交出去
再往前一步就是边界问题。有几类事情我倾向于留在人这边:结果不可逆的,出了问题责任说不清的,以及需要有人真正承担后果的。
这不是对技术能力的怀疑。即便一个 AI Agent 把某件事做得比人更稳,只要它出错之后没人能解释为什么、也没人能做补救决定,把它放出去就是在给组织积累风险。
回到开头那个落差。评价一个 AI Agent 好不好用,也许该问的不是它能替你办多少事,而是它办错的时候,你多久能发现。前一个问题在演示里就有答案,后一个问题只有用上一段时间才会浮出来。