把散落在各个渠道的用户反馈汇总、按主题归类、写成简报交给对应的人——这类需求在内部工具讨论里出现过很多次。步骤清楚,边界也算清楚,看上去很适合交给 AI Agent 去做。真正跑起来才发现,卡住的往往不是归类准不准,而是简报发出去之后:发给了谁、发错了怎么撤回、下一次有人回复时谁来接。
会做事,和把事做完
演示阶段的评估通常聚焦在单步能力:这一步判断对不对、那次调用有没有选对工具。这类指标好看,也容易讲清楚。但真实任务的成本并不平均分布,它集中在少数异常分支上——目标中途变了、数据缺了一角、外部系统返回了一个没见过的错误码。这些分支在演示里被剪掉了,在生产里却决定这件事能不能交付。
所谓收尾,具体一点说,是任务结束时系统处于什么状态:是干净地完成,还是留下半截改动、几条已发出的消息、一份没人认领的草稿。
四件容易被跳过的事
- 终止条件。什么算做完?多数任务的目标是用自然语言描述的,而自然语言没有天然的句号。没有明确的完成判定,agent 容易在「再检查一遍」里打转,或者提前宣布成功。
- 状态回滚。写操作一旦发生就很难当没发生。删除、发送、提交这些动作,需要事先想好撤销路径,而不是事后补救。
- 授权边界。哪些动作可以自己做,哪些必须停下来问人,这条线如果只写在提示词里,等于没有。
- 过程可读。任务失败时要能还原它看了什么、依据什么做了决定。只留一句「执行失败」,排查成本比人手动做一遍还高。
演示环境是被人打扫过的
演示的时候,数据是干净的,目标是一次说清的,中途不会有人改主意。生产环境恰好相反:同一份表单里字段含义前后不一致,需求方上午说要 A,下午觉得 B 更好,中间还有别的系统在写同一份数据。AI Agent 在这种环境里表现如何,很大程度取决于它如何处理不确定——是猜一个看起来合理的答案继续往下走,还是停下来把问题抛回去。
这一点上,克制比能力更稀缺。一个会主动说「这一步我没有把握,需要你确认」的 agent,短期看效率不高,长期看更敢交给它做事。反过来,一个总是能给出结果的 agent,反而要花更多精力去核对它到底做了什么。
判断是否可用的一个角度
与其问它能连续执行多少步,不如看它停止的方式。它能不能在权限外停下、在信息不足时停下、在发现目标自相矛盾时停下,并且停下来的时候把现场交代清楚:做过什么、还差什么、需要谁来决定。这些不属于模型能力的范畴,更像是产品设计要回答的问题。
所以我在看一个 AI Agent 是否值得进入日常流程时,会先把它放到一件有副作用的小事上试:发一封邮件、改一条记录、提交一个工单。能把这类事情做完并说清楚,比在演示里完成一段复杂推理更能说明问题。流程里真正让人头疼的,从来不是中间那几步聪明不聪明,而是最后有没有人知道事情究竟进行到哪儿了。