一次内部演示，AI Agent 从读邮件、查资料到生成表格一气呵成，会议室里有人点头。等它真正接进日常流程，问题出在第三天：一封本该转给同事的邮件，它直接回了，措辞还挺得体。没人受损，但所有人都停了一下——因为在原来的流程里，这一步是有人负责的。
循环是新的东西
把模型外面包一层工具调用，再让它按“观察—决策—再行动”转起来，大致就是人们说的 AI Agent。模型本身的判断力未必提升多少，变的是它开始连续动作。连续意味着前一步的输出会成为后一步的输入，错误也随之被继承、被放大。
单次问答出错，重问一遍就行；连续动作出错，往往要回头收拾一串后果。这不是模型能力问题，而是结构问题。评估一个智能体，除了看它能否完成任务，还得看它失败时留下多大的坑。
权限比提示词更值得花时间
团队常把精力放在提示词打磨上，这本身没错，但决定事故规模的往往是权限边界。它能读什么、能写什么、哪些动作需要二次确认、连续失败几次自动停机。这些属于工程约束，不是语言技巧。
- 可逆的操作可以放开：查询、草稿、预览、生成待确认的内容。
- 不可逆的动作留一道人工闸门：发送、删除、提交、对外发布。
- 给循环设上限：步数、时长、调用次数，超了就停，而不是继续试。
这三条听着朴素，落到实现里却常被跳过。原因也简单：限制会让演示不那么流畅。
留痕不是给合规看的
如果一条决策路径无法回放，出问题就只能靠猜。记录的价值不只是事后审计，更是让人能回答“它当时看到了什么”。这一点容易被低估：模型的输入不只是用户那句话，还包括工具返回的结果、检索到的片段、上一步留下的状态。缺了这些，复盘基本等于空谈。
我见过一些做法是把每一步的工具调用和原始返回都存下来，代价是存储和隐私处理变麻烦。但比起事故后翻聊天记录，这笔账不难算。
审阅的成本被挪到了人这边
一个人亲手做一件事，和审阅别人做完的同一件事，消耗的心力并不相同。当 AI Agent 承担了执行，人的角色转向判断，而判断需要上下文——上下文恰恰是被自动化省掉的那一部分。于是出现一种别扭的状态：看起来省了时间，注意力却被切得更碎，一天下来做了很多次点头，却说不出自己推进了什么。
这不是反对自动化，而是提醒：省下的执行时间，有一部分会以审阅的形式还回来。设计流程时把这块算进去，预期才不会落空。
开放任务不好评
封闭任务有明确答案，跑一遍就知道行不行。真实工作大多不是这样：一封回复得体不得体、一份调研够不够用，标准模糊，往往要人看完才有感觉。这让“能不能上线”难以用一次测试回答，更接近一段时间的观察——先给它低风险的活，看它在哪里犹豫、在哪里自作主张。
所以回到开头那个问题：出错时谁来收尾。它表面是流程问题，实际是设计问题。一个 AI Agent 如果连失败模式都说不清楚，那它大概还没准备好进入真实流程，哪怕演示很好看。看懂它怎么坏，比看它怎么好，更能决定它能否留下来。