一份会议纪要交给智能体整理成待办,顺手让它把跟进邮件也发了。前半段很顺,直到它把一条内部备注当成对外承诺写了进去。问题不在模型笨,而在于流程里没有人定义:哪一步必须停下来问一句。
这类小事故正在变多,不是因为系统突然变坏,而是因为“多步执行”把原来分散的风险串成了一条线。单看每一步都不离谱,连起来却可能跑到一个没人预期的位置。
它和自动化脚本差在哪
固定脚本按预设路径走,输入变了就报错;智能体要自己判断下一步、选工具、组合动作。能力来自“自己决定顺序”,麻烦也来自这里。一个五步任务里,每一步都可能带进一点偏差,累积到最后不容易复盘。更现实的是,它常常“看起来做对了”,直到某个对外动作才暴露问题。
先回答三个不性感的问题
- 权限给到哪一层:只读、可写、可对外发送,区别很大。最小权限不是口号,是缩小事故半径。
- 失败能不能回滚:发出去的消息、改过的表格,能不能撤回或恢复。
- 每一步留不留痕:调用哪个工具、基于什么输入、输出了什么,要能查。
这三个问题不解决,效率提升很容易被一次返工吃掉。
适合放手的地方,往往不太热闹
边界清晰、结果可验证、错了代价可控的任务,适合先放进去。信息归类、格式转换、按模板生成初稿,都属于这类。反过来,目标模糊、后果不可逆、需要有人承担判断责任的事,应该留在人手里。把智能体当成“能干的实习生”比当成“自动化的终点”更稳妥:它能压缩流程,但需要有人看住关键节点。
可观测性不是附加项
日志、人工确认点、灰度放开,这些听起来不酷,却决定了出事时能不能说清楚。先跑窄场景,攒失败样本,再谈扩大范围。智能体真正的成本,可能不在调用费用,而在出错后的排查和修复。
我的判断是,智能体的价值不是让人从流程里消失,而是把“串流程”的琐碎压缩,让人把注意力挪到判断上。前提是,暂停键放在明处,并且有人知道该什么时候按。