采风全网
达观天下

当 AI Agent 替你按下确认键,责任落在谁手里

前阵子帮朋友看他们内部的一个小工具:让 AI Agent 每天登录后台,把前一天的订单异常挑出来,写成一段说明发到群里。演示很顺,真正跑起来第一周就出了岔子——它把一条正常的退款标成了异常,理由是「金额与历史均值偏离较大」,而那天恰好是大促。

这件事值得说的不是错误本身,人也会误判。值得说的是出错之后没人讲得清它是怎么想的:日志里只有一句「已完成分析」,中间调用了什么、看到什么、依据什么下的判断,全是空的。

从「会说」到「会做」,中间隔着一整套工程

聊天式AI和AI Agent的根本差别,是后者要调用工具、读写状态、连续走很多步。多步执行带来两个后果:错误会累积;每一步都可能改动真实世界里的东西,发一封邮件、改一条数据、扣一笔款。前者靠推理能力缓解,后者只能靠工程约束。

所以真正吃功夫的地方往往不在提示词上,而在几件很土的事情上:

  • 权限:能读什么、能写什么,按最小必要给,别图省事直接给它一个管理员账号。
  • 留痕:每一步调用了哪个工具、拿到什么返回,都落下来,出问题时能回放。
  • 回退:写操作尽量可撤销,或者先写进草稿区,等人过一眼再落库。
  • 确认点:不可逆的动作前面放一道闸,哪怕只是一次点击。

这些东西做起来没有成就感,但它们决定了这个Agent是能长期挂着跑,还是只能活在演示视频里。

评测是最容易被跳过的一步

通用模型的能力可以用公开评测集来衡量,但你自家业务里那个Agent好不好用,取决于它对你这家公司脏数据、历史习惯和边角情况的理解,这些没法通用评测。常见的做法是凑一个小测试集:把过去半年真实发生过的几十个任务连同正确结果存下来,每次改提示词、换模型、加工具,都跑一遍。笨,但比「感觉变好了」靠谱得多。

更麻烦的是,很多失败不是答错,而是答对了却做错了顺序,比如先发通知后改数据。这类问题只能靠回放日志去发现。

责任这件事绕不过去

我倾向于一个偏保守的判断:AI Agent 接下来一段时间的进展,大概不会体现在更炫的演示上,而是体现在日志、回滚、测试集、审批流这些不起眼的地方。当它替你按下确认键,责任链条要事先写清楚——这不是法务问题,是设计问题。如果没人愿意为它的某个动作负责,那这个权限一开始就不该给。

回到那个把大促退款标成异常的例子。修法不是让它更聪明,而是在它的输出后面加一句「依据:近30日均值」,再让一个人确认。慢了几秒,但至少有人知道发生了什么。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当 AI Agent 替你按下确认键,责任落在谁手里
文章链接:https://tech.cfdanews.com/ai/2049.html