采风全网
达观天下

当智能体开始自己动手,哪一步该留在人手里

周五下午,一个很常见的场景:模型写好一封跟进邮件,人读一遍,改两个词,按下发送。同一件事交给智能体,它会自己去通讯录找联系人、翻上一次对话、写完直接发出,两天没回复再补一封。中间没有人。

差别不在于它更聪明。差别在于它拿到了账号、工具和重试的权力。

权限一变,出错的样子也变了

聊天模型答错的代价,是你多问一句。它给了一个不靠谱的方案,你皱下眉,跳过。整个过程是只读的,世界没有被改动。

一旦它开始写文件、发消息、提交表单、调用接口,性质就不一样了。错误不再是屏幕上的一段文字,而是已经发生的事。删掉的记录不会自己回来,发出去的邮件也收不回。很多人第一次被智能体吓到,不是因为它的回答有多离谱,而是因为它把自己理解的意思真的执行了。

所以讨论这类系统时,能力曲线其实不是最该看的东西。模型每个月都在变强,这是渐进的。真正的断点出现在授权那一刻:它从“建议者”变成“代办者”,风险从“信不信”变成“收不收得回”。

长链条会把小误差慢慢放大

单步正确率听上去很高,但任务一长就会露馅。一个十步的流程,每步九成把握,全部走对的概率就掉到三成上下。而智能体恰恰被设计成长链条的产物——它要连续做事,中途不怎么停。

于是一个值得提前想清楚的问题是:你想让它一次跑完,还是分段等你确认。这两种做法对应完全不同的工程成本。分段会慢,会打断人,但每一段都是一个可以刹车的点;一次跑完很痛快,出问题时却往往只能从头收拾。

工程上有些笨办法挺有用。比如先跑一遍“空转”,只输出它打算做什么、不真正执行;比如让写操作可重复执行而不产生副作用,重试一次也不会多扣一笔、多发一封;比如把不可逆的动作单独拎出来,强制人工点一下。这些做法不新鲜,只是被“全自动”的叙事盖住了。

出问题时,你得看得见它想了什么

推理型系统有个麻烦:它的中间过程不像代码那样有断点。等到结果不对再去追问,往往只剩一个最终答案。

所以日志要先于功能上线。它读了哪些资料、调用了哪个工具、为什么跳过这一步、重试了几次——这些记录下来,出问题时才有得查。否则你面对的是一个说“已经处理好了”的黑盒,而你不知道“处理”具体指什么。

这一点在实际运维中比想象中要紧。团队常常先追求能跑通,等真出了偏差,才发现连复现都做不到。

划线的时候,问几个具体问题

  • 这个动作能不能撤回?能撤回的,可以放手多一点;不能撤回的,就该有人在场。
  • 出错的代价落在谁身上?落在自己内部,试错空间大;落在客户、合作伙伴或公开渠道,就得收紧。
  • 它一年会做多少次?低频高风险的事,人工确认的成本其实不算高;高频低风险的事,才值得自动化。
  • 事后能不能说清楚发生了什么?说不清的地方,先别放权限。

这些问题没有标准答案,也不该由一篇文字替你决定。它们的作用是让人在按下“允许”之前,先把场景想具体一些。

回到开头那封邮件。在把发送键交出去之前,值得先问一句:谁来读回信?如果回复进来以后仍然是人在处理,那自动发送省下的其实只是几秒钟;如果连回复也交给它,那要设计的就不是一次发送,而是一整套边界。

智能体带来的新鲜感会过去,留下的是这些具体的、有点琐碎的决定。它们不好看,但决定了这套东西是帮手,还是麻烦。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当智能体开始自己动手,哪一步该留在人手里
文章链接:https://tech.cfdanews.com/ai/1771.html