采风全网
达观天下

当「智能体」开始自己做决定,谁来踩刹车

周一下午,你把一份三十多页的材料丢给一个新装的工具,让它压缩成三页要点,顺手把待办拆出来发进项目群。它没有立刻回话,屏幕上开始滚动:读取文件、切分段落、调用某个检索、生成草稿、再回头修改。十几分钟后,它交回一份像模像样的东西,还在群里发了一条消息。

问题在于,那条消息的措辞你没看过,收件人也不是你原本想的那几个。

这类系统这两年常被叫作智能体。名字听着像人,用起来更像一个从不问「我这样做对吗」的实习生——手脚很快,判断力时好时坏,而且不觉得需要请示。

它和脚本的区别,不在聪明程度

过去的自动化工具,路径是写死的:第一步读表,第二步清洗,第三步导出。中间任何一步出错,程序报错停下,你知道问题在哪一行。

现在这套东西换了逻辑。你给的是目标,不是步骤;怎么走由它自己现场决定。于是同一个任务跑两遍,走的路线可能不一样,用的工具也不一样。这份灵活是它真正值钱的地方,也是麻烦的来源:过程不复现,结果就不好追责,出错时你手里往往只有一份成品,没有中间记录。

三个容易被忽略的地方

第一个是权限。多数人在试用阶段图省事,直接把账号、目录、接口一并授权,想着「反正是自己人」。可它一旦判断失误,能造成的破坏上限,就是你给它的权限上限。读和写应该分开对待:查资料可以放开,发消息、改文件、提交代码这类动作,值得加一道确认。

第二个是留痕。不是简单记一句「任务完成」,而是记清楚它调用过什么、拿到什么返回、在哪一步改了主意。没有这些,事后复盘只能靠猜。很多团队是在第一次出岔子之后才想起补日志,代价不小。

第三个是失败的样子。确定性系统的失败通常很干脆——崩了,报错,看得见。而这类系统的失败常常是「看起来完成了」:格式对、语气对、内容似是而非。这种错不会被程序发现,只能靠人抽查,或者靠另一套机制去核对。

笨办法往往更管用

在工程上,目前比较务实的做法并不高级。把动作按影响大小分级,危险的那一档必须有人点头;把任务范围收窄,一次只让它干一件事,别指望它同时处理五条线;给它留一个能说「我不确定」的出口,否则它只能硬着头皮编。还有一条常被跳过:让它把计划先写出来给你看。多数跑偏在计划阶段就能看出来,比事后补救便宜得多。

这些做法会牺牲一部分流畅感,但换来的是可控。就目前的成熟度而言,这笔交换多半划算。

真正的门槛在后面

技术圈讨论智能体,注意力大多放在它能做多少事上:能开浏览器、能调接口、能连多个工具。这些都是真的进展,但决定它能不能进生产环境的,往往是另一半——出了事你能不能讲清楚发生了什么,能不能把范围圈住,能不能在它动手之前叫停。

换句话说,一个系统是否值得托付,不看它顺风时跑得多快,而看它在无人看管的那几分钟里,会不会做出你事后无法解释的选择。这个问题不解决,再强的能力也只能停在演示阶段。

所以下次派活之前,不妨先问自己一句:如果它自作主张,我多久能发现?

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当「智能体」开始自己做决定,谁来踩刹车
文章链接:https://tech.cfdanews.com/ai/2293.html