采风全网
达观天下

智能体越能干,越需要一道手工的缝

把一件重复的琐事交给一个会自己动手的程序,第一次看它跑完,心情有点复杂。它打开表格,找到那一列,逐行核对,遇到不一致的停一下,判断该改还是该问,然后继续。整个过程没有人按回车。你会有几秒钟觉得,过去几年练的那点手感好像被绕过去了。

但盯着看十几分钟,那点紧张会退下去,换成另一种不安:它做得太快,快到你来不及看清中间发生了什么。

它做的其实是反复地“确认”

把任务交给这类系统,内部的循环并不神秘:读一遍当前状态,想下一步做什么,调用一个工具,把结果塞回上下文,再读一遍。区别在于,过去模型只吐文字,人还要自己翻译成动作;现在这层翻译被接上了,文字直接变成点击、查询、写入。

所以“智能体”这个词容易让人误解,好像它有一个稳定的“我”在指挥。多数情况下并没有。它是同一套推理反复执行,加上一份被整理过的上下文,以及若干条被允许使用的工具。它的连续感来自状态被保存,而不是来自意志。

这也解释了为什么它的表现时好时坏。上下文一乱,前面几步的结论可能被后面的推理覆盖;工具返回一个格式不对的结果,整条链路会安静地走偏,而不是报错。

出错的样子变了

以前模型出错,错在答案:一段文字写歪了,一个事实记混了,人看一眼能改。现在错可能落在动作上——发出去一封不该发的邮件,改掉一个不该改的字段,删掉一行还在用的记录。答案错了可以重写,动作错了有时收不回来。

于是工程上的重心悄悄挪了位置。真正难的不再是让它更聪明,而是让它可被观察、可被打断、可被回退。日志要留到能复盘每一步,权限要窄到超出范围就动不了,关键动作前要有一个必须由人来点的确认。这些事不好听,也不适合做演示,但决定了它能不能真的用在活人身上。

留一道手工的缝

我倾向的做法是,不追求全自动,而是让智能体在流程里刻意留下几处“手工的缝”:能撤回的让它自己跑,不能撤回的必须停下来等人;涉及对外表达的,人至少读一遍;涉及数量、金额、时间的字段,宁可多问一句。

有人会觉得这是没必要的谨慎,觉得等它足够可靠就不需要人守着了。但可靠性不是靠等待获得的,它是在一次次边界收紧里长出来的。你给它的范围越清楚,它越不容易在边缘上出事;你留的缝越明确,人在旁边站着的时候越知道自己该看什么。

从这个角度看,一个智能体成熟与否,不太看它一次能跑多长的链路,而看它在跑不下去的时候,是安静地编一个结果继续走,还是老老实实停下来告诉你哪里不对。前一种在演示里很漂亮,后一种在真正干活时才让人安心。

让我印象深的一次,是它跑到一半停下,列了三条它不确定的地方,问要不要按原样继续。那一刻的效率损失,换来的是我不用回头去查它到底做了什么。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:智能体越能干,越需要一道手工的缝
文章链接:https://tech.cfdanews.com/ai/2282.html