采风全网
达观天下

把人工智能请进会议室之后,问题才真正开始

会议室的白板上画着一条流程,七八个方框用箭头连起来。有人提议把中间两个方框交给模型去做,理由是那部分规则清楚、重复度高。讨论进行得顺利,直到有人问了一句:如果它给出的结果错了,谁去跟客户解释?房间里安静了几秒,然后话题很自然地转向了别处。

这个停顿值得留意。它不是因为大家不信任技术,而是因为多数团队还没想清楚,把一段判断交给机器之后,责任链条该怎么接。

它给的是答案,不是承诺

用久了会发现,这类系统的输出带着一种微妙的不确定性。同一个问题,换个说法问,结果可能不一样;输入里多一句无关的话,结论也可能偏移。这其实是它本来的工作方式:从大量样本里学到的关联,被用来推测下一个最可能的答案,仅此而已。

人在做判断时也带概率,但人会为自己的判断背书。系统不会。它不会说“我对此负责”,也不会在不确定的时候主动闭嘴。于是“可用”和“可信”之间出现了一道缝:能跑通演示的东西,未必能承担后果。

所以当一个团队决定把人工智能放进真实流程,真正要回答的往往不是“它准不准”,而是“它错的时候,我们能不能发现、能不能兜住”。

可解释,不等于能读懂每一层

“可解释性”这个词常被说得很大。实际工作中,它的用处要朴素得多:知道输入变化会让输出怎么变,知道它在哪类情况下容易失灵,知道出了问题能从哪儿查起。

追求逐层拆解模型的内部计算,对多数业务场景并不现实,也未必必要。更实际的是一种“可交代”的状态,也就是当结果被质疑时,团队能拿出证据说明这个结论是怎么来的、依据了哪些信息、有没有超出适用范围。这更像工程纪律,而不是算法难题。

有个容易被忽略的细节:解释本身也可能是被生成出来的。让系统用自然语言说明自己为什么这么判断,听起来贴心,但那套说辞未必忠实地反映内部过程。把事后编出的理由当成因果,是很常见的误读。

先写边界,再谈能力

在流程里落地之前,有些问题值得先落在纸上:

  • 这个环节的输出,会流向谁,被谁当作依据;
  • 出错的代价有多大,能不能撤回、能不能人工复核;
  • 输入分布发生变化时,由谁监测、多久看一次;
  • 系统给出的置信信号,团队是否真的会用、是否会看;
  • 出现争议时,留下哪些记录可以回溯。

这些问题不涉及模型结构,却决定了项目能不能长期跑下去。很多失败并非因为效果差,而是因为没有人为“效果变差的那一天”做准备。

人的位置在流程里,不在口号里

“人在回路”常被当成一句安全承诺。但人是否真的在回路里,要看他有没有时间看、有没有权限改、有没有动力质疑。如果复核按钮点下去的默认操作是“通过”,那这个人其实不在回路里,只是流程图上多了一个方框。

我的看法是,把人工智能引入业务,本质上是一次责任的重新分配,而不只是效率提升。哪些判断可以委托,哪些必须留在人手上,哪些需要两边对照着做,这些决定没法交给供应商,也没法交给模型自己。

回到那间会议室。后来他们把方案改了:模型只负责给出候选,最终确认仍由人来做,同时把每次修改都记录下来。效率提升没有原来设想那么大,但那个“谁去解释”的问题,至少有了答案。

技术会继续往前走,能力边界也会不断外扩。但一个组织愿不愿意在启动之前多问几句笨问题,往往比选了什么方案更能决定结果。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:把人工智能请进会议室之后,问题才真正开始
文章链接:https://tech.cfdanews.com/ai/2290.html