采风全网
达观天下

当人工智能被追问“这个算不算”,项目就慢了下来

把一套自动归类工单的系统交给任何一个团队,最先卡住的往往不是模型,而是这句话:什么算归对了。规则文档可以写四页,但真实工单里总有一部分同时踩在两条线上——既像售后,也像账务。这类样本不进规则,系统就学不明白;进了规则,又会把原本清晰的边界搅浑。

这件事听起来像工程细节,其实是人工智能落地时最耗人的部分。模型能处理的是被写下来的判断,写不下来的那部分,最后都得由人补上。

卡住的地方通常不在算法

标注会议上最常见的分歧,不是谁对谁错,而是两个人对同一个词的理解差了一点。有人说“退款”包含“部分退款”,有人默认不含。差异小到当事人自己都没意识到,累积到几千条样本里,就变成模型学到的一套自相矛盾的规则。

常见的做法是先定一份判定手册,把争议样本逐条讨论、写成例子。这一步没什么技术含量,却直接决定了系统能走到哪一步。手册写得粗,模型表现就波动大;手册写得细,又容易贴合写手册那个人的偏好。这个度不好把握,多数团队靠反复试。

边界样本决定系统能走多远

还有一类问题更隐蔽:长尾。常规样本占绝大多数,模型很快就能在这些样本上表现稳定,剩下的少数派才是真正的考验。而少数派恰恰是标注成本最高、最难达成一致的部分。有经验的团队会把预算的一部分专门留给这些样本,而不是平均撒在全部数据上。

上线之后,工作才真正开始

不少人把上线当成终点。实际上,业务口径会变,用户表达会变,几个月前定的手册可能已经不适用。模型不会因为世界变了就主动报错,它只会继续用旧规则给出答案,而且答得很自信。

  • 评估集需要定期重采样,否则测出来的分数只反映过去的世界;
  • 判定手册要有版本,改动要能被追溯,不然前后标注无法放在一起用;
  • 线上要有抽样人工复核,重点看模型高置信度但结果可疑的那部分。

这几件事都不新,但很容易在赶进度时被跳过。跳过之后,问题不会立刻暴露,而是攒到某一天集中出现,届时排查成本比一开始就做要高得多。

它不会告诉你“我不确定”

人在不确定时会犹豫、会问、会说“这个我得查一下”。模型的输出格式里通常没有这一项。它给的是概率最高的那个答案,语气和确定的时候没有区别。所以系统设计里必须有人为的兜底:置信度低就转人工,条件缺失就问一句,而不是硬答。

哪些该交给人工智能,哪些不该,判断标准其实很朴素——错了以后能不能被发现、能不能被纠正。能低成本复核的环节,交给它没什么问题;错了也看不出来、纠正代价又高的环节,就该留住那道人工。技术边界常常不是算力画的,是责任画的。

回到那场会议,最后大家花了半小时,只为确定“部分退款该不该单独成一类”。这半小时不会出现在任何进度汇报里,但它决定了后面几个月的返工量。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当人工智能被追问“这个算不算”,项目就慢了下来
文章链接:https://tech.cfdanews.com/ai/1835.html