采风全网
达观天下

多模态模型学会了看图,但它还在猜我们的意思

把手机拍的一张车间白板照片发给多模态模型,请它整理成待办清单,是个挺常见的尝试。字基本都认出来了,但它把两列内容的对应关系弄反了——左边那列的负责人,被接到了右边那列的任务上。这种错误不致命,改起来也就两分钟,可它暴露的问题不小:认得出字,和读得懂版面,是两件事。

它看见的,和我们以为它看见的

图像进入模型之前会被切成小块,和文字一起送进同一套注意力机制里。训练时输入大量图文配对,模型慢慢学会哪些词常和哪些视觉特征一起出现。这套机制擅长回答“图里有什么”,对“这些东西之间是什么关系”就没那么稳。

箭头指向谁、括号括住哪几行、编号属于上一段还是下一段、手写的批注是修改还是补充——这些信息在像素层面很微弱,靠常识补全反而容易补错。人看白板时会先扫整体结构,模型更可能逐块读过去。

麻烦在于,它错得很像对的

输出格式整齐、语气笃定,错误就藏在正确的外壳里。审阅的人扫一眼觉得没问题,直接用了。

这也是评测多模态模型比评测纯文本更费劲的地方。文本任务还能比对答案,图像任务常常得有人回到原图逐项核对:它说的那个位置到底有没有那行字,它归纳的那组关系在原图里成不成立。自动化指标能测出字准不准,测不出理解对不对。

眼下更实际的分工

与其指望它一次读全,不如把任务切小,把校验留在人这边。

  • 让它先做描述,判断交给人。比如“这张图里有几张表格、分别几列”,比“帮我填好这张表”安全得多。
  • 要求它标出依据。让它指出结论来自图片哪个区域、哪一行,人核对的成本会低很多。
  • 关键字段二次确认。编号、日期、单位、数量这类一旦错了会连锁出错的内容,单独拎出来对一遍。
  • 留下原图和输出的对照痕迹。出了问题能回溯,也知道该在哪一环加约束。

边界大概在哪

版式复杂、手写潦草、多页拼接、需要结合企业内部规则去推断的场合,仍然要人兜底。反过来说,把一堆散乱的照片按内容归类、从长文档里把图注和图表说明摘出来、给图片写一版初稿描述,这些它已经能省下不少时间,而且改起来比从零写快。

所以真正该问的,可能不是它能不能替代某个岗位,而是它出错的时候我们能不能发现。多模态模型带来的变化,未必是它一次就看懂了,而是“看懂”这件事变得可以反复试探——试一次,发现不对,换个问法再试。这种低成本的重试,才是它进入日常工作的方式。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:多模态模型学会了看图,但它还在猜我们的意思
文章链接:https://tech.cfdanews.com/ai/2147.html