采风全网
达观天下

多模态模型看懂了图,却未必读得懂一张表

上周有人给我看一段对话记录:他把一张供应商对账单的截图发给一个支持图片输入的模型,问“3月17日那笔多少钱”。模型回答得很利索,语气也笃定,数字是错的。它并不是找错了行,而是把相邻两列的数字拼在了一起。

这类错误很典型。它说明的问题与“模型是否足够聪明”无关,关键在于我们在用它做一件它并不擅长的事:读表。

它看到的不是表,是一片像素

图像进入模型之前会被切成小块,每块编码成一个向量。切多大、保留多少细节,取决于模型的设计。一张A4大小的表格截图,缩放到模型能接受的尺寸后,原本小号字的数字可能只剩下几个像素的宽度,表格线糊成灰带,合并单元格的边界几乎消失。

人看表时先认结构:哪一行是表头,哪几列是金额,哪一格跨了两列。模型没有“结构”这个概念,它拿到的是一堆位置相邻的向量,只能从训练中积累的经验去推测阅读顺序。表格越规整,它猜得越准;一旦有换行、空单元格、斜线表头,推测就开始偏移。

这也解释了一个常见现象:让模型描述图片内容,它讲得头头是道;让它定位“第四行第二列”,它经常给出一个看起来合理的答案。前者靠语义,后者靠精确的空间对应,两种能力并不在同一处。

图文在哪一层合流,决定了它的实际表现

多模态模型处理图文的方式,粗略说有几种。有的把图像特征和文字词元放进同一个注意力空间,让两者从一开始就互相看见;有的各走各的通道,最后再把结果拼接起来;还有的在中间层插入交叉注意力,让文字去“查询”图像的某一部分。

差别体现在细节上。合流越早,模型越容易建立细粒度的对应关系,但训练也更难;合流越晚,工程上更省事,遇到需要精确指认的任务时就更依赖外部工具。这些是设计上的取舍,谈不上哪一种绝对占先。

另一个容易被忽略的环节是训练数据。多模态模型学会“图里有什么”,靠的是大量图文配对;学会“图里第几行第几列是什么”,靠的是文档、表单、界面截图这类带结构标注的样本。后者获取成本高得多,覆盖的版式也有限。所以遇到排版少见的表格,模型的表现会明显不稳定。

把它当一个能看图的同事,而不是一个能读表的系统

在真实的业务流程里,这个区分很实用。

  • 如果数据本来就有结构化来源,就走结构化通道。让模型去解析一张本可以直接导出的表格截图,等于主动增加一道噪音。
  • 如果只有图片,尽量在送入之前做减法:裁掉无关区域,放大关键区块,一次只问一个字段。
  • 把表格转成文本描述或Markdown再提问,往往比直接丢图更稳,因为文字里保留了行列关系。
  • 涉及金额、编号、日期这类不能出错的字段,把模型的输出当作初稿,保留人工复核的环节。

还有一点值得提醒:模型很少主动说“这张图我看不清”。它倾向于给出一个完整的答案,哪怕依据不足。所以在设计交互时,与其问“这个数字是多少”,不如问“你能看清这一行的内容吗,看不清就说不确定”。后一种问法得到的回答,可信度通常会更高一些。

我并不认为多模态模型不适合处理文档。恰恰相反,它在摘要、归类、抽取要点这些任务上已经能省下不少时间。问题在于我们要清楚它的强项落在语义层面,而不是像素层面的精确对齐。一张表对人来说是结构,对它来说首先是一张图——记住这一点,很多失望可以提前避免。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:多模态模型看懂了图,却未必读得懂一张表
文章链接:https://tech.cfdanews.com/ai/2138.html