采风全网
达观天下

多模态模型真正难的,不是同时看见图和字

把一张手机截图交给模型,问表格第三行的联系电话是多少,多数时候它能答上来。换成一张倾斜拍摄、带反光的纸质表格,答案就开始飘:数字串位、1 被读成 7、原本不存在的字符被补进去。它答得依然流畅,语气比内容更可信。

这类失误常被归因于识别精度不够。但把问题全推给分辨率,会遮住更根本的一层。

看见和读懂之间,隔着一段对齐

典型做法是:视觉编码器把图像切成小块,转成一串向量,再经某种连接结构送进语言模型。图像在这一步被翻译成模型能读的序列,和文字指令拼在一起。麻烦就出在翻译上——它知道画面里大概有什么,却不一定清楚某个字符具体绑在哪个位置。

所以它擅长描述整体:几个人、什么场景、气氛如何。一旦问题落到“第几行第几列”“这个箭头指向谁”,就需要细粒度定位,而这恰恰是当前多模态模型最不稳定的部分。它像一个看图说话很流利、却没做过校对的人。

分辨率是一笔预算

图像块越多,细节保留越好,token 消耗也越高。工程上总要在清晰度和成本之间取舍:整页文档缩得太狠,小字就糊成一片;切得太碎,跨区域的对应关系又断了——表头和单元格落在不同的块里,模型很难把它们绑在一起。

这也解释了一个反复出现的现象:同一张图,换个提问方式,结果差很多。问“这张图讲了什么”很稳,问“右下角那个数字是多少”就容易出错。问题在于任务对能力的要求变了,并非它偷懒。

能拆就拆,不要指望端到端

做落地时,把多模态模型当成流程里的一环,比当成万能接口要现实得多。一些做法:

  • 能用 OCR、版面分析解决的,先交给专门工具,模型只负责整合与判断;
  • 把“看图”和“推理”分成两步,先让它复述看到的内容,再基于复述作答,错误更容易暴露;
  • 对关键字段要求给出位置或原文片段,没有依据的答案直接弃用;
  • 同一任务准备多种表述,答案不一致时转人工。

端到端看着干净,调试成本却高。拆开之后,每一步失败的原因相对清楚,也更容易替换。

评测这件事,比想象中难

文字任务至少有相对明确的对错判定,图像任务不行。同一张图可以问出无数个问题,答对若干、错了两三个,这两三个是不是关键,取决于业务。公开评测集覆盖不到你的单据、你的界面、你的行业黑话。比较有用的做法是自建一小批带标注的样本,覆盖真实场景里的典型难点,长期盯着看变化——数量不必多,但要贴近实际。

另一个容易被忽略的点是:这类模型的错误很少以“我不知道”的形式出现,它更倾向于给出一个形式上完整的答案。这要求使用方在设计交互时预留确认环节,而不是把输出直接当成结论。

回到开头那个场景。多模态模型已经能覆盖相当多的图文混合任务,但它更像一个反应快、知识面广、偶尔粗心的实习生。把它放在需要复核的位置,比放在需要托付的位置,要稳妥得多。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:多模态模型真正难的,不是同时看见图和字
文章链接:https://tech.cfdanews.com/ai/1809.html