采风全网
达观天下

多模态模型看一张图时,究竟在核对什么

把一张手机拍的菜单照片丢给带视觉能力的助手,问“这页最贵的菜多少钱”。回答来得很快,语气也很笃定,价格却对到了隔壁那一行。多数人这时候会得出一个结论:它看不懂图。但换一个角度,这更像是一次核对失败——它在核对图像里的东西与自己记忆中的说法是否吻合,而不是在一格一格地读像素。

图像进入模型时已经变了形

图片通常先被切成小块,每块转成向量,再由视觉编码器压缩成一串表征;文本一侧同样被切成词元。所谓跨模态对齐,是让含义相近的图块和词语落在彼此靠近的位置上。这个环节里,分辨率、切块大小、缩放方式都会决定哪些细节能留下来。一张竖长图被压进固定尺寸,最小的那行说明文字可能只剩几个像素,剩下的部分再聪明也补不回来。

它学到的是“被说出来的部分”

对齐依赖配对数据。而人给图片配的文字,通常只写显眼的内容:主体、动作、场景、气氛。很少有人会写“左下角第三行小字是折扣说明”。久而久之,多模态模型对那些常被提及的视觉特征更敏感,对没人写进描述里的细节更迟钝。于是它常常能一句话概括画面情绪,却在数人数、判断左右、读表格这几件事上出错——不是能力不足,而是训练信号里本来就没多少人在意这些。

出错不等于看不见

这里要分开两种情况。一种是信息在编码阶段就丢了,再怎么追问也问不出来;另一种是信息还在,但模型的输出习惯让它顺口给了一个看起来像样的答案。前者靠改善输入解决:裁切、分块上传、只给它需要判断的那一块区域。后者靠让中间结果露出来:先框出位置、先抄录原文,再让它作答。

工程上更省事的路径,是把任务从多模态模型身上卸下来一部分。文字交给识别模块,版面交给解析工具,计数和定位交给检测模型,多模态模型负责把这些来源不同的结论串成一句人能读懂的话。它擅长的是组织与表述,而不是替代所有专用工具。

一个可用的判断标准

想验证一个视觉问答功能是否靠得住,可以看它在信息不足时会不会说“看不清”。愿意承认模糊,意味着不确定性还留在链路里,而不是被一句流畅的话盖过去。对使用者来说,这比一个语气笃定的错误答案有用得多。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:多模态模型看一张图时,究竟在核对什么
文章链接:https://tech.cfdanews.com/ai/2208.html