把一张揉皱的出租车发票拍下来,问模型“这趟多少钱”。它通常能答对。换成一张贴了七八张票据的报销单,问“合计金额是多少”,答案就开始飘——有时它把某张小票的金额当成总额,有时干脆读出一个纸面上不存在的数字。
这类问题最近被问得很多。多模态模型在演示里表现得很从容:看图说话、读表格、认界面。但把它放进真实业务,第一个撞上的往往不是“看不看得见”,而是“看不看得准”。
图文对齐,并不等于理解
技术上,这类模型做的事是把图像和文字映射到同一个表征空间里,让“图里的东西”和“词的意思”能互相检索。视觉编码器先把图片切成小块,压成一串向量,再交给语言侧组织回答。问题就出在这个“压”字上。
压缩必然丢信息。一张 A4 版面扫描件缩到模型习惯的输入尺寸,一行小字可能只剩几个像素,表格线糊成一片。人眼凑近还能辨认,模型只能猜。所以很多所谓“识别错误”,本质是分辨率问题,跟理解能力无关。
更麻烦的是版面语义。同样两个数字,分别放在“小计”和“合计”下面,含义完全不同。模型要答对,得同时具备空间感知和业务常识——知道这一列是什么,知道这一行在整张表里的位置意味着什么。视觉侧给的是坐标,语言侧给的是意义,两边接不上,答案就错得理直气壮。
不少任务其实不需要它
这话听着像拆台,但工程上确实是这么回事。单据、证件、标准表单的内容提取,用传统 OCR 加规则、再叠一个语言模型做后处理,流程清晰,出错能定位到具体环节。
多模态模型更适合另一类活儿:版式天天变、规则写不完、需要跨图文做推理的。比如对照一张界面截图和一段操作说明,判断步骤有没有遗漏;或者从一张现场照片里读出设备铭牌上的型号,再跟文本台账对上。这类场景没法枚举规则,只能靠模型自己建立联系。
幻觉在视觉任务里更隐蔽
纯文本模型的胡编,用户多少能察觉——句子读起来不对劲。视觉任务不一样。模型报出一个金额,纸面上确实有数字,只是不是那一个。核对的人若不复看原图,很难发现。这种错误不会触发任何警报,只会安静地流进下游。
评估也因此变得棘手。文本任务有相对成熟的判定方式,图像理解没有通用标准。同一张图,问法不同,正确答案的边界就不同。做内部评测时,往往要针对具体业务自己攒题、自己定判据,工作量不小,但这部分省不掉。
工程侧的几个现实约束
- 分辨率与成本的矛盾。图越清晰,切出的视觉 token 越多,推理开销越大。常见的做法是分层处理:先粗看定位,再对关键区域放大细读。
- 延迟。多图、多轮、高分辨率叠在一起,响应时间会明显拉长,交互场景里用户等不了。
- 可解释性。模型给出结论时,很难说清它究竟看了图里的哪个部分。做审核类应用,这一点比准确率更让人犹豫。
这些约束不是换一个更大的模型就能消掉的,它们跟任务形态绑在一起。
真正的分水岭在出错之后
我倾向于认为,判断一套图文系统能不能用,不该只看它答对了多少,而要看它答错时人能不能及时发现。把原图、模型读到的文本、给出的结论并排放,让核对的人一眼能比对,这套设计的价值可能超过模型本身的迭代。
多模态模型把“看图”这件事的门槛降下来了,但它没有替人承担判断的责任。发票上的数字对不对,最终还是要有人愿意低头看一眼那张皱纸。