我习惯拿一张带折线图的 PDF 截图去试探新模型。它通常会说：图里有三条曲线，整体呈上升趋势。听起来没错。再追问纵轴单位是什么、第三条曲线对应哪个图例，回答就开始含糊。这不是它没看见，而是它在两套坐标之间没对准。
这类小测试暴露的问题，比“能不能认出图里有一只猫”更接近日常使用的真实处境。图片里的信息是连续的、并置的，文字里的信息是离散的、有先后的。多模态模型要做的，是把这两种东西放进同一个表示空间，让它们能互相指认。
看见与读懂之间，隔着一次对齐
把图像编码成向量并不难，难的是让这个向量在语义上和一句话里的某个词建立稳定对应。比如“左上角的红色标注”，人一眼就能定位；模型要同时处理空间关系、颜色、文字内容三层线索，任何一层偏了，答案就会似是而非。
我倾向于认为，多模态模型眼下多数失误不是“能力不够”，而是“对不上”。它对单张图的描述往往流畅，一旦需要跨图比较、把图和表里的数字对照、或者处理图文混排的文档，稳定性就明显下降。这些任务的共同点，是要求模型在多个来源之间维持一致的指代关系。
对齐至少发生在三个层面
- 粒度：一段话可能对应图里的一小块区域，也可能对应整张图，模型要判断该在哪一级上建立联系。
- 时间：视频里的动作和配音、字幕并不同步，帧与词之间没有天然的一一对应。
- 语义：同一个词在不同图里的所指可能完全不同，“接口”在架构图和代码截图里是两回事。
这三个层面里，语义对齐最容易被低估。它不像分辨率那样有直观指标，出问题时也不报错，只是答得似是而非。
出错之后，定位比修复更麻烦
纯文本模型的错误相对好追：看输入、看输出，中间的推理链还能顺着捋一遍。多模态的链路更长，编码器、投影层、语言模型各管一段，最终答案错了，很难说清是哪一环出的问题。工程上常见的做法是把模态特征对齐到语言模型的输入空间，这让接入变简单，也让排查变模糊——你看到的只是一段文字，看不到图像那部分究竟贡献了什么。
评测也有类似的尴尬。公开的图文问答题目大多结构清晰、指向明确，而真实场景里的截图常常带着水印、模糊、截断、层层嵌套的表格。在这两类输入之间，模型的表现可能相去甚远，但很少有人愿意把这层差异写进结论里。
有些场景，其实不需要它
多模态模型被默认当成通用解法，这个假设值得怀疑。如果任务只是从固定版式的表单里抽字段，传统 OCR 加规则往往更可控，出错能定位到具体一行。输入模态单一、结构稳定时，引入多模态带来的不只是能力，还有一层不透明。
反过来，真正需要它的地方，是那些图文关系本身就是信息一部分的任务：说明书里的图示与步骤对应、界面截图里按钮状态与文案的关系、教学材料中示意图与解释文字的呼应。这些任务的共同点是，单看任何一种模态都读不全。
所以我判断一个多模态模型能不能用，不太看它在标准题目上的表现，更看它在边界输入上的行为：图被截掉一半时它会不会硬答，图里出现它不认识的字时它会不会编。前一种可以靠提示约束，后一种更难办。
回到那张截图。它现在还在我桌面上，偶尔换个模型再试一次。多数时候答案比上一次更细，但问到我真正关心的那一栏时，仍然要自己去看原图。这大概就是当下多数人对这类工具的合理预期：它缩短了初筛的时间，并没有替代核对。