你随手拍一张办公桌的照片传上去,问「桌上有什么」,回答来得又快又顺:显示器、键盘、一杯咖啡、几份文件。接着你追问一句,杯子在键盘左边还是右边?对面停顿了一下,给了一个答案;换个问法再问,答案变了。这种落差,用过的人大多碰到过。
这不是模型「不认真」,而是多模态模型处理图像的方式决定的。
图变成向量之后,说话的是语言那一侧
图像进入模型,通常先被切成小块,每块编码成一串数字,再被投射到语言模型能接受的位置上——可以理解成把画面翻译成一种它勉强能读的「外语」。所谓图文对齐,靠的是大量配对训练,让这些向量落在语言模型接得住的地方。
于是出现一个规律:凡是能用语言顺畅复述的东西,模型抓得比较稳,比如有哪些物体、大致什么场景、气氛如何;凡是很难用一句话说清、却要求精确的东西——左右上下、数量、细小的文字、物体之间的遮挡关系——就容易被模糊掉。语言这一侧太会说话了,它会自动把缺口填平。
流畅本身是一种风险
语言模型的输出习惯是「接着说」,它不太习惯停住。图里没有的信息,它可能用常识补上。补对了显得聪明,补错了就是常见的幻觉。麻烦在于,措辞的自信程度和答案的可靠程度之间,关系并不紧密:一句「图片右下角有一个红色按钮」和一句「画面里似乎有人」,语气可能一样笃定。
所以判断一次回答能不能用,看语气没什么意义,得看它说的是不是「可以从图里直接看到的东西」。
评测这件事,比文字任务难得多
文字题有标准答案可以比对;视觉描述往往没有唯一正确答案,同一张照片,三种说法都成立。这带来一个后果:容易被自动判分的题型会被反复测试,而真实使用中最容易出问题的地方——两个相似的杯子搞混、把玻璃反光当成物体、读错角落里的小字——不一定在覆盖范围内。公开的评测各有侧重,只看单一分数容易误判。
加了时间维度,问题换了一种形状
视频把任务从「这一帧里有什么」变成「什么时候发生了什么」。受限于采样,很多中间帧根本没有进入模型,动作的先后、因果、是否连贯,要靠推断补上。于是描述一段视频时,画面内容常常说得不错,一旦问「他先做了什么、后做了什么」,稳定性就明显下降。
实际用起来,几个习惯更管用
- 把回答当成第一遍草稿,不是结论。需要引用的事实,回到原图核对。
- 涉及数字、位置、文字时,主动要求它说明依据:你指的是画面哪个区域?说不清的地方,往往就是它没看清的地方。
- 同一张图换个问法再问一次。两次答案不一致的部分,就是风险区。
- 如果业务对精度要求高,别指望一次问答解决,把人放在最后一道关上更现实。
一个愿意说「看不清」的模型
多模态模型这几年进步明显,能做的事比几年前多得多。但它在图像上的能力分布并不均匀:越靠近语言、越靠近常识的部分越稳,越靠近精确感知的部分越松。用户真正需要建立的判断,不是它能不能看图,而是它在哪一类问题上会含糊。
一个肯承认看不清的模型,用起来心里更有底。而当界面和提问方式允许它表达不确定时,这份不确定才有机会被看见——这大概是使用者能主动做的一点点事。