把手机伸进冰箱，随手拍一张照片，然后问：“今晚二十分钟能做什么？”这个问题对人类厨师不算难，对模型却是连环考验：它得看清半袋青椒，认出一盒没有正面朝上的豆腐，读出酸奶盖上的日期，再把这些和“二十分钟”“一个人吃”这些文字条件拼在一起。
不只是“看图说话”
很多人对多模态模型的第一印象，是给它一张图让它描述。描述只是入口。真正吃力的是，图像里的东西和文字里的条件要落在同一套判断里。看得到不等于算得清：识别出“鸡蛋”很容易，判断“还剩三个、够不够”就要求它把视觉计数和数量推理接上。
工程上常见做法，是把视觉编码器接到语言模型上，中间加一层负责“翻译”的投影结构。这套拼法让模型很快能聊图，但也容易留下缝隙——视觉特征被压成少量 token，细节在这个过程中被抹平。一张写满小字的收据，压缩之后可能只剩“有文字”这个印象。
几个具体的坎
- 细粒度。整只苹果好认，切了一半、裹着保鲜膜的苹果就难。
- 空间关系。“杯子在盒子左边”这类判断，模型经常靠语言先验猜，而不是真的从像素里读出来。
- 文字与图像混排。价签、说明书、仪表盘，字符小、角度歪，识别和后续推理是两件事。
- 时序。视频不是若干张图的堆叠，动作的先后、因果的衔接，需要另一套建模。
这些坎有个共同点：出错的时候，模型往往说得很流畅。幻觉在多模态场景里格外隐蔽，因为它可以用一段通顺的话，把看错的东西讲圆。
评测比训练更让人头疼
文字任务还能靠标准答案比对，多模态的“对”常常是模糊的。同一张图，描述得粗一点不算错，细一点也可能不算错。于是评测容易变成考记忆、考格式，真实使用中的失败反而被漏掉。做产品的人大概都有体会：演示里效果很好的能力，换一个拍摄角度就掉一半。
我倾向的判断是，多模态模型短期内更像一种“能看的能力插件”，而不是通用理解。它在图文混排的窄场景里——核对单据、读说明书、按现场照片填表——已经有实际价值；一旦要求它做长链条的空间推理或跨帧因果判断，就得留出人工复核的位置。
回到那台冰箱
如果模型答“青椒炒蛋”，它可能只是抓到了两个高频共现的食材，而不是真的规划了一顿饭。要分辨这两种情况，靠的不是看它说得多顺，而是换几个刁钻的问法：豆腐放在哪一层、酸奶还有几天过期、只有一口锅怎么办。
多模态模型往前走，大概不会靠某一个惊艳的演示，而是靠这些琐碎问题的答案慢慢变准。对使用者来说，知道它在哪一层上“看见了”、哪一层上其实在“猜”，比记住它能做什么更有用。