我用过一个带摄像头的小设备，它能认出桌上的杯子，也能听懂“把灯调暗一点”。随手用贴纸把镜头挡住，再问同样的话，它的反应慢了半拍，回答开始绕圈子。那一刻我意识到，平时说的“能看能听”，和真正把看到与听到的东西揉进同一个判断里，是两件事。
落进一个空间，就够了吗
多模态模型的常见做法，是让图像、声音、文本各自经过编码器，得到向量，再想办法把这些向量放进同一个表示空间。训练时投喂大量配对数据——一张图和一句描述，一段录音和一行转写。模型学到的是“这两样东西在语义上靠得近”，而不是“这张图为什么能支撑那句话”。
差别在细节上露出来。给一张厨房照片，问“水壶旁边是什么”，多半答得不错；换成“如果把水壶挪到左边，画面会怎么变”，回答就开始含糊。前者接近相关性检索，后者需要一点关于物理世界的推演。对齐做得再细，也只是让两个模态在空间里挨得近，不保证中间长出一条能走通的推理路径。
少一个模态，它会慌吗
现实里模态经常不齐。光线差、麦克风被风噪盖住、用户干脆只打字。稳健的系统理应有降级路径：图像拿不到时退回语言先验，同时说明自己依据不足。但不少实现里，缺模态直接让输出质量掉一个台阶；更麻烦的是另一种情况——模型用语言先验脑补出一个并不存在的画面，还答得很有把握。工程上这比精度差更棘手，因为错误不容易被使用者发现。
冲突比缺失更难处理
画面里一个人站着，声音却说“我正坐着”，模型该信谁？这类样本在训练数据里本就稀少，模型没多少机会学会处理。人在这种情况下会停顿、追问、去找第三条线索。多模态模型则倾向于倒向训练信号更密的那个模态，通常是文本，因为语言监督的体量摆在那里。这算不上模型的缺陷，更像是数据分布直接决定了它的取向。
评测本身就没有标准答案
单模态的评测相对清楚：对错分明。多模态要评的是“跨模态是否自洽”，而自洽很难用一道题打分。堆一批看图问答，考出来的往往还是单模态能力的拼接；真正想测的“看到矛盾会不会主动指出来”，题目不好出，参考答案也不唯一。这就让进步很难被外部准确感知。
我更在意的是它敢不敢说看不清
不是能认多少类物体，而是信息不全时的表现：会不会说“这块我看不清”，会不会把没把握的部分留白。一个愿意承认不确定的多模态模型，在真实产品里往往比什么都敢答的更好用。用户能容忍你不知道，很难容忍你编。
所以我的判断偏保守：眼下这轮进步，很大一部分发生在“并联”——各模态分别算完再汇总，而非真正意义上的融合。什么时候能算融合？大概要等训练目标从预测下一个词，转向预测世界状态会怎么变化这类更硬的问题。在那之前，把降级策略和不确定性表达做扎实，比追新架构更实际。