给模型发一张书桌的照片，问它钥匙在哪。它能把桌上的东西列一遍：显示器、水杯、几本书、一个耳机盒。钥匙压在书下面，它未必指得出来。描述没错，但没解决我的问题。这种落差，是接触多模态模型时很常见的体验。
过去一年，能同时处理文字和图像的模型多了起来。演示视频里，它们读图表、认菜谱、解释梗图，看起来离“看懂世界”很近。可真把一张自己拍的照片丢进去，问题就冒出来了：光线暗一点、角度歪一点、画面里多几个不相干的物件，回答就开始飘。
看见和看懂，中间隔着一段路
从技术上说，多模态模型处理图像的路子并不神秘：图像被切成小块，编码成一串向量，再和文字向量放进同一个空间里比对。训练时喂进去大量图文配对，模型学着把某段描述和某张图对应起来。问题在于，这些配对描述大多停留在“画面里有什么”，很少涉及“这些东西意味着什么”。
于是模型能说出“桌上有一个插排，线有点乱”，却不一定接得住“这线皮是不是磨破了、还能不能用”这类带判断的追问。前一句是识别，后一句要的是常识加推理。两者之间的差距，把图片分辨率调高也填不平。
对齐这件事，做一半和做完不是一回事
业内常说的“对齐”，指的是让图像信息和语言信息落在可比较的位置上。这件事在训练集里能做得不错，到了真实场景却容易松动。用户提问时带着自己的处境和目的，模型看到的只是一张静态图。它可能把画面里同时出现的东西当成有关联，把偶然的摆放读成刻意的安排。
我倾向于把多模态模型理解成一条新的输入通道，而不是一种新的智能。通道拓宽了，能进来的是画面、表格、手写笔记；但通道本身不负责判断轻重，判断仍要由人来给。
几个容易被演示略过的边界
- 空间关系。二维图里说清“左边”“上面”不难，一旦涉及遮挡和前后层次，描述就容易含糊。
- 细粒度信息。包装上的小字、仪表刻度、手写批注，这类内容对分辨率和对齐都敏感。
- 时间顺序。视频里前后两个动作，哪个是因、哪个是果，模型不一定分得清。
- 隐含意图。用户问“这个还能修吗”，真正想知道的往往是划不划算，而不只是外观。
这些边界不算致命，但决定了模型适合放在流程的哪一段。让它做初步整理、把画面转成可检索的文字，是稳妥的；让它直接下结论，就得留一道人工确认。
评测的麻烦：流畅不等于答对
评价一个能看图的模型，比评价纯文本模型更难。一段图像描述读起来通顺，不代表它回答了提问；这张图答对了，换张角度类似的图又可能错。公开演示里呈现的往往是挑过的样本，这一点值得心里有数。
比起看它答对了多少，我更关心它怎么错。是把相似的东西认混，还是在信息不足时硬编一个答案？前者可以靠数据和场景约束慢慢收窄，后者关系到模型会不会在不确定的时候说“我不确定”。后者其实更值得留意。
放回具体场景里
办公场景里，这类模型可以帮忙把一叠票据照片整理成条目，把白板照片转成待办清单；无障碍场景里，它可以为视障用户描述图片内容；电商场景里，它能按图片给商品归类。这些用法的共同点是：模型输出的是中间结果，后面还有人核对。
回到开头那张书桌照片。我不指望模型一眼指出钥匙在哪，但我希望它在描述完之后补一句“钥匙可能被书挡住了，看不太清”。承认看不清，比装作看清有用。多模态模型真正要跨过的那道坎，也许不是把画面解析得多细，而是学会在信息不够的时候，把不确定性说出来。