厨房水槽下面的接头渗水，我拍了一张照片，连同“这里要不要换垫圈”一起发给一个支持图片输入的模型。它先描述了软管、卡箍和一小片水渍，然后给出判断：可能是接头松动，建议先擦干观察。回答不算离谱，但也没有真正解决我的问题——照片里那块水渍到底来自接头，还是沿着管壁流下来的？它没有追问。
这个小小的挫败感，恰好戳中了多模态模型的一个现实边界：能识别画面里的对象，不等于能理解对象之间的关系。对人多说一句“把水擦干再看”，是常识；对模型来说，这要求它把时间、因果和物理位置放进同一套推理里。
“看见”之后，难的是把信息放到同一张桌上
从技术路径看，这类模型通常不会直接“读懂”像素。图像先被切成小块，经过视觉编码器变成一组向量，再通过投影层接到语言模型的特征空间里。文字 token 和图像 token 被拼在一起，模型在同一个上下文中做预测。说起来像把两种语言翻译到第三种语言，实际难点在于对齐：图片里的“卡箍”和文字里的“卡箍”得指向同一个东西，位置、材质、状态还要能被后续追问调用。
训练时常见的一种做法，是让模型做图文匹配、区域描述、视觉问答一类任务。它见过大量“图—文”配对，于是学会了在图片里找符合描述的局部。但这类学习容易停在表面相关：水渍是湿的，接头是金属的，卡箍是圆的，这些属性都能说对；水从哪里来、下一步会不会继续漏，却需要另一层关于过程的建模。
真正难缠的是关系、遮挡和“我不确定”
在真实场景里，图像很少是证件照式的干净构图。反光、遮挡、手写标注、拍摄角度，都会让同一物体在不同照片里长得不一样。多模态模型如果只靠单张图作答，很容易把“看起来像”当成“就是”。我在那次漏水判断里就遇到了这个问题：模型看到了水渍，却没有能力确认水渍的边界，也没有主动要求第二张照片。
- 对象识别对上了，空间关系却可能反着：管子在前还是在后，遮挡关系会改变因果判断。
- 局部细节被放大后，整体语境丢失：一张特写能看清螺纹，却看不出这是厨房还是阳台。
- 语言表达很流畅，置信度却不透明：模型说“可能”时，未必真的在表达不确定，有时只是措辞习惯。
所以，评价一个多模态模型是否好用，不能只看它描述得是否热闹。更实用的观察点是：它会不会追问缺失的信息，能不能把图片里的局部和文字里的条件对应起来，以及在证据不足时是否克制。对企业官网这类内容场景来说，这一点尤其重要——用户上传的往往不是标准素材，而是带着现场噪点的截图、产品照片或流程图。
把它当成“能看图的实习生”，而不是万能眼睛
我现在更愿意把多模态模型当成一个刚入职、眼神不错但缺少现场经验的实习生：可以让它先做初步描述、提取画面里的文字、把图表转成段落，也可以让它根据几张照片列出检查项。但涉及判断“哪里坏了”“这一步能不能省”，最好还是把它的回答当作待验证的线索，而不是结论。给它补一张全景、一句背景说明，往往比反复追问“你确定吗”更有用。
多模态模型正在从“能看图说话”走向“能按图做事”，这中间的距离，不在画面清晰度，而在关系推理和不确定性表达。下次再拍漏水接头，我大概会连拍两张：一张特写，一张全景，然后问它“水渍从哪个位置开始”。这不是更聪明的提问，只是更接近现场。