午休时同事把一张超市货架照片发给模型，问：这排酸奶里哪盒快到期了。回答读起来很像那么回事，可一核对，它把喷码的位置指偏了两格。这种时刻比任何演示都诚实：多模态模型确实看见了画面，但“看见”和“看懂”之间，还横着一段不短的距离。
它看到的不是图，是一串向量
图像进入模型前会被切成小块，每块编码成一个向量，再和文字一起排进同一个序列里做注意力计算。流程本身不神秘，麻烦在于分辨率：画面被压缩之后，票据上的小字、表格里的细线、包装背面的配料表，往往最先变模糊。于是问题常常不出在推理，而出在“没看清”。有些团队会把关键区域裁出来单独送一遍，用工程手段补回细节，代价是调用次数和延迟一起涨。
另一层是定位。模型能描述“桌上有个杯子”，但被追问“杯子在盘子左边还是右边”，答案就开始飘。要在图里指准位置，得让语言输出和视觉坐标建立对应关系，这件事至今没有特别干净的解法。
账要算在 token 上
一张图会变成几百上千个视觉 token，长文档、多帧视频更是成倍放大。多模态模型的实际成本，很大一部分不在参数量，而在你往上下文里塞了多少像素。做过线上服务的人大概都有体会：把输入分辨率降一档，响应快了不少，某些问答的准确度也跟着掉。这个取舍没有通用答案，只能按具体场景一点一点试。
- 先粗后细：低分辨率跑一遍，判断值不值得细看，再对局部放大。
- 把文字识别交给专门模块，模型只负责把识别结果和画面语义接起来。
- 对视频抽帧而不是逐帧处理，关键在抽帧策略，而不在帧数多少。
评测比训练更让人头疼
文本任务还能靠标准答案比对，开放式的图像描述几乎没法自动打分。同一张图，两种表述可能都对，也可能一种漏了关键信息。于是不少团队最后退回人工抽查，抽几十条看有没有硬伤。这件事慢，但在没有可靠自动指标之前，慢办法反而更可信。
什么时候别用它
需要精确读数、需要可追溯依据、错一次代价就很高的场合，多模态模型更适合做初筛和提示，把最终判断留给规则或人。反过来，图片内容杂乱、类别事先说不清、要的是“先给我一个大致方向”，它才真正省事。判断标准其实很朴素：出错之后，有没有人能在几秒内发现。
把多模态模型当成一个视力不错、但偶尔自信过头的助手，大概是比较稳妥的心态。它能替你挡掉大量重复的看图工作，但你还是得留着那盏核对的红灯。