一张手机拍的截图，边缘发虚，上面圈了个红框；配文只有一句“按这个改”。人接过来，扫一眼就明白指的是哪一行表格、要改哪个字段。把同样的东西交给一个既能读图又能读文字的系统，它可能给出一段通顺、自信、完全跑偏的回答。
这类场景在工单、售后、内部审批里很常见。有意思的不是它答错，而是错得毫无迟疑——它没有停下来问一句“你圈的是第三行还是第四行”。
冲突不是缺陷，是信息本身的形状
图像和文字描述世界的方式不同。文字像切片，能精确指向“第三行第二列”；图像是整体，一行字连同它的表头、单位、上下文一起进来。当两者同时进入模型，它要判断的不只是“这两段信息说了什么”，还有“它们指的是不是同一件事、谁在修正谁”。
训练阶段常见的做法是图文配对：一张图配一段描述。这种配对更接近“这张图讲了什么”，而不是“图里哪个区域对应句子里哪个词”。缺少指代层面的约束，当图文互相矛盾时，模型倾向于给出一个折中的、听起来合理的说法，而不是把矛盾点摆出来。
外面套一层流程，往往比换模型管用
在实际落地里，能稳住效果的常常不是模型本身，而是模型外面那圈东西：
- 让它先复述——把从图里看到的关键字段用文字列一遍，再给结论。复述错了，人一眼能拦下。
- 把图变成结构化信息——先做字段抽取，下游只处理文字。牺牲一点灵活性，换来可核对的中间结果。
- 给不确定的请求留出口——不是每个问题都要模型自己扛，允许它说“这里我看不清”。
这些办法听起来不高级，却把“模型会不会错”换成了“流程能不能发现错”。对企业来说，后者更可控。
难的是评测，不是训练
单模态任务的对错比较容易定义：分类对不对、框准不准。到了多模态模型这里，同一张图换个问法，答案就可能变；一个问题答对了，也不代表真的看懂了图，可能只是从文字里猜到了答案。评测集本身还容易泄漏——流传较广的图片，很可能在训练数据里出现过。
于是就出现一种尴尬：演示时效果不错，上线后波动明显，却很难说清波动来自哪里。想改进，也不知道该往哪个方向改。
成本这一关绕不开
处理图像的开销通常明显高于纯文本，延迟也跟着上来。有些业务确实需要，比如带图的售后工单；有些其实不需要，一张清晰的表单，识别加规则就能解决，硬上多模态模型只是让账单变长。判断标准并不复杂：这个环节里，图像携带的信息是不是文字替代不了的。如果不是，就不必为了“看起来先进”多付这笔钱。
回到开头那张截图。一个成熟的多模态模型该做的事，也许不是直接给出修改方案，而是先说：“我看到第三行的金额被圈出来了，但表头有两个相似字段，你指的是哪一个？”把该问的问清楚，比答得快更有用。