手机上拍一张餐饮小票，歪着，右上角有反光，边角压在桌沿外。发给多模态模型，让它把消费日期和合计金额整理出来。回答通常很流畅，但日期和金额容易串行：合计被认成单价，开票日期被当成消费日期。问题不在认字——字它多半认对了，卡在把字放回纸面的那一步。
它读的是像素块，不是一张纸
图像进入模型之前会被切成网格，每一块转成向量。位置信息以位置编码的方式混进去，但精度有限，远不像人盯着纸看时那样清楚：这行字属于“合计”栏，还是只是恰好排在金额下方。模型要从这些信号里推断版面关系。小票恰恰属于排版很不规整的一类文档，行距窄、字号小、栏目对齐靠空格撑。
于是出现一种典型错误：文字识别对了，关系错了。给人的错觉是它看懂了，实际上它只是把邻近的词在语义上拼得通顺。
训练数据里的纸，大多是平的
公开图文数据中，文档多是扫描件、截屏、正对着拍的干净图。真实场景里有阴影、透视变形、手指遮挡。用整齐样本练出来的能力，挪到手机拍的图上会打折。这不说明模型笨，只说明它见过的纸太整齐。
- 同一张图换个角度重拍，回答可能变；
- 让它先输出坐标再给结论，错误会少一些；
- 让它说明依据，常能听出哪里在猜。
会描述，不等于会核对
多模态模型擅长生成一段通顺的描述，而核对需要另一种纪律：定位字段、对齐字段、验算。前者是语言能力，后者更接近流程。把核对完全交给一次生成，等于把校验环节省掉了。
可行的做法是把任务拆小：先框出区域，再逐字段读取，最后做算术校验，比如数量乘单价是否等于小计。这类约束不新鲜，但对多模态模型尤其管用，因为它把自由发挥的空间压窄了。
边界在哪里
它不适合替代需要责任归属的票据审核，也不适合在图像质量没保证时给出确定结论。更合适的定位是初审和草稿：先把结构化结果填出来，人再扫一眼。
我的判断是，多模态模型的进步会继续，“看得懂”和“用得对”之间的缝隙却不会自动合上。缝里装的是版式常识、拍摄条件和核对流程，这些并不完全属于模型。