设想一个报销场景：手机拍的发票被丢进带多模态模型的应用，问题很简单——“这张能报吗？”它很快列出金额、日期、抬头。接着问：“盖章位置压到金额了吗？”回答开始变得似是而非。
这个停顿比前面的流畅回答更有意思。这类模型常被描述成“能看会听”，但“看见”与“理解”之间，隔着版式、空间关系和业务规则。发票只是一个轻量场景，却足够暴露问题。
先别把“读字”当成“读图”
不少应用的实际路径是：先把图片转成文字，再交给语言模型推理。文字提取做得不错，模型就能答得漂亮。可一旦问题落在文字之外，比如印章是否遮挡、表格线是否断裂、两栏内容谁先谁后，纯文本链路就失去依据。多模态模型的价值，本来在于把像素、文字和语义放在一起判断；如果只把它当高级 OCR 用，很多能力其实没被调用。
我见过另一种偏差：模型能说出图里有“表格”，却说不清某一列对应哪一行。原因不神秘，视觉编码器把图像切成小块，语言侧再把这些块与词元对齐。版式越非常规，对齐越容易松动。对普通聊天，这种松动可以容忍；对单据审核，它可能直接变成错误结论。
真正的难题藏在“关系”里
一张发票包含的不只是字段，还有字段之间的关系：金额与税额是否匹配，抬头与税号是否属于同一主体，盖章位置是否覆盖关键信息。多模态模型要回答这些问题，需要把局部文字、空间位置和先验规则串起来。单一模态的强项在这里会打折扣。
- 图像侧要保留足够的细节分辨率，否则小字和细线先丢失；
- 文本侧要保留阅读顺序，否则两栏排版会被拼成一句怪话；
- 对齐层要把“哪里”与“什么”绑定，不能只给出一袋标签；
- 业务侧还要有可核验的输出，比如坐标、置信度或原文片段，而不是一段顺滑结论。
这几点听上去像工程细节，实际决定了产品能不能用。这类模型在演示里常常答得流畅，到了真实单据上，错不在语法，而在依据。它可能把相邻两行的数字拼在一起，也可能把“备注”里的金额当成总额。人眼觉得荒谬，模型却有自己的一套“合理”解释。
把它放进流程，要留出可回退的余地
我的判断是：短期内，它更适合做“初筛和提问”，不适合做无监督的最终裁决。让模型先指出可疑区域，再由规则或人工复核，出错时还有回退空间。原因不是模型不聪明，而是它的错误分布不均匀：常见版式答得顺，遇到褶皱、反光、手写批注就突然失手，而业务流程往往没有足够样本提前发现这些角落。
评估时也别只看整体准确率。可以把问题拆成几类：字段提取、空间关系、跨字段一致性、拒答能力。尤其要观察模型知不知道自己不确定。一个愿意说“这块看不清”的多模态模型，才让人敢把后续判断交出去。
回到那张发票。后来问题改成：“请标出金额区域和印章区域，并说明是否重叠。”模型给出了坐标，虽然不够精确，但至少把判断依据露了出来。流程也因此好改：先看坐标，再看结论。它不必一次解决所有问题，先得让人看见它凭什么这么说。