一张歪斜的巡检表,表格线断开,备注栏有手写补充,旁边还贴着设备照片。把这样的材料交给多模态模型,真正的问题往往不是“能不能识别文字”,而是它能否把图里的位置、文字里的含义和表格中的关系放在一起看。
这也是多模态模型进入企业文档场景后,绕不开的一道坎。演示里,模型可以流畅描述图片、提取字段;到了真实流程,材料常常不规整,信息分散在标题、脚注、印章旁的小字和图片细节里。识别出来,只是第一步。
看见与读懂,是两件事
OCR 可以把像素变成字符,但表格不是一串线性文本。合并单元格、跨页续表、脚注说明,都会改变某个字段的含义。模型如果只按从左到右的顺序读,可能把“备注”当成“数值”,也可能漏掉表头对整列的限制。多模态模型的价值,在于同时处理视觉布局和语言上下文;难点也在这里:两种信息要对得上。
比如一张设备巡检表,照片里显示指示灯状态,表格里写着“待复查”。模型需要判断这两处信息是否互相支持,而不是各自生成一句看似合理的话。对页面上没有写明的部分,它应该保持谨慎,或者明确指出依据不足。
结构对齐藏在细节里
从技术角度看,图像被切成小块,文本被切成词元,模型要在内部建立对应关系。表格里的“同一行”在视觉上相邻,在文本序列里却未必连续;图片中的箭头、圈注,也可能指向某个特定字段。多模态模型要做的,不只是把两种输入拼在一起,而是让空间关系和语义关系互相约束。
这解释了一个常见现象:模型能说出图片里有什么,却不一定能回答“这一栏为什么是空的”。后者需要理解表格结构和业务语境,也需要知道自己在哪里不确定。企业流程真正需要的,常常是后一种能力。
把边界写进流程
在我看来,多模态模型的商用价值,未必体现在一次回答多惊艳,而在它能否把不确定的地方标出来。哪些字段来自图片,哪些来自表格,哪些是推断,哪些没有依据,这些信息如果不可追溯,自动化的收益很容易被复核成本吃掉。
- 先让模型做结构化提取,再让它解释字段之间的关系,避免一步到位生成结论。
- 要求它标出依据位置,比如对应哪一行、哪一块图像区域,方便人工回看。
- 把低置信结果留在人工环节,不要让“看起来通顺”替代“确实有据”。
它不会因为能看懂一张图,就自动理解一家企业的流程。它更像一个刚进入岗位的助手:能读材料,也会误读;能给出线索,也需要被追问。下一次看到模型答对一张表格,不妨多问一句:它有没有把脚注一起读进去,能不能指出哪一栏还没把握。答案往往不在演示里。