一张餐桌上摊着发票、便签和半杯咖啡的照片,人一眼能分出哪张是票据、哪张是随手写的号码。把同一张图交给多模态模型,它常能准确读出字,却把便签上的数字当成金额,把咖啡渍说成签名。这类错误很有代表性:字读对了,错在把读到的东西放回关系里。
它并非一只眼睛加一张嘴
多模态模型常被描述成「能看图说话」,这个说法容易让人以为内部有个统一的感知通道。实际工程里,图像通常先经视觉编码器变成一串向量,再通过某种对齐方式接到语言模型的表示空间;文字部分照旧走词元序列。两边要在同一套上下文里被理解,靠的是训练中学到的对应关系,而非真正共享一套感官。
于是错误来源就分成了几层:看不清,比如分辨率、遮挡、模糊;认错了,比如字符识别、物体类别;接不上,图里的位置关系没能进入语言那一侧;以及说不清,语言先验盖过了图里的证据。最后一种最容易被忽略——模型对「发票该长什么样」有很强的预期,图片稍不合常规,它就按预期补全。
难的是关系,不是名词
把图片转成一句描述,和回答左边那个杯子是不是空的,难度不在一个层面。前者只需命中若干名词,后者要求把空间、数量、状态放进同一条推理链。这类模型在名词层面往往表现稳定,一旦涉及计数、相对位置、遮挡推断、指代消解,稳定性就下来了。
这也是评估的麻烦处。答对一道问答题,不代表真的看见了;答错也未必是没看见,可能是表达环节把它说拧了。想分清这两件事,得让它输出中间步骤,或者换一种提问方式复测,看结论是否随表述漂移。
把它当同事,而不是当眼睛
在真实工作流里,比较稳妥的用法是让它做初筛和转写,把判断留给能回到原图的人。比如票据录入,让它给出字段和对应的图区位置,人来复核;比如客服截图分类,让它先分出大类,边界情况再人工确认。
- 保留原始模态:结论旁边始终能一键回到那张图、那一段音频。
- 要求给出依据:让它指出依据在图中的位置,而不是只给一句结论。
- 换问法复测:同一问题用不同措辞问两次,答案不一致的地方就是风险点。
- 划清不可用场景:涉及精确计数、因果推断、责任判定的环节,不要单独交给它。
这些做法并不新鲜,只是人们常被演示里的流畅表达说服,忘了流畅和准确是两件事。多模态模型的进步确实让「用自然语言指挥图像」变得可行,但它对关系的理解仍依赖训练分布,遇到少见的排版、少见的拍摄角度,表现会明显波动。
所以更值得问的不是「它能不能看懂图」,而是「在这个环节里,它看错的代价由谁承担」。答案决定了它该站在流程的哪个位置——是给建议,还是做决定。