一张拍虚了的铭牌
车间里有人拍了张设备铭牌,光线不好,字有点糊,配上一句“这个型号还能不能配到备件”。把这张图和这句话一起交出去,要做的其实不止是看图说话:先认出图里哪些是文字、哪些是符号,再把识别结果和问题里的意图接上,最后给一个能落地的答复。任何一环掉链子,答案看着流畅,实际没用。
这类需求把多模态模型推到了真实场景里。它不再只是“给张图写段描述”,而是要同时处理图像里的空间关系、文字内容,以及用户那句说得不太完整的话。
它做的事情,本质是找对应
图像被切成小块,转成向量;文字也转成向量;两套向量被拉到同一个空间里,让“螺丝”这个词和螺丝的图像彼此靠近。所谓理解,很大程度上是这种对应关系在起作用。这也是为什么模型对“图里有没有猫”很擅长,对“这两个零件哪个先装”却容易含糊——前者是识别,后者要求它把空间顺序和常识串起来。
真正卡住的地方
- 细粒度。整张图看明白了,局部的小字、编号、刻度还是容易错。
- 空间关系。“左边”“上面”“旁边”在二维平面和三维现场之间经常错位。
- 指代。用户说“这个”,图里有三处相似的东西,模型得猜,猜错了也不给提示。
这些不是把图片分辨率调高就能全部解决的。分辨率提上去,算力跟着涨,而错位往往出在对齐环节,不在于看不看得清。多模态模型在这类细活上的表现,更多取决于训练时见过的图文配对够不够细,而不是参数量堆得多不多。
用它之前该想清楚的事
比较务实的做法,是把它放在需要人复核的位置上:先出一版草稿,由人来判断。让多模态模型直接给结论、又没有人兜底,风险不在它答错,而在它错得很像对的。另一个容易被忽略的点是回退——当图像质量不够,或者问题超出图像能提供的信息时,模型能不能说“这里我看不清”,比它硬答一通更有价值。
至于它会不会替掉某些岗位,我的判断是短期内不会,但它会改变流程里的分工:把翻资料、对编号、找相似图这些动作压缩掉,留下判断和确认。技术真正的形状,往往是在这些不起眼的环节里显出来的。