把一张手绘草图拍下来丢给模型,让它说清楚画的是什么——多数时候答案像模像样。换成另一个要求:请指出这条线为什么在这里拐弯。回答就开始含糊了。差别不在像素够不够清楚,而在于它有没有把这张图当成一个可以逐步推理的对象。
这也是我在实际使用中感受最深的一点:多模态模型把图像切成小块,编码成向量,再和文字放进同一个语义空间里对齐。这个设计让“描述”变得容易,让“指认”变得可疑。让它说说图里有几个人,问题不大;让它数清楚人数,或者回答“左边第三个按钮属于哪个面板”,出错率会明显上升。不是它不聪明,而是它擅长的是语义相似,不是几何测量。
视觉输入是有代价的
一张图进去,往往就是几百上千个 token,上下文窗口被迅速吃掉,延迟和调用成本跟着上涨。工程上比较常见的做法,是先在本地做裁剪、去噪、版面分析,把真正需要判断的那一小块交给模型,而不是整页塞进去。全都丢给它,经常是又慢又贵,准确率还未必提高。
在这个意义上,多模态模型对图像的“读”,更接近快速浏览,而不是逐字校对。
动手之前,先问三个问题
- 你要的是“像不像”还是“是不是”。描述性任务容错高,判定性任务容错低,两者对提示词和输出格式的要求完全不同。
- 错了会不会被及时发现。如果结果直接流进下游流程,又没有置信度、没有原文坐标可供回溯,错误会安静地传下去。
- 需不需要精确定位。坐标、尺寸、先后顺序这类任务,通常要配合检测模型或规则做兜底,指望一轮对话解决并不现实。
界面和文档,是眼下比较踏实的场景
截图理解、表单字段对齐、在一份长说明书里定位某句话——这些任务语义密度高,容错空间也相对宽。反过来,涉及读数、合规判断、因果推断,就要多留一道人工确认。
评估比演示难
演示里那几张图往往光线好、角度正、内容干净;真实业务里的图是歪的、糊的、反光的、带水印的、截了一半的。拿自己业务里的脏数据去试,比看多少段演示都更有信息量。也正因如此,评估集的建设常常比模型选型更花时间——你得先弄清楚,自己到底想让机器对哪一部分负责。
它不是一双能替你负责的眼睛
一个不太讨喜的判断:多模态模型现在更像一位读过很多图的助手。它在“模糊但合理”的地带表现不错,在“精确且必须正确”的地方仍需要别的工具兜底。把它放在流程前段做初筛、做转写、做候选生成,人留在后面做判断,这种搭配目前更稳。至于让它独立承担关键判定,还早。