会议室的白板上画着一张流程图,有人拍下来丢给模型,让它整理成步骤。返回的结果大体像样,但两个箭头方向反了,一个标着“否”的分支被写成“是”。这类错误很难一眼看出——文字通顺、逻辑自洽,只有对照原图才会发现它其实没看清。
把这件事归为“模型还不够聪明”并不准确。更贴近的解释是:图片进入模型之前,先被切成小块,再压缩成有限的视觉token,和文字挤在同一段上下文里。分辨率决定它能不能看清小字,token预算决定它愿意在图上花多少注意力。多模态模型的短板常常不在“看懂大意”,而在“看清细节”和“忍住不猜”。
它读到的,和它以为的
图像与文字混排时,语言先验会悄悄接管。“提交—驳回—再提交”是模型见过的常见结构,于是它倾向于把模糊的笔迹补成符合这个结构的样子。人也在做同样的事,区别在于人知道自己哪里看不清,会凑近一点,会追问一句“这里写的是否还是备”。
所以在提示词里加一句“先逐字转写图中所有文字与符号,不要解释”,结果往往不同。转写把任务从“理解”拉回“观察”,输出被迫对齐到像素层面。这一步不解决所有问题,但能暴露问题出在哪。
上下文里的位置之争
处理一张图要占用相当一段上下文。多页扫描件、长截图、带表格的说明书,越往后越容易出现前后不一致:前面读到“温度上限60℃”,后面总结成“避免高温”,再往下干脆漏掉这个约束。未必是它忘了,而是图和文在争夺同一块有限空间。
工程上常见的做法是拆:把长图切成段落,逐段转写,再由文本模型串联。代价是丢失版面关系——表格的行列、图注与图的位置,这些信息在切分时容易散掉。取舍取决于任务本身:需要精确引用原文,就偏向逐段处理;需要整体判断版式,就保留整图并接受细节损失。
几个能立刻用上的习惯
- 先要转写,再要结论。分两次调用,通常比一次“帮我分析这张图”稳妥。
- 把关键区域裁出来单独发。局部放大比整图高清更省上下文。
- 让它标注不确定处。明确要求“看不清的地方写‘无法辨认’”,能减少编造。
- 保留人工复核环节。涉及流程、参数、条款的内容,仍要回到原图核对。
这些做法都不新鲜,也谈不上优雅。它们反映的是一个阶段性的现实:多模态模型的视觉能力在快速推进,但从“能描述”到“能担责”之间还隔着一段距离,这段距离目前靠流程补,而不是靠更长的提示词。
回到那张白板照片。真正值得注意的不只是它错了两个箭头,还有它错得如此自然——没有犹豫,也没有标注疑问。一个会看图的东西如果从不表示“这里我不确定”,使用者就很难判断该在哪里停下来核对。这或许是比识别精度更值得留意的变化。