把一张报错截图拖进对话框，问“这是什么问题”，多数多模态模型能读出弹窗里的文字、认出界面元素，给出几条可能原因。这一步已经很有用，但它离“解决问题”还隔着一段距离——隔着的是上下文，不是像素。
它看见的，和你看见的不是同一件事
多模态模型做的事，粗略说，是把图像、文本、音频映射到可以互相比对的位置上，让“图里的东西”和“词里的意思”能对上。这种对齐在识别层面相当扎实：表格、图纸、仪表盘、手写便签，大多能读个大概。但人看同一张图时，脑子里同时加载了大量默认前提——这是哪套系统、上个版本改过什么、这台设备昨天刚换过零件。模型没有这些前提，它只能从图里和你那句话里推断。
于是出现一种常见的错位：回答本身没错，但答的不是你卡住的地方。
缺的往往不是感知能力
把一个多模态模型放进真实工作流，会依次撞上几件事：
- 该看哪里。一张监控画面里信息极多，人会自动忽略无关部分，模型需要被指示，或者被训练出这种取舍。
- 先后顺序。静态的一帧往往不足以判断因果，需要前后几帧、日志或操作记录配合。
- 说话的人是谁。同一句话由不同角色说出，含义并不相同，而这部分信息通常不在图里。
这些不是把分辨率提上去、把参数加大就能自动解决的。它们更像工程问题：把检索、工具调用、权限边界和人工确认串起来，让多模态模型只负责它擅长的那一段。
更值得关心的落地方式
比较务实的用法，是让它承担“减少来回确认”的工作：把现场照片整理成结构化描述，把纸质单据转成可核对的字段，把一段语音记录标出待办。这些环节原本要人在两三个系统之间搬运信息，模型能省掉一部分搬运，出错时也有人复核。
反过来，如果指望它直接给结论，尤其是在信息不全、责任边界模糊的场景里，风险会被放大。审慎的做法是让它输出依据而不只是答案：它看到了什么、根据哪句话判断、哪些部分不确定。这种可追溯的输出，比一个看起来笃定的回答有用得多。
这类模型的进展确实改变了人与界面的关系，但改变的方式并不戏剧化——它更像把原来需要打字描述的东西，变成可以直接指给对方看。至于看懂之后该做什么，仍然由人来定。