有人把手机截图发给我:弹窗挡在按钮上,问“为什么点不动”。这问题对人是常识,对只读文字的模型却像隔着毛玻璃。多模态模型要处理的,正是这层毛玻璃——它得同时读界面文字、看布局关系、理解用户那句略带情绪的提问。
但把图像编码器接进语言模型,不等于多模态。模型能识别“这里有一个按钮”只是起点,真正难的是把“按钮”和“被弹窗遮住”建立空间关系,再把它和“点不动”的意图连起来。换句话说,看得到是一回事,看得懂、并用得上,是另一回事。
难的不是多接一个输入
文本模型处理的是离散符号,图像、声音、视频却是连续信号。要让它们进入同一套推理流程,中间得经过对齐:同一件事,在截图里是像素位置,在文字里是“右上角关闭”,在语音里可能是“那个叉号”。多模态模型需要把这些不同表达压到可比较的表示上,还要保留足够的细节,避免一压缩就丢掉关键按钮。
这解释了为什么演示视频里很惊艳,放进真实产品却容易犹豫。真实界面有遮挡、有动态加载、有模糊缩略图,用户描述也常常省略主语。模型若只学到“图文配对”的浅层关联,遇到稍微偏一点的场景就会答得流畅但落不到实处。
落地时先问三个问题
- 它要看什么?截图、摄像头画面、PDF 还是连续视频,输入形态决定了延迟和成本。
- 它要做什么?是描述、定位、操作建议,还是直接触发动作,错误代价完全不同。
- 它怎么被检验?需要能复现的任务集,而不是只看几个演示样例。
这三个问题不新,却常被“多模态”这个词盖过去。模型能力越宽,边界越要写清楚:哪些交给模型判断,哪些必须由规则兜底,哪些环节要留人工确认。
它更像一层新的界面
我倾向于把多模态模型看成界面层,而不是万能大脑。它把人的截图、语音、圈选和自然语言,翻译成系统能执行的结构化请求;再把系统状态翻译回人能理解的解释。这个位置很关键,也很容易被高估。界面层做得好,用户少学一步操作;做得不好,错误会被包装成流畅的话术。
所以,评估它时别只看回答像不像人。要看它能否在截图里指出具体区域,能否说清依据,能否在不确定时停下来问一句。多模态模型的价值,可能不在“什么都能做”,而在把跨形式的意图接住,并且知道哪里该交还给规则和人。