深夜调一段五秒的镜头,改到第七遍,问题不在画质,而在第三秒那只手的指节忽然多了一根。
这是不少用过视频生成的人共同的体验:单帧挑不出毛病,连着放就开始露怯。
演示片段与真实使用之间
公开的样片通常经过挑选,镜头短、运动缓、主体单一,这类条件下模型表现稳定。但真正需要视频的地方——产品展示、教学片段、影视预演——往往要求镜头持续十几秒,主体在运动中被反复观察。时间一长,误差开始累积:光影漂移、物体形变、背景里的招牌文字逐渐糊成一团。
换句话说,视频生成要解决的不是“画得像”,而是“一直像”。
难点落在时间轴上
图像模型只需对一个瞬间负责,视频模型则要对一串瞬间之间的关系负责。多数方案在潜空间里引入时序建模,让相邻帧共享信息,但共享得越多,运动越僵;共享得越少,画面越飘。这个平衡点不容易找。
物理直觉同样棘手。水往低处流、杯子从桌上跌落会碎、布料受风会起皱——这些常识人类不需要计算,模型却要靠数据去逼近。一旦场景偏离训练分布,画面就会给出似是而非的结果:看着合理,细看不对。
可控性决定能不能用
生成一段好看的画面,和生成一段能用的画面,是两件事。前者看模型能力,后者看控制手段。
- 镜头运动能否指定,推拉摇移是否按意图执行;
- 同一角色跨镜头能否保持一致,服装、发型、脸型不漂移;
- 局部修改是否可行,改一个动作会不会牵动全片。
对做预演的人来说,朴素的需求往往很难满足:能不能只改一个动作,其余部分保持不动。这和图像编辑的逻辑不同。图像改一处,可以局部重绘;视频改一处,前后帧的连贯性要重新建立,时间成本成倍上升。
被绕开的成本与信任
还有两点常被演示阶段略过。一是算力消耗,视频生成对算力的需求远高于图像,长时长、高分辨率的生成并不轻松,实际部署时绕不开。二是来源问题,当一段画面无法凭肉眼判断出处,观众对影像的默认信任会被消耗,这需要标注、溯源与平台规则一起跟上,目前做法还不统一。
一个务实的判断
短期看,瓶颈不在分辨率,也不在单帧美感,而在“可修改”和“可预期”。一个工具如果能让人稳定拿到想要的那几秒,比偶尔生成惊艳的十几秒更实用。
至于还在纠结手指数目的讨论,可能很快过时。真正留下来的问题是:当画面足够以假乱真,我们怎么确认它说的是不是我们想说的。