做视觉识别的团队大多碰过这种尴尬:模型在测试集上表现稳定,一上线就撞见没见过的角度、光照或遮挡。要补,就得回现场拍;可有些场景一年只出现几次,等不到,也拍不全。于是有人把目光转向合成数据——用渲染引擎或生成模型造出来的样本。
这个思路并不新。早些年做仿真训练时,人们就发现与其慢慢攒真实样本,不如先在虚拟环境里把可能的变异过一遍。变化在于,生成模型把“造样本”的门槛降了下来:过去需要美术和三维工程师,现在一段描述、几张参考图,就能批量产出带标注的图像。
便宜的部分在生成,贵的部分在后面
造一万张图很容易,判断哪一千张有用很难。合成样本的成本大头不在生产,而在筛选和验证:要有人盯着看,这批图有没有把渲染器的痕迹一起教给模型——边缘过于干净、噪声过于均匀、阴影方向彼此矛盾。模型很擅长抓这种规律,也很擅长在真实图像上因此失手。
所以真正要算的账不是“造图省了多少钱”,而是“多出来的验证工作量,值不值得”。如果只是想让数据量好看,合成数据的性价比其实不高;只有当它填的是真实拍摄填不上的洞,账才算得过来。
混合比例不是调参,是分布问题
常见的做法是域随机化:把光照、材质、视角、背景尽量打散,让模型学到与具体渲染风格无关的特征。另一种做法是把合成样本集中投放在长尾类别上,主流场景仍用真实数据。两种做法背后是同一个判断——合成样本的价值在于覆盖,不在于数量。
还要守住一条线:验证集尽量保持真实。用合成数据训练、又用合成数据评测,等于自己出题自己判卷,指标会很好看,上线后照样崩。训练可以掺,验收不能掺,这条界线比任何比例参数都重要。
它能补“见不到”,补不了“对不对”
合成数据有一个容易被忽略的特性:标签是生成过程自带的,不是人判定的。这带来了效率,也带来了风险——如果生成逻辑本身带着偏差,错误会以高度一致的方式被复制进模型,而且很难通过抽查发现。真实数据里的脏、乱、含糊,恰恰是模型学会分辨边界的材料。
因此我更愿意把它看成一类采样手段,而不是数据替代品。它解决的是“这类场景我根本拍不到”的问题,不解决“我标注得对不对”“真实世界的边界在哪里”的问题。前者是覆盖率,后者是正确性,两者混为一谈时,项目往往会在验收阶段付出代价。
回到最初那个问题:合成数据能不能顶上?在长尾覆盖、稀有姿态、危险或高成本场景上,它能顶一部分,而且顶得越来越像样。但要它替代真实采集,短期内不现实。真正值得先问的是另一件事——你手上的验证集里,究竟有多少来自真实世界的脏样本。这个数字,决定了合成样本是补药还是幻觉。