一张没拍到的照片
假设你要训练一个识别包装箱破损的视觉模型。真实产线上,破损箱并不常出现,偶尔遇到,角度、光线、遮挡还各不相同。工程师把能收集到的图片翻了几遍,发现模型总在少见形态上犯错。这时,合成数据会被提上桌面:用三维场景、渲染或生成模型造出一批“看起来像”的破损箱图片,补进训练集。
它听起来像一条捷径,实际更像一种带条件的补位。真实数据记录的是已经发生过的世界,合成数据则把人对世界的假设写进样本。假设是否成立,决定了它帮模型学到的是可迁移的规律,还是生成器自己的习惯。
它补的是覆盖,不是事实
合成数据常被用在真实样本稀少、采集成本高或涉及隐私的场景。它的作用不在于替代真实数据,而在于把边角情况摊开:换一种光照、换一个背景、换一种遮挡关系,让模型见过更多变化。对于长尾问题,这种覆盖能力有实际意义。
但覆盖不等于真实。生成过程会带入参数选择、渲染规则和采样偏好。如果生成器很少产生某种形态,模型同样会忽略它;如果合成图过于干净,模型可能把“干净”当成线索。用这类样本训练出的模型,往往还需要真实样本做校准,否则指标可能在合成分布里好看,到了现场却不稳。
验证成本常被低估
讨论这类样本时,容易把注意力放在“生成得多不多、像不像”。真正麻烦的是验证:新样本有没有改变类别边界,有没有引入不存在的关联,训练后的模型在真实数据上是否保持一致。生成一批图可能很快,判断这批图能不能用却需要标注、对比和回归测试。
- 先明确要补的具体缺口,而不是笼统地“多造一些数据”。
- 保留真实数据的验证集,不用合成样本替代最终判断。
- 记录生成规则与版本,避免样本来源变得不可追溯。
把它放回工具箱
它不是万能钥匙,也不是只能停留在演示里的概念。一个稳妥的做法,是把它当作训练数据组合中的一块:真实数据定锚,合成样本扩展边界,验证环节负责把关。对团队来说,先问清楚要解决哪一个覆盖问题,再决定生成什么、生成多少、如何验收,是使用这类样本前该做的功课。
当真实样本不够时,它能在一定程度上提供补充路径;但它把问题从“收集”转移到“设计与验证”。这笔账算清楚,使用起来才不会心虚。