设想一个做表面缺陷检测的小组:产线上真正会出现的划痕、气泡、脏污,一年也攒不下多少张,其中还有一批拍糊了。标注人手有限,罕见缺陷更是等不来。这时候,工程师会打开另一个文件夹——里面是渲染出来的、由生成模型造出来的、经过规则扰动的图片,每一张都自带精确标注。这就是合成数据最常见的出场方式:不在真数据充足时锦上添花,而是在真数据稀缺的地方补位。
它补的是哪几个缺口
- 长尾。真实世界里罕见的情形,采集成了一件靠运气的事;合成可以按需生成,想要多少有多少。
- 标注。像素级掩码、关键点这类标注人工成本很高,而合成时标签是跟着生成过程一起算出来的,天然对齐。
- 可控性。光照、角度、遮挡、材质可以逐项调,便于对模型做定向的压力测试。
- 授权与隐私。有些数据能看不能用,合成提供了一条绕开原始样本的思路,但残余风险仍需单独评估,不能默认安全。
这些缺口是真实的,所以合成数据在很多团队的数据管线里占了一席之地。但补位不等于等价,问题几乎都藏在“像”和“是”之间的那道缝隙里。
失真是怎么发生的
生成模型学到的是已有数据的分布,它会把真实样本里的偏差一并放大,也可能给出物理上不合理、传感器上根本不会出现的组合。用这类样本训出来的模型,常常在测试集上表现体面,一到现场就露怯——因为测试集本身可能来自同一批合成源,等于自己给自己判卷。
还有一种更隐蔽的情况:模型长期只用自身或同类模型生成的内容训练,分布会逐渐收窄,多样性下降。相关讨论在不同任务上结论并不一致,不宜一概而论,但提醒是清楚的——合成数据不适合闭环使用,链路里要留住真实样本,哪怕数量不多,作为锚点。
更实际的做法
- 真实数据优先留给验证。评测集尽量用真实、且与训练不同来源的样本,这是判断有没有跑偏的唯一硬证据。
- 按场景分桶看指标。整体指标的提升,很容易掩盖某个子场景的退化。
- 记录配方。合成占多大比例、由哪个版本生成、做了哪些增强,写进数据说明里;否则半年后没人说得清模型为什么变差。
- 小步验证。先在一个边界清晰的子任务上试,跑通了再扩大范围。
合成数据真正改变的,与其说是“数据够不够”,不如说是“数据从哪里来、由谁定义”。它把采样问题变成了设计问题:你得先想清楚场景里哪些变化是重要的、哪些是无所谓的,才谈得上生成。这既是它的力量,也是它的陷阱——设计得粗糙,生成得再多,也只是在重复自己的假设。
所以回到开头那个问题:能顶多久?大概取决于你把它当扩音器还是替代品。当作扩音器,它把有限真实样本里的信息放大到更多场景;当作替代品,它迟早会把模型带进一间越来越窄的回声室。