一家做工业视觉的团队遇到过这样的窘境:产线的次品率低到千分之几,几个月攒下来的缺陷样本只有两三百张,标注完还不够训练一个稳定的检测模型。买数据没处买,等缺陷自然发生又太慢。他们最后转向了另一条路:先用三维渲染和生成模型把缺陷“造”出来。
这个做法这几年被统称为合成数据:不依赖真实采集,而是通过仿真、规则或生成模型产出样本,标签随之而来。它的吸引力很直接——数量可控、场景可编排、标注成本低。
缺的常常不是数量,是没发生过的情况
很多人把问题理解成“数据不够多”,于是想办法扩充。但真实的瓶颈往往是分布的长尾:雨天逆光下的车牌、被遮挡一半的工件、罕见角度的姿态。这些情形在采集时天然稀少,靠增加采集量去等,边际收益递减得很快。合成的方式恰好可以按需把这些条件摆出来,反复生成。
代价也很清楚。渲染出来的图像再逼真,也和真实相机、真实光照、真实材质之间隔着一段差距。模型学到的是仿真器里的规律,换到现场就可能失效。所以真正要盯的不是“像不像”,而是差异落在哪些维度上,比如纹理、噪声、边缘、反射,逐项去看。
合成数据的一笔隐账
合成并不等于免费。搭一套能用的仿真管线,要建模、要调光照、要做域随机化,还要有人判断生成出来的东西是否合理。生成器本身也要维护,场景一变就得改。有些团队算过之后发现,前期投入不比雇几个标注员便宜,只是成本从“按张付费”变成了“按工程投入”。
另一处风险是自举。用模型生成的数据去训练下一个模型,如果缺少真实样本做支撑,误差会被一轮轮放大,最后收敛到一个自洽但与现实脱节的世界里。这也是为什么实践中更常见的做法是混合:真实数据定基调,合成样本补空位,比例则要靠验证集反复试。
它能做到的和做不到的
- 能补上采集成本过高、安全或操作上不便获取的场景;
- 能把边界条件显式地写进训练集,而不是靠碰运气;
- 做不到凭空生成传感器本就没有捕捉到的物理信息;
- 也无法保证你对“长尾”的假设本身是对的。
所以更稳妥的态度,是把合成数据当成一种可以被检验的假设,而不是一箱免费样本。团队需要能回答:这批数据替代了现实的哪一部分,又在哪一部分偏离了现实。答不上来的时候,先别急着扩大生成规模。