采风全网
达观天下

真实数据快攒不齐了,合成数据能接住吗

一个做工业视觉质检的团队,最近卡在一个很实际的地方:产线上一类缺陷几个月才出现一次,样本攒了不到百张,模型怎么训都不稳。有人提议用生成模型造一批缺陷图,先让模型“见过”。会议室里的分歧不在技术能不能做到,而在于——造出来的图,算不算数。

这种犹豫很典型。合成数据并不是新东西,早年的三维渲染、数据增强、脱敏后重采样,本质上都在做同一件事:不依赖现场采集,也能得到可用于训练的样本。变化在于,生成模型把“按需造样本”的成本压了下来,而且造得越来越像。

它被反复提起,是因为真实数据开始不好拿

公开语料的边际收益在下降,这个说法在业内流传已久。更确定的一点是,剩下的难点大多落在长尾:罕见工况、极端天气、少见故障、低频交互。这些场景本来就拍不到、采不全,靠堆人力去补,成本高且慢。另一头,隐私、授权、数据流转的约束让真实数据越来越难动,很多团队手里有数据却不敢用、不能传。

缝隙就在这里。合成数据的价值不在于“更多”,而在于补到你采不到的地方。

关键不是像不像,是可控

造数据的手段大致几类:渲染引擎与程序化生成,适合几何、光照、材质明确的场景;基于生成模型的图像与视频合成,适合纹理和外观的多样性;还有在仿真环境里跑出来的行为序列,常见于自动驾驶和机器人。它们的共同点不是逼真,而是标注自带——生成时就知道每个像素、每个框对应什么,省掉了标注这一大块成本。参数也可以调:把光照压暗、把遮挡加上、把罕见组合拼出来。

但可控也意味着风险可控地偏。生成模型学到的是训练分布的偏好,它会把偏好复制进新样本里。如果用来造的模型本身对某类场景见得少,产出的东西容易显得“合理但不对”,而这类错误在训练中很难被察觉——损失在降,指标在好看,模型却在学一个更窄的世界。

它更像配比问题,不是替代问题

实际做法通常是混合:真实数据打底,合成数据补覆盖,再用一批从未参与训练的真实样本做验证。验证集必须是真实的,这一条几乎是底线。用合成数据训练、再用合成数据评估,等于自己出题自己判卷,分数再高也说明不了什么。

另一件容易被忽略的事是分布对齐。同一个缺陷,在真实相机下和在渲染图里,纹理、噪声、色偏都不一样。团队常见的补救是后处理:加噪声、做模糊、模拟压缩失真,尽量往真实端靠。这活儿不体面,但往往决定了造出来的样本到底有没有用。

所以我不太认同“数据无限供给”这类说法。合成数据的现实位置,是补齐那些采集代价过高或合规上不可能的角落,以及在受控环境里做压力测试。它能缓解稀缺,但不解决“你不知道自己不知道什么”这个问题。

如果团队正在考虑引入,有三个问题值得先问清楚:合成的分布和真实分布差在哪儿、差多少;有没有一批真实样本专门留着兜底;模型上线后靠什么发现它学偏了。这三个问题答不上来,生成再多的图,也只是把不确定性往后推。

回到那间会议室。最后他们的做法是先造两百张,只用来做预训练,真实样本全部留作微调和验证。不完美,但至少每一步都知道自己在赌什么。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:真实数据快攒不齐了,合成数据能接住吗
文章链接:https://tech.cfdanews.com/ai/1119.html