一个做工业质检的团队,要训练模型识别金属件上的细微划痕。真实产线上,划痕出现得少,一年攒下来的样本还不够覆盖几种角度和光照。让质检员逐张标注,既慢又不便宜。后来他们换了个思路:在三维渲染里造出各种划痕,光照、角度、材质都随机变,标签由渲染过程自动生成。
这就是合成数据最朴素的用法——不是从现实里收集,而是造出来,并且顺手带走标签。
标签是白送的,代价在别处
真实数据的贵,往往不在采集在标注。一张图拍下来容易,说清每个像素是什么要人盯。造出来的样本把这两件事合成一件:既然场景是程序生成的,物体在哪、边界在哪、属于哪一类,生成的时候就已经知道。省下的不只是钱,还有时间——可以按需造出雨天的、反光的、被遮挡的样本。
但省下的部分会被另一处要回去。渲染出来的世界再精细,也是按人的假设搭的。假设里没有的东西,它不会自己长出来。真实车间里的油污、相机镜头的老化、传送带轻微的抖动,这些都容易被漏掉。
用模型造数据喂给模型
现在常说的合成数据,很大一部分来自生成式模型:让一个模型写对话、造文档、拼表格,再拿去训练另一个模型。这条路更便宜,也更需要小心。
一个直接能想到的风险是分布收窄。模型生成的内容本来是真实分布的近似,它天然偏向常见、稳妥、平均的表达。用它训练下一代,如果下一代又生成下一代的训练材料,就会一圈圈往中间收。长尾被磨平,罕见但真实的说法慢慢消失。这不是模型突然变差,而是它越来越像自己。
还有一个更隐蔽的问题:生成的内容会迎合评判标准。你用某个指标筛选留下来的东西,留下的自然是符合这个指标的;模型学会的是指标的口味,不一定是现实的口味。评估时分数漂亮,上线之后遇到真实输入却露怯。
边界在哪
我不是说这条路不可用,它更像是特定场合的工具:
- 真实样本天然稀缺的场景,比如故障、极端天气、罕见缺陷;
- 标注必须由人来做的任务,比如像素级分割、关键点定位;
- 涉及个人信息的语料,用生成内容替代,比脱敏更彻底;
- 测试与压力验证,需要大量可控的边界输入。
反过来,凡是“真实世界的脏”构成核心难度的任务,纯合成就要打问号。语言里的反讽、口语的省略、方言的混杂,靠生成很难造出那种不规范。工业场景也一样,环境噪声往往比目标本身更难学。
一个朴素的配比问题
实际的做法多数是混着用:少量真实数据打底,生成的内容补数量、补长尾。关键不在比例本身,而在于能不能验证补进去的部分没有把分布带偏。比较稳妥的做法是留一份从未参与训练的真实数据,专门用来检验;如果模型在这份数据上的表现和训练时的评估差距很大,就说明生成的那部分在自说自话。
还有一点常被忽略:这类素材的价值不在数量,在于它补上了哪个洞。造十万条和真实分布高度重叠的样本,不如造一千条真实里几乎见不到的。
回到开头那个质检团队。他们最后没有全用渲染图,而是把渲染样本当作预热阶段,再拿真实产线上攒的少量图片做微调。成本比纯人工标注低,效果比纯合成稳。合成数据解决的是“不够”,不解决“不对”——这个区别,最好在动手之前就分清楚。