做一个工业质检的视觉模型,正常样本成千上万,异常样本却凑不齐几百张。工程师很自然地想到:让生成模型把缺的那部分“造”出来。思路没问题,问题出在后面的账怎么算。
合成数据并不是新东西。仿真环境里的传感器读数、三维渲染出来的街景、规则脚本拼出的对话,本质上都属于它。生成模型只是把这件事的门槛拉低了,低到很多人以为它是免费的。
省下的钱,从哪一步开始变回来
生成一张图或一段文本的边际成本确实接近零。但生成只是流水线的第一道工序。接下来要抽样看质量、去重、过滤明显崩坏的样本、对齐标签、检查它和真实数据在分布上是否贴合。这些环节大多还需要人,而且比直接标注更考验判断力:标注员面对真实样本,回答的是“这是什么”;筛选者面对生成样本,要回答“这像不像真的、像的那部分有没有用”。
成本没有消失,它从标注挪到了质检。差别在于,标注的工作量随数据量线性增长,质检的工作量则取决于生成质量的下限——如果生成器在某个子类上系统性跑偏,你需要的是发现它,而不是一张张去改。
模型反复学习自身生成的数据会带来什么
更隐蔽的一层在训练循环里。用模型生成的数据去训练下一代模型,如果不加约束,分布尾部会先塌掉:罕见但真实的模式逐渐消失,输出越来越“标准”,多样性收窄。这不是危言耸听,而是生成过程本身的特性决定的——生成器倾向于复现高概率模式,低频事件天然被稀释。
要缓解这一点,通常得保留相当比例的真实数据作为基准,或者对生成结果做多样性约束和重采样。换句话说,合成数据很难单独撑起一个训练集,它更像是在真实数据基础上做增广。
评测那一关,不要由自己出题又自己打分
用生成数据训练,再用生成数据评测,是很容易踩的坑。模型在生成分布上表现漂亮,一到真实场景就露怯。评测集需要独立来源,保留一批从未参与训练的真实样本,哪怕数量不多。这批样本的价值不在于大,而在于它和训练数据之间有一条清晰的界线。
它合适的位置在哪
- 长尾场景:真实样本极难采集,但生成过程可控,比如特定角度的遮挡、罕见的组合条件。
- 隐私或合规受限的数据:需要保留统计特征但不能直接使用原始样本时。
- 仿真可控的环境:物理规则明确、可以生成带精确标注的数据。
- 压力测试:主动构造边界输入,观察系统在哪里失效。
反过来,涉及真实世界因果、开放语境、需要人类微妙判断的任务,生成数据能补的量有限,贸然扩大比例反而会引入偏差。
一个务实的做法是把它当成配方的一部分,而不是主料:记录每次生成用的模型版本、提示或参数、筛选规则,让数据可追溯;同时保留一条通往真实世界的基准,定期用真实样本校准。合成数据真正的成本,不在生成那一步,而在你是否愿意为“它到底像不像真的”持续付费。