一次模型评审会上,标注预算已经见底,长尾场景的样本却还缺一大截。有人提议:先用生成模型补一批。会议室安静了几秒。问题不在“能不能生成”,而在这些样本能不能代表真实世界,以及团队有没有能力发现它不能。
这就是合成数据常被提起的场景:当真实样本稀少、敏感或获取成本高时,用算法按规则或分布构造带标签的样本,缓解训练集不足。规则模拟、统计采样和生成模型都可能产出这类样本,但可控性不同。它们看起来像数据,却不等于真实观察;可以扩展覆盖,也可能把生成器的偏好一起带进模型。
它补的是缺口,不是真相
在冷启动、罕见组合、隐私敏感场景里,合成数据有现实用途。比如真实图像不便流通时,可以用生成样本做初步训练;系统升级后,用构造样本做回归测试,过程便于控制。但这些用途有一个共同前提:团队清楚补充的是什么,以及哪些结论不能从补充样本里得出。
风险通常不在“看起来假”,而在“看起来太顺”。生成器会放大训练数据里的偏差,也可能制造并不存在的相关性。模型在合成样本上表现很好,换到真实流量里却掉下来,这类落差并不罕见。另一个麻烦是评估闭环:如果训练集和测试集都来自同一个生成过程,分数可能只是内部一致,而不是外部有效。
来源同样需要被看见。生成器若在真实样本上训练,可能记住细节,特别是在小数据或过拟合时;生成结果与真实个体过于接近,隐私收益就会打折。把生成流程当成数据处理流程来管理,记录输入来源、过滤规则和人工复核点,有助于事后解释。这里的关键不是把生成器当成黑箱,而是让它留下的痕迹足够被追问。
先管好评估,再谈规模
稳妥的做法,是保留一小份不参与生成的真实留出集,按场景切片看表现;记录生成模型、提示或参数、采样规则和过滤条件,让样本可追溯;对新旧数据混合比例做消融,而不是一次性全量替换。合成数据真正的价值,往往体现在这些受控实验里,而不是“生成多少条”的账面数字。小规模试点也便于暴露问题,先在一个明确场景里验证,再决定是否扩大混合比例。
我的判断是,合成数据接近一种受控的补充材料,而不是免费午餐。它适合填补稀缺、隔离敏感信息、做压力测试,却不适合替团队回答“真实世界到底长什么样”。在把这批样本送进训练管线之前,先问一句:如果生成器错了,我们靠什么发现?