一间不算宽敞的会议室,白板上画着数据管道的草图,末端的线停在一个数字上,然后有人问:“剩下的从哪儿来?”这不是虚构的焦虑。做视觉、做语音、做具身智能的团队,越往后越容易撞上同一面墙:能公开拿到的真实数据差不多被翻了个遍,剩下的要么锁在别人家的服务器里,要么受合同和隐私约束,要么根本不存在——某种罕见故障,你没法为了采数据去制造它。
它到底是什么
合成数据并不等于“假数据”。它指通过程序生成、而非从现实世界直接采集的样本。常见做法有几类:基于规则的仿真,比如在三维引擎里渲染不同光照、材质、遮挡条件下的物体;用生成模型造样本,拿已有真实数据训练一个生成器,再反过来产新样本;以及把两者混起来,用仿真搭骨架、用生成模型补纹理和噪声。
它解决的是覆盖问题。现实采集天然偏向常见情形,长尾部分稀薄;而构造样本本质上是可定制的——想要雨天逆光下的反光,就调参数生成,不必等一场恰好合适的雨。附带的好处是标签天然准确,因为生成时就知道答案;隐私和授权上的牵扯也少一些。
麻烦在于闭环
风险也在这里。如果训练数据里掺入大量由模型自己生成的样本,下一代模型再学,误差会被放大并固化。研究者给这种现象起过名字,“模型自噬”是流传较广的一种说法:反复用自己产出的内容喂养自己,分布的尾部会一点点被磨平。这不是理论恐吓,小规模实验里已经能看到迹象。
所以关键不在用不用,而在怎么用。能跑通的团队,往往做三件事:保留一条真实数据的锚,哪怕量很小,也用来校准分布;让生成过程可追溯,参数、版本、对应的真实来源都记下来,出了问题能回查;把评估和训练分开,别用同一套生成逻辑既造数据又判好坏,那等于自己出题、自己打分。
- 真实数据做锚,生成样本做补充,比例随任务调整;
- 记录生成参数与来源,保证可回溯;
- 评估集尽量独立,避免同源偏差。
边界在哪
它擅长的是“已知世界的变体”:换个角度、换种光照、换段背景噪声。它不擅长的是“没被写进生成器的东西”。如果生成逻辑里没有建模某种物理效应,你生成再多,也只是在同一个偏差里打转。
所以我不太认同把它讲成“数据枯竭的解药”。它更像是把数据的来源从采集扩展到构造,把工程的难点从找数据挪到验证数据。这个转移并不轻松,甚至更费人力——需要懂领域的人去定义什么算合理样本,也需要工程手段筛掉那些看起来对、其实不对的产物。
回到那间会议室。“剩下的从哪儿来”有了答案,“你怎么知道这些是对的”还没有。后一个问题,才是接下来真正难的地方。