数据工程师的日常里,有一件事越来越常见:把已有的语料翻来覆去地清洗、去重、调配比,然后发现能动的空间不大了。真实数据不是无限的,采一批少一批,标注一轮贵一轮。于是讨论的焦点慢慢挪到一个地方——能不能让模型自己出题,再自己练。
它补的不是数量,是缺口的位置
合成数据指的是由程序、仿真环境或模型生成,而非从现实直接采集的样本。这并不新鲜,仿真图像、模板对话早就在用。变化在于生成门槛降了:过去依赖人工写规则,现在给一段描述或几个示例,就能批量出样本。
它真正填补的,往往不是“更多”,而是“缺什么补什么”。真实采集很难凑齐长尾:某个角度的反光、某种方言的连读、某种少见却关键的操作顺序。这些在自然分布里占比极低,靠碰运气收集成本很高,而定向生成恰好擅长这类活。
试用期的顺利容易骗人
小规模试验常常很顺:模型在合成样本上表现漂亮。原因不难理解——训练分布和测试分布几乎出自同一套生成逻辑,自己考自己,当然好看。问题要等换到真实场景才露出来:生成样本带着生成器自身的偏好,模型学到的是那个偏好,不是现实。
还有一种更慢的风险。反复用合成数据自我训练,分布会一轮轮收窄,多样性悄悄流失。这个过程不会在单次评估里报警,等察觉时,往往已经积累了好几轮。
验证集尽量留给真实数据
这里有一条朴素的纪律:训练可以掺,评测尽量用真实采集、且与训练严格隔离的数据。验证集一旦也是生成的,测出来的其实是生成器的自洽程度,而不是模型面对现实的能力。
落地时还有几件小事值得坚持:
- 生成规则要能说清来源和参数,出问题时可以回溯;
- 合成样本与真实样本的混比固定记录,方便复现和对比;
- 留出一部分永不参与训练的真实数据,作为长期对照。
它更像杠杆,不是替代品
个人判断:合成数据放大的是已有真实数据的价值,而放大的方向由真实数据决定。真实样本稀薄时,合成只会把稀薄放大成一种自信的错误。它划不划算,很大程度上取决于验证预算——愿意花多少精力去核对生成的东西是否贴近现实。
所以要紧的不是用不用,而是用在流水线的哪一段、掺多少比例、由谁核对。这些问题没有通用答案,只能在自己的场景里一点点试出来。真实语料见底之后,合成数据大概会变成日常的一部分,但它的可信度,仍然要由那些没法生成的东西来担保。