做视觉项目的团队大概都碰过这种局面:模型在测试集上表现正常,一换到真实产线就掉点。想补数据,偏偏那类场景一年只出现几次,拍不到;能拍到的,标注成本又压不住。于是有人把目光转向另一种来源——不从世界里采集,而是让程序生成。合成数据就是这么被推到台前的。
它的吸引力很直白:可控、可重复,稀缺的边界条件可以按需拼装。真实世界不配合的部分,交给生成器。
它不是凭空长出来的样本
常见做法大致分几路:用物理引擎渲染场景,用生成模型改写图像或文本,用规则和模板批量组合对话与表格。形式上差别很大,共同点却一致——每一条样本都暗含生成者的假设。光照怎么变、遮挡怎么出现、噪声怎么加、语言怎么转折,都是人先定下来的。假设偏了,数据量再大也只是把偏差放大一遍。
所以真正的工作量往往不在“生成”这一步,而在前面:把任务里真正起作用的因素拆出来,写进生成规则,再想办法验证这些规则没写歪。
“够不够真”是个需要单独度量的问题
一个被反复讨论的风险是分布收窄:如果新一代模型大量吃着上一代生成的内容长大,数据里的长尾会一点点被磨平,罕见但真实的模式慢慢消失。这类担忧目前更多停留在机制层面的推演,但它提醒了一件朴素的事——合成内容擅长复制已知,不擅长带来意外。
比较务实的做法是留一份只用于评估、不参与训练的真实数据,把它当锚点。看指标时别只看总体,拆到少数场景和边界条件上看。混比也值得当成超参数去调,而不是凭感觉“掺一点”。
把它放在补位的位置上
合成数据更适合解决三类问题:真实样本稀缺、边界条件难采集、需要大规模验证鲁棒性。它不适合替你发现你还没想到的情况,而那些“莫名其妙”的真实样本,信息量往往最大。
工程上可以留意几点:先明确缺口在哪,再决定生成什么,而不是先有生成器再找用途;把生成参数当作配置记录下来,方便回溯;训练集里合成与真实的比例,按任务分别定,别一套配方走天下。
回到开头那个掉点的模型。它缺的可能不是更多数据,而是几类它没见过的真实情况。合成数据能便宜地把这些情况摆到它面前,但摆得对不对,还得靠人先想清楚。