采风全网
达观天下

当模型开始挨饿:合成数据的现实处境

一个不太好拍的场景

做过视觉标注的人大概都有过这种体会:日常场景的素材堆成山,真正缺的却是那些一年遇不上几次、一旦遇上就必须认出来的时刻。设备外侧的临时遮挡、雨雪反光下的读码、装配线上少见的错位——这些画面要么拍不到,要么拍到了也不够标。合成数据要补的,正是这块覆盖率。

它的做法并不神秘:把已知的规律——材质、光照、几何关系——写进渲染或生成流程,再按需要采样出画面。和实拍相比,好处是可控:角度可以指定,遮挡可以叠加,同一场景能批量产出成百上千个变体。代价也同样明确:这些画面服从的是我们对世界的假设,而不是世界本身。

偏在哪里

生成器只能生成它“见过”的东西。如果素材本身就偏——某个季节、某类设备占了多数——那么合成出来的样本会把这个偏差放大,而不是抹平。训练时指标好看,换到真实场景却掉下来,这类落差在工程中并不罕见。问题往往不在生成质量,而在分布:训练集和部署环境的差距,不会因为样本变多而自动消失。

还有一种更隐蔽的情况。当模型产出的内容再次进入训练,误差会被继承。有实验观察到,多轮循环之后输出的多样性会收窄,但退化的程度与具体设定关系很大,不能一概而论。

难的是验收

评价合成数据,不能只看像素是否逼真。一张图看着很像,标注框却可能偏了几个像素;一段生成的对话读起来顺,逻辑上却站不住。更实际的做法是看下游:用了这批数据之后,模型在真实测试集上的错误类型有没有变化,哪些类别受益,哪些反而被拖累。这需要一套和实拍数据同等严格的验收流程,而很多团队在这一步是省着的。

边界

把它放在合适的位置,比争论它是否可信更有意义。大致可以这样看:

  • 适合补长尾。真实样本稀缺但规律清楚的场景,合成的边际成本低。
  • 适合做预训练和冷启动。先用它把模型带到能用,再用真实数据校准。
  • 适合替代一部分敏感素材。在不方便采集的场合,它可以充当近似替身。
  • 不太适合承担因果推断。相关性可以被模拟,机制不行。
  • 也不太适合当成全部口粮。完全脱离真实数据的训练,风险难以预估。

一个我越来越认同的看法是:合成数据的价值不在于“多”,而在于“补”。它更像是在真实数据够不着的地方搭的脚手架,而不是要替代地基。判断一批数据该不该合成,先问清楚缺的到底是什么——是数量,是类别,还是那些根本没被记录下来的边界情况。这个问题答不上来,生成得再多也只是在原地打转。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:当模型开始挨饿:合成数据的现实处境
文章链接:https://tech.cfdanews.com/ai/1135.html