采风全网
达观天下

真实照片拍不到的那部分,合成数据能补上吗

一个做表面缺陷检测的团队遇到过这样的问题:某类划痕一年只出现十几次,产线上等三个月也攒不够训练用的图片。他们把希望寄托在渲染上——用三维模型和材质参数,把那十几张照片变成几千张,光照、角度、划痕长度都可以调。

这就是合成数据最朴素的用法:先解决样本不够这件事,而不是去追求更聪明的模型。

它到底合成了什么

很多人把它理解成“假照片”,这个说法漏掉了关键的一半。它真正生成的,是样本和标签之间的对应关系。渲染一张图时,缺陷的位置、轮廓、类别是随生成过程一起确定的,不需要人再逐张看图打标。省下来的不只是标注费用,还有标注本身的误差。

生成方式大致有三条路:三维渲染、物理仿真、生成模型。渲染擅长几何与光照可控的场景,仿真擅长时序和交互,生成模型擅长从已有分布里往外推一点。选哪条,取决于你要补的是“角度不够”还是“事件太罕见”。这个判断做错了,后面调多少参数都是白费。

它补的是哪一段

真实数据的成本通常不在采集,而在长尾。正常样本到处都是,异常的、边缘的、少见的样本才值钱。合成数据在这件事上有天然优势:可以按需生成,专门盯着那些真实世界里不常发生的情况。

但它有明显的边界。渲染出来的图像和相机拍出来的图像之间,隔着材质、噪声、色彩响应上的差距。模型在生成的图上表现很好,换到真实产线就掉下来,这类情况并不少见。比较务实的做法是混合训练:真实样本不必多,但要覆盖住生成数据够不着的那段分布;也有团队反过来,用真实数据把生成样本筛一遍,把明显不像的剔掉。

真正难的是验收

当训练集里有一半是生成的,评估就会变得微妙。如果验证集也出自同一个生成器,分数会很好看,却说明不了它在现场的表现。所以我更愿意把合成数据看成一种“受控的补充”,而不是“更多的数据”。它的价值不在于数量,而在于你能说清楚它填了哪一块空白,那块空白对任务到底有多要紧。

还有一个容易被忽略的问题:生成器本身需要维护。参数变了、场景换了、传感器升级了,之前那批数据的可用性就要重新判断。这部分工作量平时不显眼,攒起来却不小。

回到开头那个团队。他们最后没有把它当成主力,而是用它把稀有的真实样本放大了一点点——先让模型见过足够多的变体,再用真实照片把它拉回来。这个顺序听起来并不新鲜,但它至少回答了一个具体问题:那十几张照片,到底够不够。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:真实照片拍不到的那部分,合成数据能补上吗
文章链接:https://tech.cfdanews.com/ai/2250.html