模型评审快结束时,产品经理问了一句:它公平吗?会议室安静了几秒,然后有人说,先上线看反馈吧。这个回答不算敷衍——在很多团队里,算法公平确实没有对应的验收项:准确率有数字,响应时间有数字,公平只有一段原则性的描述。
“公平”至少有几种写法
把这个问题拆开,第一层是:对谁公平。是让不同群体的通过率彼此接近,还是让真正符合条件的人被同等识别出来?两种目标听起来都对,但压在同一套打分上,往往互相拉扯。只看结果均衡,可能要求模型在证据不足时也给出相同比例;只看误差均衡,又可能让整体通过率的差距继续扩大。讨论中常被提到的一点是,几种常见的公平定义很难同时满足,选定一个,等于承认另一个要让步。
所以“公平吗”真正可回答的形式是:在哪个定义下、对哪个人群、允许多大偏差。这三件事说不清,讨论很快就会滑向立场之争。
敏感字段删掉了,问题还在
很多团队的直觉做法,是把性别、年龄、地域这些字段从特征里删掉。但模型并不只靠这些字段认人。邮编、设备型号、活跃时段、行为记录的组合,常常能把被删掉的属性重新拼出来。代理变量这个词听着技术,意思很朴素:你以为关掉了一扇门,信息从窗户进来了。
另一处更容易被忽略的是标签。模型学的是历史决策,而历史决策本身可能带着偏差。如果过去的审批、筛选、排序留下了系统性痕迹,训练出来的模型会把这种痕迹当成规律继承下来,还表现得相当自信。这时候,“数据是真实的”并不构成辩护。
纠正也会带来新的偏差
发现偏差之后,常见的补救是按群体调整阈值或配额。这类做法见效快,却会撞上一个让人不舒服的点:对某一个具体的人,他得到的判断可能不再只取决于他自己的条件。用群体尺度修正个体结果,本身就会产生新的不公平,只是这种不公平落在了另一些人身上。是否接受这种交换,不是算法工程师能单独拍板的。
这也是为什么算法公平很难被当作纯技术问题处理。阈值定在哪里,本质是一次政策选择,需要有人对后果负责,也需要留下记录,说明当时为什么这么定、依据是什么。
可以落地的几件小事
- 立项时就把公平定义写进文档,写明针对哪些人群、用什么指标、容忍区间是多少。
- 除了整体指标,按人群切片看错误率的差距,尤其留意漏判和误判的方向是否一致。
- 保留一个能用的申诉入口,让人在受到模型影响时找得到真人复核。
- 上线后定期重测。人群构成、业务规则、上游数据都会变,一次通过的测试不能一直作数。
这些做法都不新,也不难。难的是它们需要有人长期负责,而不是在评审会上被问起时才临时想起来。算法公平更像一项维护工作:没有终点,只有下一次检查。