L09b 公平六件套:六种把公平写成独立的方法
从零讲清课件的 Fairness SixPack:上排三条直接独立(人口均等 S⊥G、人人平等 T⊥G、目标无关 S⊥T)和平等乌托邦,下排三条条件独立(等几率 S⊥G|T、预测均等 T⊥G|S、分层无关 S⊥T|G),每条怎么检查、各自不保证什么。
一句话版
把 G、S、T 三个变量两两配对,要求它们独立,得到三条公平定义;再给定第三个变量后要求独立,又得到三条;这六条就是公平六件套,每条只保证一件事。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 人口均等 | demographic parity,S⊥G | 各组被选中的比例一样 |
| 人人平等 | we’re all equal,T⊥G | 各组真正够格的比例一样 |
| 目标无关 | target indifference,S⊥T | 选不选你和你够不够格无关,等于抽签 |
| 等几率 | equal odds,S⊥G|T | 同样够格(或同样不够格)的人,各组被选中的比例一样 |
| 预测均等 | predictive parity,T⊥G|S | 被选中的人里,各组真正够格的比例一样 |
| 分层无关 | stratified indifference,S⊥T|G | 每组内部抽签 |
| TPR / FPR | 真正例率 / 假正例率 | 够格的人被选中的比例 / 不够格的人被选中的比例 |
一个类比:家长对选拔的六种投诉
学校从两个班里选人进竞赛队,家长来投诉,说法各不相同。
「我们班被选上的比例太低。」这是在要人口均等。
「同样水平的孩子,我们班落选得多。」这是在要等几率。
「选上的孩子里,你们班有些其实水平一般。」这是在要预测均等。
「干脆抽签吧,谁也别说谁。」这是目标无关。「每班名额先定好,班里再抽签。」这是分层无关。
还有人说:「两个班本来水平就一样。」这句话不是对选拔的要求,是对现实的判断,对应人人平等。
类比在哪里失效:
- 家长可以同时提好几条投诉;下一页会看到,在常见情形下这几条不能同时满足。
- 学校可以重新考一次来查清水平;很多场景里真实目标 T 根本查不到。
- 家长的投诉带着情绪;六条定义是纯粹的数学条件,各自只检查一个比例。
从零讲起
1. 上排三条:人口均等、人人平等、目标无关
它解决什么问题
上一页有了独立的说法。三个变量 G、S、T 两两配对,正好三对:S 和 G、T 和 G、S 和 T。每一对要求独立,就得到一条公平定义。
直觉
人口均等 S⊥G:每组被选中的比例相同。课件说这是最普遍的直觉,常常是人们唯一想到的公平;比例不同时,常被当成歧视的证据。它也叫统计均等、结果平等。做法通常是配额和同等代表。
它的问题在于定义里没有 T。一个完全不看才能的选择器,只要各组比例相同,照样过关。
目标无关 S⊥T:选不选和够不够格无关,也就是抽签。抛硬币、抽签、随机抽人组成议事机构(sortition)都属于这一类,兵役抽签、陪审员抽选、选举平票时抽签都在用。课件的评价是:没有腐败,没人可怪,也没有任何用处。
人人平等 T⊥G:各组真正够格的比例相同,也就是基率相等。这是对现实的断言,不是选择器的性质,任何算法都不能单靠自己做到。
一步一步看
目标:用课件的平等乌托邦,看上排三条什么时候能一起成立。
-
先假设选择器完美:S = T,门只为有才能的人开。
-
再假设现实里两组基率相同:T⊥G。
组 有才能的比例 绿队 一半 红队 一半 -
两件事一起成立时,被选中的恰好是有才能的人,两组都是一半被选中。
组 被选中的比例 S⊥G 绿队 一半 成立 红队 一半 成立 -
结论:S = T 加 T⊥G,人口均等自动成立,课件说这是「白送的」。
怎么判断
判断口诀:上排三条各看一对变量:S 对 G 看选择率,T 对 G 看基率,S 对 T 看选择是否看真相。
| 定义 | 检查什么 | 课件的提醒 |
|---|---|---|
| 人口均等 S⊥G | 各组选择率 | 不涉及 T,乱选也能过 |
| 人人平等 T⊥G | 各组基率 | 说的是现实,算法做不到 |
| 目标无关 S⊥T | 有才能和没才能的人被选中的比例 | 公平但毫无用处 |
意思是:上排三条里,只有人口均等是选择器能直接调出来的;人人平等要看现实,目标无关等于放弃判断。
常见误解
误解:各组被选中的比例相同,就说明选得公正
人口均等只看 S 和 G。课件特意指出:定义里没有 T,一个完全不看才能的选择器也能满足它。比例相同可能掩盖选错了人。
误解:好的算法能让各组基率变得相同
基率是现实里各组有多少人够格,选择器改变不了它。课件写明:T⊥G 是对现实的断言,没有算法能单靠自己实现。
试一下
一个奖学金完全靠抽签发放。它满足人口均等吗?满足目标无关吗?
答案
满足目标无关:抽签和才能无关。如果每个人中签概率相同,各组选择率也相同,人口均等也成立。代价是奖学金和才能毫无关系。
2. 等几率:同样的真相,同样的错误率
它解决什么问题
人口均等不看 T,可能选错人。等几率换一个角度:先按真相把人分开,再比各组被选中的比例。
从哪来(补充)
《Fairness and Machine Learning》把群体公平准则归成三类:independence、separation、sufficiency。等几率 S⊥G|T 就是 separation,书中说这条准则曾以 equalized odds 之名出现;人口均等对应 independence。出处:Fairness and Machine Learning, Classification。
直觉
等几率 S⊥G|T:先固定真相,组别就不再改变什么。
拆开是两句话。在有才能的人里,各组被选中的比例(真正例率 TPR)相同;在其余人里,各组被误选的比例(假正例率 FPR)相同。
这样,没有哪一种错误不成比例地落在某一组头上。课件的总结是:等几率比的是错误,不是总数,它在同一真相水平上比较两队。
一步一步看
目标:数课件的两个方格,算出两组的 TPR 和 FPR,判断等几率是否成立。
-
只看有才能的人,数黑框盖住的格子。
组 有才能 被选中 TPR 绿队 8 4 4 ÷ 8 = 50% 红队 16 8 8 ÷ 16 = 50% -
只看其余的人,同样数。
组 没才能 被选中 FPR 绿队 8 2 2 ÷ 8 = 25% 红队 16 4 4 ÷ 16 = 25% -
两个比例都相等,等几率成立。
怎么算
TPR = TP ÷(TP + FN),即有才能的人里被选中的比例。
FPR = FP ÷(FP + TN),即没才能的人里被选中的比例。
等几率要求:各组 TPR 相等,并且各组 FPR 相等。
意思是:两个条件缺一不可;只有 TPR 相等、FPR 不等,等几率就不成立。
常见误解
误解:等几率成立,各组被选中的总比例就相同
等几率在每个真相层内比较。两组基率不同时,即使 TPR、FPR 都相同,总的选择率也会不同。下一页的反例正是这样。
误解:等几率只要求 TPR 相等
那只是一半。只要求 TPR 相等的版本另有名字;课件的等几率要求有才能的人和其余的人两层都相等。
试一下
绿队有才能 10 人选 6 人、没才能 10 人选 1 人;红队有才能 20 人选 12 人、没才能 30 人选 3 人。等几率成立吗?
答案
TPR:6 ÷ 10 = 60%,12 ÷ 20 = 60%,相等。FPR:1 ÷ 10 = 10%,3 ÷ 30 = 10%,相等。等几率成立。
3. 预测均等:同一个信号,对每组意思一样
它解决什么问题
雇主、银行常把一个选择结果当信号用:选上了,就说明这个人多半够格。预测均等要求这个信号对每一组都一样可靠。
从哪来(补充)
同一本书里,预测均等对应 sufficiency:对二元预测,它要求各组的阳性预测值和阴性预测值都相等;只要求阳性预测值(PPV)相等的版本是它的放宽,叫 predictive parity。出处:Fairness and Machine Learning, Classification。
直觉
预测均等 T⊥G|S,也叫 sufficiency。先固定选择结果,组别就不再透露真相。
课件的例子是招聘官 Dana。她的经验法则是:有理工大学学位(S = 1),意味着大约 72% 的机会工作表现好。她把学位当预测器用。
问题是:这个赌注对每个组都一样灵吗?如果某一组有学位的人里只有 45% 表现好,Dana 就不能对所有人用同一种读法。
一步一步看
目标:读课件 Dana 的条形图,判断学位这个信号是否满足预测均等。
-
只看有学位(S = 1)的人,每组读出表现好的比例。
组 有学位者中表现好 A 72% B 72% C 45% -
比较三组:A 和 B 相同,C 低很多。
-
结论:同一个学位在 C 组的预测力不同,预测均等不成立。
怎么算
PPV = TP ÷(TP + FP),即被选中的人里真正有才能的比例。
预测均等(按课件的说法)要求各组 PPV 相等。
意思是:预测均等只固定「被选中的人看起来一样」这件事,Dana 读到学位时,对每组都能下同样的判断。
课件特意列了它不保证的三件事:
| 不保证 | 那是哪条定义管的 |
|---|---|
| 各组选择率相同 | 人口均等 |
| 各组基率相同 | 人人平等 |
| 各组错误率相同 | 等几率 |
常见误解
误解:预测均等就是「人人平等」
课件这页的括号里混写了 We are all equal,那是 T⊥G 的名字。预测均等是 T⊥G|S,只在被选中(和没被选中)的人里比较,各组整体基率可以不同。
误解:预测均等成立,各组拿到的录取名额也会接近
不会。课件明说:各组拿到多少录取是另一个问题,归人口均等管。
试一下
绿队选了 10 人,其中 8 人有才能;红队选了 20 人,其中 16 人有才能。预测均等成立吗?
答案
PPV:8 ÷ 10 = 80%,16 ÷ 20 = 80%,相等,成立。两队选中人数不同不影响结论。
4. 分层无关:组内抽签,组间名额不同
它解决什么问题
有些场合想保证各组的份额,又不想在组内挑人。分层无关就是这种做法:先按组定名额,再在组内抽签。
直觉
分层无关 S⊥T|G:把目标无关搬到每一组内部。给定组别后,选不选和才能无关。
课件的例子是分层奖学金抽签:每队一个名额数,名额内抽签。份额有保证,才能没有保证。
课件还说:这种抽签公不公平,全看各组名额从哪来。
兵役的例子把这一点画得很清楚:男性这扇门抽签,中签概率大于零;女性那扇门不抽签,概率等于零。组内随机,组间不平等。
一步一步看
目标:读课件兵役漫画,分清组内和组间两层,判断分层无关是否成立。
-
看组内:男性一组里,每个人抽同一个盲签。
层 是否和个人有关 男性组内 无关,抽签 女性组内 无关,都不抽 -
看组间:男性中签概率大于零,女性等于零。
-
结论:每组内部选择都和个人无关,S⊥T|G 成立;两组的机会在抽签之前就定死了。
怎么判断
判断口诀:分层无关只查组内;组间的名额要另外拿出来讨论。
| 层次 | 分层无关管不管 | 兵役例子 |
|---|---|---|
| 组内是否抽签 | 管 | 是 |
| 组间名额是否公平 | 不管 | 男性大于零,女性等于零 |
意思是:分层无关能保证份额按名额分配,名额本身公不公平,要回到名额是怎么定的。
常见误解
误解:用了抽签就一定公平
兵役例子里每组都是随机的,可两组的中签概率在抽签前就被定得完全不同。抽签只保证组内,组间要看名额。
误解:分层无关能保证选出有才能的人
课件原话:份额有保证,才能没有保证。组内抽签本来就不看才能。
试一下
一所学校给 A、B 两个年级各 10 个名额,年级内抽签。这满足哪条定义?要判断它公不公平,还要问什么?
答案
满足分层无关:给定年级,选择和个人才能无关。还要问名额为什么各 10 个,比如两个年级人数是否相近。
把它们串起来
上排三条直接要求独立:人口均等让各组选择率相同,但不看真相;人人平等是对现实的判断,算法做不到;目标无关等于抽签,公平但没用。选择器完美、现实基率又相同时,三条一起成立,这是平等乌托邦。
下排三条先固定第三个变量:等几率固定真相,比较各组的 TPR 和 FPR;预测均等固定选择结果,比较被选中者里够格的比例;分层无关固定组别,要求组内抽签。
每条只保证一件事。下一页会看到,基率不同、选择器又有用时,它们会彼此冲突。
前一页见 L09a。
课件里的坑
- [图内矛盾] p.22 上半部分点阵 A、B、C 三组都画 72 个深色点,标 72% strong performers;下半部分条形图 C 组却是 45%、标预测均等不成立。答题以条形图的 72%、72%、45% 为准
- [符号不一致] p.22 Dana 的经验写成 Y = 1,全讲其余地方用 T 表示目标;p.24 说明栏写 T = who you are,和 p.4 冲突(p.4 中 who you are 是 G)。答题按 p.4:G 组别、S 选择、T 真实目标
- [术语混写] p.22 预测均等的要点后括号写 (We are all equal),那是 T⊥G 的名字;预测均等是 T⊥G|S
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先把六件套的六个式子和中英文名字默写成 2 × 3 的表;再对照课件 p.12–24 做课件例题;最后回查一个易错点:人口均等不涉及 T,T⊥G 是对现实的断言。
必背
- 上排直接独立:人口均等 S⊥G(各组选择率相同)、人人平等 T⊥G(各组基率相同)、目标无关 S⊥T(选择不看真相)
- 下排条件独立:等几率 S⊥G|T、预测均等 T⊥G|S、分层无关 S⊥T|G
- 人口均等不涉及 T:一个完全不看才能的选择器也能满足它
- T⊥G 是对现实的断言,任何算法都不能单靠自己实现它
- 平等乌托邦:S = T 加上 T⊥G,S⊥G 自动成立
- 等几率比的是错误率:有才能的人里 TPR 相同,其余人里 FPR 相同
- 预测均等(又叫 sufficiency):被选中的人里真正有才能的比例在各组相同,选择信号对每组意思一样
- 分层无关:每组内部抽签,组间名额可以不同;它公不公平全看名额怎么定
课件例题
例 1(课件 p.13):人口均等
题面:绿队 6 人选 4 人,红队 6 人选 4 人。人口均等成立吗?这条定义有什么弱点?
提示
算两组选择率;定义里出现了哪几个变量?
解答
两组都是 4 ÷ 6 = 2/3,人口均等成立。弱点是定义里没有 T:一个完全不看才能的选择器也能通过,比例相等可以掩盖选错人。
例 2(课件 p.14–15):目标无关与人人平等
题面:说明目标无关 S⊥T 的实现方式和代价;说明为什么 T⊥G 不能由算法实现。
提示
抽签;基率是谁决定的?
解答
目标无关靠抛硬币、抽签、随机抽人(sortition)实现,兵役、陪审员、选举平票都在用;没有腐败、没人可怪,也没有用处。T⊥G 说的是现实里各组够格的比例相同,是对现实的断言,选择器改变不了。
例 3(课件 p.17):平等乌托邦
题面:哪两个条件同时成立时,人口均等会自动成立?
提示
一个关于选择器,一个关于现实。
解答
S = T(完美选择)和 T⊥G(现实中基率相等)。两者都成立时,被选中的就是有才能的人,各组有才能的比例相同,所以各组选择率相同,S⊥G 自动成立。
例 4(课件 p.21):等几率
题面:有才能的人里,黑框盖住每列的一半;其余的人里,盖住每列的四分之一。算出两组的 TPR 和 FPR,判断等几率。
提示
TPR 只看有才能的人,FPR 只看其余的人。
解答
TPR 两组都是 50%(绿队 4 ÷ 8,红队 8 ÷ 16);FPR 两组都是 25%(绿队 2 ÷ 8,红队 4 ÷ 16)。等几率成立。它比的是同一真相水平上的错误率,和总数无关。
例 5(课件 p.22):Dana 的学位
题面:有学位的人里,A、B、C 三组表现好的比例分别是 72%、72%、45%。预测均等成立吗?预测均等不保证哪三件事?
提示
固定 S = 1,比较三组。
解答
不成立:同一个学位在 C 组只对应 45%,Dana 不能对所有组用同一种读法。预测均等不保证各组选择率相同、各组基率相同、各组错误率相同,它只固定学位这个信号的含义。
例 6(课件 p.23–24):分层无关
题面:用兵役抽签说明分层无关的组内和组间两层。
提示
两扇门。
解答
组内:男性一组里每人抽同一个盲签,选择和个人无关,S⊥T|G 成立。组间:男性中签概率大于零,女性为零,机会在抽签前就定了。分层无关保证份额,不保证才能;公不公平取决于名额怎么定。
完整例题
题目:一家银行用模型批贷款。审计给出:A 组 100 人申请,60 人真会还款,模型批了 50 人,其中 45 人真会还款;B 组 100 人申请,40 人真会还款,模型批了 50 人,其中 30 人真会还款。逐条检查人口均等、等几率、预测均等。
① 先填四格。A 组 TP 45、FP 5、FN 15、TN 35;B 组 TP 30、FP 20、FN 10、TN 40。
② 人口均等。A 组 50 ÷ 100 = 50%,B 组 50 ÷ 100 = 50%,成立。
③ 等几率。TPR:A 组 45 ÷ 60 = 75%,B 组 30 ÷ 40 = 75%,相等;FPR:A 组 5 ÷ 40 = 12.5%,B 组 20 ÷ 60 ≈ 33.3%,不等。等几率不成立。
④ 预测均等。PPV:A 组 45 ÷ 50 = 90%,B 组 30 ÷ 50 = 60%,不等,不成立。银行看到「批了」时,对两组的信心应该不同。
⑤ 结论。只有人口均等成立。两组基率不同(60% 对 40%),模型为了让批准比例相同,在 B 组多批了不会还款的人。
变式题(先自己做)
自编情境:一所学校用面试选人。绿队 20 人,其中 10 人有才能,选中 8 人(有才能 6 人);红队 40 人,其中 20 人有才能,选中 16 人(有才能 12 人)。逐条检查人口均等、人人平等、等几率、预测均等。
提示
先填两组的 TP、FP、FN、TN,再逐条算比例。
判分点与答案(非官方评分标准)
四格:绿队 TP 6、FP 2、FN 4、TN 8;红队 TP 12、FP 4、FN 8、TN 16。
人口均等:8 ÷ 20 = 40%,16 ÷ 40 = 40%,成立。
人人平等:10 ÷ 20 = 50%,20 ÷ 40 = 50%,成立。
等几率:TPR 6 ÷ 10 = 60%,12 ÷ 20 = 60%;FPR 2 ÷ 10 = 20%,4 ÷ 20 = 20%,成立。
预测均等:6 ÷ 8 = 75%,12 ÷ 16 = 75%,成立。
判分点:四格填对;四个结论都对;能说出这是基率相等时几条定义可以同时成立的情形。
闪卡自测
1. 六件套上排三条?
S⊥G 人口均等、T⊥G 人人平等、S⊥T 目标无关(p.12)。
2. 六件套下排三条?
S⊥G|T 等几率、T⊥G|S 预测均等、S⊥T|G 分层无关(p.12)。
3. 人口均等的别名?
统计均等、结果平等、equity(p.13)。
4. 目标无关的代价?
没有腐败、没人可怪,但也没有用处(p.14)。
5. 为什么算法做不到 T⊥G?
它是对现实的断言,不是选择器的性质(p.15)。
6. 平等乌托邦的两个条件?
S = T 和 T⊥G(p.17)。
7. 等几率比较哪两个比率?
各组的 TPR 和 FPR(p.20–21)。
8. 预测均等的另一个名字?
sufficiency(p.22)。
9. Dana 的例子里哪一组预测力不同?
C 组,有学位者只有 45% 表现好(p.22)。
10. 分层无关保证什么、不保证什么?
保证份额,不保证才能(p.23)。
下一讲
下一页 L09c 看六条定义怎样互相冲突:人口均等和等几率互相推不出,两个命题说明基率不同时不能全要。回到 课程目录 可以按讲次复习。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。