← DSAI5T09 全部讲次
L04b-1 · 第 5 周

L04b-1 公平先要会写条件:条件概率、群体与交叉性、四个符号、删列为什么不够

下半份课件的入门页:先补条件概率,再讲群体公平要按交集拆开看,然后记住 X、A、Y、Ŷ 四个符号,最后说明只删敏感属性列为什么不能保证公平。

一句话版

说一个模型公不公平,得先写清「在哪群人里、比哪个比例」;把性别那一列删掉,这个问题并没有消失。

这一页是下半份课件的入门。先补条件概率这一块数学,再讲什么叫群体公平,然后记住四个符号,最后看删列为什么不够。三个具体的公平指标留给下一页。

先认识这几个词

词 全称 / 读法 一句人话
条件概率 P(Ŷ=1 | A=a),读「A 等于 a 时 Ŷ 等于 1 的概率」 只在 a 组里数,被判为正的占多少
敏感属性 sensitive attribute,记作 A 种族、性别、残障、年龄这类受保护的群体归属
交叉身份 intersectional identity 同时属于两个群体,比如某族裔里的女性
Y 与 Ŷ Ŷ 读「Y hat」 Y 是真实结果,Ŷ 是模型的预测
盲视公平 fairness through unawareness / blindness 不把敏感属性喂给模型,指望它就不会歧视
代理变量 proxy variable 本身不是敏感属性,却和它相关、能间接透露群体

一个类比:查一家餐厅的上菜速度

你想知道一家餐厅对堂食和外卖是否一视同仁。

只算「全店平均等多久」没有用。要把订单按堂食、外卖分开,各自算平均等待时间。这一步「先分组再数」就是条件概率。

分组还要分得够细。堂食和外卖各自看都正常,「外卖里的大单」可能总是最慢。只按一个维度分,这群人就被平均掉了。

最后,老板说「系统里根本没有堂食外卖这一栏,所以不可能区别对待」。可是订单上有送餐地址,地址本身就把外卖认出来了。删掉那一栏,区别还在。

类比在哪里失效:

  1. 餐厅等多久是能直接看到的数;模型的「真实结果」Y 往往要等很久才知道,有的永远观察不到。
  2. 外卖和堂食是自己选的;种族、性别、年龄这类群体归属不是自己选的,差别对待的伤害也重得多。

从零讲起

1. 先补一块:条件概率(补充)

它解决什么问题

后面所有公平指标都写成 P(Ŷ=1 | A=a) 这种式子。不会读竖线,后面每个公式都看不懂。这一块课件没讲,属于预备知识。

从哪来(补充)

条件概率的定义是 P(A|B) = P(A∩B) / P(B),要求 P(B) > 0。读作「已知 B 发生时 A 的概率」。相当于把样本空间缩小到 B 里面再数。出处:Wikipedia: Conditional probability。

注意字母撞车:维基公式里的 A、B 是任意事件,本讲的 A 专指群体归属。

直觉

竖线左边是「要数什么」,竖线右边是「在哪群人里数」。

右边的条件越多,圈进来的人越少,分母就越小。P(Ŷ=1) 的分母是所有人;P(Ŷ=1 | A=a) 的分母只是 a 组的人。

十个人分两组:a 组 6 人里 4 人被判为正,b 组 4 人里 1 人被判为正;上方写全体被判为正的比例 P(Ŷ=1)=5/10,下方青绿标出只在 a 组里数的 P(Ŷ=1|A=a)=4/6,分母从 10 缩到 6

一步一步看

目标:用图里十个人把三个式子各算一遍,看分组后分母怎样变小、差距怎样才显出来。

用图里这十个人,把三个式子各算一遍。

  1. 不加条件:10 个人里 5 个被判为正,P(Ŷ=1) = 5/10。

  2. 只看 a 组:a 组 6 个人里 4 个被判为正,P(Ŷ=1 | A=a) = 4/6。

  3. 只看 b 组:b 组 4 个人里 1 个被判为正,P(Ŷ=1 | A=b) = 1/4。

  4. 比一比:两组的比例一个约 0.67,一个 0.25,差距只有分组之后才看得见。

    式子 在哪群人里数 分子 分母 结果
    P(Ŷ=1) 全部 5 10 0.5
    P(Ŷ=1 | A=a) a 组 4 6 约 0.67
    P(Ŷ=1 | A=b) b 组 1 4 0.25

怎么判断

拿到一个带竖线的式子,按两步读:

  1. 先读竖线右边,写出「在哪群人里数」,这群人的人数就是分母。
  2. 再读竖线左边,写出「数什么」,满足它的人数就是分子。

分母写对了,后面的指标就不会算错。

常见误解

以为 P(Ŷ=1 | A=a) 和 P(A=a | Ŷ=1) 是一回事

两个式子分母不同。前者在 a 组里数被判为正的比例;后者在被判为正的人里数 a 组占多少。图里前者是 4/6,后者是 4/5。

以为整体比例正常,各组就都正常

整体 0.5 是两组混在一起的平均。分开以后可能一组很高、一组很低,平均值把差距盖住了。

试一下

某班 20 人,男生 12 人里 9 人被推荐参赛,女生 8 人里 3 人被推荐。写出 P(推荐 | 女生) 和 P(女生 | 推荐)。

P(推荐 | 女生) = 3/8 = 0.375,分母是女生人数。P(女生 | 推荐) = 3/12 = 0.25,分母是被推荐的总人数 9+3=12。两个数不同,因为竖线右边圈进来的人不同。

2. 群体公平与交叉性

它解决什么问题

讲公平先要说清「谁和谁比」。课件的第一个定义是群体公平。它的核心问题是:

Are people in different groups treated with equal consideration?

从哪来(补充)

交叉性偏差最常被引用的实证是 Gender Shades。Joy Buolamwini 与 Timnit Gebru 2018 年测了商用性别分类系统。深肤色女性上的错误率最高到 34.7%,浅肤色男性上的最大错误率是 0.8%。出处:Gender Shades, PMLR。

直觉

群体公平要求避免基于受保护群体身份的差别对待、差别访问或差别结果。课件举的受保护属性是 Race、Gender、Disability、Age。

右图两个圆分别是 Race or Ethnicity 和 Gender or Age,中间的双向箭头标 Intersectional Identity。课件的提醒是 Groups are not always single axis。

交叉性的意思是:每个单独维度上都看不出问题,交集上可能问题严重。交集群体往往在训练数据里样本最少。只按单一维度检查,它永远不会被单独拆出来。

一步一步看

目标:把人脸识别的错误率先按单一维度、再按交集拆开,看深肤色女性为何只在交集里才看得见。

拿一个人脸识别系统的审计报告,看单维度和交叉维度各能发现什么。

  1. 按性别拆:男性、女性两组错误率各算一个数。

  2. 按肤色拆:浅肤色、深肤色两组错误率各算一个数。

  3. 两次拆分的差距都不算极端,报告据此写「无明显偏差」。

  4. 按交集拆:性别 × 肤色得到四组。深肤色女性那一格的错误率远高于其他三格。

  5. 结论:前两步都把深肤色女性和别人混在一起求了平均,所以看不见。

    拆法 分几组 能看见深肤色女性吗
    只按性别 2 不能,混在全体女性里
    只按肤色 2 不能,混在全体深肤色里
    性别 × 肤色 4 能,单独一格

怎么判断

评价一份分组审计,问两句:

  1. 分组用的是哪几个受保护属性?有没有漏掉相关的属性?
  2. 有没有把属性两两交叉再拆一遍?交集组样本太少时,有没有说明?

常见误解

以为各个单一维度都通过了,交集也一定没问题

单一维度的比率是交集组和其他组混合后的平均。交集组人少,平均时被稀释,单维度审计会系统性地漏掉它。

以为群体公平就是对每个人公平

群体公平比的是两群人的统计量。两个比率相等,仍可能有具体的人被错判。这个限定会在下下页的群体与个体之争里展开。

试一下

一个贷款模型按年龄(青年 / 老年)、按性别(男 / 女)各审计一次,两次都显示批准率差距很小。还缺哪一步?

缺交叉拆分:年龄 × 性别得到四组,各算批准率。比如「老年女性」可能在两次单维度审计里都被平均掉了。交集组样本少时,要报告样本量,别只报比率。

3. 四个符号:X、A、Y、Ŷ

它解决什么问题

下半份所有数学都建立在四个符号上。课件用大学招生做例子,把它们一次定义清楚。

直觉

符号 名称 招生例子里是什么
X Input for prediction DSE 成绩,模型的输入
A Group Membership 群体归属,A = a 或 A = b
Y True outcome 学生真的成功记 Y = 1,否则 Y = 0
Ŷ Model Prediction Ŷ = f(x),Ŷ = 1 表示预测成功

流程是 X 进入学到的模型 f,输出 Ŷ。A 不进这条流水线,它用来把人分组比较。Y 是事后才知道的真实结果,用来和 Ŷ 对答案。

X(DSE 成绩)经过模型 f 输出 Ŷ;Ŷ 下方是 Y,两者之间青绿标注「比对」;A 在旁边把人分成 a、b 两组

课件的公平问题是:

Do students in groups A = a and A = b receive comparable predictions and opportunities?

全节最关键的区分在这页:Y 是真实发生的事,Ŷ 是模型猜的事。三个公平指标的差别,全在竖线右边放了什么。

一步一步看

目标:换到再入院预测场景认一遍四个符号,看哪一个要等随访结束才知道。

换一个场景练习认符号:医院用模型预测哪些病人出院后会再入院,好安排随访。

  1. 先找 Ŷ:模型输出的「会不会再入院」,Ŷ = 1 表示预测会。

  2. 再找 Y:病人出院后真的有没有再入院,要等一段时间才知道。

  3. 再找 X:模型能看到的输入,比如住院天数、诊断、用药。

  4. 最后找 A:要比较的群体,比如按年龄段或保险类型分组。

    符号 这个场景里是什么 什么时候知道
    X 住院天数、诊断、用药 出院时
    A 年龄段 / 保险类型 出院时
    Ŷ 预测会不会再入院 出院时
    Y 真的有没有再入院 随访期结束后

怎么判断

认符号时先问「Ŷ = 1 代表什么」,再问「Y 什么时候才能观察到」。

Y 观察不到或要等很久时,凡是需要 Y 的指标都算不出来。这一点下一页会反复用到。

常见误解

把 Y 和 Ŷ 当成同一个东西的两种写法

Y 是真的发生了什么,Ŷ 是模型猜的。两者不一致的地方就是错误,公平指标比的正是这些错误在各组怎么分布。

以为 A 一定是模型的输入之一

A 可以不进模型。审计时仍需要知道每个人属于哪组,才能分组比较。进不进模型和审计时有没有,是两件事。

试一下

银行用模型决定是否给申请人开信用卡,事后看他一年内有没有逾期。写出 X、A、Y、Ŷ。

Ŷ:模型给出的批准与否,或「预测会逾期」,先定义清楚 Ŷ = 1 指哪一个。Y:一年内真的有没有逾期,只有被批准的人才能观察到。X:收入、负债、信用记录等输入。A:要比较的群体,比如性别或年龄段。

4. 盲视公平:删掉那一列为什么不够

它解决什么问题

最直觉的公平做法是不让模型看见敏感属性。课件先摆出这个直觉,再用一页反驳它。这一块回答「删列够不够」。

直觉

课件先摆出的直觉是:

If the model cannot see it, it cannot discriminate.

这叫 fairness through unawareness。紧接着一页的反驳是:

Hiding the label does not hide the pattern.

现实中很多特征和敏感属性相关。课件列了四个可能的代理:居住地、就读学校、文书材料、成绩分布。

四个输入框(居住地、就读学校、文书材料、成绩分布)流向模型,敏感属性 A 被划掉;青绿曲线表示群体信息经由这些特征漏进了模型

课件的结论是:

Blindness is not a guarantee of fairness; correlated features can act as proxies.

一步一步看

目标:拿招生模型删掉群体那一列,看居住地、学校这些代理怎样把群体信息带回来。

拿一个招生模型,看群体信息怎么绕过被删的那一列。

  1. 训练前删掉 A 这一列,模型只用剩下的特征。

  2. 剩下的特征里有「居住地」。如果某些区域住的多是某一群体,居住地就带着群体信息。

  3. 「就读学校」同理。学校的生源构成和群体相关时,学校名也在透露群体。

  4. 模型从历史录取数据里学到「某些区域、某些学校录得少」,等于间接学到了群体差别。

  5. 结论:A 不在输入里,差别对待照样可能发生。

    特征 为什么可能是代理 可以怎么查
    居住地 区域人口构成和群体相关 看这个特征和 A 的相关程度
    就读学校 生源构成和群体相关 同上
    成绩分布 历史资源差距留在分数里 按 A 分组比较分布

怎么判断

有人说「模型没用敏感属性,所以是公平的」,问三句:

  1. 剩下的特征里,哪些和 A 相关?
  2. 训练用的历史标签,本身带不带群体差别?
  3. 删了 A 以后,还有没有办法按 A 分组审计?

第三句最容易被忽略。连 A 都不保存,就没法直接测组间差距。

常见误解

以为删掉代理变量就彻底解决了

相关性可能分散在很多特征的组合里,删一两个不一定够。而且删多了,模型可能丢掉真正有用的信息。可执行的做法是保留分组审计,测出来再说。

以为课件说模型一定能还原每个人的敏感属性

课件只说相关特征可能充当代理。能透露多少、关联多强,取决于具体数据,答题别写成「一定能还原」。

试一下

一家公司的招聘模型删掉了性别列,但保留了「大学社团经历」和「简历措辞」两个特征。为什么还要做分组审计?

社团类型和简历措辞都可能和性别相关,充当代理。删列只去掉了直接输入,没去掉相关模式。要按性别分组比较结果,才能知道差别是否还在;这需要审计时保留可靠的性别信息,并且符合许可与隐私要求。

把它们串起来

这一页挂在一篇 2025 年的公平性研究上,页标题是 Code Is Never Neutral。上半份说目标要公平,却没说什么叫公平;下半份回答这件事。

四块的顺序是一条链。条件概率给了「先分组再数」的工具。群体公平说明要分哪些组,交叉性提醒组要分得够细。四个符号把招生场景写成数学:X 进模型,Ŷ 出来,A 用来分组,Y 用来对答案。

盲视公平是第一个被否定的捷径。删掉 A 不能消除群体差别,反而可能让你失去审计手段。所以接下来的做法正好相反:保留 A 用于分组,把 Y 和 Ŷ 放进条件概率里比较。

三个指标的差别只在竖线右边。只放 A 是 Statistical Parity(SP)。再放 Y=1 是 Equal Opportunity(EO),再放 Y=0 是 Predictive Equality(PE)。下一页逐个算。

课件里的坑

  • [读图提醒] p.17–19 的招生例子用 DSE 成绩做 X;后面 p.26 的权衡图改用 GPA 和 SAT。两套分数不要混用
  • [补充] 交叉性的实证例子和条件概率都不在课件里,本页按出处补上
  • [字母撞车] 条件概率教材里常用 A、B 表示任意事件,本讲的 A 专指群体归属,看外部资料时别混

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写四个符号各指什么;再写出 P(Ŷ=1 | A=a) 的分子分母;然后做课件例题和变式题;最后回查最容易错的一处:Y 和 Ŷ 别混。

下面用于练习,不是官方题型或评分预测。

必背

  1. 条件概率 P(Ŷ=1 | A=a) 读作「在 a 组里被判为正的比例」,竖线右边的条件决定分母是谁
  2. 群体公平要求避免基于受保护群体身份的差别对待、差别访问或差别结果;群体不总是单一维度,要按交集拆开看
  3. 四个符号:X 是输入(招生例子里是 DSE 成绩),A 是群体归属,Y 是真实结果,Ŷ = f(x) 是模型预测
  4. Y 是真实发生的事,Ŷ 是模型猜的事;三个公平指标的差别全在竖线右边放不放 Y、放 Y=1 还是 Y=0
  5. 仅删敏感属性不能保证公平;居住地、就读学校、文书材料、成绩分布等相关特征可能充当代理变量

课件例题

例 1(课件 p.17):大学招生例子里的四个符号

题面:大学用模型预测申请人入学后能否成功。输入是 DSE 成绩,学生分属 A = a 或 A = b 两组,学生真的成功记 Y = 1,否则 Y = 0,模型输出 Ŷ = f(x),Ŷ = 1 表示预测成功。课件的公平问题是:a、b 两组学生能否得到可比的预测和机会?写出 X、A、Y、Ŷ 各指什么,并说明这个问题比的是哪个量。

提示

先分清哪个符号是模型算出来的、哪个是事后发生的。再想「可比的预测」可以在哪几群人里比。

解答

X 是 DSE 成绩,即模型的输入;A 是群体归属;Y 是真实发生的结果;Ŷ 是模型给出的预测。课件特意强调 Y 和 Ŷ 的区别:Y 是真的发生了什么,Ŷ 是模型猜的。

公平问题比的是两组的 Ŷ 在不同条件下是否可比。只看 Ŷ=1 的比例就是 SP;在 Y=1 的人里比就是 EO;在 Y=0 的人里比就是 PE。

例 2(课件 p.18–19):把敏感属性挡在模型外面

题面:课件先给出一个直觉:训练时去掉 A,模型只用 DSE 成绩预测,「If the model cannot see it, it cannot discriminate.」随后一页给出反驳。这个直觉错在哪?反驳页的结论是什么?

提示

想一想:除了 A 本身,还有哪些特征和群体归属有关?反驳页列了四个。

解答

现实中很多特征与敏感属性相关。即使去掉族裔或性别,模型仍可能从居住地、就读学校、文书材料、成绩分布里学到相关模式。反驳页的一句话是 Hiding the label does not hide the pattern。

结论:盲视不能保证公平,相关特征可能充当代理变量。答题时别写成「模型一定能还原每个人的敏感属性」,课件只说可能推断出来。

完整例题

自编数据,非课件原题。 某奖学金初筛模型,申请人 50 人。A 是就读学校类型(a 公立 / b 私立),Ŷ=1 表示通过初筛。模型训练时没有使用学校类型,但用了「居住地区」。

人数 通过初筛
a 组(公立) 30 6
b 组(私立) 20 10

题目:写出两组的条件概率,判断「没用学校类型,所以公平」这个说法站不站得住,并说出下一步该查什么。

① 写条件。a 组:P(Ŷ=1 | A=a) = 6/30 = 0.2。b 组:P(Ŷ=1 | A=b) = 10/20 = 0.5。整体:16/50 = 0.32。

② 读差距。b 组的通过比例是 a 组的 2.5 倍。整体 0.32 把这个差距盖住了。

③ 评价说法。没用学校类型只说明 A 不在输入里。居住地区可能和学校类型相关,充当代理。所以这个说法站不住。

④ 下一步。查居住地区和学校类型的相关程度;查历史标签里两组的通过记录是否本来就有差距;保留学校类型用于分组审计。真实标签 Y 有了以后,再算下一页的三个指标。

答题格式:先写两个条件概率和分母,再说差距,最后说「删列不能证明公平」并给出下一步审计动作。

变式题(先自己做)

自编情境:某城市用模型决定哪些小商户优先获得免息贷款。模型没有使用店主的族裔,但用了「店铺所在街区」和「店主毕业学校」。审计按族裔分组(甲 / 乙)后得到:甲组 40 家里 16 家获批,乙组 25 家里 4 家获批。又按「乙组 × 女性店主」拆出 10 家,只有 0 家获批。

写出各组的条件概率,说明单维度和交叉维度各发现了什么,评价「没用族裔,所以公平」。

提示

先算甲、乙两组,再单独算交集组。注意交集组只有 10 家,结论要带上样本量。

判分点与答案(非官方评分标准)

判分点:① 三个条件概率分母写对;② 指出交集组的差距比单维度更大;③ 说明街区和学校可能是代理;④ 提到交集组样本小、要谨慎。

计算:P(获批 | 甲) = 16/40 = 0.4;P(获批 | 乙) = 4/25 = 0.16;P(获批 | 乙且女性) = 0/10 = 0。

单维度:乙组获批比例明显低于甲组。

交叉维度:乙组里的女性店主一家都没获批,单按族裔看时被乙组其他人平均掉了。样本只有 10 家,应作为需要追查的信号,不宜直接当成稳定比率。

评价说法:没用族裔不等于没有差别对待。店铺街区和毕业学校都可能和族裔相关,充当代理。应保留分组审计,并检查这两个特征与族裔的相关程度。

闪卡自测

1. P(Ŷ=1 | A=a) 怎么读?分母是谁?

读作「A 等于 a 时 Ŷ 等于 1 的概率」,即 a 组里被判为正的比例。分母是 a 组的人数(补充)。

2. P(Ŷ=1 | A=a) 和 P(A=a | Ŷ=1) 有什么区别?

前者在 a 组里数被判为正的比例;后者在被判为正的人里数 a 组占多少。竖线右边不同,分母就不同(补充)。

3. 群体公平的核心问题和核心要求是什么?

核心问题:不同群体的人是否受到同等考量。要求避免基于受保护群体身份的差别对待、差别访问或差别结果(p.16)。

4. 交叉性为什么会被单维度审计漏掉?

交集群体人少,单维度的比率把它和其他人混在一起求平均,差距被稀释了。课件的提醒是 Groups are not always single axis(p.16)。

5. 四个符号各代表什么?

X 是输入(DSE 成绩),A 是群体归属,Y 是真实结果,Ŷ = f(x) 是模型预测(p.17)。

6. 三个公平指标的差别在式子的哪里?

在竖线右边:只放 A 是 Statistical Parity,放 A 和 Y=1 是 Equal Opportunity,放 A 和 Y=0 是 Predictive Equality(p.17)。

7. 盲视公平的直觉和反驳各是哪句话?

直觉:If the model cannot see it, it cannot discriminate.(p.18)反驳:Hiding the label does not hide the pattern.(p.19)

8. 课件列了哪四个可能的代理变量?

居住地、就读学校、文书材料、成绩分布。它们是否真的充当代理,取决于具体数据(p.19)。

下一讲

符号和分组准备好了,下一页把三个公平指标逐个算出来,先补混淆矩阵,再讲 Statistical Parity、Equal Opportunity、Predictive Equality:L04b-2。

下一讲 →
L04b-2 L04b-2 三个公平指标怎么算:混淆矩阵、Statistical Parity、Equal Opportunity、Predictive Equality

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。