L02a-1 算法没有中立选项:三处选择、审查三问与反馈回路
从数据化讲起:行为怎样变成分数、分数怎样分配机会;算法作者必须做的三个选择,审查者对应的三问;以及偏见为什么会被反馈回路越滚越大,删掉敏感字段为什么拦不住。
一句话版
算法一定会带上写它的人的价值判断。定义成功、挑选数据、决定输出,这三处都得有人拍板,没有哪一种选法是中立的。
这一页从零讲三件事:生活怎样变成数据、数据怎样决定机会;算法的价值判断藏在哪三处,审查时该问哪三句;偏见为什么会越滚越大。下一页再把这些直觉收成判断一个模型是否危险的三条判据。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 数据化 | datafication | 把生活里的行为变成数据点,再拿数据做决定 |
| 算法 | algorithm | 按规则把输入变成判断的程序,比如信用评分 |
| 评分系统 | scoring system | 给人打一个分,再按分数分配机会 |
| 代理变量 | proxy variable | 看似无关、却能间接暴露敏感信息的字段 |
| 反馈回路 | feedback loop | 模型的输出被收回来,当成下一轮的训练数据 |
| 黑箱 | black box | 外人看不到里面怎么算的系统 |
| 自我实现的预言 | self-fulfilling prophecy | 预测本身改变了现实,于是预测「应验」了 |
一个类比:家里谁定菜单
家长每天做饭,孩子吃什么由家长定。家长按「有营养」定菜单,桌上就是西兰花、胡萝卜和蛋白质;孩子心里的好饭是一整罐榛子酱。两个人对「吃得好」的定义完全不同,可菜单只有一个人能写。
把角色换一下:家长是写算法的人,孩子是被算法分配机会的公众,菜单是算法本身。家长定「有营养」还是「吃得开心」,对应算法的成功定义。家里买什么菜、拒绝什么零食,对应训练数据的取舍。端上桌的那盘,对应模型的输出。三处都要做选择,三处都没有中立的选法。
这个类比有意避开了「谁对谁错」。营养确实重要,家长的目标没有错。它要说的是权力是单边的:目标由谁定,被评判的人有没有发言权。课件那句话是 the child never got a vote,孩子从来没投过票。
类比在哪里失效:
- 孩子会长大、会自己下厨,还会当场抗议;被评分的人往往不知道自己被评了分,也没有第二个厨房可去。
- 孩子挑食只是挑食;算法会把「被拒绝」记成「果然不合格」,下一轮拿它当证据,偏见就被当成事实固化下来。
从零讲起
1. 数据化:行为怎样变成机会
它解决什么问题
一提到「数据」,很多人第一反应是隐私:谁看到了我的东西。这一讲要你换一个角度看:数据被拿去做决定,决定的是你能不能拿到工作、贷款和自由。数据化这个概念,就是把这条链从头到尾摆出来。
直觉
走路上学本来是一个动作。手机记下 GPS、速度和心率之后,这个动作变成数据库里的一组数字。到这里还谈不上坏事,健康监测本身有用。
事情在下一步变了性质:有人拿这组数字给你算一个分,再按分数决定给不给你某样东西。所以要盯的是「用数据做决定」这一步,收集本身只是前提。
一步一步看
目标:把智能手表、社交媒体、网购三例套进同一条链,看日常行为在哪一步变成机会分配。
拿课件的智能手表例子,一步一步套这条链。
-
先找日常行为:你只是戴着一块表,它记下心率和步数。
-
再找它被转换成什么:这些数字被算成一个健康风险分(health risk score)。
-
再找谁在用这个分:保险公司。
-
最后问一句:这个分会不会改变你能拿到的东西?会,它可能影响你的保费,甚至能不能投保。到这一步,数据就进入了机会分配。
步骤 智能手表 社交媒体 网上购物 日常行为 戴着表 点赞、滑动 浏览、停留 被转换成 健康风险分 人格画像 未来需求与价格点 谁在用 保险公司 定向广告 商家定价 分配了什么 保费、能否投保 你看到什么广告 你被报什么价
第三列的「价格点」指差别定价:同一件商品对不同的人报不同的价。三个例子里只有这一个是数据直接变成你付的钱。
怎么判断
拿到一个用数据的系统,按顺序问三句:
- 它把什么行为变成了数据?
- 数据被算成了什么分数或画像?
- 这个分数被谁拿去决定了什么?
第三句答得出具体的机会(工作、贷款、保费、刑期、价格),它就是这一讲要分析的评分系统。答不出,那多半只是数据收集,危害要另找。
常见误解
以为数据化的危害主要是隐私被看见
课件把危害落在机会分配上:被评分决定了你能不能拿到工作、贷款和自由。隐私是其中一面,机会才是落点。答题时只写「侵犯隐私」,方向就偏了。
以为被评分的人至少知道自己被评了分
评分算法通常不对被评估者开放,很多人根本不知道自己正在被评分。所以课件主张透明是数据时代的一项基本权利。这是一个规范主张,不是现行法律,见「课件里的坑」。
试一下
一家外卖平台记下你每天几点下单、点什么、多久给差评一次,算出一个「用户价值分」,分高的用户优先派单。按「怎么判断」的三句走一遍。
行为:下单时间、点餐内容、差评频率。被算成:用户价值分。被谁用来决定什么:平台用它决定谁的单先派。第三句答得出具体机会(配送速度),所以它是评分系统。还可以追问:差评多的用户被排到后面,这个规则用户自己知道吗?
2. 三个刻意选择与审查三问
它解决什么问题
上一个概念说数据被拿去做决定。可算法是「按规则算」的,它的偏向从哪来?这个概念告诉你价值判断具体藏在三处,并给你三句审查时直接能用的问题。
直觉
课件对算法的工作定义是:用一个成功的定义去构建、对未来做预测的东西。只要你得先说清「什么算成功」,你的价值就已经写进去了。课件原话是 The moment you define ‘success,’ you embed your values into the system. There is no neutral choice.
三处选择分别是:
- DEFINITION OF SUCCESS:用什么指标代表「好」
- CURATED DATA:喂什么历史进去,忽略什么
- PREDICTIONS & OUTPUTS:输出什么预测、学谁的历史
同一套东西从审查者那边看,就是三个问题:纳入了什么数据、优化什么结果、学了谁的历史。课件两次列出它们时顺序不同,配对时按含义对。
审查三问是这一讲最该背下来的清单:
- Who built this algorithm? 谁建的?他们自己会不会受这个算法的决定影响?
- What is their definition of success? 他们怎么定义成功?这个定义和受影响者的福祉一致吗?
- Who is missing from the room? 受影响最深的人,有没有参与定义什么叫成功?
一步一步看
目标:拿再犯预测算法过一遍审查三问,看三处选择怎样都由建造者替被告做了。
拿课件里的再犯预测算法,一步一步套审查三问。它给被告算一个「会不会再犯」的分数,供法官参考。
-
第一问,谁建的:开发公司和采购它的司法机构。被打分的是被告,建造者和承受者不是同一批人。
问题 再犯预测算法的答案 读出了什么 谁建的 开发方、采购方 建的人不被它评 -
第二问,怎么定义成功:它优化的是「再次被捕」的预测准确率。课件原话是 optimizes for re-arrest prediction, not justice,被捕率本身受警力部署影响,它测的不等于犯罪倾向。
问题 再犯预测算法的答案 读出了什么 怎么定义成功 预测再次被捕 指标和「公正」对不上 -
第三问,谁不在场:被告自己,以及历史上被过度执法的社区,都没有参与定义什么叫「准」。
问题 再犯预测算法的答案 读出了什么 谁不在场 被告、被过度执法的社区 受影响最深的人没投票 -
三问过完,再回到三处选择对账。数据是过去的逮捕记录(CURATED DATA)。成功是再次被捕(DEFINITION OF SUCCESS)。输出是一个风险分(PREDICTIONS & OUTPUTS)。三处都是建造者替被告做的选择。
怎么判断
三问里第一问最锋利,它问的是建造者和承受者是不是同一批人。判断顺序可以这样走:
- 第一问答「不是同一批人」,说明权力是单边的,厨房类比的结论直接适用。
- 第二问把成功定义翻成一句人话,看它和受影响者真正想要的东西差多远。
- 第三问点出一个具体的缺席群体。答「公众」太空,要写到「被拒的申请人」「被打分的教师」这一层。
三句都能落到具体的人和具体的指标,分析的骨架就有了。
常见误解
以为存在「中立的算法」,只要不故意作恶就行
三处选择必须做出,不做也是一种做法。课件的说法是:危险不在于算法会犯错,而在于我们把它们当成不会犯错的东西来信任。模型犯错可以预期,把它当成不会犯错的权威才是问题。
以为论证的重点是「公司想赚钱是错的」
厨房类比没说家长的目标错了。要论证的是受影响的人不在决策桌上:目标由谁定,被评判的人有没有发言权。答题时去批「动机坏」,就落了下乘。
试一下
一所中学用算法给学生排「升学潜力」,分数由学校的教务团队设计,用的是过去几届学生的考试成绩,输出一份推荐名单给班主任。用审查三问各写一句。
谁建的:教务团队,他们自己不被这个分数评。怎么定义成功:「潜力」被定义成像过去考得好的学生,这和学生真正需要的「被看到长处」不一定一致。谁不在场:学生和家长,尤其是过去几届里很少考得好的那类学生,他们没有参与定义什么叫「潜力」。
3. 反馈回路与代理变量
它解决什么问题
一个带偏的模型,偏一次也就算了。麻烦在于它会越跑越偏,而且没人继续作恶也会这样。反馈回路解释偏见为什么会被放大;代理变量解释为什么「删掉敏感字段」拦不住它。
从哪来(补充)
这一讲唯一有真实新闻出处的案例来自路透社,2018 年 10 月 10 日发出,记者 Jeffrey Dastin。标题是 Amazon scraps secret AI recruiting tool that showed bias against women。据转载全文,这个工具用公司过去 10 年收到的简历训练,其中多数来自男性;它会给出现 “women’s” 一词的简历降分,比如 “women’s chess club captain”。出处:CNBC 转载的路透社报道。
直觉
回路有四个节点,首尾相接:作者定义什么算成功 → 算法从历史里学 → 产出带偏的结果 → 偏见被当成事实,然后回到第一步。
它停不下来的原因在最后那条边:模型的输出被当作真实数据收回来,它的错误在下一轮就成了「证据」。回路只会自我加强,不会自我纠正,出口只能来自系统外面,也就是外部审计。
代理变量是另一半。你把性别字段删了,可学校名称、社团名称、措辞习惯都和性别一起变化,模型照样能从它们把性别读出来。
一步一步看
目标:沿招聘回路的四个节点走一圈,看偏见怎样被锁成「事实」,删掉性别字段为何也停不下来。
拿课件的招聘回路,沿四个节点走一圈。
-
作者定义成功:「好员工」被定义成在公司留得久的人。
-
算法从历史里学:公司历史数据里,女性较早离职,于是模型学到「女性留不下来」。
-
产出带偏的结果:筛选时过滤掉女性。
-
偏见被当成事实:女性从未被录用,下一轮数据里还是没有留得久的女性,数据「证实」了女性留不下来。偏见被锁定成客观事实。
圈数 训练数据里的女性员工 模型的判断 结果 第一轮 少,且离职早 女性风险高 女性被过滤 第二轮 更少(没人被录用) 更确信 继续过滤 -
有人提议「把性别字段删掉」。模型转去读女子学院名称、社团名称这些代理变量,第三步的结果不变,回路照转。
怎么判断
判断一个系统会不会陷入回路,问两句:
- 模型的输出会不会回到下一轮的训练数据里?会,就有回路的条件。
- 被删掉的敏感字段,还有哪些字段和它一起变化?列得出来,删字段就没用。
要拆回路,得动成功定义那一层,再让系统外的人检查输出在不同群体之间的差异。
常见误解
以为把性别、种族这些字段删掉就能消除歧视
模型会从代理变量把它学回来:女子学院的名字、某些运动社团、特定措辞。删字段只动了数据这一层的表面,「我们没用性别数据所以没有偏见」这种辩解站不住。
以为回路要靠有人不断作恶才能转起来
开头定一次成功,之后系统自己就会把输出回收成证据,不需要有人继续推。这也是为什么出口在系统外面。
试一下
一家银行的贷款模型拒绝了某个邮编区的大部分申请。被拒的人拿不到贷款,也就没有还款记录;下一年模型重新训练时,这个邮编区「良好还款记录」依然很少。这是回路吗?邮编在这里扮演什么角色?
是回路:被拒 → 没有还款记录 → 下一轮数据里这个区的好记录更少 → 继续被拒,输出回到了输入。邮编是代理变量,它可能和收入、族裔一起变化,模型即使不用这些字段,也能经由邮编把它们学回来。
把它们串起来
主线从数据化开始:关于你的数据决定你的机会。评分不对被评估者开放,很多人不知道自己被评了分,所以课件主张透明是数据时代的一项基本权利。
然后是三步论证。三个刻意选择说明价值一定会被写进去。审查三问把同一套选择翻成审查者的视角,第一问追的是建造者和承受者是不是同一批人。反馈回路说明偏差会被放大,删掉敏感字段也拦不住。
金句要记原文:The danger is not that algorithms make mistakes — it is that we trust them as if they don’t。模型犯错可以预期,把它当成不会犯错的权威才是问题。
课件里的坑
- [口径差异] p.13 把「被算法评分的知情权」表述为 Constitutional Right,这是规范性主张,不是对现行法律的陈述,写作业时不要当法条引
- [补充] p.8 的三个选择和 p.16 的三个问题是同一套东西,但排列顺序不同:CURATED DATA 对「纳入什么数据」,DEFINITION OF SUCCESS 对「优化什么结果」,PREDICTIONS & OUTPUTS 对「学谁的历史」。配对时按含义对,别按序号对
- [补充] 亚马逊工具「没有把性别当特征、靠代理变量学回来」这一细节来自案例报道的背景,p.14 幻灯片上只有报道标题和导语,引用时说清出处
- [补充] 本页「一步一步看」里再犯预测的三问答案,是拿 p.16 那一行「optimizes for re-arrest prediction, not justice」展开的演示,课件没有逐问写出
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写三条:三个刻意选择、审查三问、反馈回路的四个节点。再把下面的「变式题」做一遍。最后回查两个最容易错的地方:以为删掉敏感字段就消除歧视、把 p.13 的「宪法权利」当成现行法律。
两份评估都是场景式伦理分析,没有期末考试。Online Quiz 偏向有唯一答案的点:三个刻意选择的英文名、三问的原文。Written Assignment 更可能给一个陌生行业的算法系统,那时要练的是先用三问拆开,再找回路。
必背
- 数据化把生活变成数据点,关于你的数据决定了你能拿到哪些机会
- 算法必然编码作者的价值,三个刻意选择是 DEFINITION OF SUCCESS、CURATED DATA、PREDICTIONS & OUTPUTS,每一个都没有中立选项
- 审查一个系统的三问:谁建的(他们自己受影响吗)、他们怎么定义成功、谁不在场
- 危险不在于算法会犯错,而在于我们把它们当成不会犯错的东西来信任
- 反馈回路把模型的输出当作新的真相回收,只会自我加强,打破它要靠外部审计
- 删掉敏感字段不能消除歧视,模型会从代理变量把它学回来
课件例题
例 1(课件 p.14):亚马逊招聘工具为什么会歧视女性
见下方完整例题。
完整例题
课件 p.14 原题:课件的粉框写着一条回路:招聘算法用「历史上女性较早离职」的公司数据训练,于是过滤掉女性,女性从未被录用,数据「证实」了女性留不下来,偏见被锁定为客观事实。下面是路透社 2018 年 10 月 10 日的报道:Amazon scraps secret AI recruiting tool that showed bias against women。用三个刻意选择和审查三问拆开它,说明偏见是怎么被锁定的,以及删掉性别字段为什么不够。
① 找三个选择。DEFINITION OF SUCCESS:成功被定义成「像过去被录用、留下来的员工」。CURATED DATA:喂进去的是公司历史简历,历史上男性居多。PREDICTIONS & OUTPUTS:输出一个筛选结果,决定谁进入下一轮。三处都是公司替候选人做的选择。
② 过审查三问。谁建的:公司的招聘团队,他们自己不会被这个工具筛。怎么定义成功:和过去的员工画像一致。谁不在场:被筛掉的候选人,尤其是历史上代表性不足的女性,她们没有参与定义什么叫「合格」。
③ 画回路。用「历史上女性较早离职」的数据训练 → 过滤掉女性 → 女性从未被录用 → 数据「证实」了女性留不下来 → 偏见被锁定为客观事实。每一轮的输出都成了下一轮的证据。
④ 结论:删掉性别字段只动了 CURATED DATA 的表面,模型仍能从女子学院名称、社团名称、措辞里学回性别。要拆回路,得改 DEFINITION OF SUCCESS,并让外部审计检查输出在不同群体间的差异。
答题格式:先写三个选择各一句,再写三问各一句,然后画一条带箭头的回路,最后一句结论点出代理变量。
变式题(先自己做)
自编情境:一所大学用过去十年获得奖学金的学生资料训练模型,给今年的申请人打「奖学金潜力分」。开发团队说模型没有用到家庭收入字段,所以是公平的。申请人看不到自己的分数。
(1) 用三个刻意选择和审查三问拆开它。(2) 开发团队那句辩解站得住吗?(3) 它会不会形成反馈回路?
提示
先问「潜力」是谁定义的、用什么代表。再想想哪些看似无关的字段会和家庭收入一起变化。
判分点与答案(非官方评分标准)
判分点:① 三个选择和三问都要落到具体内容;② 指出代理变量;③ 回路要写成立条件。
(1) 成功定义:像过去的获奖者。数据:过去十年的获奖者资料。输出:一个潜力分,决定谁拿钱。谁建的:学校和开发团队,他们自己不被这个分数评。谁不在场:申请人,尤其是过去很少获奖的那类学生。
(2) 站不住。中学名称、课外活动、住址都可能和家庭收入一起变化,模型能从这些代理变量把收入学回来。
(3) 有可能。如果今年的获奖者资料明年又进入训练,模型会更确信过去那类学生「有潜力」,偏好被一轮轮加固。
闪卡自测
1. 默写数据化那句主张。
The data collected about you determines the opportunities available to you。危害的落点在机会分配这一层,比隐私被看见更实(p.6)。
2. p.8 要求作者做的三个刻意选择是什么?
DEFINITION OF SUCCESS、CURATED DATA、PREDICTIONS & OUTPUTS。引言原话:The moment you define ‘success,’ you embed your values into the system. There is no neutral choice.(p.8)
3. 厨房类比里家长、孩子、菜单各对应什么?它想证明的是什么?
家长是算法作者,孩子是受影响的公众,菜单是算法本身。它要证明的是权力单边,家长的目标本身没错:Neither perspective is ‘wrong’ — but only one person built the algorithm(p.9、p.10)。
4. 反馈回路的四个节点按顺序说出来。
Author Defines Success → Algorithm Learns from Past → Biased Outcomes Produced → Bias Reinforced as Truth,然后回到第一步(p.11)。
5. 亚马逊招聘工具的出处、时间和最关键的技术细节是什么?
路透社 2018 年 10 月 10 日,记者 Jeffrey Dastin。最关键的细节是它并未把性别作为输入特征,偏见是通过代理变量学到的(p.14)。
6. 审查三问的英文原文是什么?
Who built this algorithm? What is their definition of success? Who is missing from the room?(p.15)
7. 默写本讲金句。
The danger is not that algorithms make mistakes — it is that we trust them as if they don’t(p.16)。
下一讲
下一页把这一页的直觉收成三条判据,叫 WMD 三支柱,再用 2008 年的 CMO 完整演一遍:L02a-2。去之前先把审查三问背熟,三支柱会接着它用。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。