L03d-2 让判断可见:可审计性要内建,上线前问三个 P
接着责任链往下讲:让判断可见的 JUSTIFY、DOCUMENT、TEST、QUESTION,可审计性为什么必须内建,以及上线前的 PEOPLE、POWER、PROOF 和「没有模型是中立的」。
一句话版
模型背后的选择要留下痕迹,别人才能理解、检查和质疑;这件事必须在开发时就做,事后补不出来。上线前还要问清谁受影响、谁说了算、什么证据才够,三组里最容易漏的是谁说了算。
上一页 L03d-1 讲了伤害怎样沿链条传到一个人身上、偏差怎样藏在平均分里,这一页讲怎样让这些判断看得见、问得动。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| recourse | 申诉、补救渠道 | 模型判错了,被判的人有没有办法翻案 |
| 代理指标 | proxy | 真正想要的东西测不到,拿一个测得到的数字顶替 |
| 按群体拆开评估 | disaggregated evaluation | 不只报一个总分,分群体各报一遍 |
| 可审计性 | auditability | 决定留下了别人能理解、能检查、能质疑的痕迹 |
一个类比:一张错发的停车罚单
交警系统按车牌识别自动开罚单,准确率很高,可某种字体的车牌经常被认错。被认错的车主要请假去申诉,有的人干脆交了钱。写算法的人只调了识别阈值。
能不能申诉、申诉要花多少力气,决定了一次识别错误最后变成多大的伤害。阈值是写算法的人定的,申诉渠道却不在他的代码里。系统要是没留下每张罚单怎么判出来的记录,车主连该质疑哪一步都不知道。
类比在哪里失效:
- 罚单错了能退钱,错过的工作和贷款补不回来。
- 交警系统至少有一个现成的申诉窗口。很多模型上线时连这个窗口都没有,被拒的人不知道原因,也不知道该找谁。
从零讲起
1. 让判断可见,可审计性要内建
它解决什么问题
L03d-1 的三个概念都需要一个前提:模型背后的选择看得见。没人知道当初的选择,就没人能质疑和追溯。课件给了两套四步。
直觉
第一套说 integrity 是一种工作流,让模型背后的选择足够早地变得可见:
| 步 | 动作 | 内容 |
|---|---|---|
| JUSTIFY | 说出目的 | 这个模型为了什么、服务谁的利益、接受了哪些取舍 |
| DOCUMENT | 留下痕迹 | 记录数据选择、假设、局限,以及结果应在什么条件下使用 |
| TEST | 别只看平均准确率 | 部署之前检查不均等的表现、失败模式和非预期效应 |
| QUESTION | 邀请质疑 | 给受影响的人和独立评审者留空间,问模型漏掉了什么 |
第二套的标题是 Auditability is respect in practice,可审计性就是实践中的尊重。四层是 TRACE(留记录)→ DOCUMENT(让选择可见)→ REVIEW(部署前检验)→ CHALLENGE(允许独立审视),层层递进。
Key idea:可审计性必须内建进开发过程,不能等出了问题再补。没记录的东西,事后补不出来,这也回答了为什么伦理不能是附加项。
L03b 的数据护照就是 TRACE 和 DOCUMENT 落在一份数据集上的样子:来源、边界、变换、局限四项,都要在用数据的同时写下来。
两套四步的第一步不同。JUSTIFY 说清为什么做,是意图;TRACE 记下发生了什么,是事实。两者都要有。
一步一步看
目标:用 JUSTIFY、DOCUMENT、TEST、QUESTION 四步检查司机违规预测模型,看每一步该留下什么别人能查、能质疑的痕迹。
案例:一家物流公司要上线一个模型,预测哪些司机「可能违规」,据此安排抽查。用第一套四步逐步过。
- JUSTIFY:说出目的和取舍。
- DOCUMENT:记下数据和局限。
- TEST:上线前按群体检查。
- QUESTION:把外人放进来。
| 步 | 动作 | 这个案例 |
|---|---|---|
| 1 | JUSTIFY | 目的是减少事故;取舍是被频繁抽查的司机会多花时间,要写明 |
| 2 | DOCUMENT | 记下用了哪些历史违规记录、这些记录本身是否来自不均匀的抽查 |
| 3 | TEST | 按路线、车型、司机年资分开看误报率,找出谁被过度标记 |
| 4 | QUESTION | 请司机代表和独立评审看一遍,问模型漏掉了什么 |
怎么判断
问「这个项目做到 integrity 了吗」,按四步逐项找证据,缺哪一步就补哪一步。
如果只能先做一步,做 TRACE。它是唯一必须在事情发生的同时完成的动作,其余三步事后还来得及。
常见误解
以为伦理审查可以放到项目最后再做一遍
可审计性只能事前建。到最后才审,没记录的选择已经找不回来,审查只能看到表面。
以为团队内部自己测过,就算做完了 QUESTION
QUESTION 是四步里唯一把外人放进来的一步,点名了受影响的人和独立评审者:前者知道后果,后者知道盲点。
试一下
L03c 的三次 PAUSE 是另一套按时间点排的检查,下面这道题把两套对一下:
把 L03c 的三次 PAUSE 和这里的四步对一下:「发结果之前」那次 PAUSE 主要对着哪几步?
主要对着 DOCUMENT 和 QUESTION:发结果之前问别人能否诚实理解,需要方法和局限有记录,也需要别人能审查。TEST 也有关,因为局限里要包括按群体的检验结果。
2. 上线前三个 P,没有模型是中立的
它解决什么问题
到了上线前的最后一刻,需要一组能直接拿来问的问题。课件给了三组,再用全讲最重的一句话收尾:部署之后,没有任何模型是中立的。
直觉
| 组 | 主问题 | 子问题 |
|---|---|---|
| PEOPLE | 谁可能受影响? | 谁可能被帮助、排除、延迟或加重负担?哪些群体可能经历不同的误差? |
| POWER | 谁有权决定? | 谁定义了目标和取舍?谁能质疑这个系统或寻求不同的决定? |
| PROOF | 什么证据才算够? | 什么能证明系统在相关群体上都安全有效?假设、检验和局限能被别人检查吗? |
重点是 POWER,整份课件唯一直接问权力的地方:谁定义成功是上游的权力,谁能申诉是下游的权力,也就是 recourse。
上游和下游正好落在责任链的两头:02 定目标那一格是谁定的,第五格承受结果的人能不能翻案。
底部的 Integrity Question 是:如果你必须向受影响的人解释这个模型的后果,你需要知道些什么?它把抽象的「合不合伦理」换成一份具体的信息清单。
收尾页说,模型塑造了人如何被看见、被排序、被支持、被延迟、被纳入或被排除,它分配的是关注、机会、风险和资源。数据科学家的职责有三条:让判断可见,检验它的效果,对承受结果的人保持可问责。
一步一步看
目标:用 PEOPLE、POWER、PROOF 三组问题逐组检查一个福利申请排序模型,看谁受影响、谁说了算、证据够不够,哪一组缺口最大。
案例:一个城市要上线模型,给社会福利申请排优先级。用三个 P 逐组问。
- PEOPLE:谁受影响,谁的误差不一样。
- POWER:谁定目标,谁能质疑。
- PROOF:什么证据才够。
- 合起来下结论。
| 步 | 组 | 这个案例 |
|---|---|---|
| 1 | PEOPLE | 所有申请人;不熟悉线上表格、记录不全的人可能被排到后面 |
| 2 | POWER | 目标由福利部门和供应商定,申请人没有参与;被排后的人能否申请人工复核,需核实 |
| 3 | PROOF | 要有按群体拆开的检验结果,且假设和局限能被外部检查 |
| 4 | 结论 | POWER 一组缺口最大:先建立申诉和人工复核,再谈上线 |
怎么判断
拿到一个上线前的场景,三组都要问,尤其别漏 POWER。场景里只要涉及「决定是谁做的」「被拒的人能不能翻案」,就是在考这一组。
要论证「没有模型是中立的」,按这条线走:模型分配稀缺的东西,分配依据是人定的目标和阈值,目标只是代理,代理的偏差在不同群体上不均等,所以结果必然对某些人更有利。
常见误解
以为伦理清单问清 PEOPLE 和 PROOF 就够了
多数清单正是漏掉了 POWER。谁定义成功、谁能申诉,决定了错误发生后有没有人能纠正它。
以为「没有模型是中立的」只是一句口号
它可以一步步论证出来,论证用的正是 L03d-1 的责任链、安静的决定、代理目标这几块内容。
试一下
一款贷款 app 说:「我们的模型不看种族和性别,所以是中立的。」用这一页的思路反驳。
模型分配的是贷款机会,目标和阈值由公司定;住址、消费记录等字段可能代理了被删掉的信息。还要问 POWER:被拒的人能不能知道原因、申请复核。
把它们串起来
这一页接着 L03d-1 的结论往下走:链条尽头是一个人,所以每一格的选择都要能被追问。
判断要留下痕迹,可审计性要事前内建;上线前问三个 P,别漏 POWER。部署之后没有模型是中立的,所以数据科学家要让判断可见、检验效果、对承受结果的人负责。
课件里的坑
- [漏讲] p.2 的 Agenda 有五项,这份课件只讲到第 3 项;第 4 项 A Framework for Managing Ethics 和第 5 项 Code Is Never Neutral 只在 p.11 有预告卡片,正文留给续讲
- [容易混] p.32 和 p.33 的四步几乎对应,第一步不同:JUSTIFY 是意图,TRACE 是事实
- [参考书] p.35 页脚的 Boardman (2022) 不在课程 Reading List 上
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,默写两套四步和三个 P。然后做「变式题」,三套清单各用一遍。最后回查两个最容易错的地方:把 JUSTIFY 和 TRACE 当成一回事、三个 P 漏掉 POWER。
必背
- 让判断可见的工作流是 JUSTIFY → DOCUMENT → TEST → QUESTION;可审计性必须内建进开发过程,四层是 TRACE → DOCUMENT → REVIEW → CHALLENGE
- 上线前三问 PEOPLE、POWER、PROOF:谁受影响、谁定义目标和谁能质疑、什么证据才够;POWER 这一组最容易被漏掉
- 两套四步的第一步不同:JUSTIFY 说清为什么做,是意图;TRACE 记下发生了什么,是事实
- QUESTION 是四步里唯一把外人放进来的一步:受影响的人知道后果,独立评审者知道盲点
- 部署之后没有模型是中立的:模型分配关注、机会、风险和资源,数据科学家要让判断可见、检验效果、对承受结果的人保持可问责
课件例题
本讲课件没有例题落在这一页的两个概念上。课件唯一的例题(p.29,189 个人脸识别算法的研究)在 L03d-1。
完整例题
题面(自编情境,对应课件笔记综合题,不是课件原题):某医院上线一套分诊系统,用历史就诊记录预测「病情严重度分数」,分数高的病人优先安排医生。开发时把「过去一年的就诊次数」当作病情严重的重要信号,上线前只报告了一个总体准确率。请分别用三次 PAUSE、四步工作流和三个 P 各分析一遍,区分已知事实和待核实风险,并提出改进。
约定:题面没给准确率数值,不编造;题面没说的事实写成「需核实」。三套清单没有固定的先后,下面的顺序只是一种写法。
解法:
- 三次 PAUSE:碰数据之前,就诊记录原本为诊疗采集,用来排优先级需核实许可,并问就诊次数能否代表病情。发结果之前,要说明分数的局限:看病少的人可能病得重却分数低。决策之后,要跟踪分诊结果,能否纠正、能否停用。
- 四步工作流:JUSTIFY,写明目的和取舍(低分病人等得更久)。DOCUMENT,记下就诊次数是代理,受交通、费用、语言影响。TEST,按年龄、收入、居住地拆开看误差。QUESTION,请医生、病人代表和独立评审参与。
- 三个 P:PEOPLE,就医不便的群体可能被系统性排后。POWER,目标由医院和开发方定;病人能否要求人工复核需核实。PROOF,要有按群体的检验结果,假设和局限要能被外部检查。
- 结论:已知事实是用了就诊次数做代理、只报了总体准确率;待核实的是许可范围、各群体误差、是否有人工复核。按现状不宜直接上线:先做分群体评估,分数只作为医生的参考,建立申诉和人工复核。
要点:突破口是就诊次数这个代理,它和病情之间的缝隙在不同群体上不均等,平均分把它藏住了。
答题格式:三套清单各成一段,最后一段区分已知和待核实,给出改进。
变式题(先自己做)
自编情境:一家公司把门禁刷卡记录(当初为安保采集)拿来训练模型,预测员工的「离职风险」。HR 用这个分数决定晋升名单,员工并不知道有这个模型。
(1) 用三次 PAUSE 指出最先该停在哪里。(2) 五格责任链里,哪一格的选择最可疑?(3) 三个 P 里哪一组缺口最大?(4) 区分题面给出的事实和需要核实的事项。
提示
(1) 刷卡记录的原始目的是什么?(2) 想一想「离职风险」这个目标被什么代理了,刷卡时间能代表想不想留下吗?(3) 员工不知情,意味着什么人没有权力?
判分点与答案(非官方评分标准)
判分点:① 指出安保数据用于人事决定是新用途;② 点出刷卡记录作为离职意向的代理站不住;③ 落到 POWER 和 recourse;④ 事实与待核实分开写。
(1) 第一次 PAUSE,碰数据之前。安保数据拿去做人事决定是新用途,要核实许可是否覆盖,并问手段和目的是否相称。这一步站不住,后面都不该开始。
(2) 02 定目标。用刷卡时间代理「想离职」,弹性办公、照顾家人的人都可能被误判,再拿它定晋升。
(3) POWER。目标由 HR 定,员工不知情,无法质疑,没有 recourse。
(4) 题面事实:数据为安保采集、用于预测离职、分数用于晋升、员工不知情。需核实:原许可范围、模型的分群体误差、有没有人工复核和申诉渠道。
闪卡自测
1. 可审计性的四层是什么?为什么要内建?
TRACE → DOCUMENT → REVIEW → CHALLENGE。没记录的东西事后补不出来,所以必须内建进开发过程(p.33)。
2. 三个 P 是什么?最容易漏哪一组?
PEOPLE、POWER、PROOF。最容易漏 POWER:谁定义目标、谁能质疑(p.34)。
3. 让判断可见的四步和可审计性的四层,第一步有什么不同?
JUSTIFY 说清为什么做,是意图;TRACE 记下发生了什么,是事实。两者都要有(p.32、p.33)。
4. 「没有模型是中立的」怎样论证?
模型分配稀缺的东西,分配依据是人定的目标和阈值,目标只是代理,代理的偏差在不同群体上不均等,所以结果必然对某些人更有利。
下一讲
下一讲 L04a-1 讲三阶段框架:伦理怎样落在数据处理的三次交接上,第一道门在清洗之前。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。