← DSAI5T09 全部讲次
L03d-2 · 第 4 周

L03d-2 让判断可见:可审计性要内建,上线前问三个 P

接着责任链往下讲:让判断可见的 JUSTIFY、DOCUMENT、TEST、QUESTION,可审计性为什么必须内建,以及上线前的 PEOPLE、POWER、PROOF 和「没有模型是中立的」。

一句话版

模型背后的选择要留下痕迹,别人才能理解、检查和质疑;这件事必须在开发时就做,事后补不出来。上线前还要问清谁受影响、谁说了算、什么证据才够,三组里最容易漏的是谁说了算。

上一页 L03d-1 讲了伤害怎样沿链条传到一个人身上、偏差怎样藏在平均分里,这一页讲怎样让这些判断看得见、问得动。

先认识这几个词

词 全称 / 读法 一句人话
recourse 申诉、补救渠道 模型判错了,被判的人有没有办法翻案
代理指标 proxy 真正想要的东西测不到,拿一个测得到的数字顶替
按群体拆开评估 disaggregated evaluation 不只报一个总分,分群体各报一遍
可审计性 auditability 决定留下了别人能理解、能检查、能质疑的痕迹

一个类比:一张错发的停车罚单

交警系统按车牌识别自动开罚单,准确率很高,可某种字体的车牌经常被认错。被认错的车主要请假去申诉,有的人干脆交了钱。写算法的人只调了识别阈值。

能不能申诉、申诉要花多少力气,决定了一次识别错误最后变成多大的伤害。阈值是写算法的人定的,申诉渠道却不在他的代码里。系统要是没留下每张罚单怎么判出来的记录,车主连该质疑哪一步都不知道。

类比在哪里失效:

  1. 罚单错了能退钱,错过的工作和贷款补不回来。
  2. 交警系统至少有一个现成的申诉窗口。很多模型上线时连这个窗口都没有,被拒的人不知道原因,也不知道该找谁。

从零讲起

1. 让判断可见,可审计性要内建

它解决什么问题

L03d-1 的三个概念都需要一个前提:模型背后的选择看得见。没人知道当初的选择,就没人能质疑和追溯。课件给了两套四步。

直觉

第一套说 integrity 是一种工作流,让模型背后的选择足够早地变得可见:

步 动作 内容
JUSTIFY 说出目的 这个模型为了什么、服务谁的利益、接受了哪些取舍
DOCUMENT 留下痕迹 记录数据选择、假设、局限,以及结果应在什么条件下使用
TEST 别只看平均准确率 部署之前检查不均等的表现、失败模式和非预期效应
QUESTION 邀请质疑 给受影响的人和独立评审者留空间,问模型漏掉了什么

第二套的标题是 Auditability is respect in practice,可审计性就是实践中的尊重。四层是 TRACE(留记录)→ DOCUMENT(让选择可见)→ REVIEW(部署前检验)→ CHALLENGE(允许独立审视),层层递进。

Key idea:可审计性必须内建进开发过程,不能等出了问题再补。没记录的东西,事后补不出来,这也回答了为什么伦理不能是附加项。

L03b 的数据护照就是 TRACE 和 DOCUMENT 落在一份数据集上的样子:来源、边界、变换、局限四项,都要在用数据的同时写下来。

数据护照的四项记录:01 Origin 来源、02 Boundary 边界、03 Transformation 变换、04 Limitations 局限,青绿框住第四行,合格的写法是让别人看懂这份数据不能支撑什么结论

两套四步的第一步不同。JUSTIFY 说清为什么做,是意图;TRACE 记下发生了什么,是事实。两者都要有。

一步一步看

目标:用 JUSTIFY、DOCUMENT、TEST、QUESTION 四步检查司机违规预测模型,看每一步该留下什么别人能查、能质疑的痕迹。

案例:一家物流公司要上线一个模型,预测哪些司机「可能违规」,据此安排抽查。用第一套四步逐步过。

  1. JUSTIFY:说出目的和取舍。
  2. DOCUMENT:记下数据和局限。
  3. TEST:上线前按群体检查。
  4. QUESTION:把外人放进来。
步 动作 这个案例
1 JUSTIFY 目的是减少事故;取舍是被频繁抽查的司机会多花时间,要写明
2 DOCUMENT 记下用了哪些历史违规记录、这些记录本身是否来自不均匀的抽查
3 TEST 按路线、车型、司机年资分开看误报率,找出谁被过度标记
4 QUESTION 请司机代表和独立评审看一遍,问模型漏掉了什么

怎么判断

问「这个项目做到 integrity 了吗」,按四步逐项找证据,缺哪一步就补哪一步。

如果只能先做一步,做 TRACE。它是唯一必须在事情发生的同时完成的动作,其余三步事后还来得及。

常见误解

以为伦理审查可以放到项目最后再做一遍

可审计性只能事前建。到最后才审,没记录的选择已经找不回来,审查只能看到表面。

以为团队内部自己测过,就算做完了 QUESTION

QUESTION 是四步里唯一把外人放进来的一步,点名了受影响的人和独立评审者:前者知道后果,后者知道盲点。

试一下

L03c 的三次 PAUSE 是另一套按时间点排的检查,下面这道题把两套对一下:

三次 PAUSE 与部署之后的三段义务:上排三张卡片是碰数据之前、发结果之前、决策做出之后三次暂停,第三次向下展开成 BEFORE 验证、DURING 监控漂移、AFTER 纠正或退役,青绿标出退役这一项

把 L03c 的三次 PAUSE 和这里的四步对一下:「发结果之前」那次 PAUSE 主要对着哪几步?

主要对着 DOCUMENT 和 QUESTION:发结果之前问别人能否诚实理解,需要方法和局限有记录,也需要别人能审查。TEST 也有关,因为局限里要包括按群体的检验结果。

2. 上线前三个 P,没有模型是中立的

它解决什么问题

到了上线前的最后一刻,需要一组能直接拿来问的问题。课件给了三组,再用全讲最重的一句话收尾:部署之后,没有任何模型是中立的。

直觉

组 主问题 子问题
PEOPLE 谁可能受影响? 谁可能被帮助、排除、延迟或加重负担?哪些群体可能经历不同的误差?
POWER 谁有权决定? 谁定义了目标和取舍?谁能质疑这个系统或寻求不同的决定?
PROOF 什么证据才算够? 什么能证明系统在相关群体上都安全有效?假设、检验和局限能被别人检查吗?

重点是 POWER,整份课件唯一直接问权力的地方:谁定义成功是上游的权力,谁能申诉是下游的权力,也就是 recourse。

上游和下游正好落在责任链的两头:02 定目标那一格是谁定的,第五格承受结果的人能不能翻案。

五格责任链:五个方框从左到右是 01 选数据、02 定目标、03 设阈值、04 部署决策,第五格承受结果没有编号并用青绿标出;下方说明前四格的主语是我们,第五格换成某个人,底部写 Integrity Test 能否把真实后果沿每个设计选择追溯回去

底部的 Integrity Question 是:如果你必须向受影响的人解释这个模型的后果,你需要知道些什么?它把抽象的「合不合伦理」换成一份具体的信息清单。

收尾页说,模型塑造了人如何被看见、被排序、被支持、被延迟、被纳入或被排除,它分配的是关注、机会、风险和资源。数据科学家的职责有三条:让判断可见,检验它的效果,对承受结果的人保持可问责。

一步一步看

目标:用 PEOPLE、POWER、PROOF 三组问题逐组检查一个福利申请排序模型,看谁受影响、谁说了算、证据够不够,哪一组缺口最大。

案例:一个城市要上线模型,给社会福利申请排优先级。用三个 P 逐组问。

  1. PEOPLE:谁受影响,谁的误差不一样。
  2. POWER:谁定目标,谁能质疑。
  3. PROOF:什么证据才够。
  4. 合起来下结论。
步 组 这个案例
1 PEOPLE 所有申请人;不熟悉线上表格、记录不全的人可能被排到后面
2 POWER 目标由福利部门和供应商定,申请人没有参与;被排后的人能否申请人工复核,需核实
3 PROOF 要有按群体拆开的检验结果,且假设和局限能被外部检查
4 结论 POWER 一组缺口最大:先建立申诉和人工复核,再谈上线

怎么判断

拿到一个上线前的场景,三组都要问,尤其别漏 POWER。场景里只要涉及「决定是谁做的」「被拒的人能不能翻案」,就是在考这一组。

要论证「没有模型是中立的」,按这条线走:模型分配稀缺的东西,分配依据是人定的目标和阈值,目标只是代理,代理的偏差在不同群体上不均等,所以结果必然对某些人更有利。

常见误解

以为伦理清单问清 PEOPLE 和 PROOF 就够了

多数清单正是漏掉了 POWER。谁定义成功、谁能申诉,决定了错误发生后有没有人能纠正它。

以为「没有模型是中立的」只是一句口号

它可以一步步论证出来,论证用的正是 L03d-1 的责任链、安静的决定、代理目标这几块内容。

试一下

一款贷款 app 说:「我们的模型不看种族和性别,所以是中立的。」用这一页的思路反驳。

模型分配的是贷款机会,目标和阈值由公司定;住址、消费记录等字段可能代理了被删掉的信息。还要问 POWER:被拒的人能不能知道原因、申请复核。

把它们串起来

这一页接着 L03d-1 的结论往下走:链条尽头是一个人,所以每一格的选择都要能被追问。

判断要留下痕迹,可审计性要事前内建;上线前问三个 P,别漏 POWER。部署之后没有模型是中立的,所以数据科学家要让判断可见、检验效果、对承受结果的人负责。

课件里的坑

  • [漏讲] p.2 的 Agenda 有五项,这份课件只讲到第 3 项;第 4 项 A Framework for Managing Ethics 和第 5 项 Code Is Never Neutral 只在 p.11 有预告卡片,正文留给续讲
  • [容易混] p.32 和 p.33 的四步几乎对应,第一步不同:JUSTIFY 是意图,TRACE 是事实
  • [参考书] p.35 页脚的 Boardman (2022) 不在课程 Reading List 上

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,默写两套四步和三个 P。然后做「变式题」,三套清单各用一遍。最后回查两个最容易错的地方:把 JUSTIFY 和 TRACE 当成一回事、三个 P 漏掉 POWER。

必背

  1. 让判断可见的工作流是 JUSTIFY → DOCUMENT → TEST → QUESTION;可审计性必须内建进开发过程,四层是 TRACE → DOCUMENT → REVIEW → CHALLENGE
  2. 上线前三问 PEOPLE、POWER、PROOF:谁受影响、谁定义目标和谁能质疑、什么证据才够;POWER 这一组最容易被漏掉
  3. 两套四步的第一步不同:JUSTIFY 说清为什么做,是意图;TRACE 记下发生了什么,是事实
  4. QUESTION 是四步里唯一把外人放进来的一步:受影响的人知道后果,独立评审者知道盲点
  5. 部署之后没有模型是中立的:模型分配关注、机会、风险和资源,数据科学家要让判断可见、检验效果、对承受结果的人保持可问责

课件例题

本讲课件没有例题落在这一页的两个概念上。课件唯一的例题(p.29,189 个人脸识别算法的研究)在 L03d-1。

完整例题

题面(自编情境,对应课件笔记综合题,不是课件原题):某医院上线一套分诊系统,用历史就诊记录预测「病情严重度分数」,分数高的病人优先安排医生。开发时把「过去一年的就诊次数」当作病情严重的重要信号,上线前只报告了一个总体准确率。请分别用三次 PAUSE、四步工作流和三个 P 各分析一遍,区分已知事实和待核实风险,并提出改进。

约定:题面没给准确率数值,不编造;题面没说的事实写成「需核实」。三套清单没有固定的先后,下面的顺序只是一种写法。

解法:

  1. 三次 PAUSE:碰数据之前,就诊记录原本为诊疗采集,用来排优先级需核实许可,并问就诊次数能否代表病情。发结果之前,要说明分数的局限:看病少的人可能病得重却分数低。决策之后,要跟踪分诊结果,能否纠正、能否停用。
  2. 四步工作流:JUSTIFY,写明目的和取舍(低分病人等得更久)。DOCUMENT,记下就诊次数是代理,受交通、费用、语言影响。TEST,按年龄、收入、居住地拆开看误差。QUESTION,请医生、病人代表和独立评审参与。
  3. 三个 P:PEOPLE,就医不便的群体可能被系统性排后。POWER,目标由医院和开发方定;病人能否要求人工复核需核实。PROOF,要有按群体的检验结果,假设和局限要能被外部检查。
  4. 结论:已知事实是用了就诊次数做代理、只报了总体准确率;待核实的是许可范围、各群体误差、是否有人工复核。按现状不宜直接上线:先做分群体评估,分数只作为医生的参考,建立申诉和人工复核。

要点:突破口是就诊次数这个代理,它和病情之间的缝隙在不同群体上不均等,平均分把它藏住了。

答题格式:三套清单各成一段,最后一段区分已知和待核实,给出改进。

变式题(先自己做)

自编情境:一家公司把门禁刷卡记录(当初为安保采集)拿来训练模型,预测员工的「离职风险」。HR 用这个分数决定晋升名单,员工并不知道有这个模型。

(1) 用三次 PAUSE 指出最先该停在哪里。(2) 五格责任链里,哪一格的选择最可疑?(3) 三个 P 里哪一组缺口最大?(4) 区分题面给出的事实和需要核实的事项。

提示

(1) 刷卡记录的原始目的是什么?(2) 想一想「离职风险」这个目标被什么代理了,刷卡时间能代表想不想留下吗?(3) 员工不知情,意味着什么人没有权力?

判分点与答案(非官方评分标准)

判分点:① 指出安保数据用于人事决定是新用途;② 点出刷卡记录作为离职意向的代理站不住;③ 落到 POWER 和 recourse;④ 事实与待核实分开写。

(1) 第一次 PAUSE,碰数据之前。安保数据拿去做人事决定是新用途,要核实许可是否覆盖,并问手段和目的是否相称。这一步站不住,后面都不该开始。

(2) 02 定目标。用刷卡时间代理「想离职」,弹性办公、照顾家人的人都可能被误判,再拿它定晋升。

(3) POWER。目标由 HR 定,员工不知情,无法质疑,没有 recourse。

(4) 题面事实:数据为安保采集、用于预测离职、分数用于晋升、员工不知情。需核实:原许可范围、模型的分群体误差、有没有人工复核和申诉渠道。

闪卡自测

1. 可审计性的四层是什么?为什么要内建?

TRACE → DOCUMENT → REVIEW → CHALLENGE。没记录的东西事后补不出来,所以必须内建进开发过程(p.33)。

2. 三个 P 是什么?最容易漏哪一组?

PEOPLE、POWER、PROOF。最容易漏 POWER:谁定义目标、谁能质疑(p.34)。

3. 让判断可见的四步和可审计性的四层,第一步有什么不同?

JUSTIFY 说清为什么做,是意图;TRACE 记下发生了什么,是事实。两者都要有(p.32、p.33)。

4. 「没有模型是中立的」怎样论证?

模型分配稀缺的东西,分配依据是人定的目标和阈值,目标只是代理,代理的偏差在不同群体上不均等,所以结果必然对某些人更有利。

下一讲

下一讲 L04a-1 讲三阶段框架:伦理怎样落在数据处理的三次交接上,第一道门在清洗之前。

下一讲 →
L04a-1 L04a-1 伦理放在流程里:三阶段三职责与三句口诀

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。