← DSAI5T09 全部讲次
L03c · 第 4 周

L03c 把结果交出去:透明、共享、顶住压力,上线之后还没完

从零讲清结果交出去前后的规矩:汇报时该展示什么、不能藏什么,共享和保护冲突时怎么选,三种听起来无害的压力信号,模型上线后的三段义务,以及把第二节收成三个时点的三次 PAUSE。

一句话版

结果交出去的时候,要让别人能诚实地理解它、能检查它;有人催你降标准时,标准不变;模型上线以后,你还欠它验证、监控、纠正,必要时让它退役。

上一页 L03b 讲碰数据之前的规矩。这一页接着讲结果出门前后的规矩,最后用三次 PAUSE 把整个第二节收起来。

先认识这几个词

词 全称 / 读法 一句人话
HARKing Hypothesizing After the Results are Known 结果出来以后,再编一个「当初的假设」
可复现 reproducibility 别人照你的方法做一遍,能得到同样的结论
受控访问 controlled access 不公开下载,审核过的人才能在限定条件下查看
伦理升级路径 ethical escalation path 有异议时走的既定上报渠道,既不当场吵也不默默照办
漂移 drift 上线后数据或环境慢慢变了,模型表现跟着走样
退役 retire 把一个不再符合目的的系统正式停掉

一个类比:交一份体检报告

医生把体检报告交给你。合格的报告写清每项指标的参考范围,标出哪几项需要复查,不会只挑好看的数字讲。

你的保险公司想看报告,医院会给它需要的那几项,而不是整本病历。科室主任催着「写得干脆点,别写什么待复查」,医生也不能照办。

报告交出去以后还没完:复查结果出来要更新,过时的诊断要撤回。

类比在哪里失效:

  1. 体检报告的读者只有你。分析结果常常会被很多不认识的人拿去做决定,所以诚实的标准更高。
  2. 体检有固定的复查流程。模型上线后的监控和退役,多数时候只能靠做的人自己记着。

从零讲起

1. 透明汇报:要展示的和不能藏的

它解决什么问题

一份分析报告,数据是真的,方法也跑了,仍然可能误导人。原因常常出在讲法上:把事后的选择讲成事先的计划,只讲支持结论的那一面。课件用一张两栏表,列出要展示的和不能藏的。

从哪来(补充)

右栏第一条在学术界有个专门的名字,叫 HARKing。社会心理学家 Norbert Kerr 在 1998 年的论文里给它命名,指把结果出来以后才定的假设,当作事先的假设来呈现。

它危险在于做的人往往不觉得自己在造假。数据是真的,方法也确实跑了,只是先后顺序被讲反了。

出处:Wikipedia: HARKing

直觉

SHOW(要展示的) DO NOT HIDE(不能藏的)
假设与方法 事后的选择被说成事先的计划
局限、误差来源与不确定性 算法偏差或测量偏差
分析的目的与预期用途 选择性叙述,夸大确定性

右下角还有一条 RIGOUR:证据可以被检查,同时正当的保护仍然完整。

这一页的 Professional rule 是:results should be honest and meaningful — not merely persuasive。结果应当诚实且有意义,而不只是有说服力。说服力只是汇报的副产品,一旦它成了目标,第一个被牺牲的就是不确定性。

一步一步看

目标:逐条检查一份 HARKing 初稿,看它藏了什么、该怎样改写。

案例:一位分析师研究「新会员活动能不能提高复购」。他先试了五种分组方式,只有按年龄分组时效果显著。报告初稿写着:「我们事先假设年轻会员更受活动影响,结果证实了这一点。」

  1. 先问结论是先有还是后有。
  2. 再问有没有讲局限和不确定性。
  3. 最后问有没有选择性叙述。
  4. 合起来改写。
步 问题 这份初稿
1 结论先有还是后有 后有。年龄分组是试过五种之后挑出来的,却写成事先假设,属于 HARKing
2 局限讲了吗 没讲试过多少种分组,读者无法判断这个显著是不是碰巧
3 有没有选择性叙述 另外四种没效果的分组一个字没提,夸大了确定性
4 改写 写明这是探索性发现、试过五种分组、只有一种显著,需要用新数据再验证

怎么判断

对报告里的每个结论问一句:它是先有还是后有?事后才发现的东西完全可以报告,只要老老实实标成「探索性发现」。

再看报告有没有给出读者判断可信度需要的信息:试了多少种、哪些没成功、误差有多大。读者读完如果比真实情况更确定,这份报告就在误导。

常见误解

以为只要数据没造假,汇报就算诚实

讲法同样会误导。顺序讲反、只挑好看的讲,数据全是真的,结论照样站不住。

以为写局限会削弱报告的说服力,所以越少越好

课件把说服力和诚实摆在对立面上:结果要诚实且有意义,不只是有说服力。局限写清楚,别人才知道这份结果能用到哪里。

试一下

一份报告的结论写「模型准确率达到很高水平,可以放心使用」,没有给区间,也没说测试数据从哪来。对照两栏表,它犯了哪几条?

SHOW 一栏缺了局限、误差来源与不确定性,也没写预期用途。DO NOT HIDE 一栏犯了选择性叙述、夸大确定性,「可以放心使用」就是在夸大。

2. 共享与保护:先锁死能被验证

它解决什么问题

别人要复查你的结果,就得看到方法甚至数据;可数据里有被记录的人、有合同约束、有可能造成伤害的内容。共享和保护在这里会互相冲突,课件没有假装它们不冲突,并给了一条取舍的规则。

直觉

ENABLE:让人能审查 PRESERVE:保住正当的保护
履行允许范围内的共享义务,支持同行评审与可复现 尊重数据贡献者的预期与使用限制
在可能的限度内共享方法与文档 对专有、机密或可能造成伤害的数据保持审慎
01 Documented methods 01 Permissions
02 Controlled access 02 Confidentiality
03 Privacy-preserving outputs 03 Harm prevention

中间那句是解法:Choose the safest pathway that still permits meaningful verification。在仍然允许有意义的验证的前提下,选最安全的那条路。

这句话有固定的先后:先锁死一个硬约束(别人仍能有意义地验证),再在满足它的方案里挑最安全的。所以「涉密,什么都不能给」违反了共享义务,算不上合规答案。

这一页还引了 F,对同行和整个职业的责任。你不共享方法,别人就无法复现,整个学科的可靠性都会下降。

一步一步看

目标:比较四种共享做法,在能被验证的里挑最安全的。

案例:一个研究团队用医院病历发表了一篇论文,另一所大学的研究者来信要原始数据复查。

  1. 先列出可能的做法。
  2. 逐个问:别人还能有意义地验证吗?
  3. 在能验证的里面,挑最安全的。
步 做法 能有意义地验证吗 安全吗
1 原始病历公开下载 能 不安全,违反保密
2 什么都不给 不能 安全,但违反共享义务
3 给方法文档和分析代码 部分能 安全
4 给代码,再给受控访问,或给经过隐私处理的数据 能 较安全
5 结论 选第 4 种:满足硬约束,又是其中最安全的

怎么判断

先划掉所有「别人没法验证」的方案,再在剩下的方案里按安全程度排序。左栏三条正好给了中间路线的样子:给方法文档、给受控访问、给保护隐私的输出。

如果最后只剩「什么都不给」,要说明为什么连受控访问都做不到,而不是一句「涉密」带过。

常见误解

以为这句话是在共享和保护之间各让一半

它有先后:能被验证是底线,先满足;安全是在满足底线的方案里再挑。两边各让一半可能连底线都丢了。

以为共享方法只是对项目方的义务

这一页引了 F,对同行和职业的责任。共享方法是对整个职业的义务。

试一下

一家公司的客户流失模型被监管机构要求复查,公司回复「模型属商业机密,无法提供任何信息」。按这一页的规则,怎么回应更合格?

先保证监管方能有意义地验证,再挑最安全的方式:提供方法文档和评估报告,在受控环境里开放模型或数据的访问,签保密协议。商业机密是需要保护的正当理由,但它不能把验证这条底线一起抹掉。

3. 三种压力信号

它解决什么问题

真实职场里,几乎没人会直接说「帮我改一下数据」。压力常常听起来很合理:讲清楚一点、快一点、大家都同意了。这一页教你认出这三句话,并给出每句的职业回应。

直觉

压力信号 职业回应
Just make the result clearer.(把不确定性简化掉的压力) ≠ 不要误导:解释不确定性、局限,以及证据究竟能支撑什么
We need to move faster.(绕开有效方法或审查的压力) ≠ 不要牺牲有效性:速度不能成为不当统计实践的理由
Everyone on the team agrees.(层级或共识造成的压力) ≠ 把问题提出来:透明沟通,走一条尊重他人的 ethical escalation path

中间那个 ≠ 的意思是:压力不等于标准。三句话的共同点是听起来都不像在要求你做坏事,这正是它们危险的地方。

识别要看每句话要你放下什么。第一句要你放下不确定性,第二句要你放下方法有效性,第三句要你放下独立判断。

页脚引了 C.2、C.8 和 E.1–E.4。E 是对团队成员的责任,所以在团队里提出异议是一条写下来的职业义务。

一步一步看

目标:逐句看三种压力各要你放下什么,标准为何不变。

案例:交付前一天,客户流失分析的结论区间很宽。三位同事轮流来找你,每人说了一句话。一句一句判断它在要你放下什么。

  1. 第一句「讲清楚一点」。它要你放下不确定性,回应是保留区间,写清这份结果能撑什么、不能撑什么。

    第 1 步判断帧:案例是交付前一天客户流失分析区间很宽,三位同事各说一句话;第一行 Just make the result clearer 用青绿框标出,判断是要你放下不确定性,回应是保留区间并写清能支撑什么不能支撑什么

  2. 第二句「快一点」。它要你放下复核步骤,回应是可以砍展示、不砍验证,并说清跳过复核的风险。

    第 2 步判断帧:第一行变灰,第二行 We need to move faster 用青绿框标出,判断是要你放下复核步骤,回应是可以砍展示不砍验证,说清跳过复核的风险

  3. 第三句「大家都同意」。它要你放下独立判断,回应是把顾虑写下来,走团队的伦理升级路径。三句都没有提供新证据,所以标准不变。

    第 3 步判断帧:前两行变灰,第三行 Everyone on the team agrees 用青绿框标出,判断是要你放下独立判断,回应是把顾虑写下来走 ethical escalation path;底部结论写三句都在催你降标准,没有一句提供了新证据,标准不变

怎么判断

听到一句催促,先问它有没有带来新证据。带来了新证据,改结论是正当的;只带来时间、层级或人数,标准就不该动。

再判断它属于三种里的哪一种,对上相应的回应。第三种最难:要写下顾虑、走既定渠道上报,当场拒绝和默默照办都不对。

常见误解

以为被要求「讲清楚一点」就该删掉区间

讲清楚可以靠更好的图和更直白的话,不能靠删掉不确定性。区间是结论的一部分。

以为团队都同意了,自己再提异议就是不合群

这一页引了 E.1–E.4,提出异议是对团队成员的职业责任。方式要尊重他人,走伦理升级路径。

试一下

主管说:「上一版报告客户很满意,这次照着同样的结论写就行,不用重跑了。」这属于哪种压力?怎么回应?

属于「快一点」,绕开有效方法的压力,同时带一点「讲清楚」的味道(直接沿用结论)。回应是不牺牲有效性:说明新数据可能改变结论,至少要重跑验证;时间紧可以简化展示,验证不能省。

4. 上线不等于做完

它解决什么问题

很多团队把模型上线当作项目的终点。可模型上线之后会继续反复运行、继续参与决定,数据在变,环境在变,出错的代价也在累积。课件标题一句话:A model is not finished when it goes live,模型上线不等于做完。

直觉

部署后的责任分三段:

阶段 动作 内容 标语
BEFORE Validate 检验假设与对预期用途的适用性;考虑对人和群体的影响,包括边缘群体 PREPARE FOR REAL-WORLD USE
DURING Monitor 持续评估表现,盯住漂移、误差和有害效应 MEASURE WHAT CHANGES
AFTER Correct or retire 及时纠正实质性错误;缓解失败,或者让不再符合目的的系统退役 OWN THE CONSEQUENCES

底部一句:反复运行并参与决策的系统,需要一份关于表现、失败、纠正和退役的计划。

这一页的重点是 retire。多数清单只讲上线前检查,这一页把下线也写成了义务。一个不再符合目的的系统继续跑着,本身就是失范。

页脚同时引了 B.5–B.7 和 D.6。部署后的责任既是方法上的(模型还准不准),也是对数据主体的(人还受不受伤)。

一步一步看

目标:拿上线三年的信用模型过三段,看该纠正还是退役。

案例:一家银行三年前上线了信用评分模型。这三年里,年轻客户比例大涨,很多人用的是新兴的线上支付记录,模型从没见过这类数据。

  1. BEFORE:当年上线前检验过哪些群体?
  2. DURING:这三年有没有盯漂移?
  3. AFTER:现在该纠正还是退役?
步 阶段 这个案例
1 BEFORE 要回查当年是否按群体检验过;年轻客户当时样本少,可能没被认真检验
2 DURING 客户构成大变,属于典型漂移,要重新评估各群体的表现和误差
3 AFTER 表现可修就及时纠正;如果模型已无法适应新的客户构成,就按计划退役换新

怎么判断

问「部署后的责任有哪些」,答案要三段都在。只答「持续监控」不完整,纠正和退役也要写。

判断该纠正还是退役,看这个系统是否还符合它的目的。还符合、只是有错,就纠正;已经不符合,就退役。

常见误解

以为上线前测试做得好,上线后就不用管

上线后数据和环境会变,BEFORE 的检验只对当时的情况成立。DURING 的监控就是为此准备的。

以为退役是失败,能修就一直修下去

课件把退役写成义务。一个已经不符合目的的系统继续跑,伤害会一直累积。

试一下

一个预测公交客流的模型在疫情期间准确率骤降,团队说「疫情是特殊情况,等它过去就好了」,继续用它排班。对照三段义务,问题在哪?

DURING 已经发现了严重漂移,AFTER 却没有动作。应该及时纠正(比如暂停自动排班、改用人工判断或重训),如果它在新环境下无法符合目的,就要考虑退役。

5. 三次 PAUSE 与六个形容词

它解决什么问题

第二节讲了九页规则,考试和实际工作里不可能逐页翻。课件最后用三次 PAUSE 把它们压成三个时点,再用六个形容词描述合格的数据处理工作。

直觉

三次 PAUSE 与部署之后的三段义务:上排三张卡片是碰数据之前、发结果之前、决策做出之后三次暂停,第三次向下展开成 BEFORE 验证、DURING 监控漂移、AFTER 纠正或退役,青绿标出退役这一项

时点 主问题 两个子问题
01 碰数据之前 这次使用站得住吗 目的是否正当、经过批准、与手段相称?同意或其他依据清楚吗?
02 发结果之前 别人能诚实地理解它吗 方法、局限、不确定性清楚吗?隐私、保密和使用限制保护了吗?
03 决策做出之后 这份工作还能被问责吗 表现、影响和错误在被监控吗?能被纠正、质疑、负责任地退役吗?

三次 PAUSE 正好收编了第二节:第一次收的是目的、最小化、隐私,第二次收的是来源、透明、共享,第三次收的是压力和部署后。

六个形容词是 PURPOSEFUL(有明确目的)、MINIMAL(最小化)、PROTECTED(受保护)、TRANSPARENT(透明)、VERIFIABLE(可验证)、ACCOUNTABLE(可问责)。两页底部都重复同一句总问题:Can we explain it, protect it, and defend its use to the people affected?

一步一步看

目标:用三次 PAUSE 过独居老人名单,看哪一问答不上就先补。

案例:一个市政团队想用居民的用电数据,找出可能独居、需要关怀的老人,交给社工上门。用三次 PAUSE 依次过一遍。

  1. 碰数据之前:问这次使用站得住吗。
  2. 发结果之前:问别人能诚实地理解吗。
  3. 决策之后:问还能被问责吗。
  4. 用总问题收尾。
步 时点 这个案例
1 碰数据之前 用电数据为计费采集,用来推测独居是新用途;要核许可,并问手段和目的是否相称
2 发结果之前 名单要说明误判的可能(比如常出差的人也用电少),名单本身极敏感,要限定谁能看
3 决策之后 跟踪社工上门的结果,被误判的居民能否提出异议,效果不好能否停用
4 总问题 能向居民解释、能保护名单、能为这种用途辩护吗?任何一项答不上,先补再做

怎么判断

拿到任何数据处理场景,先定位它现在处在哪个时点,问那个时点的主问题和两个子问题。题目没说的事实,写成「需核实」。

最后用总问题自查,它有三个动词:explain 对应方法,protect 对应数据和人,defend its use 对应决定。答题只写「要透明」,就漏了后两个。

常见误解

以为三次 PAUSE 只在项目开头做一次

三个时点分布在整个生命周期:碰数据前、发结果前、决策后。第三次尤其容易漏,它在项目「做完」之后才发生。

以为两页重复同一句话是排版重复

重复是刻意的。六个形容词是这句话的展开,三次 PAUSE 是它的时间轴,这句话是第二节最该带出考场的东西。

试一下

六个形容词里,哪一个最直接对应「发结果之前」那次 PAUSE?

TRANSPARENT。发结果之前问的是别人能不能诚实地理解,对应透明汇报。

把它们串起来

这一页沿着结果出门的时间线走。

汇报时,要展示假设、局限和用途,不能把事后的选择说成事先的计划。有人要复查时,先保证能被有意义地验证,再挑最安全的共享方式。有人催你降标准时,看他要你放下什么,标准不变,有异议走伦理升级路径。

模型上线以后,责任分验证、监控、纠正或退役三段。三次 PAUSE 把这些和上一页的规矩一起收成三个时点,总问题是能不能向受影响的人解释它、保护它、为它的使用辩护。

下一页换一个角度:这些规矩背后的理由,为什么技术选择会变成别人的生活后果。

课件里的坑

  • [没给名字] p.18 右栏第一条就是 HARKing,课件没点这个名字;后面讲学术失范的那一讲会再出现,先记住判据:结论是先有还是后有
  • [容易读错] p.19 那句 safest pathway 有先后,先锁死能被有意义地验证,再挑最安全的;读成各让一半就错了
  • [条款号] p.20 引 E.1–E.4,说明在团队里提异议是写下来的职业义务;p.21 同时引 B.5–B.7 和 D.6,方法义务和对人义务会分开考
  • [汇总页] p.22 页脚写的是 Principles B–D,没有具体条目,因为它是整节的汇总页
  • [排版提醒] p.21 的 BEFOR/E、p.23 的 PURPOSEFU/L 等断词是 PDF 文本框折行,补全即可

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,默写 SHOW 和 DO NOT HIDE 各三条、三种压力信号和对应回应、部署三段、三次 PAUSE 的主问题。然后做「变式题」。最后回查两个最容易错的地方:把 p.19 读成折中、部署后的责任只答持续监控。

必背

  1. 结果应当诚实且有意义,而不只是有说服力;不能把事后的选择说成事先的计划,也不能用选择性叙述夸大确定性
  2. 共享与保护冲突时,先锁死仍能被有意义地验证这个硬约束,再在满足它的方案里挑最安全的
  3. 三种压力信号都不等于标准:讲清楚一点、快一点、大家都同意;回应是走 ethical escalation path,条款落在 E.1–E.4
  4. 模型上线不等于做完:BEFORE 验证、DURING 盯漂移、AFTER 纠正或退役,退役同样是职业义务
  5. 三次 PAUSE 是最通用的清单:碰数据前问这次使用站得住吗、发结果前问别人能诚实理解吗、决策之后问还能被问责吗
  6. 合格的数据处理有六个性质:PURPOSEFUL、MINIMAL、PROTECTED、TRANSPARENT、VERIFIABLE、ACCOUNTABLE

课件例题

例 1(课件 p.20):三句压力信号「Just make the result clearer.」「We need to move faster.」「Everyone on the team agrees.」分别是什么压力?职业回应是什么?依据哪些条款?

提示

每句话问一个问题:它要你放下什么?再看页脚的两个字母各管哪种关系。

解答

第一句是把不确定性简化掉的压力,回应是不要误导,解释不确定性、局限和证据能支撑什么。

第二句是绕开有效方法或审查环节的压力,回应是不要牺牲有效性,速度不能成为不当统计实践的理由。

第三句是层级或共识造成的压力,回应是把问题提出来,透明沟通,走一条尊重他人的 ethical escalation path。

依据是 C.2、C.8(对利益相关方的责任)和 E.1–E.4(对团队成员的责任)。压力可能来自委托方,也可能来自团队内部,所以两个字母都引。

完整例题

题面(自编情境,依据 p.18–23 的规则设计,不是课件原题):一所大学的分析团队做了一个模型,标记可能挂科的学生,推荐他们去辅导中心。现在面临四件事:① 院长要求报告只写「模型有效」,不要写误差区间;② 校外研究者想要训练数据复查;③ 项目经理说下周就要上线,来不及按专业分开检验;④ 模型已经用了两年,期间学校新开了几个专业。请按这一节的规则逐件处理。

约定:题面没说的事实不当作已知,写成「需核实」。

解法:

  1. 院长的要求:属于「讲清楚一点」的压力。按 SHOW 一栏,局限和不确定性必须展示;可以把区间讲得更直白,不能删。只写「模型有效」是选择性叙述,夸大确定性。
  2. 校外复查:先锁死能被有意义地验证。原始学生记录涉及隐私不宜直接给;可以给方法文档和代码,再提供受控访问或经过隐私处理的数据。「什么都不给」不合格。
  3. 赶上线:属于「快一点」的压力。按 BEFORE 一栏,要考虑对不同群体的影响;按专业分开检验是验证的一部分,不能省。时间紧可以简化展示,验证不省;仍有分歧就写下顾虑,走伦理升级路径。
  4. 用了两年:新专业的学生模型从没见过,属于漂移。要按 DURING 重新评估各专业的表现,按 AFTER 决定纠正还是退役。
  5. 三次 PAUSE 收尾:发结果之前(第 1、2 件)问别人能否诚实理解,决策之后(第 3、4 件)问能否被问责。被标记的学生能否知道原因、提出异议,需核实。

要点:每件先判类型再给回应。

答题格式:逐件写「类型判断 + 依据规则 + 具体做法」,最后用三次 PAUSE 或总问题收束。

变式题(先自己做)

自编情境:一家公司每年做员工满意度调查。今年的分析发现某部门满意度明显下降,但该部门样本很少。老板说:「这个部门的结果先别放进报告,免得引起恐慌。」同时,合作高校想拿问卷原始数据做研究。另外,今年的问卷题目和前年相比改了好几道,报告里却直接画了三年的趋势线。

(1) 老板的要求违反了透明汇报的哪一条?(2) 合作高校的请求怎么处理?(3) 趋势线的问题属于什么?(4) 如果你提出异议被驳回,下一步怎么做?

提示

(1) 看 DO NOT HIDE 一栏。(3) 题目改了,前后还能直接比吗?这属于 SHOW 一栏的哪一项?(4) 回到第三种压力的回应。

判分点与答案(非官方评分标准)

判分点:① 指出删掉部门结果属于选择性叙述;② 共享时先保底能验证、再保护员工匿名;③ 点出题目变化是必须展示的局限;④ 提到 ethical escalation path。

(1) 违反 DO NOT HIDE 的「选择性叙述,夸大确定性」。合格的做法是保留这个部门的结果,同时写明样本少、结论不确定,而不是删掉。

(2) 原始问卷可能认出个人,尤其是小部门。先确认员工当初的许可是否覆盖外部研究(需核实),再考虑给方法文档、受控访问或汇总后的数据,在能验证的前提下挑最安全的方式。

(3) 属于 SHOW 一栏的「局限、误差来源与不确定性」没写。题目改了,三年数据不能直接比,至少要在图上注明,或者只比没改过的题目。

(4) 属于「大家都同意」或层级造成的压力。把顾虑写成书面记录,走公司既定的上报渠道(比如合规或伦理委员会),既不当场争执,也不默默照办。

闪卡自测

1. SHOW 和 DO NOT HIDE 各三条是什么?

SHOW:假设与方法;局限、误差来源与不确定性;目的与预期用途。DO NOT HIDE:事后选择说成事先计划;算法或测量偏差;选择性叙述夸大确定性(p.18)。

2. 共享与保护冲突时怎么选?

先锁死「仍能被有意义地验证」这个硬约束,再在满足它的方案里挑最安全的。「涉密所以什么都不给」不是合规答案(p.19)。

3. 三种压力信号各要你放弃什么?

「讲清楚一点」要你放弃不确定性,「快一点」要你放弃方法有效性,「大家都同意」要你放弃独立判断。三句都不像在要求你做坏事(p.20)。

4. 部署后责任的三个阶段是什么?最容易漏的是哪一项?

BEFORE 验证、DURING 监控(盯漂移)、AFTER 纠正或退役。最容易漏的是退役,它同样是职业义务(p.21)。

5. 三次 PAUSE 的时点和主问题是什么?

碰数据之前问这次使用站得住吗,发结果之前问别人能诚实理解吗,决策之后问还能被问责吗(p.22)。

6. 合格数据处理的六个形容词是哪六个?

PURPOSEFUL、MINIMAL、PROTECTED、TRANSPARENT、VERIFIABLE、ACCOUNTABLE(p.23)。

7. 第二节的总问题是什么?三个动词各对着什么?

Can we explain it, protect it, and defend its use to the people affected? explain 对方法,protect 对数据与人,defend its use 对决定(p.22、p.23)。

下一讲

本讲下一页 L03d-1 讲规矩背后的理由:技术选择怎样一环一环传到某个人身上,平均准确率为什么不够;L03d-2 讲可审计性和上线前的三个 P。

下一讲 →
L03d-1 L03d-1 链条的尽头是一个人:平均准确率不够,代理目标会篡位

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。