L02b-2 谁来拦住 WMD:三条防御、职业标准与 The Focus Gap
从零讲清两层防御怎么分工:公众的 Ask Questions、Demand Audits、Human Oversight;从业者的职业标准五要素为什么惩戒是承重墙;以及规则为什么只管公司、管不到造模型的人,政府监管难在哪四处。
一句话版
拦住 WMD 要两层人一起动手。公众这一层靠追问、要求审计、保留人工;造模型的人这一层靠职业标准,而职业标准里真正有牙齿的只有惩戒。
上一页看完了错配和回路在各行各业怎样重演。这一页回答「怎么办」,并解释为什么现有规则常常落不到造模型的那个人头上。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 独立审计 | independent audit | 让和模型无利害关系的一方检查偏差与错误 |
| 人工监督 | Human Oversight | 重大决定保留人复核和申诉的通道 |
| 精算师 | actuary | 持牌、受职业纪律约束的风险建模专业人员 |
| 惩戒 | disciplinary actions | 对不达标的从业者警告、暂停或取消资格 |
| 焦点缺口 | The Focus Gap | 规则管公司,不管造模型的那个人 |
| 空心伦理 | HOLLOW ETHICS | 伦理准则写得很好,但违反了也没有后果 |
一个类比:小区的电梯谁来管
小区电梯出了事故,住户能做三件事:问物业电梯多久没检修了、要求请第三方来检测、坚持出了故障要有人工值守。这是住户这一层。
可住户再用力,也管不到修电梯的那个技师。真正让技师不敢偷工减料的,是他要持证上岗,出了事会被吊销执照。这是从业者那一层。
如果规则只罚物业公司、不管技师自己,技师换一家公司照样干。这就是本页最后要讲的缺口。
类比在哪里失效:
- 电梯坏了人人看得见;算法出错时,被打分的人往往不知道自己被打了分,第一层防御连起点都可能没有。
- 电梯技师的执照制度已经存在;造模型的人在多数行业还没有对应的执照,这一层要从头建。
从零讲起
1. 公众的三条防御
它解决什么问题
被算法打分的人面对的是一个看不见的系统。三条防御给了他们三个可以直接提出的要求,每一条都对着前面讲过的某个风险。
直觉
三条防御分别是:
- Ask Questions:追问这个决定是怎么做出来的
- Demand Audits:要求模型开放给独立检查
- Human Oversight:重大决定保留人工复核与申诉
它们之间不是一条只管一根支柱。追问能逼出透明度,审计能查出伤害落在谁身上,人工监督能在回路转起来之前把它切断,三条互相覆盖。课件给这一节的总纲是 Efficiency vs. Fairness:技术要服务于人,不只服务于速度和利润。
一步一步看
目标:拿一次没有说明的贷款拒绝依次套三条防御,看每条各补哪个缺口、为何少一条都不行。
拿一个场景套三条防御:一位申请人的贷款被一个评分模型自动拒绝,没有任何说明。
-
先用 Ask Questions:要求银行说明这次拒绝依据了哪些因素。
防御 申请人提出的要求 能拿到什么 Ask Questions 说明拒绝依据 知道自己被什么评了分 -
再用 Demand Audits:要求独立方检查这个模型在不同群体之间的通过率有没有系统性差异。
防御 申请人提出的要求 能拿到什么 Ask Questions 说明拒绝依据 知道自己被什么评了分 Demand Audits 独立方查群体差异 知道偏差是不是普遍存在 -
最后用 Human Oversight:要求有人工复核这一次决定,并能提交补充材料。
防御 申请人提出的要求 能拿到什么 Ask Questions 说明拒绝依据 知道自己被什么评了分 Demand Audits 独立方查群体差异 知道偏差是不是普遍存在 Human Oversight 人工复核本次决定 一次被重新判断的机会 -
回头看三行:第一行打开黑箱,第二行查整体,第三行救个体。少了任何一行,另外两行都留着缺口。
怎么判断
场景题里选防御,先看题面缺的是什么:
- 缺解释(「得不到任何解释」「连专家都说不清」),优先 Ask Questions。
- 缺外部检查(只有开发方自己说没问题),优先 Demand Audits。
- 缺申诉(「没有人工申诉」「自动执行」),优先 Human Oversight。
答题时写出主用的一条,再补一句另外两条怎样配合。题目问的是「作为公众怎么办」才用这一层。
常见误解
以为三条防御和三根支柱一一对应、各管一根
课件给的对应只是便于理解的示例。必背写的是「交叉缓解」,三条互相覆盖,答题不要给它们排固定的强弱或固定的分工。
以为公众有了三条防御就够了
三条防御都要靠被打分的人先发现问题、再去提要求。很多人根本不知道自己被打了分。所以还要有从业者那一层,在模型上线之前就把关。
试一下
一所学校用算法自动给学生分快慢班,家长只收到结果通知,学校说「系统是供应商做的,我们也不清楚细节」。按「怎么判断」选主用的防御。
题面同时缺解释(学校也不清楚)和外部检查(只有供应商知道)。主用 Ask Questions,要求说明分班依据;配合 Demand Audits,请独立方检查不同背景学生被分进慢班的比例。分班影响大,还应要求 Human Oversight,让家长能申请人工复核。
2. 职业标准五要素:惩戒是承重墙
它解决什么问题
公众的防御来得晚,往往是伤害已经发生才开始追问。职业标准是从造模型的人这一头往前拦:让他在动手之前就知道,做出伤人的模型要承担后果。
直觉
课件把职业标准列成五个要素,依次是 EXAMS(资格考试)、CONTINUING EDUCATION(继续教育)、CODE OF CONDUCT(行为准则)、PROFESSIONAL STANDARDS(职业标准)、DISCIPLINARY ACTIONS(惩戒措施)。
前四条都能自愿做,只有惩戒带来后果。没有惩戒,其余四条退化成装饰,课件把这种状态叫 HOLLOW ETHICS(空心伦理)。精算师行业是已经做到的对照。
一步一步看
目标:对一位明知有偏仍交付模型的建模者逐条问五要素,看为何只有惩戒能让他承担后果。
设想一位建模者明知数据有偏,仍然交付了一个会歧视某个群体的模型。逐条问五要素:这一条能不能让他承担后果?
-
EXAMS:他考过了资格考试。考试只管入门,管不到这一次交付。
要素 能否让他承担后果 EXAMS 不能,只管入门 -
CONTINUING EDUCATION:他按时修完了继续教育学分。学分说明他学过,说明不了他这次做了什么。
-
CODE OF CONDUCT 和 PROFESSIONAL STANDARDS:准则和标准写明了不该这样做。可写明了,违反之后呢?
要素 能否让他承担后果 EXAMS 不能,只管入门 CONTINUING EDUCATION 不能,只管学过 CODE OF CONDUCT 不能,只写了该怎样 PROFESSIONAL STANDARDS 不能,只写了该怎样 -
DISCIPLINARY ACTIONS:有惩戒机制,就能对他警告、暂停或取消资格。到这一条才第一次有了后果。
要素 能否让他承担后果 DISCIPLINARY ACTIONS 能:警告、暂停、取消资格 -
下结论:把第 4 步拿掉,前四条都还在,可这位建模者照样不用承担任何后果。所以惩戒是承重墙。
怎么判断
评价一个行业的伦理制度,问一句:违反了准则,会发生什么?
- 答得出具体后果(暂停执业、取消资格),这套制度有牙齿。
- 答「会被批评」「影响声誉」,就是 HOLLOW ETHICS。
讲师给的路线图正是按这个思路排的四步:推广职业资格、支持惩戒权、制定统一标准、由精算师做独立的认证审计。
常见误解
以为写一份很完整的伦理准则就算建立了职业标准
准则是五要素里的一条。没有惩戒,准则只是愿景。课件说现状正是伦理准则只停在愿景层面。
把公众的防御和从业者的制度混用
场景题问「作为公众怎么办」用三条防御,问「作为专业人员怎么办」或「行业该怎么改」用职业标准。两层的对象不同。
试一下
某行业协会发布了一份「负责任 AI 承诺书」,会员公司自愿签署,协会每年评选最佳实践奖,没有其他安排。按五要素判断它缺什么。
承诺书对应 CODE OF CONDUCT,评奖接近 PROFESSIONAL STANDARDS 的示范作用。缺资格考试和继续教育,最关键的是缺惩戒:违反承诺不会有任何后果,属于 HOLLOW ETHICS。而且它管的是公司,没有落到造模型的个人。
3. The Focus Gap 与政府监管四难
它解决什么问题
既然模型会伤人,为什么不直接让政府管?这个概念说明现有规则落在哪、漏了谁,以及讲师为什么认为政府直接监管难做,转而主张职业执照。
直觉
The Focus Gap 指监管的焦点错位:规则通常施加于组织,造模型的专业人员本身不受监管。欧盟法规管的是个人数据的存储与使用,同样没有直接管到算法背后的专家。
拿建筑业对照最直观。建筑公司受监管,结构工程师个人也要持证、担责。数据科学这边,公司层受监管,个人层空着。
课件把这一节的问题写成问句:Government regulation makes sense? 讲师的回答是列出政府监管的四难:
- SCOPE:管什么,边界划在哪
- EXPERTISE:监管者缺技术,看不懂模型
- CERTIFICATION:认证可否交给持照的专业人员
- AUDIT:审计是否真的有效
一步一步看
目标:用四难逐条推「一个部门审批所有招聘算法」的提议,看讲师为何转向职业执照。
设想政府提议「由一个部门直接审批所有招聘算法」,用四难逐条推一遍。
-
SCOPE:「招聘算法」包括简历筛选、性格测试、面试视频打分吗?边界一划,总有一类落在外面。
难点 在这个提议里卡在哪 SCOPE 哪些工具算招聘算法,划不清 -
EXPERTISE:审批部门的人要读懂每家公司的模型,技术鸿沟很大。
难点 在这个提议里卡在哪 SCOPE 哪些工具算招聘算法,划不清 EXPERTISE 审批者看不懂模型 -
CERTIFICATION:与其政府自己看,能不能要求由持照的专业人员签字认证?这一步把问题引向职业执照。
难点 在这个提议里卡在哪 CERTIFICATION 谁有资格签字,需要先有执照制度 -
AUDIT:就算审批过了,上线后模型会漂移,一次性的审计查不到后来的问题。
-
四步走完,讲师的结论是转向职业执照:先让造模型的人可被认证、可被惩戒,再谈审计。
怎么判断
分析一个监管方案,问两句:
- 它的规则落在谁头上?只落在公司,就有 Focus Gap。
- 四难里它解决了哪几条?一条都没碰到的方案,多半停在纸面上。
常见误解
以为监管了公司就等于监管了模型
公司合规不代表模型被合格的人复核过。下面完整例题里的车险就卡在这里:法规管保险公司,不要求精算师复核费率申报。
以为讲师主张「加强政府监管」
讲师列出政府监管的四难,然后转向职业执照制度。课件标题本身就是一个问句。
试一下
某地新规要求所有使用信用评分的金融机构每年提交一份合规声明,由机构负责人签字。用两句判断分析它。
规则落在机构和负责人头上,造模型的人不签字、不担责,存在 Focus Gap。四难里它碰到了 AUDIT 的一点点(年度声明),但声明是自我申报,没有独立审计;EXPERTISE 和 CERTIFICATION 都没解决。
把它们串起来
前一页讲错配和回路怎样在各行各业重演,这一页回答「怎么办」。
公众这一层有三条防御,互相覆盖:追问打开黑箱,审计查整体,人工监督救个体。可它们都要等伤害发生之后才启动。
从业者这一层是职业标准,五要素缺了惩戒就立不住。现状是规则只管公司、伦理准则只是愿景,这就是 The Focus Gap。政府直接管又有四难,所以讲师转向职业执照。
车险案例把这些缺口放在一起:没人要求精算师复核,复杂度一旦跑赢监督,模型就成了 WMD。
课件里的坑
- [口径差异] p.30 的三条防御和三支柱之间只是便于理解的对应示例,必背写「交叉缓解」,答题不要给三条防御排固定强弱
- [补充] p.32 的标题是问句 Government regulation makes sense?,讲师的立场是监管难做、转向职业标准;p.36 车险例子的语境是美国州级保险监管,引用时说清这一点
- [补充] 本页 Focus Gap 图里的建筑业对照是为了好懂加的类比,p.32 只讲了数据科学这一边
- [补充] 本页「一步一步看」里的贷款、建模者、招聘审批三个场景都是演示用的,课件没有给出
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写三条:三条防御、职业标准五要素、政府监管四难。再做下面的「变式题」。最后回查两个最容易错的地方:把公众的防御和从业者的制度混用、以为讲师主张加强政府监管。
Online Quiz 偏向有唯一答案的点:五要素里哪一条是承重墙、四难的英文词。Written Assignment 更可能让你给一个陌生系统分层设计对策,那时先分清题目问的是公众还是专业人员。
必背
- 三条防御 Ask Questions、Demand Audits、Human Oversight 可交叉缓解风险;职业标准五要素里惩戒机制是承重墙
- The Focus Gap:监管管组织,不管造模型的专业人员个人
- 政府监管的四难:边界(管什么)、技术鸿沟(监管者看不懂)、认证(可否交给持照专业人员)、审计有效性
- 职业执照路线图四步:推广职业资格、支持惩戒权、制定统一标准、由精算师做独立的认证审计
- 当复杂度超过了监督能力,预测模型就变成了侵蚀公众信任的数学杀伤性武器
课件例题
例 1(课件 p.36):车险预测模型为什么会变成 WMD
见下方完整例题。
完整例题
课件 p.36 原题:州法规管的是保险公司,不管建模型的具体专业人员;法规不要求合格精算师制作、支持或复核费率申报;法律要求费率公平,却不强制公司用精算标准证明模型合规。现代预测模型高度复杂、很少透明,又常常没有独立验证。请用本讲的概念解释它为什么会侵蚀公众信任。
① 把五条拆成两组。前三条是 Company-Focused Rules、No Actuary Required、Compliance vs. Expertise,讲监管缺口。后两条是 High Complexity、Lack of Oversight,讲黑箱。
② 第一组对 The Focus Gap 和五要素。Company-Focused Rules 就是 The Focus Gap:规则落在公司头上,造模型的人没人管。No Actuary Required 和 Compliance vs. Expertise 说明职业标准五要素在这里一条都没被强制,惩戒更无从谈起。
③ 第二组对三支柱和四难。High Complexity 对应 Opacity。Lack of Oversight 说明没有独立验证,监管机构也缺评估能力,对应政府监管四难里的 EXPERTISE 和 AUDIT。
④ 结论:两组合起来就是课件那句话:When complexity outpaces oversight, predictive models transform into Weapons of Math Destruction that erode public trust。对策按两层给:公众要求费率依据可追问、可独立审计;行业要求精算师签字复核费率申报,并有惩戒兜底。
答题格式:先把题面五条分两组,第一组落到 Focus Gap 和五要素,第二组落到 Opacity 和四难,最后一句原文结论,再补两层对策。
变式题(先自己做)
自编情境:一家外卖平台用算法给骑手派单并计算每单报酬,骑手看不到计算规则。当地规定只要求平台公司每年公布一次「算法公平承诺」。一位骑手发现自己连续几周收入下降,申诉后只收到自动回复。
(1) 作为骑手,他能用哪几条防御?(2) 这条地方规定有什么缺口?(3) 如果要从从业者这一层改,你会建议加什么?
提示
第一问看题面缺了什么(解释、外部检查、申诉)。第二问问规则落在谁头上、有没有后果。第三问回到五要素里的承重墙。
参考答案与自检(非官方评分标准)
自检要点:① 防御要对着题面的缺口选;② 指出 Focus Gap 和 HOLLOW ETHICS;③ 从业者层的建议要包含惩戒。
(1) 题面缺解释、缺有效申诉。主用 Ask Questions 要求说明报酬计算依据,Human Oversight 要求人工处理申诉;配合 Demand Audits,请独立方检查不同骑手群体的收入变化。
(2) 规定落在平台公司头上,设计派单算法的人不担责,存在 Focus Gap。「公平承诺」是自我声明,违反了没有后果,属于 HOLLOW ETHICS,也没有独立审计。
(3) 要求对报酬算法负责的建模者持证或签字认证,并有惩戒机制:模型被审计发现系统性不公时,签字人要承担警告、暂停之类的后果。只加承诺或培训,不加惩戒,等于没改。
闪卡自测
1. 公众的三条防御是什么?
Ask Questions、Demand Audits、Human Oversight,三条交叉缓解风险,总纲是 Efficiency vs. Fairness(p.30)。
2. p.31 的四个关键词是什么?
REGULATORY VACUUM、BLIND SPOTS、HOLLOW ETHICS、THE SOLUTION(p.31)。
3. 什么是 The Focus Gap?
规则通常施加于组织,造模型的专业人员本身不受监管。欧盟法规管个人数据的存储与使用,同样管不到算法背后的专家(p.32)。
4. 政府监管四难的四个英文词?
SCOPE、EXPERTISE、CERTIFICATION、AUDIT(p.33)。
5. 职业标准的五个要素是什么?哪个是承重墙?
EXAMS、CONTINUING EDUCATION、CODE OF CONDUCT、PROFESSIONAL STANDARDS、DISCIPLINARY ACTIONS。惩戒是承重墙:没有惩戒就没有后果,其余四条会退化成装饰(p.34)。
6. 讲师给的路线图有哪四步?
推广职业资格、支持惩戒权、制定统一标准、由精算师做独立的认证审计(p.35)。
下一讲
下一页从「谁来负责」转到「具体怎么做」:一套不制造 WMD 的 AI 流程、可解释性的四类受众,以及用反事实图像审计皮肤癌模型:L02b-3。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。