← DSAI5T09 全部讲次
L04a-3 · 第 5 周

L04a-3 建模与部署两道门:目标变量是价值选择,部署要为防护失效做准备

MODEL 阶段定目标、测整个决策,DEPLOY 阶段按时间排四条职责、用纵深防御回答谁承担后果,最后把三道门收成三个主问题加六个子问题的必背表。

一句话版

选预测什么,就是在替系统定义「什么算好」;上线以后要问的不止「能不能部署」,还有「防护失效时谁承担后果」。

这一页讲后两道门。MODEL 这道门有两件事:目标变量怎么选、模型怎么测。DEPLOY 这道门讲四条职责和纵深防御。最后把三道门收成一张项目评审时能直接复述的表。

先认识这几个词

词 全称 / 读法 一句人话
目标变量 target variable 模型要预测的那一列,等于告诉它什么算好
代理 proxy 拿一个好测的量顶替难测的真实目的
基准测试 benchmark 拿模型和标准、和别的模型比一比,看它到底行不行
数据泄漏 leakage 测试时混进了预测那一刻本不该知道的信息,分数虚高
假阳性 / 假阴性 false positive / false negative 把不该标的人标了 / 把该标的人漏了
纵深防御 defense in depth,课件记作 LAYER 设多层防护,假定每一层都会失效

一个类比:造一辆车

造车要过两道关:先定什么叫好车,再为刹车失灵做准备。

第一关是定目标。如果把「好车」定义成「百公里加速快」,工程师会把车造得很快,却不一定安全。目标变量就是这句「什么叫好车」的定义。

测试也一样。只在晴天的干跑道上测加速,分数很漂亮,一上雨天的路就露馅。测的条件要和真实上路的条件对得上。

第二关是上路以后。刹车、防抱死、安全气囊、安全带一层叠一层,每一层都假定前一层可能失效。真出了事故,还要问一句:谁受伤,谁来赔。

类比在哪里失效:

  1. 开车的人自己承担大部分风险;模型打分的对象常常不是用模型的人。
  2. 车祸看得见,模型的一次错判常常没人察觉,被判错的人也不知道原因。
  3. 汽车的好坏有公认的测试项,模型的「好」要每个项目自己定义。

从零讲起

1. 目标变量是一次价值选择

它解决什么问题

建模时,「预测哪一列」常被当成技术细节。这个概念提醒你,选预测什么本身就是伦理决定。课件的论题句是 A target is not merely a field in a dataset. It tells a system what to reward, flag, or prioritise.

直觉

从目的到决策有一条三步链:

  1. PURPOSE:什么问题重要?从真实决策和受它影响的人出发。
  2. TARGET:什么算成功?一个代理或标签,把人的目的转成可度量的结果。
  3. DECISION:系统会做什么?分数会排序、批准、拒绝,或引导注意力。

中间那一步最容易出错。课件列了三种出错方式:

  • PROXY:代理太窄,漏掉了人们真正在意的条件
  • SENSITIVE:敏感属性没被直接写进去,也可能被间接推出来
  • 未经审查的历史标签:把不该决定未来待遇的旧模式继承下来

从目的到决策的三步链:PURPOSE 什么问题重要、TARGET 什么算成功(青绿标出)、DECISION 系统会做什么;下方三个出错方框:PROXY 代理太窄、SENSITIVE 敏感属性被间接推出、LABEL 历史标签未经审查

课件要求缩小真实目的与狭窄代理之间不必要的差距。任何度量都是简化,代理不可能和目的完全一致;能做到的是知道差距在哪、别让它大过必要。

一步一步看

目标:拿医院随访项目走一遍三道门、停在目标那一步,看「就诊次数」这个代理漏掉了谁。

拿一个医院的随访项目,按三道门的问题走一遍,停在 MODEL 的目标那一步细看。

  1. CLEAN:就诊记录的许可覆盖「排随访」这个用途吗?这一道门上一页讲过,这里先记下要查。

  2. MODEL·目标:用「过去一年就诊次数」代表「病情严重度」。就诊次数受交通、费用、请假难易影响。看病难的人次数少,却可能病得更重。这是代理太窄。

  3. MODEL·测试:评估只报整体准确率,没看不同人群的错误。

  4. DEPLOY:护士直接按分数排随访,谁受影响、能不能复核,都还没问。

    判断帧:案例是某医院用过去一年就诊次数代表病情严重度、决定谁优先获得随访名额,评估只报整体准确率;左栏四步走到第二步 MODEL 目标,右栏写就诊次数受交通、费用、请假难易影响,看病难的人次数少却可能病得更重,属于代理太窄

怎么判断

拿到一个目标变量,问三句,正好对上三种出错方式:

  1. 它漏掉了哪些人们真正在意的条件?(PROXY)
  2. 它会不会间接带出性别、族裔这类敏感属性?(SENSITIVE)
  3. 它用的历史标签当初是怎么打的,带不带过去的偏差?(历史标签)

课件的 Professional Rule 是反复审查并重新定义目标变量。标准有三个词:站得住(defensible)、相关(relevant)、可解释(explainable)。

常见误解

以为代理必须和真实目的完全一致才算合格

原话是缩小不必要的差距。任何度量都是简化,要求完全一致做不到;能执行的标准是知道差距在哪,并且别让它大过必要。

以为选哪一列做目标只是数据工程的事

目标告诉系统去奖励什么、标记什么、优先什么。挑目标等于替整个系统定义「什么算好」,只是写成了一行查询。

试一下

一家公司用「入职后两年内的绩效评分」当「好员工」的目标变量,训练招聘模型。按三种出错方式各问一句。

PROXY:绩效评分漏掉了团队协作、带新人这些不进评分的贡献。SENSITIVE:如果历史评分对某些群体偏低,模型可能借学校、社团等字段间接学到群体归属。历史标签:过去的绩效评分是谁打的、标准是否一致,没审查就会把旧偏差带到新的招聘里。

2. 测整个决策,不只测分数

它解决什么问题

模型训好了,怎么才算评估做得好?常见的答案是「看哪个分数最高」。这个概念给出另一种做法:在真实情境里检验决策。课件页标题是 Benchmark the decision—not just the score。

直觉

课件把两种做法排成两列,左边追漂亮数字,右边在情境中检验决策:

弱基准 负责任的基准
Metric first:最大化一个未必对准真实决策的统计量 Purpose first:看模型是否支持真正要解决的问题
Holdout comfort:忽略让模型看起来很强、却没有生产价值的泄漏 Reality check:和相关数据、模型对比,看性能能否在部署后存活
One-size error:把假阳性和假阴性当成代价相同 Trade-offs made explicit:按领域权衡每类错误的代价

中间一句总结:BENCHMARK THE WHOLE DECISION,要测目标、输入、取舍、生产条件、对人的后果。

Holdout comfort 说的是数据泄漏。最常见的两种:时间泄漏,用了预测那一刻之后才拿得到的特征;分组泄漏,同一个人的记录同时出现在训练集和测试集里。

一步一步看

目标:拿欺诈检测报告逐行对照三条反面,看漂亮的准确率怎样掩盖真实决策的代价。

拿一个信用卡欺诈检测模型的评估报告,逐行对照三条反面。

  1. 报告写「准确率 99%」。先问这个数对准真实决策了吗:欺诈交易本来就少,全部判成正常也能拿到很高的准确率。这是 Metric first。

  2. 报告的特征里有「交易后三天内是否被投诉」。预测那一刻还没有这条信息,离线分数会虚高。这是时间泄漏,属于 Holdout comfort。

  3. 报告只给一个总错误率。把正常交易误拦(假阳性)和放过欺诈(假阴性)算成一样的错。这是 One-size error。

  4. 改成负责任的做法:先写清模型要支持的决策是「哪些交易要人工复核」,去掉泄漏特征,分开报告两类错误各自的代价。

    报告里的做法 命中哪条反面 负责任的改法
    只报准确率 Metric first 先写清模型支持什么决策
    用了事后才有的特征 Holdout comfort 去掉泄漏,按时间切分测试集
    一个总错误率 One-size error 分开报两类错误和各自代价

怎么判断

评价一次模型评估,不要只问「哪个模型分数最高」,要问「这个基准有没有把负责任的决策需要的取舍暴露出来」。具体看三处:

  1. 指标对准的是真实决策吗?
  2. 测试集里有没有预测那一刻本不该知道的信息?
  3. 两类错误有没有分开报告、分开定价?

第三处是通往下半份课件的桥:两类错误代价不同,接下来的问题是这些错误在不同群体之间怎么分。

常见误解

以为离线分数高,上线就一定表现好

泄漏会让离线分数虚高。测试集里混进了预测时本不该有的信息,上线后这些信息没有了,模型就崩。课件把这种安心感叫 Holdout comfort。

以为假阳性和假阴性只是两种叫法,代价差不多

两类错误伤害的人不同。贷款模型漏掉还得起的人,和放贷给还不起的人,后果完全不同。One-size error 就是把它们当成一样。

试一下

一个学生成绩预测模型的测试集是随机抽的,同一个学生不同学期的记录分别落在训练集和测试集里,报告的准确率很高。这是哪种问题?

分组泄漏。同一个学生的记录同时出现在训练和测试里,模型可能只是记住了这个学生,分数虚高。应按学生分组切分,让测试集里的人在训练时从没出现过。

3. 部署四职责与纵深防御

它解决什么问题

上线以后,模型开始影响人、决策、访问权和风险,它就不再只是代码。这个概念回答上线前后要担起哪些事,以及防护不够用时怎么办。

从哪来(补充)

纵深防御来自安全工程:在系统各处叠放多层控制,避免单点失效,一层失守还有其他层。维基条目称这是美国国家安全局(NSA)提出的分层策略。出处:Wikipedia: Defense in depth (computing)。

直觉

四条职责按时间排:

  1. FORESEE:上线前,预见可能的正面与负面效应
  2. CONTROL:配置时,按明确的目的限制谁能看、谁能用
  3. LOG:运行中,记录访问,让涉及敏感数据的行为可复核
  4. MONITOR:上线后,盯使用、失败和新出现的伤害,随时准备缓解

职责要落成机制,课件给了另外四条:RESTRICT 控制访问,LOG 留下证据,PLAN 定义缓解动作,LAYER 纵深防御。两份清单大半重叠,RESTRICT 就是 CONTROL,LOG 两边都有。

LAYER 的假设最反直觉:假定每一道防护都会失效,再问失效之后会怎样。课件原话是 Responsible deployment is not a promise that nothing fails. It is preparation for what happens when a safeguard is insufficient.

四层防护从左到右排开:RESTRICT 用虚线画出已经失效,LOG、PLAN、LAYER 三层仍在;下方青绿框写着还要问:防护失效时,后果落在谁身上

一步一步看

目标:假定银行评分系统的第一层失效,逐层检查四条机制,看后面几层还能兜住什么、后果落在谁身上。

拿一个银行内部的客户风险评分系统,按四条机制逐层检查,假定第一层失效。

  1. RESTRICT:只有风控组能查看评分。假设有人借了同事的账号,这一层失效。

  2. LOG:每一次查看都留了记录,事后能查出是谁、何时、看了谁的分数。

  3. PLAN:事先写好了泄露后的处置:通知受影响客户、冻结账号、复查访问。

  4. LAYER:还有没有下一层?比如评分只显示等级不显示明细,就算被看到,暴露的东西也有限。

  5. 最后问一句:这次失效的后果落在谁身上?落在被看到评分的客户身上,他们自己什么也没做错。

    机制 失效时还剩什么 谁承担后果
    RESTRICT 失效 有人越权看到评分 客户
    LOG 能查出是谁看的 追责有依据
    PLAN 有现成的处置步骤 减轻客户损失
    LAYER 只露等级不露明细 暴露范围变小

怎么判断

评价一份部署方案,课件给了两个 Professional Questions:

  1. Can this be deployed? 这是技术问题。
  2. What happens if our safeguards fail—and who carries the consequence? 后半句「谁承担后果」才是伦理问题。

只答了第一句的方案,等于承诺不出事,课件不认这种准备。

常见误解

把四条职责和四条机制当成两套要分别背的清单

两者大量重叠,只是视角不同。职责讲部署阶段要担起哪些事,机制讲这些事落成哪些措施。问职责就答职责,问措施就答机制。

以为防护做得足够多,就可以不考虑失效

纵深防御的前提就是每一层都会失效。负责任的部署是为失效那一刻做准备,并说清后果落在谁身上。

试一下

一个学校的学业预警系统,方案写着:「只有辅导员能登录查看,系统经过安全测试,不会泄露。」用纵深防御评价这句话。

只有 RESTRICT 一层,而且用「不会泄露」承诺不出事。缺 LOG(谁看了谁的分数)、PLAN(泄露后怎么通知学生)、LAYER(下一层防护是什么)。还要回答:泄露或误判时,后果落在被预警的学生身上,他们有没有申诉通道。

把它们串起来

前一页的第一道门管数据能不能用。这一页的两道门接着往下走:数据能用了,模型要预测什么、怎么测;模型训好了,上线后谁会受影响、防护失效怎么办。

课件把三道门压成一张必背表,每道门一个主问题,下挂两个子问题,项目评审时可以直接复述。

阶段 主问题 两个子问题
CLEAN 有许可吗,隐私边界还守着吗? 使用是自愿、知情、在同意范围内的吗?权利、政策和用途允许这次清洗或复用吗?
MODEL 目标站得住吗,测试揭示了有意义的取舍吗? 目标代表真实目的,还是一个狭窄的代理?测试暴露了泄漏、错误代价和生产条件下的表现吗?
DEPLOY 谁可能受影响、谁能访问、伤害怎么减少? 系统上线后可能出现什么负面后果?访问控制、日志、监控和缓解方案准备好了吗?

收尾是五个词:PERMISSION、PURPOSE、FAIRNESS、FORESIGHT、ACCOUNTABILITY。它们和三阶段不是一一对应。PERMISSION 对 CLEAN,PURPOSE 和 FAIRNESS 对 MODEL,FORESIGHT 对 DEPLOY。

ACCOUNTABILITY 横跨三个阶段,因为可问责靠的是过程中留下的记录,事后补不出来。FAIRNESS 在上半份只出现这一次,它是下半份的主题。

课件里的坑

  • [课件有误] p.13 第三格标题印成 DEPOLY,正确拼写是 DEPLOY。同一份课件 p.4、p.5、p.11 都拼对了,只有这一页错
  • [标签错位] p.9 右栏第 03 格标签写 DEPLOY,内容讲的却是未经审查的历史标签,按内容记
  • [页面重叠] p.11 与 p.12 的四条有大半重叠(RESTRICT 就是 CONTROL,LOG 两页都有),属职责清单与机制清单两个视角
  • [排版毛刺] p.9、p.10、p.12 有多余句点和不配对的右引号
  • [补充] p.10 的 Holdout comfort 只有一个词,时间泄漏和分组泄漏是机器学习工程的常识补充

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写 p.13 的三个主问题,再默写部署四职责的时间顺序;再做下面的变式题;最后回查两个最容易错的地方:把 p.11 和 p.12 当成两套清单,以及把「谁承担后果」漏掉。

这门课没有期末考试,两份评估都是场景式伦理分析。下面是押题,课件没给题型说明:这半份最适合出「给一个项目场景,说出该在哪一阶段问什么」,因为 p.13 的表就是评分点。

必背

  1. 目标变量是一次价值选择,三种出错方式是代理太窄、敏感属性被间接推出、历史标签未经审查
  2. 负责任的基准测试要测整个决策:目标、输入、取舍、生产条件、对人的后果;反面做法是只追指标、忽略数据泄漏、把假阳性和假阴性当成代价相同
  3. 部署阶段四职责按时间排:FORESEE 在上线前、CONTROL 配置访问、LOG 留痕、MONITOR 上线后持续;落地机制是 RESTRICT、LOG、PLAN、LAYER
  4. 负责任的部署要为某道防护不够用的那一刻做好准备,并回答谁承担后果;承诺不出事不算准备
  5. 工程师的 integrity gate 是三个主问题加六个子问题,按清洗、建模、部署三个流程阶段各问一个主问题

课件例题

本讲课件没有例题。这几页给的是目标变量、基准测试、部署四职责和三道门的清单,没有配案例;评估更可能给一个项目场景,让你说出在哪一阶段该问什么,下面的完整例题和变式题都是按这个题型自编的。

完整例题

自编情境,依据 p.13 三道门设计,非课件原题:某校拟用图书馆闸机刷卡记录(当初为安保与人流统计采集)训练「学业风险预测」,分数低者由辅导员约谈,模型只报整体准确率。

① CLEAN 这道门。问许可:刷卡记录当初为安保和人流统计采集,拿来做学业预测是重新利用,要重新核对原许可覆不覆盖这个用途。问边界:若还要和成绩、缴费记录合并,那是合并,要先问合并之后能推断出关于学生的什么。同意还要有可撤回的通道。

② MODEL 这道门。问目标:把「到馆频次低」当「学业有风险」的代理,属于代理太窄:通勤远、在宿舍自习、用电子资源都会压低频次而与学业无关。问基准:只报整体准确率命中 Metric first 和 One-size error,没按群体拆开看,也没区分两类错误的代价。

③ DEPLOY 这道门。问影响:分数会改变辅导员的注意力分配,被约谈本身带标签效应。问访问:谁能看到这个分数。问防护失效:分数算错了学生有没有知情和申诉通道,后果落在谁身上,这一问才是伦理问题。

④ 结论:不应按现状推进。最小改动是重走目的与许可核查、把代理指标换成与学业直接相关的信号或标注其局限、补上分组评估、把分数改为供辅导员参考而不自动触发约谈。

答题格式:三道门各写一段,每段先写主问题,再写两个子问题的答案,最后一句结论加最小改动。

变式题(先自己做)

自编情境:某连锁健身房用会员的入场刷卡频次(当初为门禁与客流统计采集)训练「续费意愿预测」,销售据此决定给谁打折促销,低分会员直接不再联系。会员不知道有这个分数。

用三道门各过一遍:哪些问题已由题面证实,哪些还需追问?给出可操作的改进。

提示

先把题面说死的事实(采集目的是门禁与客流、会员不知情、低分直接不再联系)和题面没说的(原许可范围、有没有分组评估、有没有申诉通道)分开。没提到不等于没做,该追问的写成追问,别写成断言。

判分点与答案(非官方评分标准)

判分点:① 三道门各给出具体追问;② 区分题设事实与风险推断;③ 点出会员不知情同时触犯知情与可撤回两条;④ 给出改进措施而不只是批评。

① CLEAN:采集目的是门禁与客流统计,用于销售分层是重新利用,要核对原许可是否覆盖。会员不知情这条已由题面证实,它同时妨碍 KNOW 和 DECISION:不知情就谈不上撤回。若还要与消费记录合并,那是第二类越界动作。

② MODEL:入场频次代理续费意愿,属于代理太窄:伤病、换工作、改成居家训练都会压低频次,而这些人一部分仍愿续费。更要紧的是反馈回路:低分者不再被联系,于是更不续费,下一轮数据把这个判断「证实」一遍。题面没提基准测试怎么做,应索取分组结果,不宜断言没做。

③ DEPLOY:主要伤害是漏掉本来会续费的人,他们连一次促销都收不到且无从知晓原因。谁能看到分数、保存多久、能否要求复核,题面均未提供,都要追问。还要问防护失效时后果落在谁身上:落在会员身上,而他们没有任何信号可以察觉。

改进:告知会员存在此分数并提供退出通道;核查原许可是否覆盖销售用途;把分数改为排序建议而非「不再联系」的开关,保留兜底触达;补上分组评估与定期复审。

闪卡自测

1. 目标变量出错的三种方式是什么?

代理太窄、敏感属性被间接推出、历史标签未经审查(p.9)。

2. p.9 要求缩小代理与真实目的之间「不必要的」差距,为什么要加「不必要的」?

任何度量都是简化,代理不可能和目的完全一致。要求是知道差距在哪、别让它大过必要,这样才可执行(p.9)。

3. 负责任的基准测试要测什么?对应的三条反面做法是什么?

要测整个决策:目标、输入、取舍、生产条件、对人的后果。三条反面是只追指标、忽略数据泄漏、把假阳性和假阴性当成代价相同(p.10)。

4. Holdout comfort 指什么?举两种常见的数据泄漏。

指数据泄漏让离线指标虚高。常见的有时间泄漏(用了预测时点之后才有的特征)和分组泄漏(同一个人的记录同时出现在训练集和测试集里)(p.10)。

5. 部署阶段四条职责按什么顺序排?

按时间:FORESEE 在上线前,CONTROL 在配置时,LOG 在运行中,MONITOR 在上线后(p.11)。

6. p.11 和 p.12 内容重叠,两页的视角差别是什么?

p.11 是部署阶段要承担哪些职责,p.12 是这些职责落成哪些具体机制。问职责答 p.11,问措施答 p.12。

7. 纵深防御的核心假设是什么?

假定每一道防护都会失效,再问失效之后会怎样。配套追问是后果落在谁身上,这半句才是伦理问题(p.12)。

8. p.13 的三个主问题是什么?

CLEAN:有许可吗,隐私边界还守着吗?MODEL:目标站得住吗,测试揭示了有意义的取舍吗?DEPLOY:谁可能受影响、谁能访问、伤害怎么减少(p.13)?

9. p.14 的五个词里,哪一个横跨全部三个阶段?为什么?

ACCOUNTABILITY。可问责性靠的是过程中留下的记录,三个阶段都得留,事后补不出来(p.14)。

下一讲

上半份把「该在哪一步停下来」讲完了,其中 MODEL 那一步要求目标公平,却没说什么叫公平。下一页专治这件事,先补条件概率,再讲四个符号和删掉敏感属性为什么不够:L04b-1。

下一讲 →
L04b-1 L04b-1 公平先要会写条件:条件概率、群体与交叉性、四个符号、删列为什么不够

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。