← DSAI5T09 全部讲次
L08b · 第 10 周

L08b 相关不是因果、分布偏移和类别不平衡:模型为什么学歪

从零讲清相关谬误怎样骗过人、训练和测试的分布不同为什么让模型失灵、类别不平衡时决策边界怎样被多数类推开、准确率 99.997% 为什么可能毫无用处,以及加权和重采样怎样让少数类追上来。

一句话版

模型会把数据里的巧合当规律、把训练时见过的世界当全部、把数量多的类别当答案;看穿巧合、检查分布、让少数类在训练里分量够,是这一页的三件事。

先认识这几个词

词 全称 / 读法 一句人话
相关谬误 correlation fallacy 把「一起变」当成「一个导致另一个」
相关系数 r 衡量两组数一起变的程度,取值 −1 到 1,越接近 ±1 越同步,接近 0 几乎不一起变
过度泛化 overgeneralization 拿一小撮不多样的数据下全局结论
分布偏移 distribution shift 用的时候遇到的数据和训练时的不一样
类别不平衡 class imbalance 某一类的样本远少于另一类
决策边界 decision boundary 模型心里把两类分开的那条线
加权 weighting 给数量少的类别每个样本更大的分量
重采样 resampling 让数量少的类别在训练时被多抽几次

一个类比:只看过晴天的新司机

一位新司机只在晴天的白天练车,练了一百次,九十九次路上没有行人。

他从中得出两条「规律」。一条是「开快不会出事」:晴天他开得快,晴天也从没出过事;其实是晴天同时让他敢开快、也让路况安全。另一条是路上基本没人,所以不用看人行道。

第一条把巧合当因果。第二条把练车时的路当成了所有的路。

真遇到雨夜和放学时的校门口,这两条规律都会出事。那唯一一次有行人的经历,在一百次里分量太轻,被他忘了。

类比在哪里失效:

  1. 司机能自己意识到「没在雨里开过」;模型不会,它只会照样输出一个很自信的答案。
  2. 司机可以多去练几次夜路;模型要靠人去补数据、改权重。
  3. 一次有行人的经历,人会记很久;模型里少数类的分量只取决于数量和权重。

从零讲起

1. 相关不是因果

它解决什么问题

做数据分析,最容易得到的结论是「两件事同涨同落」。下一步就很想说「一个导致另一个」。

课件把这一步叫相关谬误,归在「解读造成的偏见」里:数据本身没错,错在人怎么读。

从哪来(补充)

课件第一张图改自 Tyler Vigen 收集的巧合相关图表。原图是美国计算机科学博士授予数和街机厅收入,r = 0.985。出处:Spurious Correlations。

直觉

两件毫不相干的事,只要都随着年份往上走,画在一张图上就会贴得很紧。

课件的第二张图更极端:有机食品销售额和自闭症诊断人数,十年间几乎重合,相关系数接近 1。

没有人会因此说吃有机食品导致自闭症。两者都在随时间增长,时间才是背后的那个变量。

一步一步看

目标:先读课件的有机食品图,再拿「冰淇淋与溺水」逐步判断,练习三问:相关吗、有第三个变量吗、结论站得住吗。

课件图:有机食品销售额与自闭症诊断人数两条曲线,横轴 1998 到 2007 年,两条线几乎重合,图中标注相关系数 r=0.9971,p 小于 0.0001
图片来源:DSAI5T09 LT8.pptx, p.17
  1. 判断两件事是否相关。

    相关谬误判断第一步:案例框写报告说冰淇淋销量越高的月份溺水人数越多,所以应该限制冰淇淋销售;第一行问题「两件事相关吗」被青绿框标出,答案是相关,同涨同落,相关系数很高

  2. 找有没有第三个变量。

    相关谬误判断第二步:第一行已答,第二行问题「有没有第三个变量同时推动两者」被青绿框标出,答案是天热,吃冰淇淋的人多,下水游泳的人也多

  3. 判断结论。

    相关谬误判断第三步:前两行已答,第三行问题「结论站得住吗」被青绿框标出,答案是站不住,这是相关谬误,把相关当成了因果

怎么判断

判断口诀:看到同涨同落,先找时间和第三个变量。

情况 能不能说因果
两条曲线都随年份上升 不能,可能只是共同的时间趋势
有一个变量同时推动两者 不能,那是混杂因素
做了对照实验,只改一个因素 才有条件谈因果

意思是:相关系数只说明「一起变」,说不出「谁导致谁」。

常见误解

误解:相关系数接近 1 就说明有因果

课件的有机食品图相关系数 0.9971,两件事仍然没有因果关系。r 只衡量同步程度。

误解:相关谬误是数据错了

数据可以完全准确。课件把它归在解读造成的偏见里,错在下结论的那一步。

试一下

模型发现「用某款手机的用户贷款违约率低」,于是给这款手机的用户提高额度。这样做有什么问题?

答案

手机型号和还款能力只是相关,背后可能是收入这个第三变量。把它当成因果来定额度,是相关谬误,还会让收入低的人更难借到钱。

2. 过度泛化和分布偏移

它解决什么问题

模型在测试集上表现很好,于是大家放心上线。上线后却频频出错。

原因常是测试集太窄:它和训练集长得一样,和真实世界不一样。拿这样的结果说「对所有情况都好」,就是过度泛化。

从哪来(补充)

课件的卫星图表格属于 WILDS 这类分布偏移基准。WILDS 由 Koh 等 2020 年发布,其中卫星图像任务的偏移来自时间和地区。出处:arXiv 2012.07421。

直觉

课件的杯子例子:数据集里的杯子都是正放着拍的;现实里的杯子会侧倒、会被俯拍、会只露半边。

模型只见过正放的杯子,遇到侧倒的就认不出。课件的结论:分布偏移会造成神经网络的偏见。

一步一步看

目标:读课件的卫星图表格,逐步找出训练和测试在哪两个方面不一样。

课件表格:训练集三张卫星图分别是 2002 年美洲购物中心、2009 年非洲多户住宅、2012 年欧洲公路桥;测试集两张是 2016 年美洲娱乐设施、2017 年非洲教育机构,测试集的年份地区用红框标出
图片来源:DSAI5T09 LT8.pptx, p.19
  1. 比较年份。

    集合 年份
    训练 2002、2009、2012
    测试 2016、2017
  2. 比较地区和类别。

    集合 地区 建筑或用地类型
    训练 美洲、非洲、欧洲 购物中心、多户住宅、公路桥
    测试 美洲、非洲 娱乐设施、教育机构
  3. 下结论:时间往后移了,地区和建筑样子也变了。训练时表现好,不代表在测试这几年、这几个地方也好。

怎么判断

判断口诀:问三句:测试数据从哪来、什么时候的、像不像真实使用的场景。

信号 风险
测试集和训练集来自同一批数据 看不出分布偏移
部署地区或年份和训练时不同 可能失灵
用一个测试集就宣称「对所有人都好」 过度泛化

意思是:测试集要尽量像真实使用的场景,宣传时只说测过的范围。

常见误解

误解:测试准确率高就说明模型泛化好

如果测试集和训练集来自同一个分布,准确率高只说明模型适应了这个分布,换个时间和地区可能就不行。

误解:分布偏移只是技术问题,和偏见无关

课件明说分布偏移会造成神经网络偏见:没被训练数据覆盖的人群和场景,表现就系统性地差。

试一下

一个只用城市道路照片训练的自动驾驶识别模型,要在乡村测试。这属于哪种问题?

答案

分布偏移:部署场景和训练数据的分布不同。如果只在城市测完就宣称处处可用,还是过度泛化。

3. 类别不平衡:模型为什么「全猜多数类」

它解决什么问题

现实中很多要找的东西本来就少:罕见病、诈骗交易、设备故障。

数据里这一类很少,模型就会偷懒:多数时候猜多数类,准确率照样很高。课件用一组决策边界的动画讲这件事。

直觉

训练时,模型每一步都在挪动决策边界,让判错的点变少。

如果 20 个点是多数类、1 个是少数类,每次挪动几乎都是为了照顾那 20 个点。

挪着挪着,边界就越过了那唯一的少数类点。模型整体只错了 1 个,看起来很好,可它要找的那一类全错了。

一步一步看

目标:跟着三帧图看边界怎样被多数类推开,再用课件的 GBM 数字算出那个「好看却没用」的准确率。

  1. 随机初始化一条边界。

    类别不平衡第一步:20 个灰色多数类点集中在左边,1 个黑色少数类点在右边;虚线边界在靠左的位置,右侧浅色区域判为少数类,很多多数类点被判错

  2. 每次更新都主要照顾多数类,边界被推向右边。

    类别不平衡第二步:虚线边界右移,大部分多数类点已在左侧,浅色区仍包住黑色少数类点

  3. 边界越过了唯一的少数类点。

    类别不平衡第三步:虚线边界被推到最右边,黑色少数类点被青绿圆圈标出,它落在了判为多数类的一侧

  4. 换成课件的真实例子:用核磁共振图像检测胶质母细胞瘤。

    项目 数字
    美国发病率 3.19 / 100,000
    数据集里健康 99.997%
    数据集里患病 0.003%
    永远回答「健康」的准确率 99.997%
    这个模型找出的病人数 0

怎么判断

判断口诀:类别越不平衡,越不能只看整体准确率。

情况 该看什么
两类数量相近 整体准确率有参考价值
一类远少于另一类 分开看每一类的准确率,尤其是少数类
漏掉少数类代价很大(疾病、诈骗) 少数类的召回最重要

意思是:不平衡时整体准确率主要反映多数类,要找的那一类表现得单独看。

常见误解

误解:准确率接近 100% 的模型一定好用

GBM 的例子里,什么都不学、永远答「健康」就有 99.997%,却一个病人都找不出来。

误解:数据集比例和现实一样才「真实」,所以最好

课件正是用这个问题提醒:照现实比例收数据,少数类在训练里几乎没有分量,模型学不会它。

试一下

一万笔交易里有 10 笔是诈骗。永远回答「正常」的模型准确率是多少?它有用吗?

答案

准确率 = 9990 ÷ 10000 = 99.9%,但一笔诈骗都抓不到,没有用。

4. 平衡数据:加权和重采样

它解决什么问题

知道少数类分量太轻,下一步就是把它的分量加回来。课件给了两种做法,都是改训练过程,不用去造新数据。

直觉

先看两类数量一样时会怎样:每次更新,两类说话一样大声,边界停在中间,把两类分开。

两类 1 比 1 时,灰点和黑点各在一边,青绿色实线边界停在两类中间把两类分开;底部写两类对每次更新的分量一样大

数量没法一样时,就从分量上补:

  1. 加权:数量少的类别,每个样本的权重大。频率 × 权重 = 相等的贡献
  2. 重采样:数量少的类别,每个样本被抽进训练批次的概率大

一步一步看

目标:用课件的 1:20 比例,一步步算出少数类要多大的权重才能和多数类贡献相等。

加权示意:多数类 20 份乘权重 1 得贡献 20;少数类 1 份乘权重 20 得贡献 20,少数类的权重被青绿色标出

  1. 写出两类的数量。

    类别 数量
    多数类 20
    少数类 1
  2. 要求贡献相等,算少数类的权重。

    类别 频率 权重 贡献
    多数类 20 1 20
    少数类 1 20 20
  3. 换成重采样的说法:少数类那个点被抽中的概率要是多数类每个点的 20 倍。

怎么判断

判断口诀:权重和数量成反比,乘起来一样大。

做法 改的是什么 课件的图
加权 每个样本对误差的分量 频率 × 权重 = 贡献
重采样 每个样本被抽中的概率 点画得越大,越容易被抽中

意思是:两种做法目标一样,都是让少数类在训练里的总分量追上多数类。

常见误解

误解:加权就是把少数类样本复制很多份

复制是重采样的一种粗做法。加权不改数据,只改每个样本在误差里算多少。

误解:平衡了类别数量,偏见就消失了

类别之间平衡了,每一类内部还可能藏着不平衡,比如人脸类里某种发色很少。这一点下一页展开。

试一下

多数类 300 个、少数类 15 个,多数类权重 1,少数类权重应是多少?

答案

300 ÷ 15 = 20,少数类权重 20,两类贡献都是 300。

把它们串起来

模型学歪有三条常见的路。

第一条在人:把一起变当成谁导致谁。课件的两张图里,两件事走势几乎重合,背后只是时间。

第二条在数据的范围:训练和测试只覆盖了某些年份、地区、角度,模型在没见过的地方失灵,人却以为它处处好用。

第三条在数据的比例:少数类太少,边界被多数类推开,整体准确率很高,要找的那一类全错。

对付第三条,课件给了加权和重采样,让少数类的分量追上来。

类别之间平衡了,类别内部还有没有偏见,以及怎样系统地减轻偏见,见下一页 L08c。前面的定义和生命周期见 L08a。

课件里的坑

  • [课件错误] p.16 两条曲线的名字被改了:原图(Tyler Vigen)是美国计算机科学博士授予数和街机厅收入,r = 0.985;课件写成数据科学博士和游戏中心收入。答题只说「两件无关的事走势重合,推不出因果」即可
  • [读图提醒] p.29 的人形图标格子大约 1 个患病对 100 个健康,只是示意;按发病率 3.19 / 100,000 算,真实比例约 1 : 31,300,比图上悬殊得多
  • [读图提醒] p.20–23 的柱状图都没有数值,只能说 A、B、C 的相对大小
  • [概念提醒] p.23 问「结果无偏了,为什么还是问题」,课件没有直接写答案,接下来用类别不平衡展开;答题可以落到「整体准确率在不平衡时掩盖少数类」

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写相关谬误的三问、类别不平衡为什么让边界被推开、加权的公式;再对照课件 p.16–35 做课件例题和变式题;最后回查一个易错点:99.997% 的准确率可以一个病人都找不出。

必背

  1. 相关谬误:两件事走势重合(r 接近 1)也推不出因果,常有共同的时间趋势或第三个变量
  2. 过度泛化:用有限、不多样的测试数据得出宽泛结论;分布偏移会造成神经网络偏见
  3. 类别不平衡时,每次更新主要照顾多数类,决策边界被推开,少数类被判错
  4. GBM 数据 99.997% 健康、0.003% 患病:全答「健康」的模型准确率 99.997%,却一个病人都找不出
  5. 加权:频率 × 权重 = 相等的贡献;重采样:少数类被抽中的概率更大

课件例题

例 1(课件 p.16–17):两张相关图

题面:课件两张图里,一组是博士授予数和游戏中心收入,一组是有机食品销售额和自闭症诊断人数(r = 0.9971)。能否得出因果结论?为什么?

提示

两组数据都随什么在变?

解答

不能。两组数据都随年份增长,走势重合来自共同的时间趋势;相关系数只衡量同步程度,不说明谁导致谁。这是相关谬误,属于解读造成的偏见。

例 2(课件 p.18):杯子

题面:数据集里的杯子都是正放着拍的。模型上线后会遇到什么问题?这叫什么?

提示

现实里的杯子都是正放的吗?

解答

现实里的杯子有各种角度,模型只见过正放的,遇到侧倒、俯拍的就认不准。这是分布偏移;如果只用正放杯子测试就说模型好用,还是过度泛化。

例 3(课件 p.19):卫星图分布偏移

题面:训练集是 2002、2009、2012 年的美洲、非洲、欧洲卫星图,测试集是 2016、2017 年的美洲、非洲。偏移在哪两个方面?

提示

对比训练和测试两栏的 Year / Region 一行。

解答

时间和地理区域。测试年份都比训练晚,地区组合和建筑类型也不同。

例 4(课件 p.20–23):照数据集比例学的准确率

题面:现实中三类的频率是 A < B < C,数据集里 B 最少,模型在 B 上的准确率最低。课件说这不是我们想要的。为什么?想要的是什么?

提示

模型的表现跟着谁走?

解答

模型的准确率跟着数据集里的数量走,数据少的类就差,这和现实中谁重要无关。想要的是每一类准确率都一样高,不因为数据里少就被牺牲。

例 5(课件 p.24–28):1:20 的决策边界

题面:少数类和多数类 1:20,分类器随机初始化后逐步更新。说明边界最后为什么会把少数类判错。

提示

每次更新主要在减少谁的错误?

解答

每次更新都为了让判错的点变少,而绝大多数点是多数类,边界就被推着照顾多数类,一直推到越过少数类那一点。整体只错 1 个,少数类却全错。

例 6(课件 p.29):GBM

题面:GBM 美国发病率 3.19 / 100,000。如果数据集照现实比例收集(约 99.997% 健康、0.003% 患病),一个永远答「健康」的模型准确率是多少?会发生什么?

提示

一个什么都不学的模型能拿多少准确率?

解答

永远答「健康」的模型准确率就有 99.997%,却一个病人都找不出来。患病样本在训练里几乎没有分量,模型学不会它;整体准确率在这里毫无意义。

例 7(课件 p.30–35):平衡的两种做法

题面:说出课件让少数类追上来的两种做法及原理。

提示

一张图是乘法式子,一张图是点的大小。

解答

加权:频率 × 权重 = 相等的贡献,少数类每个样本权重大。重采样:点的大小代表训练时被抽中的概率,少数类被抽中的概率更大。两类平衡后,边界能把两类分开。

完整例题

题目:一家银行用过去一年的交易训练诈骗检测模型。10 万笔交易里有 100 笔诈骗。模型测试准确率 99.9%。分析师还发现:「周末交易越多的月份,诈骗也越多,所以应该限制周末交易。」请按本页内容分析。

① 准确率能不能信。永远答「正常」的模型准确率 = 99,900 ÷ 100,000 = 99.9%,和这个模型一样。必须单独看诈骗那一类抓到多少。

② 为什么会这样。诈骗和正常是 1:999,训练更新几乎都在照顾正常交易,边界被推开,诈骗容易被判成正常。

③ 怎么改。诈骗样本加权,权重约为正常样本的 999 倍,或在每个训练批次里多抽诈骗样本。

④ 周末那条结论。周末交易多的月份诈骗多,可能只是交易总量多(第三个变量),这是相关谬误,不能直接推出限制周末交易。

⑤ 上线前。还要检查测试数据是不是和上线后的交易分布一样,比如新的支付方式、新地区的用户,避免分布偏移。

变式题(先自己做)

自编情境:一个识别农作物病害的模型,训练图片全部是在实验室白色背景下、上午拍的叶片,健康叶片 2000 张,病害叶片 100 张。测试集也来自同一实验室,整体准确率 96%。团队准备把它发给农民在田里用手机拍照识别。请指出至少三个问题并给出改法。

提示

分开想:拍摄条件、类别比例、测试集来源、96% 是谁的准确率。

判分点与答案(非官方评分标准)

分布偏移:实验室白底、上午拍,田里背景杂、光线多变,训练和使用的分布不同。

过度泛化:测试集和训练集同源,96% 不能说明在田里也好用。

类别不平衡:健康和病害 20:1,永远答「健康」也有约 95% 准确率;要单独报告病害类的表现。

改法:补田间实拍图片;病害类加权(约 20 倍)或重采样;用田间数据单独测试并分类别报告。

判分点:三个问题各对应一个改法;指出 96% 可能主要来自健康类。

闪卡自测

1. 相关谬误属于哪一组偏见?

解读造成的偏见(p.15–17)。

2. 有机食品和自闭症那张图的相关系数?

r = 0.9971(p.17)。

3. 杯子例子说明什么?

分布偏移会造成神经网络偏见(p.18)。

4. 卫星图例子的偏移在哪两方面?

时间和地理区域(p.19)。

5. 1:20 时边界为什么被推开?

每次更新主要照顾多数类(p.24–28)。

6. GBM 数据里健康和患病的比例?

99.997% 和 0.003%(p.29)。

7. 加权的式子?

频率 × 权重 = 相等的贡献(p.34)。

8. 重采样图里点的大小代表什么?

训练时被抽中的概率(p.35)。

下一讲

下一页 L08c 讲类别内部藏着的偏见、公平的定义、分组和交叉评估,以及对抗训练和学习潜在结构这两种去偏方法。

下一讲 →
L08c L08c 类内隐藏偏见、公平的定义和去偏方法:怎样发现和减轻偏见

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。