← COMP5511 全部讲次
L03a-3 · 第 3 周

L03a-3 贝叶斯公式:灵敏度 99% 的检验,阳性里只有 2% 真有病

从条件概率的定义出发,补上乘法公式和全概率公式,一步一步推出贝叶斯公式,再用十万人的人数树看懂基础率谬误。

一句话版

贝叶斯公式把条件的方向翻过来:已知「原因成立时看到这个现象」的概率,求「看到这个现象时原因成立」的概率。它不是新规则,只是把条件概率的定义换个方向写两次。

上一页 L03a-2 讲了条件概率 P(E|F) = P(EF)/P(F)。这一页先补两个小公式,再推出贝叶斯公式,最后用一道疾病检测题看它为什么反直觉。

先认识这几个词

词 全称 / 读法 一句人话
乘法公式 multiplication rule 同时发生 = 先发生一个,再在它发生的条件下发生另一个
全概率公式 law of total probability 把一件事按几种互斥的情况拆开算,再加起来
贝叶斯公式 Bayes’ formula 把条件概率的方向翻过来
先验 prior,P(F) 还没看到证据时,你对一件事的相信程度
后验 posterior,P(F|E) 看到证据 E 以后,更新过的相信程度
基础率 base rate 一件事在整个人群里本来有多常见
基础率谬误 base rate fallacy 判断时只盯着证据,忘了基础率

一个类比:小区里的烟雾报警器响了

你家的烟雾报警器很灵:真着火时几乎一定会响。可它也挺敏感,有人在厨房煎牛排,它也会响。

现在它响了。你要判断的是:真着火了吗?

如果只想「着火时它几乎一定响」,你会觉得多半是着火了。可是一年到头,煎牛排的次数比着火多得多。哪怕煎牛排时它只偶尔响,响的那些次里,绝大多数还是煎牛排。

贝叶斯公式做的就是这笔账。它让你同时看两样东西:报警器有多灵(似然),以及着火本来有多罕见(先验)。

类比在哪里失效:

  • 报警器响了你会去看一眼,马上知道答案。概率题里的「真相」通常看不到,只能靠这笔账估。
  • 「煎牛排比着火常见」是生活常识。题目里的先验要用给定的数,不能凭感觉估。

从零讲起

1. 先补一块:乘法公式与全概率公式(补充)

它解决什么问题

贝叶斯公式的分子要用到 P(EF),分母要用到 P(E)。题目通常不直接给这两个数,只给「在某某条件下」的概率。乘法公式和全概率公式负责把它们拼出来。

直觉

乘法公式:两件事同时发生,可以分两步想。先让 F 发生,概率 P(F);F 发生了以后,E 再发生,概率 P(E|F)。两步相乘就是同时发生。

全概率公式:想知道 E 有多常见,可以把世界切成「F 发生」和「F 不发生」两块。每一块里算 E 占多少,再加起来。两块不重叠,又拼成了全部,所以加起来不多不少。

一步一步看

目标:用疾病检测的数先算出两块联合概率,再用全概率公式把它们加成 P(+)。

用疾病检测的数走一遍。患病记作 D,健康记作 H,阳性记作 +。已知 P(D) = 0.001,P(+|D) = 0.99,P(+|H) = 0.05。

  1. 健康是患病的补集,P(H) = 1 − 0.001 = 0.999。

  2. 乘法公式算「患病且阳性」:P(D 且 +) = P(+|D)P(D) = 0.99 × 0.001 = 0.00099。

  3. 乘法公式算「健康且阳性」:P(H 且 +) = P(+|H)P(H) = 0.05 × 0.999 = 0.04995。

  4. 全概率公式把两块加起来:P(+) = 0.00099 + 0.04995 = 0.05094。

    一个长方形代表全部人群,左边窄条是患病 D、几乎全是灰底的阳性部分,右边宽块是健康 H、只有顶上一条灰底是阳性;下方青绿写 P(+) 等于 P(+|D)P(D) 加 P(+|H)P(H)

块 条件概率 这一块的大小 相乘
患病 D P(+|D) = 0.99 P(D) = 0.001 0.00099
健康 H P(+|H) = 0.05 P(H) = 0.999 0.04995
合计 P(+) = 0.05094

怎么算

乘法公式,从条件概率的定义两边乘 P(F) 得到:

P(EF) = P(E|F) · P(F)

意思是:同时发生 = 条件概率 × 条件那件事本身的概率。

E 和 F 的位置可以对调,同一个交集还能写成:

P(EF) = P(F|E) · P(E)

意思是:EF 和 FE 是同一件事,从哪一边拆都行,两种写法相等。

全概率公式:F 和 F^c 互斥,并起来是 S,所以 EF 和 EF^c 也互斥,并起来是 E。由可加性:

P(E) = P(EF) + P(EF^c) = P(E|F)P(F) + P(E|F^c)P(F^c)

意思是:把 E 按「F 发生 / 不发生」拆成两块,每块用乘法公式算,再相加。

常见误解

全概率公式里漏掉 F^c 那一项

只写 P(E|F)P(F),算出来的只是「E 且 F」的部分。疾病题里漏掉健康人那一块,P(+) 就从 0.05094 变成 0.00099,后面贝叶斯的答案会变成 1,明显不对。两块必须都加上。

以为 P(+|D) 和 P(+|H) 加起来应该等于 1

它们的条件不同,一个在患病的人里算,一个在健康的人里算,没有理由加成 1。加起来等于 1 的是同一个条件下的两种结果,比如 P(+|D) + P(−|D) = 1。

试一下

一个工厂两条产线,A 线产量占 60%,次品率 2%;B 线产量占 40%,次品率 5%。随机抽一件,是次品的概率是多少?

P(次品) = 0.02 × 0.6 + 0.05 × 0.4 = 0.012 + 0.02 = 0.032。

2. 贝叶斯公式

它解决什么问题

题目给的条件概率经常方向是反的。检验说明书写的是「有病时阳性的概率」,你想知道的是「阳性时有病的概率」。贝叶斯公式就是把 P(E|F) 换成 P(F|E) 的工具。

从哪来(补充)

公式以 Thomas Bayes 命名。他是英国统计学家、哲学家和长老会牧师,1761 年去世,生前没发表这个结果。Richard Price 整理了他的手稿,1763 年在英国皇家学会宣读,题为 An Essay Towards Solving a Problem in the Doctrine of Chances。

Pierre-Simon Laplace 独立用到了条件概率,1774 年重新得出并推广了这个结果。今天课本上的写法,就是从联合概率的两种拆法直接推出来的。

出处:Wikipedia: Thomas Bayes、Wikipedia: Bayes’ theorem

直觉

你想要 P(F|E)。按定义它等于 P(EF)/P(E),分子分母都不知道。

分子:用乘法公式从「另一边」拆,P(EF) = P(E|F)P(F),这两个数题目都会给。分母:用全概率公式拆成两块,每块也都是题目给的数。

所以贝叶斯公式只是定义、乘法公式、全概率公式三样东西接在一起。

一步一步看

目标:从条件概率的定义一步步推出贝叶斯公式,再代入疾病检测的数,看阳性后患病的概率只有约 0.0194。

从条件概率的定义出发,一步一步推,每一步只做一件事。

  1. 写下要求的量的定义:P(F|E) = P(EF) / P(E)。
  2. 分子换成乘法公式的另一种拆法:P(EF) = P(E|F)P(F)。
  3. 分母换成全概率公式:P(E) = P(E|F)P(F) + P(E|F^c)P(F^c)。
  4. 把第 2、3 步代回第 1 步,得到贝叶斯公式。
步 式子 依据
1 P(F|E) = P(EF) / P(E) 条件概率的定义
2 分子 P(EF) = P(E|F)P(F) 乘法公式,从 F 那一边拆
3 分母 P(E) = P(E|F)P(F) + P(E|F^c)P(F^c) 全概率公式
4 P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)] 把 2、3 代回 1

用疾病检测的数代一遍,F 是患病 D,E 是阳性 +:

步 算什么 代数 结果
1 分子 P(+|D)P(D) 0.99 × 0.001 0.00099
2 分母第二块 P(+|H)P(H) 0.05 × 0.999 0.04995
3 分母 P(+) 0.00099 + 0.04995 0.05094
4 P(D|+) 0.00099 / 0.05094 ≈ 0.0194

怎么算

P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)]

意思是:分子是「F 成立并且看到 E」的份额,分母是「看到 E」的全部份额;后验就是前者在后者里占的比例。

课件这一页把推导和三个部分的名字画在一起:

贝叶斯公式的推导与各部分命名:从 P(EF) 的两种拆法出发得到 P(F|E) = P(EF)/P(E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)]。左侧绿色标注的 P(F|E) 是后验概率,即给定观测后的概率;橙色标注的 P(F) 是先验概率,即事件本身的概率;蓝色虚线框住的分母是全概率公式展开。
图片来源:COMP5511 Lecture 3 Uncertainty, p.15

认题的信号:题目给的条件概率是 P(观测|原因),问的是 P(原因|观测),方向反了,就用贝叶斯。

常见误解

以为 P(D|+) 约等于 P(+|D)

两者分子一样,分母不同。P(+|D) 的分母是患病的人,P(D|+) 的分母是所有阳性的人,后者里混进了大量健康人的假阳性。疾病题里一个是 0.99,一个约 0.0194,差了几十倍。

背公式时把 F 和 E 的位置写乱

记一句:E 是你看到的(证据),F 是你想知道的。公式左边问的是 F,右边每一项都出现 P(E|·),即「在各种 F 的情况下看到 E 的概率」。

试一下

接着上一小节的工厂题:抽到一件次品,它来自 A 线的概率是多少?

P(A|次品) = P(次品|A)P(A) / P(次品) = 0.012 / 0.032 = 0.375。A 线产量多,但次品率低,所以次品里来自 A 线的不到一半。

3. 先验、后验与基础率谬误

它解决什么问题

疾病检测题的答案约 2%,和检验的 99% 差得很远。这一节说清楚直觉错在哪,以及怎样用人数而不是小数来算,让这个结果变得一眼可信。

从哪来(补充)

心理学家 Kahneman 和 Tversky 在 1973 年的论文 On the psychology of prediction 里研究过这种现象。他们的解释是代表性启发:人判断时看证据和某一类有多像,而不去管这一类本来有多常见。

出处:Wikipedia: Base rate fallacy

直觉

先验 P(D) 是你还没做检验时对「这人有病」的估计,等于这种病在人群里的比例。后验 P(D|+) 是看到阳性后的估计。

检验结果把先验往上推。推多少,要看真阳性和假阳性的比。病很罕见时,健康的人多到压倒一切,他们哪怕只有一小部分误报,人数也远超真正的病人。

一步一步看

目标:把概率换成 100000 个人分堆,看阳性的 5094 人里为什么只有 99 人真患病。

把概率换成人数,假设有 100000 人。

  1. 按患病率分成两堆:患病 100000 × 0.001 = 100 人,健康 99900 人。

    第 1 步:根节点 100000 人,分出两支,左支乘 0.001 得 100 人患病,右支乘 0.999 得 99900 人健康

  2. 每一堆再按检验结果分。患病的 99% 阳性,是 99 人;健康的 5% 误报,是 4995 人。

    第 2 步:在第 1 步的树下再分一层,100 人患病分成 99 人阳性和 1 人阴性,99900 人健康分成 4995 人阳性和 94905 人阴性

  3. 只看阳性的人:99 + 4995 = 5094 人,其中真患病 99 人,99/5094 ≈ 0.0194。

    第 3 步:两片阳性叶子 99 人和 4995 人用青绿粗框标出,两片阴性叶子变灰;底部青绿写阳性一共 5094 人、患病 99 人、99/5094 约等于 0.0194

把阳性的 5094 人排成一条,真患病的只占最左边一小截:

十万人分成患病 100 人与健康 99900 人,患病者 99 人阳性,健康者约 4995 人误报阳性;阳性总数 5094 人的条形图上,真患病的 99 人只占最左边极窄的一条,P(D|+) 约 0.0194

怎么判断

看到一道贝叶斯题,先问三件事:

  • 先验 P(F) 多大?很小的话,后验大概率不会高。
  • 假阳性 P(E|F^c) 多大?乘上很大的 P(F^c),往往就是分母里的大头。
  • 真阳性和假阳性的人数比是多少?后验大致就是真阳性占两者之和的比例。

疾病题里,假阳性 4995 人是真阳性 99 人的约 50 倍,后验自然只有约 2%。

常见误解

以为检验 99% 准,阳性就是 99% 有病

99% 是灵敏度,说的是病人里有多少能被测出来。它管不到健康人里有多少被误报。阳性的人里有多少真病人,要同时看患病率和误报率。这里是概率练习,不是临床诊断建议。

以为后验这么低,检验就没用

先验是 0.001,后验约 0.0194,相差约 20 倍,检验大幅提高了怀疑程度。实际中的做法是阳性后再做一次更准的检查,用这次的后验当下一次的先验。

试一下

同一种检验,改在 10000 人的高危人群里做,患病率 0.1。用人数树算阳性者真患病的比例。

患病 1000 人,阳性 990 人;健康 9000 人,误报 450 人。阳性共 1440 人,真患病 990/1440 ≈ 0.69。

把它们串起来

条件概率的定义只写了一个方向:P(F|E) = P(EF)/P(E)。贝叶斯公式做的事,是把分子和分母都换成题目给得出来的量。

分子靠乘法公式从另一边拆:P(EF) = P(E|F)P(F)。分母靠全概率公式拆成「F 成立」和「F 不成立」两块,每块又是一个乘法公式。三样东西接起来,就是贝叶斯公式。

公式里的 P(F) 叫先验,P(F|E) 叫后验。看到证据以后,信念从先验更新成后验。更新的幅度取决于真阳性和假阳性的相对大小,所以先验很小时,后验也高不到哪去。

人数树是同一笔账的另一种算法。把小数换成人数,两次分叉,只看阳性那两片叶子,比例一目了然。考场上用它验算,比直接代小数更不容易错。

下一页处理变量变多以后的问题:联合概率表大到列不完时,怎样用链式法则和条件独立把它拆小。

课件里的坑

  • [课件有误] p.15 页脚印的是「32」,按序列应该是「16」,排版错误,不影响内容(p.15)
  • [课件留白] p.15 的分母换写用的是全概率公式,课件只用蓝色虚线框了一下,没单独讲 → 本页第 1 个概念补上了推导(p.15)
  • [课件留白] p.17 只给了 P(D|+) ≈ 0.0194,没解释为什么这么低 → 换成人数算:阳性 5094 人里真患病 99 人,假阳性约是真阳性的 50 倍(p.17)
  • [术语] 99% 是检验的灵敏度(sensitivity),不是准确率,题面里的「准」指的是这个(p.16)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先从 P(F|E) = P(EF)/P(E) 出发,自己推一遍贝叶斯公式,每一步写出依据;再把疾病检测题用小数和人数各算一遍,都要得到约 0.0194;最后回查两个最容易错的地方:分母漏掉 F^c 那一项,把灵敏度当成阳性者患病的比例。

必背

  1. 乘法公式 P(EF) = P(E|F)P(F) = P(F|E)P(E):同一个交集有两种拆法。
  2. 全概率公式 P(E) = P(E|F)P(F) + P(E|F^c)P(F^c):F 和 F^c 把样本空间切成互斥的两块,分别算再相加。
  3. 贝叶斯公式 P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)],分子来自乘法公式,分母来自全概率公式。
  4. P(F) 是先验(看到观测之前的信念),P(F|E) 是后验(看到观测 E 之后更新过的信念)。
  5. 疾病检测题答案 ≈ 0.0194——先验极小时假阳性的绝对数量压倒真阳性,忽略这种基础率影响才叫 base rate fallacy。
  6. 换成人数复算:100000 人里 100 人患病、99 人阳性,99900 个健康人里 4995 人假阳性,阳性者真患病 99/5094 ≈ 2%。

课件例题

例 1(课件 p.15):推出贝叶斯公式,并指出先验和后验

题面:从 P(EF) 的两种拆法出发,推出 P(F|E) 的表达式;分母用 P(E|F)、P(E|F^c)、P(F)、P(F^c) 表示。说明式子里哪个是先验、哪个是后验。

提示

先写 P(EF) 的两种拆法并让它们相等;分母 P(E) 按 F 和 F^c 拆成两块。

解答

P(EF) = P(E|F)P(F) = P(F|E)P(E),解出 P(F|E) = P(E|F)P(F)/P(E)。

F 和 F^c 互斥且并起来是 S,所以 P(E) = P(EF) + P(EF^c) = P(E|F)P(F) + P(E|F^c)P(F^c)。代入得

P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)]。

P(F) 是先验,P(F|E) 是后验。

例 2(课件 p.16–17):检验阳性,真有病的概率是多少?

见下方完整例题。

完整例题

题面(课件 p.16–17):每 1000 人中有 1 人患病。检验对患病者有 99% 的概率报阳性,对健康者有 5% 的概率报阳性(假警报)。一个人检验结果是阳性,他真的患病的概率是多少?记 D 为患病者,H 为健康者,+ 为检验阳性。

解法:

  1. 把题面翻译成概率式。千分之一患病:P(D) = 0.001。对患者 99% 报阳:P(+|D) = 0.99。对健康人 5% 假阳:P(+|H) = 0.05。要求的是 P(D|+)。
  2. 认出要用贝叶斯。题目给的是 P(+|D),问的是 P(D|+),条件方向反了,这就是用贝叶斯公式的信号。
  3. 补出健康人的先验。H 就是 D^c,P(H) = 1 − 0.001 = 0.999。
  4. 写出公式:P(D|+) = P(+|D)·P(D) / [P(+|D)·P(D) + P(+|H)·P(H)]。
  5. 算分子:0.99 × 0.001 = 0.00099,这是真阳性的份额。
  6. 算分母:0.00099 + 0.05 × 0.999 = 0.00099 + 0.04995 = 0.05094,这是全部阳性的份额。
  7. 答案:P(D|+) = 0.00099 / 0.05094 ≈ 0.0194,约 2%。
  8. 人数验算:100000 人中患病 100、阳性 99;健康 99900、阳性 4995;99/(99 + 4995) = 99/5094 ≈ 0.0194,和第 7 步一致。

要点:检验灵敏度(sensitivity)99%,阳性者里真有病的只有约 2%。原因是先验太低,999 个健康人贡献的假阳性是病人贡献的真阳性的 50 倍。人的直觉盯着 99%,忽略先验 0.001,这叫 base rate fallacy(基础率谬误)。这里是概率练习,不是临床诊断建议。

答题格式:先列「已知:P(D)、P(+|D)、P(+|H);求:P(D|+)」,再写公式、代数、得数,最后一句解释为什么这么低。

变式题(先自己做)

(1) 改编自课件 p.16–17:检验不变,人群患病率从 0.001 提高到 0.1,重新计算 P(D|+)。 (2) 改编自课件 p.16–17:患病率仍是 0.001,检验对患者仍有 99% 报阳性,但健康人的误报率从 5% 降到 1%。重新计算 P(D|+)。 (3) 改编自课件 p.15–17:第一次阳性后,用 P(D|+) ≈ 0.0194 作为新的先验,用同一种检验再测一次,又是阳性。假设两次检验在给定患病与否时互不影响,求两次都阳性后的患病概率。

提示

(1) 只换 P(D) 和 P(H),其余照抄完整例题。(2) 只换 P(+|H)。(3) 公式不变,把 P(D) 换成 0.0194,P(H) 换成 1 − 0.0194。

判分点与答案(非官方评分标准)

判分点:① (1) 要写出 P(H) = 0.9 这一步;② (2) 要指出分母里假阳性那块变小是后验上升的原因;③ (3) 要说明「上一次的后验当这一次的先验」。

(1) 分子 0.99 × 0.1 = 0.099;分母 0.099 + 0.05 × 0.9 = 0.099 + 0.045 = 0.144;P(D|+) = 0.099 / 0.144 ≈ 0.69。先验从 0.001 升到 0.1,后验从约 2% 升到约 69%,先验对结果的影响极大。

(2) 分子仍是 0.00099;分母 0.00099 + 0.01 × 0.999 = 0.00099 + 0.00999 = 0.01098;P(D|+) = 0.00099 / 0.01098 ≈ 0.090。误报率降到五分之一,后验从约 2% 升到约 9%,仍然不高,因为先验太小。

(3) 分子 0.99 × 0.0194 = 0.019206;分母 0.019206 + 0.05 × 0.9806 = 0.019206 + 0.04903 = 0.068236;P(D|++) ≈ 0.28。第二次阳性把概率从约 2% 推到约 28%。

闪卡自测

1. 写出贝叶斯公式的完整形式,分母用的是哪个公式?

P(F|E) = P(E|F)P(F) / [P(E|F)P(F) + P(E|F^c)P(F^c)]。分母是全概率公式:F 和 F^c 把样本空间切成互斥两块,P(E) = P(EF) + P(EF^c)(p.15)。

2. 贝叶斯公式的推导从哪一步开始?

从同一个交集的两种拆法开始:P(EF) = P(E|F)P(F) = P(F|E)P(E),两边相等,解出 P(F|E) = P(E|F)P(F)/P(E)(p.15)。

3. 先验和后验分别对应公式里哪个量?

先验是 P(F),还没看到观测时的信念;后验是 P(F|E),看到观测 E 之后更新过的信念(p.15)。

4. 疾病检测题的已知量怎么翻译成概率式?

P(D) = 0.001,P(+|D) = 0.99,P(+|H) = 0.05,P(H) = 0.999,要求 P(D|+)(p.16)。

5. 疾病检测题的分子、分母、答案各是多少?

分子 0.99 × 0.001 = 0.00099;分母 0.00099 + 0.04995 = 0.05094;P(D|+) ≈ 0.0194,约 2%(p.17)。

6. 用人数怎么复算疾病检测题?

100000 人里患病 100 人,其中阳性 99 人;健康 99900 人,其中误报 4995 人。阳性共 5094 人,真患病 99/5094 ≈ 2%(p.17)。

7. 什么是 base rate fallacy?

判断时只看检验的灵敏度,忽略事件本身的基础率(先验)。先验极小时,假阳性的绝对数量压倒真阳性,后验远低于直觉。疾病题里假阳性约是真阳性的 50 倍(p.17)。

8. 看到什么信号就该用贝叶斯公式?

题目给的是 P(观测|原因),问的是 P(原因|观测),条件方向反了。疾病题给 P(+|D),问 P(D|+)(p.16)。

下一讲

变量一多,联合概率表会大到列不完。下一页讲链式法则怎样把联合概率拆成一串条件概率,条件独立怎样把它们剪短,以及贝叶斯信念网络里三种连接方式,见 L03a-4。

下一讲 →
L03a-4 L03a-4 链式法则与条件独立:用一张箭头图把联合概率剪小

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。