← COMP5511 全部讲次
L03a-2 · 第 3 周

L03a-2 条件概率:知道 F 发生了,E 的概率要怎么改

先补联合概率,再一帧一帧看条件概率怎样把样本空间从 S 缩小到 F,最后分清独立和互斥这对最容易混的概念。

一句话版

条件概率回答的是:已经知道 F 发生了,E 发生的概率现在是多少。做法是把所有不在 F 里的结果划掉,只在 F 里面重新数一遍。

上一页 L03a-1 讲了样本空间、事件和三条公理。这一页从「两件事同时发生」讲起,推出条件概率,再分清独立和互斥。

先认识这几个词

词 全称 / 读法 一句人话
联合概率 P(EF) joint probability E 和 F 同时发生的概率
条件概率 P(E|F) conditional probability,读「F 条件下 E 的概率」 已知 F 发生,E 发生的概率
竖线 | 读「给定」或「在……条件下」 竖线右边是已经知道的,左边是要问的
边缘概率 marginal probability 只看一个事件的概率,比如 P(E)
独立 independent 知道一件事,不改变另一件事的概率
互斥 disjoint / mutually exclusive 两件事不可能同时发生

一个类比:老师说「答对的同学都坐在第一排」

全班四十人,你想猜一个同学戴不戴眼镜。没有任何信息时,你会看全班戴眼镜的比例。

这时老师补一句:这个同学坐在第一排。你马上不再看全班,只看第一排那几个人里戴眼镜的比例。第一排外的人全部被排除了。

这就是条件概率。新信息没有改变任何一个人戴不戴眼镜,它改变的是你「从谁里面挑」。分母从全班换成了第一排。

类比在哪里失效:

  • 班里每个人被选中的机会一样,所以能直接数人头。结果不等可能时,要按概率加权,不能只数个数。
  • 「第一排」是你确实知道的信息。条件概率的竖线右边必须是已经确定发生的事,只是猜测的事不能放进去。

从零讲起

1. 先补一块:联合概率(补充)

它解决什么问题

条件概率的公式里有一个 P(EF),要先知道它是什么。两件事放在一起看时,要能说出「同时发生」「只发生一个」「都不发生」各占多少,联合概率就是这几块的概率。

直觉

把每个结果按两个问题分类:在不在 E 里?在不在 F 里?两个问题各有「是 / 否」两种答案,合起来正好四种,摆成一张 2×2 的表。

表里每一格是一个联合概率。四格互不重叠又覆盖了所有结果,所以加起来等于 1。

一步一步看

目标:在韦恩图的 6 个点上逐块数出联合概率,再按行、按列加回 P(E) 和 P(F)。

用课件那张韦恩图的 6 个点:E 独占 1 个,E 和 F 共有 3 个,F 独占 2 个,两边都不在的 0 个。每个点概率 1/6。

  1. 同时在 E 和 F 的有 3 个,P(EF) = 3/6。

  2. 在 E 不在 F 的有 1 个,P(EF^c) = 1/6。

  3. 在 F 不在 E 的有 2 个,P(E^cF) = 2/6;两边都不在的 0 个。

  4. 按行加:E 那一行 3/6 + 1/6 = 4/6,就是 P(E)。按列加:F 那一列 3/6 + 2/6 = 5/6,就是 P(F)。

    两行两列的联合概率表,行是 E 发生与否,列是 F 发生与否;左上格 P(EF) 等于 3/6 用青绿框出,其余三格依次是 1/6、2/6、0/6;右边标行和 4/6 和 2/6,下边标列和 5/6 和 1/6

怎么算

两个事件的联合表有四格:

P(EF) + P(EF^c) + P(E^cF) + P(E^cF^c) = 1

意思是:四种情况互斥,又覆盖了所有可能,由公理二和公理三,加起来是 1。

单个事件的概率可以从表里加回来:

P(E) = P(EF) + P(EF^c)

意思是:E 发生时,F 要么发生要么不发生,两种情况互斥,加起来就是 E 的全部。这个「按行加」的动作叫求边缘概率,下一页的全概率公式就是从这里长出来的。

常见误解

以为 P(EF) 总等于 P(E) 乘 P(F)

只有 E 和 F 独立时才相等,这是第 3 个概念要讲的。上面的表里 P(E)P(F) = 4/6 × 5/6 ≈ 0.556,P(EF) = 3/6 = 0.5,并不相等。

试一下

联合表里 P(EF) = 0.2,P(EF^c) = 0.3,P(E^cF) = 0.1。求 P(E^cF^c)、P(E)、P(F)。

四格加起来是 1,P(E^cF^c) = 1 − 0.2 − 0.3 − 0.1 = 0.4。P(E) = 0.2 + 0.3 = 0.5。P(F) = 0.2 + 0.1 = 0.3。

2. 条件概率

它解决什么问题

推理的本质是用已知推未知。看到咳嗽,问感冒的可能;看到课上成了,问老师来没来。这些问题都长成「已知 F,E 的概率是多少」,条件概率给它们一个统一的算法。

直觉

知道 F 发生以后,F 外面的结果都不可能了。剩下的「世界」只有 F 那么大。

所以分母换成 F 的大小,分子只数 F 里面还属于 E 的那部分。E 在 F 外面的那些结果,不管原来多大,都不算了。

一步一步看

目标:先看整个样本空间里的 P(E),再把范围缩到 F,看 E 的概率怎样从 0.667 变成 0.6。

还是那 6 个等可能的点,求 P(E|F)。

  1. 没有任何信息时,看整个 S。E 有 1 + 3 = 4 个点,P(E) = 4/6 ≈ 0.667。

    第 1 步:整个方框 S 是灰底,两圆 E 和 F 都是黑线,6 个点都是实心黑点;右侧写 E 的点 4 个、全部 6 个、P(E) 约等于 0.667

  2. 得知 F 发生。F 外面那个点被划掉,变成空心;F 被描成青绿,新的分母是 F 的 5 个点。

    第 2 步:圆 F 改成青绿粗线并铺灰底,E 独占的那个点变成空心表示作废;右侧写只在 F 里面看、F 的点 3 加 2 等于 5 个、新的分母是 5

  3. 在 F 里面数属于 E 的点,是交集里的 3 个。P(E|F) = 3/5 = 0.6。

    第 3 步:两圆重叠处的 3 个点变成青绿实心大点,F 独占的 2 个点仍是黑点;右侧青绿写 P(E|F) 等于 3/5 等于 0.6,下方写公式写法是 3/6 除以 5/6

知道 F 发生,E 的概率反而从 0.667 降到了 0.6。条件概率可以比原来大,也可以比原来小。

怎么算

P(E|F) = P(EF) / P(F),要求 P(F) ≠ 0

意思是:分子是「E 和 F 同时发生」的概率,分母是「F 发生」的概率;两者相除,就是在 F 发生的前提下 E 占的份额。

代入上面的数:P(E|F) = (3/6) / (5/6) = 3/5 = 0.6。6 在分子分母里约掉,所以等可能时也可以直接数「交集点数 / F 的点数」。

把定义两边乘上 P(F),得到乘法公式:

P(EF) = P(E|F) · P(F)

意思是:E 和 F 同时发生,等于先让 F 发生,再在 F 发生的条件下让 E 发生。下一页推贝叶斯公式,第一步用的就是它。

常见误解

以为 P(E|F) 和 P(F|E) 是一回事

两者分子都是 P(EF),分母不同:P(E|F) 除以 P(F),P(F|E) 除以 P(E)。上面的例子里 P(E|F) = 3/5,P(F|E) = (3/6)/(4/6) = 3/4。把这两个弄反,是概率题里最常见的错误,下一页的贝叶斯公式专门处理「把条件翻过来」这件事。

以为分母还是 1 或者 S

条件概率的分母是 P(F)。分母写成 1,算出来的是 P(EF),那是「同时发生」的概率,回答的是另一个问题。

试一下

掷一颗公平骰子,已知点数是偶数,点数大于 3 的概率是多少?

F = 偶数 = {2, 4, 6},E = 大于 3 = {4, 5, 6},EF = {4, 6}。P(E|F) = (2/6)/(3/6) = 2/3。直接在 {2, 4, 6} 里数大于 3 的,也是 2 个里占 3 个中的 2 个。

3. 独立,以及它和互斥的区别

它解决什么问题

有些信息对另一件事毫无影响。今天抛硬币的结果,不影响明天的骰子。要有一个精确的说法来刻画「互不影响」,这就是独立。互斥和它名字像,意思差得很远,两者一混,题就做错。

直觉

独立:知道 F 发生,E 的概率一点没变。F 对 E 来说是一条无用的消息。

互斥:E 和 F 不能同时发生。知道 F 发生,E 就一定没发生。这条消息对 E 是决定性的,所以互斥的两件事关系极强,一点也不独立。

一步一步看

目标:用一个独立的例子和一个互斥的例子逐项对照,看出互斥的两件事反而不独立。

用一颗公平骰子各举一例,按定义逐项检查。

  1. 独立的例子:E = 偶数 {2, 4, 6},F = {1, 2}。P(E) = 3/6 = 1/2,P(F) = 2/6 = 1/3。
  2. EF = {2},P(EF) = 1/6。而 P(E)P(F) = 1/2 × 1/3 = 1/6,两者相等,所以独立。验证:P(E|F) = (1/6)/(1/3) = 1/2 = P(E)。
  3. 互斥的例子:E = {1, 2},F = {5, 6}。EF 是空集,P(EF) = 0。
  4. P(E)P(F) = 1/3 × 1/3 = 1/9 ≠ 0,所以不独立。P(E|F) = 0,知道 F 发生,E 被直接排除。
检查项 独立的例子 互斥的例子
E {2, 4, 6} {1, 2}
F {1, 2} {5, 6}
P(EF) 1/6 0
P(E)P(F) 1/6 1/9
P(E|F) 1/2,等于 P(E) 0,小于 P(E)
结论 独立 互斥,不独立

课件那两张韦恩图里,右边那张就是互斥的样子:两圆分开,P(E|F) 从 1/3 直接掉到 0。

两张韦恩图并排。左图 E 和 F 有交集,P(E) 约 0.667,P(E|F) 等于 0.6;右图 E 和 F 两圆分离互斥,P(E) 约 0.333,P(E|F) 等于 0,知道 F 发生直接排除了 E

怎么判断

判断两个事件的关系,只看 P(EF):

  • P(EF) = P(E)P(F):独立。
  • P(EF) = 0:互斥。
  • 两个都不满足:既不独立也不互斥,大多数事件对都是这样。

为什么独立能写成 P(E|F) = P(E)?代进条件概率的定义:

P(E|F) = P(EF) / P(F) = P(E)P(F) / P(F) = P(E)

意思是:在独立的前提下,F 的概率在分子分母里约掉,剩下的就是 P(E),知道 F 不改变 E 的概率。

为什么互斥一般不独立?互斥要求 P(EF) = 0,独立要求 P(EF) = P(E)P(F)。两个概率都大于零时,右边是正数,等不了 0。只有当 P(E) = 0 或 P(F) = 0 时,两者才能同时成立。

常见误解

以为互斥就是独立,「两件事没关系」

互斥恰恰是关系最强的一种:一个发生,另一个必不发生。独立才是没关系。考试的辨析题几乎都考这一点,判断时别凭感觉,用 P(EF) 去对定义。

以为在韦恩图上看两圆分开,就是独立

两圆分开是互斥。独立在韦恩图上没有固定的样子,两圆一定有重叠,而且重叠的面积要正好等于两者面积的乘积(以 S 为 1)。只能靠算,看不出来。

试一下

P(E) = 0.5,P(F) = 0.4,P(EF) = 0.2。E 和 F 独立吗?互斥吗?

P(E)P(F) = 0.5 × 0.4 = 0.2 = P(EF),独立。P(EF) = 0.2 ≠ 0,不互斥。

把它们串起来

两件事放在一起看,先有联合概率:四种组合各占多少,四格加起来是 1,按行或按列加回到单个事件的概率。

条件概率在联合表上做一件事:只留下 F 那一列,在这一列里重新算 E 的份额。公式 P(E|F) = P(EF)/P(F) 的分子来自联合表,分母是那一列的总和。

条件概率和原来的 P(E) 一比,就能看出 F 对 E 有没有影响。没影响叫独立,公式是 P(EF) = P(E)P(F)。影响大到 F 一发生 E 就不可能,叫互斥。所以两个概率都不为零的事件,互斥就一定不独立。

把乘法公式 P(EF) = P(E|F)P(F) 换一个方向再写一遍,就能把竖线两边的条件翻过来,这是下一页贝叶斯公式的起点。

课件里的坑

  • [课件留白] p.12 的两张韦恩图课件只问了「P(E|F) 各是多少」,没给答案 → 逐点数:左图 3/5 = 0.6,右图 0(p.12)
  • [课件留白] p.13 只给了独立的定义,没把独立和互斥放在一起比 → 这是高频辨析题,按本页第 3 个概念的表格记(p.13)
  • [记号] 竖线 | 右边是已知条件,P(E|F) 读作「F 条件下 E 的概率」,顺序别读反(p.12)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写 P(E|F) = P(EF)/P(F) 和独立的定义;再拿课件那张 6 个点的韦恩图,自己算一遍 P(E|F) 和 P(F|E),看它们为什么不相等;然后过一遍课件例题;最后回查两个最容易错的地方:互斥不是独立,条件的方向别弄反。

必背

  1. 联合概率 P(EF) 是 E 和 F 同时发生的概率;2×2 联合表四格加起来等于 1,按行或按列加回到单个事件的概率。
  2. P(E|F) = P(EF)/P(F),要求 P(F) ≠ 0,直观是把样本空间从 S 缩小到 F。
  3. 课件左图 P(E|F) = (3/6)/(5/6) = 0.6,比 P(E) = 4/6 ≈ 0.667 小;右图 E、F 互斥,P(E|F) = 0。
  4. P(E|F) 和 P(F|E) 一般不相等:分子都是 P(EF),分母一个是 P(F)、一个是 P(E)。
  5. 独立是 P(EF) = P(E)P(F),代进定义得 P(E|F) = P(E),知道 F 不改变 E 的概率。
  6. 互斥是 P(EF) = 0;两个概率都不为零的事件,互斥就一定不独立。

课件例题

例 1(课件 p.12):两张韦恩图里 P(E|F) 各是多少?

见下方完整例题。

例 2(课件 p.13):从独立的定义推出 P(E|F) = P(E)

题面:课件给出独立的定义 P(EF) = P(E)P(F),并说这时「知道 F 发生不改变 E 的概率」。写出推导。

提示

从条件概率的定义出发,把分子换成独立的定义式。

解答

P(E|F) = P(EF)/P(F) = P(E)P(F)/P(F) = P(E),要求 P(F) ≠ 0。

第一步是条件概率的定义,第二步代入独立的定义,第三步约掉 P(F)。结论是 F 发生与否,E 的概率都一样。

完整例题

题面(课件 p.12):两张韦恩图里 S 都有 6 个等可能的点。左图:只在 E 里 1 个,E 与 F 的交 3 个,只在 F 里 2 个。右图:两圆分离,只在 E 里 2 个,只在 F 里 4 个。分别求 P(E|F),并和 P(E) 比较。

两张韦恩图,大圆 S 里各有 6 个黑点:左图蓝圈 E 与红圈 F 相交,只在 E 里 1 个点,交集 3 个点,只在 F 里 2 个点;右图 E 和 F 两圈分离,E 里 2 个点,F 里 4 个点
图片来源:COMP5511 Lecture 3 Uncertainty, p.12

解法:

  1. 写定义:P(E|F) = P(EF)/P(F)。
  2. 左图数点:E 与 F 的交 3 个,P(EF) = 3/6;F 共 3 + 2 = 5 个,P(F) = 5/6;E 共 1 + 3 = 4 个,P(E) = 4/6。
  3. 左图代数:P(E|F) = (3/6)/(5/6) = 3/5 = 0.6。P(E) = 4/6 ≈ 0.667,知道 F 发生让 E 的概率变小了。
  4. 右图数点:两圆没有交集,P(EF) = 0;F 有 4 个点,P(F) = 4/6;E 有 2 个点,P(E) = 2/6 ≈ 0.333。
  5. 右图代数:P(E|F) = 0/(4/6) = 0。知道 F 发生直接排除了 E。
  6. 判断关系:左图 P(E)P(F) = 4/6 × 5/6 = 20/36 ≈ 0.556,P(EF) = 0.5,不相等,不独立也不互斥。右图 P(EF) = 0,互斥;P(E)P(F) = 2/6 × 4/6 ≠ 0,所以不独立。

要点:两张图都说明信息会改变概率。左图是削弱,右图是彻底排除。右图就是「互斥一定不独立」最直接的画面。

答题格式:每张图先列「P(EF) = …,P(F) = …」,再写定义式代数,最后一句和 P(E) 比较。

变式题(先自己做)

(1) 改编自课件 p.12:左图里 P(F|E) 是多少?和 P(E|F) 相等吗? (2) 改编自课件 p.13:E 和 F 互斥,P(E) = 0.3、P(F) = 0.4。求 P(E ∪ F) 和 P(E|F),并判断它们独立不独立。 (3) 自编情境:掷一颗公平骰子,E = 偶数 {2, 4, 6},F = {1, 2, 3}。求 P(E|F),判断 E 和 F 是否独立。

提示

(1) 分子还是交集,分母换成 P(E)。(2) 互斥时可加性直接能用;独立要检查 P(EF) 是否等于 P(E)P(F)。(3) 先写出 EF,再和 P(E)P(F) 比。

判分点与答案(非官方评分标准)

判分点:① (1) 要指出条件方向换了,分母跟着换;② (2) 独立性必须用定义式检验,不能只说「互斥所以不独立」;③ (3) 要同时给出 P(EF) 和 P(E)P(F) 两个数再下结论。

(1) P(F|E) = P(EF)/P(E) = (3/6)/(4/6) = 3/4 = 0.75,和 P(E|F) = 0.6 不相等。条件方向不同,分母不同。

(2) 互斥所以 P(E ∪ F) = 0.3 + 0.4 = 0.7;P(EF) = 0,所以 P(E|F) = 0。P(E)P(F) = 0.12 ≠ 0 = P(EF),不独立。

(3) EF = {2},P(EF) = 1/6。P(E|F) = (1/6)/(3/6) = 1/3。P(E)P(F) = 1/2 × 1/2 = 1/4 ≠ 1/6,不独立;也能从 P(E|F) = 1/3 ≠ 1/2 = P(E) 看出来。

闪卡自测

1. 写出条件概率的定义式并解释它的直观。

P(E|F) = P(EF)/P(F),前提 P(F) ≠ 0。直观是换了样本空间:F 发生之后宇宙缩小成 F,分母换成 P(F),分子只数 F 里还属于 E 的那部分(p.12)。

2. 课件左图 6 个点,P(E|F) 和 P(E) 各是多少?

P(E|F) = (3/6)/(5/6) = 3/5 = 0.6;P(E) = 4/6 ≈ 0.667。知道 F 发生降低了对 E 的信心(p.12)。

3. 课件右图两圆分离,P(E|F) 是多少?说明了什么?

P(EF) = 0,所以 P(E|F) = 0,而 P(E) = 2/6 ≈ 0.333。知道 F 发生直接排除了 E,互斥是最强的依赖(p.12)。

4. 联合表四格和单个事件的概率是什么关系?

四格 P(EF)、P(EF^c)、P(E^cF)、P(E^cF^c) 加起来等于 1;按行加得 P(E) = P(EF) + P(EF^c),按列加得 P(F)(p.12)。

5. 独立的定义是什么?推出 P(E|F) = P(E) 要几步?

P(EF) = P(E)P(F)。P(E|F) = P(EF)/P(F) = P(E)P(F)/P(F) = P(E),三步:定义、代入、约分(p.13)。

6. 两个概率均不为零的事件,互斥的话可能独立吗?

不可能。互斥意味着 P(EF) = 0,而独立要求 P(EF) = P(E)P(F) > 0,两者矛盾。只有当 P(E) = 0 或 P(F) = 0 时才能同时成立(p.13)。

7. P(E|F) 和 P(F|E) 有什么关系?

分子都是 P(EF),分母分别是 P(F) 和 P(E),一般不相等。课件左图里一个是 3/5,一个是 3/4(p.12)。

8. 乘法公式怎么从条件概率的定义得到?

把 P(E|F) = P(EF)/P(F) 两边乘 P(F),得 P(EF) = P(E|F)P(F)。它是贝叶斯公式推导的第一步(p.12、p.15)。

下一讲

下一页把条件翻过来:已知「有病时检验阳性」的概率,怎么求「检验阳性时真有病」的概率。从乘法公式和全概率公式一步步推出贝叶斯公式,见 L03a-3。

下一讲 →
L03a-3 L03a-3 贝叶斯公式:灵敏度 99% 的检验,阳性里只有 2% 真有病

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。