← COMP5511 全部讲次
T04 · 第 4 周

T04 Tutorial 4:三道概率手算加一道 Monty Hall,考的是哪一步用了独立性

链式法则怎么拆、贝叶斯网络的联合概率怎么连乘、分母从哪来,以及换门胜率为什么是 2/3 而非 1/2。

一句话版

这份 tutorial 是上一讲概率工具的手算课:三道练习题各练一个公式,一道讨论题把贝叶斯公式用在 Monty Hall 上。每题只有一步关键推理,失分几乎全在「这一步凭什么可以用独立性」没写出来。

题目地图

十六页,三道练习题加一道讨论题,公式全部来自 Lecture 3 p.12–27。

页题目考什么主要失分点
p.4–5三个事件求 P(A,B,C)链式法则 + 独立性替换把「条件独立」当成有条件变量去找
p.6–8三节点贝叶斯网络求 P(C,E|¬T) 和 P(E,T,C)联合概率分解、根节点独立P(E|¬T) = P(E) 这步不写理由
p.9–10由联合分布表求 P(A|B)边缘化求分母分母只取了一行
p.12–15Monty Hall 换门胜率贝叶斯公式的似然项数叶子得 1/2

四题的答案依次是 0.024、0.07 与 0.336、0.2、2/3。数字本身不重要,每个数背后那一步「为什么能这样拆」才是评分点。

概念卡

1. 链式法则与独立性替换(Chain Rule)

人话定义:多个事件同时发生的概率,可以一层层剥开写成「后一个在前面全部发生的条件下的概率」连乘;题目给的独立性用来把其中某一项换成更简单的量。

例子:P(A,B,C) = P(C|A,B)·P(A|B)·P(B)。p.4 说 C 与 AB 独立,于是 P(C|A,B) = P(C) = 0.4,再乘 P(A|B) = 0.3 和 P(B) = 0.2,得 0.024(p.5)。答题模板是三行:写一般形式,写「由题意 C ⊥ AB」,代数。

常见误解

看到题面「conditionally independent」就去找条件变量 → 这句话里没有条件变量,题意是 C 与联合事件 AB(无条件)独立。真正的条件独立是 P(AB|C) = P(A|C)P(B|C),那是另一件事,两者互不蕴含(p.4)。另一处是顺手假设 A 与 B 也独立:题目没给,也算不出 P(A),好在本题不需要(p.4)。

2. 贝叶斯网络的联合概率(Joint Probability in BBN)

人话定义:网络里全部变量同时取某组值的概率,等于每个节点「在它父节点取值下」的那一格条件概率连乘;根节点没有父节点,直接用先验。

例子:p.6 的网络是 E → C ← T。P(E,T,C) = P(E)·P(T)·P(C|E,T) = 0.7 × 0.8 × 0.6 = 0.336(p.8)。带条件的联合也一样拆:P(C,E|¬T) = P(C|E,¬T)·P(E|¬T),然后 P(E|¬T) = P(E) = 0.7,得 0.1 × 0.7 = 0.07(p.7)。

常见误解

把 P(E|¬T) 换成 P(E) 时不写理由 → 这是本题唯一的推理点。E、T 是汇聚连接的两个父节点,子节点 C 未观测时才独立;若题目改成已知 C,两者通过 C 产生依赖,这一步就不能用(p.7)。另一处是 P(C,E|¬T) 里把 ¬T 对应的先验 P(¬T) = 0.2 也乘进去:条件概率的分母已经把 ¬T 除掉了,再乘一次就重复了(p.7)。

3. 从联合分布表求条件概率(Marginalization)

人话定义:P(A|B) = P(A,B) / P(B),分子在表里直接查,分母把「B 为真」的所有行加起来。

例子:p.9 的表里 P(A,B) = 0.1,B 为真的两行是 0.1 和 0.4,所以 P(B) = 0.5,P(A|B) = 0.1 / 0.5 = 0.2(p.10)。顺手可以验:P(B|A) = 0.1 / (0.1 + 0.3) = 0.25;P(A)P(B) = 0.4 × 0.5 = 0.2 ≠ 0.1,所以 A、B 不独立。

常见误解

分母只取了 P(A,B) 那一行 → 那样算出来永远是 1。分母是 B 的边缘概率,要把 B = T 的每一行都加上(p.10)。另一处是被课件第一步 p(A|B) = P(A,B|B) 绕晕:它是恒等式(A∩B∩B 还是 A∩B),只是多走了一步,从定义式直接起手即可(p.10)。

4. 似然决定后验(Likelihood in Bayes’ Rule)

人话定义:贝叶斯公式里后验 ∝ 似然 × 先验。几个假设的先验相同时,谁的似然大,谁的后验就大,比例完全由似然决定。

例子:Monty Hall 里三个假设 C₁、C₂、C₃ 先验都是 1/3。观测到「主持人开 3 号门」,似然分别是 1/2、1、0,所以 P(C₂|H₃,X₁) = (1/3 × 1) / (1/2) = 2/3,P(C₁|H₃,X₁) = (1/3 × 1/2) / (1/2) = 1/3(p.14)。分母 P(H₃|X₁) = 1/2 由全概率公式得到:(1/2 + 1 + 0) × 1/3。

常见误解

把主持人开门当成无信息的随机事件 → 那样三个似然相等,后验退回 1/2 对 1/2。主持人知道车在哪、只开羊门、不开你选的门,这些规则让 P(H₃|C₂,X₁) = 1 而 P(H₃|C₁,X₁) = 1/2,差的这一倍就是 2/3 的来源(p.13)。

逐题拆解

p.4–5 三事件联合概率。三句题面翻成三个数:P(A|B) = 3/10 = 0.3,P(B) = 0.2,P(C) = 0.4;第三句「C 与 AB 条件独立」读作 P(C|A,B) = P(C)。链式法则 P(A,B,C) = P(C|A,B)·P(A|B)·P(B),替换第一项后 0.4 × 0.3 × 0.2 = 0.024。课件把乘法顺序写成 P(A|B)·P(B)·P(C),结果相同。

p.6–8 三节点贝叶斯网络。两个查询走的是同一张表,但用到的格子不一样。

三节点贝叶斯网络 E 指向 C、T 指向 C 与它的两种查询:P(E,T,C) 等于三个条件概率连乘得 0.336;P(C,E|¬T) 用 E、T 根节点独立把 P(E|¬T) 换成 P(E) 得 0.07

P(E,T,C) 是全部变量的联合,三个节点各取一格:P(E) = 0.7、P(T) = 0.8、P(C|E,T) = 0.6,乘起来 0.336。P(C,E|¬T) 是带条件的联合,把 ¬T 当成背景,先对 C、E 用一次乘法法则 P(C|E,¬T)·P(E|¬T),再用「E、T 是根节点、C 未观测」把 P(E|¬T) 换成 P(E),得 0.1 × 0.7 = 0.07。另一条路验算:P(C,E,¬T) / P(¬T) = (0.7 × 0.2 × 0.1) / 0.2 = 0.07,一致。这张表还有个小细节:P(C|E,¬T) 和 P(C|¬E,¬T) 都是 0.1,说明 T 为假时 C 与 E 无关,所以 P(E|C,¬T) = 0.07 / 0.1 = 0.7 = P(E),数字上和「先验」撞在一起,属于巧合。

p.9–10 联合分布表。四行相加等于 1,是合法的联合分布。P(A|B) = P(A,B) / P(B),分子查表 0.1,分母把 B = T 的两行相加 0.1 + 0.4 = 0.5,答案 0.2。整题只有「分母要加两行」一个动作。

p.12–15 Monty Hall。题面的隐含规则先写下来:主持人知道车在哪,一定开一扇羊门,不开你选的门,两扇羊门可选时随机。事件定义 Cᵢ 车在 i 号门、Xᵢ 玩家选 i 号门、Hᵢ 主持人开 i 号门;本题 X₁ 与 H₃。三个似然 P(H₃|C₁,X₁) = 1/2、P(H₃|C₂,X₁) = 1、P(H₃|C₃,X₁) = 0 是整题核心。贝叶斯公式:P(C₂|H₃,X₁) = P(H₃|C₂,X₁)·P(C₂,X₁) / P(H₃,X₁) = P(C₂)P(X₁) / [P(H₃|X₁)P(X₁)] = (1/3) / (1/2) = 2/3。第三步同时用了 P(H₃|C₂,X₁) = 1 和玩家选择与车位独立两件事,P(X₁) 上下约掉。

Monty Hall 概率树:玩家已选 1 号门,车在 1、2、3 号各 1/3;车在 1 号时主持人开 2 或 3 号各 1/2,车在 2 号时只能开 3 号,车在 3 号时只能开 2 号;主持人开 3 号的两片叶子重 1/6 与 1/3,换门赢的那片占 2/3

p.15 那张 YouTube 截图的概率树画了全部 12 片叶子,6 片洋红(换门得车)、6 片白(换门得羊)。数叶子会得到 6/12 = 1/2,错在叶子权重不同:经过 1/2 分岔的叶子各重 1/18,没分岔的各重 1/9,换门赢的 6 片全是 1/9,合计 2/3。一句话理解:换门策略等价于「第一次选错就赢」,第一次选错的概率是 2/3。

课件里的坑

  • [课件留白] p.4 的「C is conditionally independent with AB」用词不严谨,「条件独立」需要一个条件变量而这里没有。按 p.5 的解法反推,题意是 C 与联合事件 AB 独立。考试遇到同样措辞按 P(C|A,B) = P(C) 处理(p.4)。
  • [课件留白] p.7 的答案只写了 p(E|not T) = p(E),没说理由。理由是 E、T 都是根节点、C 未观测,属于汇聚连接的性质;这句话是本题的得分点,答题时要写(p.7)。
  • [课件留白] p.13 的 P(H₃|X₁) = 1/2 当作已知直接给出,其实要用全概率公式推:Σᵢ P(H₃|Cᵢ,X₁)·P(Cᵢ) = (1/2)(1/3) + (1)(1/3) + (0)(1/3)。考试不一定给这个数(p.13)。
  • [课件留白] p.13 写 P(Cᵢ,Xᵢ) = P(Cᵢ)P(Xᵢ) 两边用同一个下标,p.14 实际用的是 P(C₂,X₁) = P(C₂)P(X₁)。应读作对任意 i、j 都成立:玩家的选择与车的位置独立(p.13)。
  • [课件留白] p.13 那句 “Consider the event Cᵢ … takes value Xᵢ … and value Hᵢ” 文法不通,是 Wikipedia 原文压缩后的产物。Cᵢ、Xᵢ、Hᵢ 是三个各自独立定义的事件,别读成「Cᵢ 取值 Xᵢ」(p.13)。
  • [补充] p.15 的树是黑底视频截图,12 片叶子的权重图上没标。自己补上 1/9 与 1/18 再求和,才能和 p.14 的 2/3 对上(p.15)。

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写三条——链式法则的一般形式、贝叶斯网络联合概率的连乘规则、Monty Hall 的三个似然;再把下面的变式题做一遍;最后回查两处最容易错的地方——P(E|¬T) = P(E) 的理由有没有写、分母是不是加了全部相关行。三步做完再往下看答案。

必背

  1. 多事件联合概率先写链式法则 P(A,B,C) = P(C|A,B)·P(A|B)·P(B),再用题给的独立性替换其中一项,不能一上来就三数相乘。
  2. 题面里「C 与 AB 条件独立」的实际含义是 C 与联合事件 AB 独立,即 P(C|A,B) = P(C);它没有说 A 与 B 独立。
  3. 贝叶斯网络的联合概率等于每个节点在其父节点下的条件概率连乘:P(E,T,C) = P(E)·P(T)·P(C|E,T)。
  4. 汇聚连接 E → C ← T 里,只要 C 未被观测,两个根节点 E、T 独立,所以 P(E|¬T) = P(E);答题时必须写出这条理由。
  5. 从联合分布表求条件概率:分子直接查表,分母把条件为真的所有行相加,P(A|B) = P(A,B) / [P(A,B) + P(¬A,B)]。
  6. Monty Hall 的全部信息在似然里:P(H₃|C₁,X₁) = 1/2、P(H₃|C₂,X₁) = 1、P(H₃|C₃,X₁) = 0;先验相同时后验之比就是似然之比,换门 2/3。
  7. 概率树上不能数叶子,要按每片叶子的概率加权;换门赢的六片叶子各重 1/9,合计 2/3。

完整例题

p.6–8 那张网络完整走一遍,顺便把课件没算的 P(C) 也算出来。网络 E → C ← T,P(E) = 0.7,P(T) = 0.8,C 的表:P(C|E,T) = 0.6、P(C|¬E,T) = 0.2、P(C|E,¬T) = 0.1、P(C|¬E,¬T) = 0.1。

  1. P(E,T,C):三个节点各取一格连乘,0.7 × 0.8 × 0.6 = 0.336。
  2. P(C,E|¬T):先拆 P(C|E,¬T)·P(E|¬T);写明「E、T 为根节点且 C 未观测,故 E ⊥ T,P(E|¬T) = P(E)」;代数 0.1 × 0.7 = 0.07。
  3. P(C):对 E、T 四种组合求和。
ETP(E)P(T)P(C|E,T)乘积
真真0.7 × 0.8 = 0.560.60.336
假真0.3 × 0.8 = 0.240.20.048
真假0.7 × 0.2 = 0.140.10.014
假假0.3 × 0.2 = 0.060.10.006

四行相加 P(C) = 0.404。第一行就是第 1 问的 0.336,第三行除以 P(¬T) = 0.2 就是第 2 问的 0.07,三问共用一张表。

答题格式:每一步写「用了什么」——第 1 问用联合概率分解,第 2 问用乘法法则加根节点独立,第 3 问用全概率。只写数字不写规则,阅卷时看不出你是算出来的还是蒙的。

变式题(先自己做)

还是 p.6 那张网络和那张表。(1) 求 P(C,¬E|T)。(2) 求 P(E|C)。(3) 若题目改成「已知 C 发生」,还能不能写 P(E|¬T,C) = P(E)?说明理由。

提示

第 (1) 问和 p.7 同构,只是把 E 换成 ¬E、¬T 换成 T。第 (2) 问是 Lecture 3 p.27 的诊断推理:分子是 P(C,E),分母是上面例题算出的 P(C)。第 (3) 问回想汇聚连接在子节点已知时会发生什么。

参考答案与自检(非官方评分标准)

自检要点:① 每个条件概率的分母有没有除对;② P(E|·) 换成 P(E) 之前有没有确认 C 未观测;③ P(E|C) 的分子要把 T 的两种取值都加上。

(1) P(C,¬E|T) = P(C|¬E,T)·P(¬E|T) = P(C|¬E,T)·P(¬E) = 0.2 × 0.3 = 0.06。

(2) P(C,E) = P(C|E,T)P(E)P(T) + P(C|E,¬T)P(E)P(¬T) = 0.336 + 0.014 = 0.35;P(E|C) = 0.35 / 0.404 ≈ 0.866。看到 C 发生之后对 E 的信念从 0.7 升到约 0.87,这就是诊断推理。

(3) 不能。C 已知时 E、T 通过 C 产生依赖(explaining away),P(E|¬T,C) 要老老实实算:P(E|¬T,C) = P(C,E|¬T) / P(C|¬T) = 0.07 / 0.1 = 0.7。这题数字上恰好又等于 P(E),原因是表里 P(C|E,¬T) = P(C|¬E,¬T),属于巧合;把 P(C|¬E,¬T) 改成 0.3 再算一次,结果就会偏离 0.7。

闪卡自测

1. P(A,B,C) 的链式法则一般形式是什么?p.4 用独立性替换了哪一项?

P(A,B,C) = P(C|A,B)·P(A|B)·P(B)。题给「C 与 AB 独立」把第一项换成 P(C),得 0.4 × 0.3 × 0.2 = 0.024(p.5)。

2. p.4 的「conditionally independent with AB」应该怎么读?

读作 C 与联合事件 AB(无条件)独立,即 P(C|A,B) = P(C)。它没有条件变量,也没有说 A 与 B 独立(p.4)。

3. p.7 为什么可以写 P(E|¬T) = P(E)?什么时候不行?

E、T 是汇聚连接的两个父节点,子节点 C 未观测时独立。一旦 C 已知,两者通过 C 产生依赖,就不能这样换(p.7)。

4. 贝叶斯网络的联合概率 P(E,T,C) 怎么写?

每个节点在其父节点下的条件概率连乘:P(E)·P(T)·P(C|E,T) = 0.7 × 0.8 × 0.6 = 0.336(p.8)。

5. 由联合分布表求 P(A|B),分母怎么来?

把 B 为真的所有行相加:P(B) = P(A,B) + P(¬A,B) = 0.1 + 0.4 = 0.5,于是 P(A|B) = 0.1 / 0.5 = 0.2(p.10)。

6. Monty Hall 里三个似然 P(H₃|Cᵢ,X₁) 分别是多少,为什么?

C₁ 时 1/2(车在你选的门后,主持人可开 2 或 3);C₂ 时 1(只能开 3 号);C₃ 时 0(不会开有车的门)(p.13)。

7. P(H₃|X₁) = 1/2 是怎么来的?

全概率公式:Σᵢ P(H₃|Cᵢ,X₁)·P(Cᵢ) = (1/2 + 1 + 0) × 1/3 = 1/2(p.13)。

8. p.15 的概率树为什么不能数叶子?

叶子权重不同:经过 1/2 分岔的各重 1/18,没分岔的各重 1/9。换门赢的 6 片全是 1/9,合计 2/3;数叶子会错得 1/2(p.15)。

下一步

先把变式题第 (2) 问在纸上重做一遍,分子分母各写清楚用了哪一行——诊断推理是 Lecture 3 p.27 的原题型,考试大概率换数再考。再把 p.6 的网络补上 Lecture 3 p.24 那个 L 节点,重算 P(E,T,C,L),练一遍四变量的连乘。Monty Hall 可以换成四扇门再算一次换门胜率,检验自己用的是似然而非背下来的 2/3。下一讲进入机器学习(线性回归、梯度下降、偏差与方差),概率工具暂告一段落,贝叶斯公式在后面的分类器里还会回来。

下一讲的通俗笔记上完课会补,先回 COMP5511 课程页。

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。