← COMP5511 全部讲次
L03a-4 · 第 3 周

L03a-4 链式法则与条件独立:用一张箭头图把联合概率剪小

链式法则把多变量的联合概率拆成一串条件概率,条件独立把这串条件剪短,贝叶斯信念网络把「谁和谁条件独立」画成一张图,再看三种连接方式各自什么时候通、什么时候断。

一句话版

变量一多,联合概率表就大到列不完。链式法则把联合概率拆成一串条件概率,条件独立把每个条件里没用的变量删掉,贝叶斯信念网络把「删谁」画成一张箭头图。

上一页 L03a-3 处理的是两个事件。这一页把它推广到很多个变量,为下一页的网络推理做准备。

先认识这几个词

词 全称 / 读法 一句人话
链式法则 chain rule 把多个变量的联合概率拆成一串条件概率相乘
条件独立 conditional independence 知道 C 以后,A 和 B 互相不再提供信息
BBN Bayesian Belief Network,贝叶斯信念网络 用箭头图表示变量之间的条件独立关系
DAG Directed Acyclic Graph,有向无环图 箭头有方向,顺着箭头走不会绕回原地
父节点 / 后代 parent / descendant 箭头直接指向我的是父节点,顺着箭头能走到的是后代
CPT Conditional Probability Table,条件概率表 每个节点在父节点各种取值下的概率
explaining away 读作「解释消除」 知道了结果,又知道一个原因,另一个原因就不那么需要了

一个类比:传话游戏

一排人传一句话,A 告诉 V,V 再告诉 B。B 听到什么,只取决于 V 说了什么。

假如你已经知道 V 说的原话,再去问 A 当初说了什么,对猜 B 听到什么毫无帮助。V 把 A 的影响全部「挡住」了。这就是条件独立:知道中间人 V,A 和 B 之间就没有额外的信息了。

信念网络把一堆变量之间的传话关系画成箭头图。每个变量只需要记住「我的上家说了什么」,不用记整排人。表格因此小了很多。

类比在哪里失效:

  • 传话是一条线。信念网络里一个节点可以有好几个上家,也可以把话传给好几个下家。
  • 传话里听到的话是确定的。网络里每一步都是概率,「V 说了什么」对应的是一张条件概率表。

从零讲起

1. 链式法则

它解决什么问题

上一页的乘法公式只处理两个事件:P(AB) = P(A|B)P(B)。四个变量同时发生的概率 P(ETCL) 怎么拆?链式法则把乘法公式反复用,把任意多个变量的联合概率拆成一串条件概率。

直觉

像剥洋葱。每次把最外层的一个变量剥出来,写成「它在剩下所有变量条件下的概率」,剩下的那团继续剥。

剥到最后只剩一个变量,就是它自己的概率。

一步一步看

目标:用乘法公式把 P(ABC) 里的 A、B 依次剥出来,看三件事的联合概率怎样拆成一串条件概率。

拆 P(ABC),每一步只用一次乘法公式。

  1. 写出要算的量:A、B、C 三件事同时发生。

    第 1 步:一行青绿框写着 P(ABC),右侧注明三个一起发生,下方说直接查联合表要 2 的 3 次方等于 8 个数

  2. 把 A 剥出来。把 BC 看成一件事,用乘法公式:P(ABC) = P(A|BC)·P(BC)。

    第 2 步:第一行 P(ABC) 变灰,第二行青绿框写等于 P(A|BC) 乘 P(BC),右侧注明条件概率定义倒过来用一次,下方说 P(BC) 还是联合概率要继续剥

  3. 把 B 剥出来:P(BC) = P(B|C)·P(C)。代回去,剥完了。

    第 3 步:前两行变灰,第三行青绿框写等于 P(A|BC) 乘 P(B|C) 乘 P(C),右侧注明对 P(BC) 再用一次,下方说每个因子只含一个竖线左边的变量

怎么算

两个、三个、n 个变量:

  • P(A₁A₂) = P(A₁|A₂) · P(A₂)
  • P(A₁A₂A₃) = P(A₁|A₂A₃) · P(A₂|A₃) · P(A₃)
  • P(A₁A₂…A_n) = P(A₁|A₂…A_n) · P(A₂|A₃…A_n) · … · P(A_{n−1}|A_n) · P(A_n)

意思是:第一个因子把 A₁ 放在竖线左边、其余全放右边;下一个因子把 A₂ 放左边、它后面的放右边;依次往后,最后一个因子没有竖线。

变量的排列顺序可以随便选,任何顺序拆出来都对。下一页会看到,选一个好顺序能让每个因子的条件尽量短。

常见误解

以为链式法则已经把问题变简单了

链式法则只是换了一种写法,一个数都没省。n 个布尔变量的联合分布要 2ⁿ 个数;第一个因子 P(A₁|A₂…A_n) 的条件有 n − 1 个变量,光它就要 2^(n−1) 个条件概率。真正省数的是下一个概念:条件独立。

剥的时候把剩下的变量从条件里漏掉

第一个因子必须是 P(A₁|A₂…A_n),竖线右边是剩下的全部变量。写成 P(A₁|A₂) 就丢了信息,除非有条件独立给你依据。删条件这件事,每一次都要说出理由。

试一下

按 D、C、B、A 的顺序,用链式法则展开 P(ABCD)。

P(DCBA) = P(D|CBA) · P(C|BA) · P(B|A) · P(A)。顺序变了,每个因子的条件也跟着变,但乘出来的值一样。

2. 条件独立

它解决什么问题

链式法则拆出来的因子,条件一个比一个长。如果知道「给定 C 以后,B 对 A 没有影响」,就能把 P(A|BC) 里的 B 删掉,变成 P(A|C)。条件变短,要记的数就少了。

直觉

传话游戏里,A 的话只能经过 V 传到 B。V 说了什么一旦知道,A 当初说什么对 B 就没影响了。

条件独立说的就是这种「被中间那个挡住」的关系。它和普通的独立是两回事:A、B 本来可能相关,知道 C 以后才变得无关;也可能本来无关,知道 C 以后反而变得相关。

一步一步看

目标:从定义推出 P(A|BC) = P(A|C),再用两枚硬币看本来独立的两件事给定 C 后怎样不再独立。

从条件独立的定义推出常用形式 P(A|BC) = P(A|C),每一步写出依据。

  1. 写定义:P(A|BC) = P(ABC) / P(BC)。
  2. 分子分母都把 C 提出来:P(ABC) = P(AB|C)P(C),P(BC) = P(B|C)P(C)。P(C) 上下约掉,剩 P(AB|C) / P(B|C)。
  3. 分子用条件独立的定义展开:P(AB|C) = P(A|C)P(B|C)。
  4. P(B|C) 上下约掉,得 P(A|C)。
步 式子 依据
1 P(A|BC) = P(ABC) / P(BC) 条件概率的定义
2 = P(AB|C)P(C) / [P(B|C)P(C)] 乘法公式,把 C 提出来
3 = P(A|C)P(B|C) / P(B|C) 条件独立的定义
4 = P(A|C) 约分

再看一个「本来独立、给定 C 后不再独立」的反例。抛两枚公平硬币,A = 第一枚正面,B = 第二枚正面,C = 两枚结果相同。

量 不知道 C 已知 C(只剩 HH、TT)
P(A) 1/2 1/2
P(B) 1/2 1/2
P(AB) 1/4 1/2
P(A)P(B) 1/4,相等,独立 1/4,不等,不条件独立

已知两枚相同,第一枚的结果就完全决定了第二枚。

怎么算

A 与 B 在给定 C 时条件独立,定义是:

P(AB|C) = P(A|C) · P(B|C)

意思是:在 C 已知的世界里,A 和 B 同时发生的概率等于各自概率相乘,和普通独立的定义一模一样,只是每一项都加上了「给定 C」。

由它推出的等价形式:

P(A|BC) = P(A|C)

意思是:已经知道 C,再告诉你 B,对 A 没有新信息,条件里的 B 可以删掉。

课件把条件独立标成「A useful assumption!」。它是建模时人为加上的假设,换来的是参数量大幅下降;代价是假设不对时,模型算出来的数也不对。

常见误解

以为条件独立就是独立

两者互不蕴含。上面两枚硬币的例子是独立但不条件独立。反过来,下一页那张网络里,图书馆开门 L 和上了课 C 都受供电 E 影响,平时是相关的;一旦知道供电情况,两者就条件独立了。

以为条件独立可以随手用

每删掉一个条件,都要有依据。在信念网络里,依据就是网络的结构:给定父节点以后,节点与所有非后代条件独立。没有图、也没有题目说明时,不能自己假设。

试一下

已知给定 C 时 A 和 B 条件独立,P(A|C) = 0.3,P(B|C) = 0.6。求 P(AB|C) 和 P(A|BC)。

P(AB|C) = 0.3 × 0.6 = 0.18。P(A|BC) = P(A|C) = 0.3。

3. 贝叶斯信念网络

它解决什么问题

条件独立好用,但变量一多,「谁和谁在什么条件下独立」很难一条条写清楚。信念网络用一张箭头图把这些关系一次说完,每个节点只需要一张很小的条件概率表。

从哪来(补充)

「贝叶斯网络」这个名字是 Judea Pearl 在 1985 年起的。他想强调三点:输入的信息常带主观性;更新信息靠贝叶斯条件化;因果推理和证据推理要分开。他在 1980 年代末出版的 Probabilistic Reasoning in Intelligent Systems 把这个领域立了起来。

出处:Wikipedia: Bayesian network

直觉

画图的规矩很简单:谁直接影响谁,就从谁画一个箭头指过去。

图画好以后,每个节点只看它的父节点。父节点的取值一确定,图上那些不是它后代的节点,对它就不再有影响。于是每个节点只要记「父节点各种取值下我的概率」,一张小表就够了。

一步一步看

目标:在四变量网络上逐个节点数要记的数,看信念网络为什么只要 8 个数,联合表却要 16 格。

用课件那张四变量网络数一数,网络省了多少数。四个布尔变量:E 供电正常,T 老师来了,C 上了课,L 图书馆开门;E → L,E → C ← T。

  1. 不用网络,直接列联合表:四个变量每个两种取值,共 2 × 2 × 2 × 2 = 16 格。
  2. 用网络:E、T 是根节点,没有父节点,各要 1 个数 P(E)、P(T),共 2 个。
  3. L 只有父节点 E,要 P(L|E) 和 P(L|E^c),共 2 个。
  4. C 有父节点 E 和 T,两者各两种取值,要 2 × 2 = 4 个。合计 2 + 2 + 4 = 8 个。
节点 父节点 要记的数 个数
E 无 P(E) 1
T 无 P(T) 1
L E P(L|E)、P(L|E^c) 2
C E、T P(C|E,T)、P(C|E,T^c)、P(C|E^c,T)、P(C|E^c,T^c) 4
合计 8,联合表要 16

怎么判断

拿到一张图,判断它是不是合法的信念网络,看三条:

  • 它是图模型,边上的关系用条件概率表示。
  • 箭头有方向,并且顺着箭头走不会绕回起点(DAG)。
  • 它满足核心假设:每个节点在给定父节点后,与所有非后代节点条件独立。

意思是:前两条管图的形状,第三条管图背后的概率含义;第三条就是「删条件」的依据。

常见误解

以为箭头一定表示因果

箭头表示的是概率上的依赖结构,画成「因指向果」最直观,也最省表。课件的例子都按因果画,但网络本身只要求满足条件独立假设。

以为节点只和父节点有关,和其他节点都独立

核心假设是「给定父节点后」与「非后代」条件独立。两个条件缺一不可:父节点要已知;对自己的后代不成立,后代的观测会反过来提供信息,下一页的诊断推理就是这么做的。

试一下

一个网络有五个布尔变量,A、B 是根节点,C 的父节点是 A、B,D 的父节点是 C,E 的父节点是 C。网络要记几个数?联合表要几格?

A、B 各 1 个;C 有两个父节点,4 个;D、E 各 2 个。合计 1 + 1 + 4 + 2 + 2 = 10 个。联合表 2⁵ = 32 格。

4. 三种连接

它解决什么问题

再复杂的网络,都是由三个节点的小结构拼起来的。看懂这三种小结构里「中间那个节点已知时,两头还有没有关系」,就能判断大网络里任意两个变量的关系。

直觉

串行 A → V → B 是传话:V 一旦知道,A 和 B 之间的路就断了。

发散 A ← V → B 是一个原因、两个结果:两个结果看起来相关,是因为它们有共同的原因;原因一旦固定,相关就消失。

汇聚 A → V ← B 是两个原因、一个结果:两个原因本来互不相干。可一旦知道结果,它们反而有了关系。课上不成(V),又知道老师来了(A),那就更可能是停电了(B)。

一步一步看

目标:把串行、发散、汇聚三种连接各展开一次,看中间节点已知时两头的关系是被阻断还是被打开。

对每种连接,先用链式法则展开 P(AVB),再看哪一步能化简、依据是什么。

  1. 串行 A → V → B:P(AVB) = P(B|VA)·P(V|A)·P(A)。给定 V 后 B 与 A 条件独立,P(B|VA) 变成 P(B|V)。
  2. 发散 A ← V → B:P(AVB) = P(B|VA)·P(A|V)·P(V)。给定 V 后 A、B 条件独立,P(B|VA) 变成 P(B|V)。
  3. 汇聚 A → V ← B:P(AVB) = P(V|AB)·P(A|B)·P(B)。A、B 都是根节点,本来就独立,P(A|B) 变成 P(A)。
连接 展开结果 化简的依据 V 未知时 V 已知时
串行 A→V→B P(B|V)P(V|A)P(A) 条件独立 A、B 相关 阻断
发散 A←V→B P(B|V)P(A|V)P(V) 条件独立 A、B 相关 阻断
汇聚 A→V←B P(V|AB)P(A)P(B) 根节点本来独立 A、B 独立 打开

三张小图。串行 A 指向 V 指向 B,发散 V 分别指向 A 和 B,两者都是 V 未知时 A、B 相关,V 已知时被堵住;汇聚 A 和 B 共同指向 V,V 未知时 A、B 独立,V 已知反而变得相关,这就是 explaining away

怎么判断

问「给定某些节点后,X 和 Y 还相关吗」,就找 X 到 Y 的每一条路(不管箭头方向),对路上每个中间节点套一次规则:

  • 中间节点是串行或发散:它被观测了,这条路就断;没被观测,就通。
  • 中间节点是汇聚:它和它的后代都没被观测,这条路就断;它或任一后代被观测了,就通。

意思是:一条路上只要有一处断开,这条路就传不了信息;所有路都断了,X 和 Y 就条件独立。这套判断规则叫 d-separation(d-分离),课件只画了三张图,没总结成规则。

常见误解

以为三种连接都是「中间节点已知就阻断」

汇聚的方向正好相反。中间节点未知时阻断,已知时反而打开。考试问「给定 V 后 A、B 是否独立」,汇聚这种必须单独想。

汇聚的展开式也写「依据:条件独立」

汇聚那一步把 P(A|B) 换成 P(A),用的是 A、B 都没有父节点、本来就独立,课件在这页的标注就是 Independence (no parent)。串行和发散那一步用的才是条件独立。答题时依据要写对。

试一下

课件那张网络 E → L,E → C ← T。不观测任何节点时,L 和 T 相关吗?只观测 C 时呢?观测 C 和 E 时呢?

L 到 T 只有一条路 L ← E → C ← T。不观测任何节点:C 是汇聚且未观测,路断,L 和 T 独立。只观测 C:C 被打开,E 是发散且未观测,也通,L 和 T 相关。观测 C 和 E:E 是发散且被观测,路断,L 和 T 条件独立。

把它们串起来

链式法则能把任何联合概率拆成一串条件概率,但它不省数,每个因子的条件都很长。

条件独立是剪刀。知道 C 以后 B 对 A 没用,就能把 P(A|BC) 剪成 P(A|C)。它是一个建模假设,用之前要有依据。

信念网络把依据画成图:每个节点给定父节点后,与所有非后代条件独立。于是按「父节点在后」的顺序用链式法则展开,每个因子都能剪到只剩父节点,整张表只需要每个节点的一张小 CPT。

三种连接是看图判断独立性的基本零件。串行和发散在中间节点已知时断开,汇聚在中间节点已知时打开。

下一页拿课件那张四变量网络,把联合、因果、诊断三种问法各算一遍。

课件里的坑

  • [课件有误] p.21、p.22、p.23 三页都把 non-descendants 拼成了 “non-decedents”,是笔误(p.21)
  • [依据不同] p.23 汇聚连接那一步的依据是 Independence (no parent),不是条件独立;课件用不同的标签区分了,答题时要跟着分开写(p.23)
  • [课件留白] p.21–23 只画了三张图,没把「中间节点已知时通还是断」总结成表 → 按本页第 4 个概念的表格记(p.21–23)
  • [用词] p.19 写的是 “A useful assumption!”,条件独立是建模假设,不是事实(p.19)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写三变量的链式法则,再默写条件独立的定义和推出 P(A|BC) = P(A|C) 的四步推导;然后画三种连接,各写出 P(AVB) 的展开和化简依据;最后回查两个最容易错的地方:条件独立不是独立,汇聚的通断方向和另外两种相反。

必背

  1. 链式法则:P(A₁A₂…A_n) = P(A₁|A₂…A_n)·P(A₂|A₃…A_n)·…·P(A_n),每次剥掉最左边一个变量;变量顺序任意。
  2. 链式法则本身不省参数:n 个布尔变量的联合分布要 2ⁿ 个数,剪小靠的是条件独立。
  3. 条件独立 P(AB|C) = P(A|C)P(B|C) 可推出 P(A|BC) = P(A|C);它和独立互不蕴含。
  4. BBN 是有向无环图加每个节点的条件概率表,核心假设是给定父节点后与所有非后代条件独立。
  5. 串行 P(AVB) = P(B|V)P(V|A)P(A)、发散 P(AVB) = P(B|V)P(A|V)P(V) 靠条件独立化简;汇聚 P(AVB) = P(V|AB)P(A)P(B) 靠根节点本来就独立。
  6. 孤立三节点图中,串行和发散在中间节点已知时阻断;汇聚在自身或后代被观测时可打开(explaining away)。

课件例题

例 1(课件 p.18):用链式法则展开两个、三个变量的联合概率

题面:写出 P(A₁A₂) 和 P(A₁A₂A₃) 的链式法则展开,并说明 P(A₁|A₂…A_n) 这一项为什么说明链式法则不省参数。

提示

反复用 P(XY) = P(X|Y)P(Y),每次把最左边的变量剥出来。

解答

P(A₁A₂) = P(A₁|A₂)P(A₂)。

P(A₁A₂A₃) = P(A₁|A₂A₃)·P(A₂A₃) = P(A₁|A₂A₃)·P(A₂|A₃)·P(A₃)。

P(A₁|A₂…A_n) 的条件里有 n − 1 个布尔变量,取值组合有 2^(n−1) 种,每种都要一个条件概率。拆完并没有少记数,要靠条件独立才能把条件剪短。

例 2(课件 p.19):从条件独立推出 P(A|BC) = P(A|C)

见下方完整例题。

例 3(课件 p.21):串行连接 A → V → B 的联合概率

题面:写出 P(AVB) 的展开,并标出每一步的依据。

提示

链式法则先剥最下游的 B,再看给定 V 后 B 还和谁有关。

解答

P(AVB) = P(B|VA)·P(V|A)·P(A),依据是链式法则。

= P(B|V)·P(V|A)·P(A),依据是条件独立:B 的父节点只有 V,给定 V 后 B 与非后代 A 条件独立。

例 4(课件 p.22):发散连接 A ← V → B 的联合概率

题面:V 是 A 和 B 共同的父节点。写出 P(AVB) 的展开和依据。

提示

父节点 V 放在最后剥;给定共同的父节点后,两个孩子之间有没有关系?

解答

P(AVB) = P(B|VA)·P(A|V)·P(V),依据是链式法则。

= P(B|V)·P(A|V)·P(V),依据是条件独立:给定 V 后,B 与 A 条件独立。

例 5(课件 p.23):汇聚连接 A → V ← B 的联合概率

题面:A 和 B 共同指向 V,两者都没有父节点。写出 P(AVB) 的展开和依据。

提示

这次先剥 V。剩下的 P(A|B) 能不能化简?依据和前两种一样吗?

解答

P(AVB) = P(V|AB)·P(A|B)·P(B),依据是链式法则。

= P(V|AB)·P(A)·P(B),依据是 Independence (no parent):A、B 都是根节点,本来就互相独立,用不着条件独立假设。

完整例题

题面(课件 p.19):已知给定 C 时 A 与 B 条件独立,即 P(AB|C) = P(A|C)P(B|C)。证明 P(A|BC) = P(A|C),每一步写出依据。

解法:

  1. 从左边的定义出发:P(A|BC) = P(ABC) / P(BC)。依据:条件概率的定义,把 BC 看成一件事。
  2. 分子提出 C:P(ABC) = P(AB|C) · P(C)。依据:乘法公式,把 AB 看成一件事。
  3. 分母提出 C:P(BC) = P(B|C) · P(C)。依据:乘法公式。
  4. 约掉 P(C):P(A|BC) = P(AB|C) / P(B|C)。前提是 P(C) ≠ 0。
  5. 分子用条件独立展开:P(AB|C) = P(A|C)P(B|C),所以 P(A|BC) = P(A|C)P(B|C) / P(B|C)。依据:题目给的条件独立定义。
  6. 约掉 P(B|C):P(A|BC) = P(A|C)。前提是 P(B|C) ≠ 0。证毕。

要点:这四行推导课件用一整页写,很可能要求默写。第 2、3 步用乘法公式,第 5 步用条件独立,依据要分开写。结论的含义是「C 挡住了 B 对 A 的全部影响」。

答题格式:每行一个等号,等号右边括号注明依据(定义 / 乘法公式 / 条件独立 / 约分)。

变式题(先自己做)

(1) 改编自课件 p.18:用链式法则展开 P(A₁A₂A₃A₄)。如果四个变量都是布尔变量,第一个因子 P(A₁|A₂A₃A₄) 要几个条件概率? (2) 改编自课件 p.19、p.24:在课件那张网络里,P(E) = 0.95,P(L|E) = 0.96,P(L|E^c) = 0.2,并已知 P(C|E) = 0.847,P(C|E^c) = 0。给定 E 时 L 和 C 条件独立。求 P(L)、P(C)、P(LC),判断 L 和 C 是否独立。 (3) 改编自课件 p.21–23:一个网络 X → Y → Z,再加一条 W → Y。给定 Y 时,X 和 Z 是否条件独立?不观测任何节点时,X 和 W 是否独立?给定 Z 时呢?

提示

(1) 每次剥最左边一个。(2) P(LC) 要按 E 和 E^c 两种情况拆,每种情况里用条件独立把 P(LC|E) 拆成 P(L|E)P(C|E)。(3) 对每条路上的中间节点判断它是串行、发散还是汇聚。

判分点与答案(非官方评分标准)

判分点:① (1) 展开式最后一个因子是 P(A₄),没有竖线;② (2) P(LC) 必须按 E 拆两块并用条件独立,结论要拿 P(LC) 和 P(L)P(C) 比;③ (3) 汇聚节点 Y 的判断方向要对,被观测的后代 Z 也会打开 Y。

(1) P(A₁A₂A₃A₄) = P(A₁|A₂A₃A₄)·P(A₂|A₃A₄)·P(A₃|A₄)·P(A₄)。第一个因子的条件有 3 个布尔变量,2³ = 8 个条件概率。

(2) P(L) = 0.96 × 0.95 + 0.2 × 0.05 = 0.912 + 0.01 = 0.922。P(C) = 0.847 × 0.95 + 0 × 0.05 = 0.80465。P(LC) = P(L|E)P(C|E)P(E) + P(L|E^c)P(C|E^c)P(E^c) = 0.96 × 0.847 × 0.95 + 0.2 × 0 × 0.05 ≈ 0.7725。P(L)P(C) = 0.922 × 0.80465 ≈ 0.7419,不相等,所以 L 和 C 不独立,但给定 E 时条件独立。

(3) X → Y → Z 是串行,给定 Y 时阻断,X 和 Z 条件独立。X → Y ← W 是汇聚,Y 及其后代都未观测时阻断,X 和 W 独立。给定 Z 时,Z 是 Y 的后代,汇聚被打开,X 和 W 变得相关。

闪卡自测

1. 链式法则怎么展开三个变量?对变量顺序有要求吗?

P(A₁A₂A₃) = P(A₁|A₂A₃)·P(A₂|A₃)·P(A₃),规律是每次剥掉最左边一个变量、把剩下的全塞进条件里。顺序没有要求,任意顺序都成立;BBN 的技巧正是选一个好顺序让每项的条件集尽量小(p.18)。

2. 为什么说链式法则本身不省参数?

n 个布尔变量的联合分布要 2ⁿ 个数;第一个因子 P(A₁|A₂…A_n) 就要 2^(n−1) 个条件概率。省数靠的是条件独立(p.18)。

3. 完整推导 P(A|BC) = P(A|C)。

P(A|BC) = P(ABC)/P(BC) = P(AB|C)P(C) / [P(B|C)P(C)],上下用 P(XY) = P(X|Y)P(Y) 把 C 提出来、P(C) 约掉;再把分子按条件独立定义展开成 P(A|C)P(B|C),约掉 P(B|C),得 P(A|C)(p.19)。

4. 举一个「独立但不条件独立」的例子。

抛两枚公平硬币,A = 第一枚正面,B = 第二枚正面,两者独立。令 C = 两枚结果相同,已知 C 后第一枚决定第二枚,A、B 不再条件独立(p.19)。

5. BBN 的三条定义性质是什么?

是图模型,图上标注的是条件概率;图必须有向且无环(DAG);每个节点在给定其父节点后,与其所有非后代节点条件独立(p.21)。

6. 串行和发散连接的展开式分别是什么?化简依据是什么?

串行 A→V→B:P(AVB) = P(B|V)P(V|A)P(A)。发散 A←V→B:P(AVB) = P(B|V)P(A|V)P(V)。两者都是把 P(B|VA) 换成 P(B|V),依据是条件独立(p.21–22)。

7. 汇聚连接的展开式用的依据和另外两种有什么不同?

汇聚 A→V←B 展开成 P(V|AB)·P(A)·P(B),把 P(A|B) 换成 P(A) 的依据是 Independence (no parent)——A、B 都是根节点、本来就独立,用不着条件独立假设(p.23)。

8. 三种连接在中间节点已知时,两端是通还是断?

串行和发散:中间节点已知时阻断。汇聚:中间节点未知时阻断,它或它的后代被观测时打开,这叫 explaining away(p.21–23)。

下一讲

下一页用课件那张四变量网络把三种问法各算一遍:联合概率、顺着箭头的因果推理、逆着箭头的诊断推理,见 L03a-5。

下一讲 →
L03a-5 L03a-5 在信念网络上推理:联合、因果、诊断三种问法

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。