L03b-2 逻辑回归与朴素贝叶斯:各赢在哪,各通向哪
把两种分类器的假设、关键步骤并排放,逐条看逻辑回归的三条优点和朴素贝叶斯的四条优点,缺特征、加类别时谁更好办,最后看两条路分别通向课程的哪一半。
一句话版
逻辑回归和朴素贝叶斯都能分类,强项不一样。逻辑回归赢在准确率和灵活性:能做特征预处理,输出的概率可以当真。朴素贝叶斯赢在训练成本和鲁棒性:不用优化,缺个特征、加个类别都好办。两条路还分别通向课程的后半程:逻辑回归是一个神经元,通向深度学习;朴素贝叶斯学的是分布,通向表示学习。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 概率校准 | calibration | 模型说 0.8 的那些样本,真有大约八成是对的 |
| 特征预处理 | feature preprocessing | 用原始特征造新特征再喂给模型,比如加上 x² |
| 基展开 | basis expansion | 把 x 换成 (x, x², …) 这样一组函数值 |
| 缺失特征 | missing input feature | 测试样本某一维没有观测到 |
| 无标签数据 | unlabelled data | 只有特征、没有标准答案的样本 |
| 表示学习 | representation learning | 让模型自己学出描述数据的好特征 |
一个类比:两种医生
一位专科医生只看几项关键指标,就能判断是不是某种病。他判得准,说「八成是」的时候确实八成是。可要培养他得花很长时间;病人少测了一项指标,他就不敢下结论;医院新增一个病种,他得重新进修整套知识。
一位全科医生给每种病建了一份档案:这种病的人通常体温多少、血压多少、多常见。来一个病人就逐份对照。档案靠统计病例就能建好;少测一项指标,就跳过那一栏照样对照;新增一个病种,只要新建一份档案,旧的不动。他排出的「最可能的病」通常没错,嘴上说的把握却常常偏满。
逻辑回归像专科医生,朴素贝叶斯像全科医生。
类比在哪里失效:
- 全科医生能察觉指标之间的关联,朴素贝叶斯不能,它假设各项指标在每种病里互不相关。
- 专科医生缺了指标还能凭经验估一个;逻辑回归没有这个本事,w’x 少一维就是算不下去。
从零讲起
1. 两种方法的假设与关键步骤
它解决什么问题
比较两种方法,先要把它们放在同一张表上:各自假设了什么,训练的核心一步是什么。优点和局限都是从这两样推出来的。
直觉
逻辑回归只做了一个假设:两类之间的分界是一个超平面。为了找到最好的那个超平面,它要跑梯度下降,一轮轮调参数。
朴素贝叶斯做了两个假设:特征在每一类里互相独立,实值特征在每一类里服从高斯。有了这两个假设,参数全都能直接数出来,不用迭代。
一步一步看
目标:按建什么、假设什么、怎么训练、学几套参数四步对照 LR 和 NBC,看两者每一步差在哪。
按「建什么 → 假设什么 → 怎么训练 → 学到几套参数」四步对照。
-
建模对象:LR 建 P(y|x),判别式;NBC 建 P(x|y) 与 P(y),生成式。
-
假设:LR 假设决策边界线性;NBC 假设特征类内条件独立,实值特征类内高斯。
-
关键步骤:LR 用梯度下降最小化交叉熵;NBC 数数与求均值方差。
-
参数:LR 一套 w、b;NBC 先验参数 π 加条件分布参数 θ。
逻辑回归 LR 朴素贝叶斯 NBC 建模对象 P(y|x),判别式 P(x|y) 与 P(y),生成式 假设 决策边界是线性的 特征类内条件独立;实值特征类内高斯 关键步骤 梯度下降最小化交叉熵 数数与求均值方差 参数 一套 w, b 先验 π + 条件分布 θ
怎么判断
拿到一个场景,先问两件事:
- 它的假设在这个场景里大致成不成立?特征明显强相关,NBC 的独立性假设就偏得厉害;两类明显不能用直线分开,LR 的线性假设就不够。
- 它的关键步骤在这个场景里贵不贵?数据量大、需要频繁重训时,梯度下降的成本就是 LR 的负担;NBC 只要数一遍。
意思是:优点和局限都是从「假设」和「关键步骤」两行推出来的,记住这张表,后面两个概念的七条优点都能自己推回来。
常见误解
以为逻辑回归没有假设
它假设决策边界是线性的。这条假设藏在 t = w’x + b 里,异或这类数据就是它的反例。
以为 NBC 也要跑梯度下降
NBC 的参数全是数出来的:先验是计数比例,条件分布是类内比例或类内均值方差,没有迭代。
试一下
一份数据有两个特征:身高和体重,两者明显一起涨。哪种方法的哪条假设会偏得更厉害?
NBC 的「特征类内条件独立」。身高和体重高度相关,连乘时同一份信息会被算两次,概率值更走极端。
2. 逻辑回归的三条优点
它解决什么问题
判别式少学了「x 本身长什么样」这一块,这省下来的力气用到了哪里?三条优点回答这个问题。
从哪来(补充)
朴素贝叶斯只要正确类别的概率排在最前就能判对,哪怕概率值本身离谱;它常给出过度自信的概率,量化不确定性不如逻辑回归。
出处:Wikipedia: Naive Bayes classifier
直觉
第一条,准确率。p(y|x) 只描述分界,p(y, x) 还要描述特征自己的分布,后者难得多。判别式把力气全用在分界上,通常判得更准。
第二条,特征预处理。逻辑回归不在乎特征是原始的还是造出来的,往 x 里加 x²、x³ 照样训练。这样还能绕开「边界只能是直线」的限制。
第三条,概率校准。逻辑回归直接优化交叉熵,输出的概率值大体可信;NBC 的连乘让概率走极端。
一步一步看
目标:给一维数据加一个特征 x²,看逻辑回归的直线边界映射回 x 轴后怎样分开中间和两头。
用一个一维例子看基展开怎么让边界变弯。数据:|x| > 1 的点属于类 1,|x| < 1 的属于类 0。
-
原始特征只有 x。任何 w·x + b = 0 都只切出一个点,一边类 0 一边类 1,分不出「两头是类 1、中间是类 0」。
-
造一个新特征 x²,把输入换成 (x, x²)。
-
取 w = (0, 1)、b = −1,t = x² − 1。在 (x, x²) 平面上,x² − 1 = 0 是一条直线。
-
映射回原来的 x 轴,x² = 1 对应 x = −1 和 x = 1 两个点,正好把中间和两头分开。
原始 x 新特征 x² t = x² − 1 判 −2 4 3 类 1 −0.5 0.25 −0.75 类 0 0.5 0.25 −0.75 类 0 2 4 3 类 1
怎么判断
三条优点分别对应一句话,判断题常改其中一个词:
- Better Predictive Accuracy:条件分布 p(y|x) 比联合分布 p(y, x) 容易学
- Can Handle Feature Preprocessing:可以做多项式基展开等特征预处理,NBC 里造新特征很麻烦
- Well-calibrated Probabilities:NBC 的强独立性假设让概率值走极端,LR 不会
意思是:前两条来自「判别式只学分界」,第三条来自「NBC 的连乘」。基展开那条要多记一层:在展开后的特征空间里边界是线性的,映射回原空间就是曲面。
常见误解
以为逻辑回归的边界永远是直线,没法处理弯的分界
在原始特征上是直线。做了基展开以后,展开空间里仍是线性的,回到原空间就是曲线或曲面。
以为 NBC 输出的概率接近 1,就说明它非常有把握
NBC 的概率值常常过度自信,排序可信、数值不可信。要拿概率做决策,逻辑回归的输出更可靠。
试一下
二维数据,类 1 落在以原点为圆心、半径 2 的圆外,类 0 在圆内。给逻辑回归造什么特征、取什么参数,边界正好是这个圆?
造 x₁² 和 x₂²,取 w = (1, 1)、b = −4。t = x₁² + x₂² − 4,t = 0 就是半径 2 的圆。
3. 朴素贝叶斯的四条优点
它解决什么问题
生成式多学了「每一类长什么样」,这多付的代价换来了什么?四条优点回答这个问题,其中两条在实际部署里很常用:缺特征和加类别。
直觉
NBC 每一类有自己的一份档案,档案里每个特征是独立的一栏。
- 档案靠数数建好,不用优化
- 少了某个特征,就跳过那一栏,其余照乘
- 新增一类,只要新建一份档案,旧档案不动
- 档案描述的是数据本身的分布,没有标签也能估,所以能用在无标签数据上
一步一步看
目标:用 10 个样本的计数表试缺特征和加类别,看 NBC 照算或只补新类,LR 却算不下去或要重跑。
用 L03b 那张 10 个样本的计数表,看缺特征和加类别两种情况。
-
缺特征:新样本 a = A1,b 没观测到。NBC 在连乘里跳过 b 那一项:c1 是 0.6 × 4/6 = 0.4,c2 是 0.4 × 1/4 = 0.1,仍判 c1。
-
LR 遇到同样的样本:t = w_a·a + w_b·b + c 里 b 是空的,算不下去,只能先想办法补一个值。
-
加类别:训练集新增类别 c3。NBC 只要在 c3 的样本里数 A1、B1 的比例;c1、c2 的条件概率一个都不动。
-
先验要重数:总样本数 N 变了,三类的先验都按新的 N 重新算一遍。LR 则要带上 c3 整体重跑梯度下降。
怎么判断
四条优点的英文原句:
- Easy to Fit:数数和求平均,不需要迭代优化
- Can Handle Missing Input Features:缺失的特征在连乘式里跳过即可
- Can Fit Classes Separately:每个类别的参数独立估计,新增类别只要拟合新类
- Can be Used for Unlabelled Training Data:适用于半监督和无监督学习
意思是:四条都来自同一个结构,每个类别、每个特征各是连乘里独立的一个因子。因子独立,就能单独数、单独跳、单独加。
和逻辑回归那三条并排记:LR 赢在准确率和灵活性,NBC 赢在成本和鲁棒性。代价是 NBC 因连乘小概率导致输出走极端,排序可信、数值不可信。
常见误解
以为加一个新类别,NBC 什么都不用重算
条件分布不用重算,先验要重算。先验的分母是全部样本数,加了新类的样本,N 就变了。
以为缺一个特征时 LR 也能照常预测
不能。LR 的 w’x 少一维就算不下去。NBC 能跳过,是因为每个特征在连乘里是一个独立的因子。
试一下
在 L03b 的计数表上,新样本 b = B1,a 缺失。NBC 判哪类?
跳过 a:c1 是 0.6 × 3/6 = 0.3,c2 是 0.4 × 3/4 = 0.3。两类分数相等,打平。只看 b = B1 区分不了这两类。
4. 两条路的去向
它解决什么问题
这一讲学的两种方法,在整门课里各自往哪里走?知道这张地图,后面每讲完一个模型,都能放回对应的位置。
直觉
把逻辑回归画出来:输入 x₁、x₂、……,各乘一个权重,加起来,再过 sigmoid,得到输出 y。这就是一个神经元。把很多个神经元排成层、再一层层叠起来,就是神经网络。
朴素贝叶斯学的是每一类数据的分布。顺着「学数据本身长什么样」这条思路往下走,就是让模型自己学出描述数据的好特征,也就是表示学习。
一步一步看
目标:把逻辑回归和朴素贝叶斯各往后推一步,看它们分别通向神经网络和学分布的表示学习。
-
逻辑回归 = 一个神经元:Σ wᵢxᵢ 再过 σ。
-
堆多个神经元、加隐藏层,得到多层神经网络,这是下一讲起到 L08 的内容。sigmoid、交叉熵、链式法则梯度会原样复用。
-
朴素贝叶斯 = 每一类一个分布:课件把它画成叠在数据点云上的三个高斯曲面。
-
顺着学分布的思路走,到 L09–L11 是表示学习:autoencoder、VAE、GAN 与对比学习。
怎么判断
y = σ(Σᵢ wᵢ xᵢ + b)
意思是:这既是逻辑回归的模型,也是一个神经元的计算。下一讲的每个隐藏单元都长这样,区别只是很多个排在一起、一层接一层。
后面遇到一个新方法,判断它落在哪一边:
- 它直接学输入到输出的映射、靠梯度下降训练,属于左边这条线
- 它在学数据本身的分布或表示,属于右边这条线
意思是:判别式和生成式的分界,延伸成了整门课的两半。
常见误解
以为逻辑回归和神经网络是两种不相干的方法
逻辑回归就是单个神经元。下一讲把它堆成多层,唯一新增的是梯度怎么在层与层之间往回传。
以为朴素贝叶斯学完就没用了
它代表的「学数据分布」这条思路,是课程后半程表示学习的起点。
试一下
一个神经元输入 x = (1, 2),权重 w = (0.5, −0.5),b = 0.5,激活函数 sigmoid。输出是多少?这和逻辑回归的哪一步一样?
t = 0.5 × 1 − 0.5 × 2 + 0.5 = 0,y = σ(0) = 0.5。就是逻辑回归的前向:先算 t = w’x + b,再过 sigmoid。
把它们串起来
比较两种方法,先看假设和关键步骤。逻辑回归假设边界线性,靠梯度下降找边界;朴素贝叶斯假设特征类内独立、实值特征类内高斯,靠数数估参数。
逻辑回归只学分界,力气花在刀刃上,所以准确率通常更高;特征可以随便造,基展开还能把直线边界变成曲线;输出的概率也可以当真。
朴素贝叶斯每一类、每个特征都是连乘里独立的一个因子。因子独立,就能直接数出来,缺了能跳,加类能单独补,没有标签也能估分布。代价是连乘让概率走极端,排序可信、数值不可信。
两条路分别通向课程的两半。逻辑回归是一个神经元,下一讲把它堆成多层网络;朴素贝叶斯学分布,到课程后段接上表示学习。
课件里的坑
- [只有问题] p.29 只列了四个问题 Assumptions? / Key step? / Advantages? / Limitations?,不给答案。答案要从前面的内容和 p.30–31 自己拼(p.29)。
- [跨页解释] p.30 第三条 Well-calibrated Probabilities 只说 NBC 概率走极端,原因在 p.27:连乘很多个小于 1 的概率,归一化后逼近 0 或 1(p.30)。
- [无内容页] p.33 是课堂 Demo 的分隔页,代码在课上现场跑,没有讲义内容(p.33)。
- [读图提醒] p.32 左半边的单神经元图和右半边的三个高斯曲面没有公式,信息全在两个红箭头指向的去向上(p.32)。
课后 10 分钟:考点复习
这 10 分钟怎么用:先把「假设 / 关键步骤」那张表默写出来;再把七条优点按 LR 三条、NBC 四条写成英文原句;最后做完整例题和变式题的判断。
必背
- LR 的假设是决策边界线性,关键步骤是用梯度下降最小化交叉熵;NBC 的假设是特征类内条件独立加实值特征类内高斯,关键步骤是数数与求均值方差。
- LR 优点:准确率更高、可做特征预处理、概率校准好;NBC 优点:不需优化、能处理缺失特征、可按类别单独拟合、可用于无标签数据。
- NBC 因连乘小概率导致输出走极端,排序可信、数值不可信。
- 特征预处理(如多项式基展开)能绕开「决策边界只能是线性」的限制:在展开后的特征空间里是线性的,映射回原空间就是曲面。
- 缺失特征时 NBC 把连乘里那一项跳过即可,LR 的 w’x 少一维就算不下去;新增类别时 NBC 只拟合新类,LR 要整体重训。
- 逻辑回归就是单个神经元,堆起来通向深度学习(L04–L08);NBC 学数据分布,通向表示学习(L09–L11)。
课件例题
例 1(课件 p.29):LR 与 NBC 各自的假设、关键步骤、优点、局限是什么?
提示
先写两行:假设、关键步骤。优点和局限都能从这两行推出来,再对照 p.30–31 的七条。
解答
假设:LR 假设决策边界是线性的;NBC 假设特征类内条件独立,实值特征还假设类内高斯。关键步骤:LR 用梯度下降最小化交叉熵;NBC 数数和求均值方差。优点与局限按 p.30–31 对照:LR 准确率更高、能做特征预处理、概率校准好,但要迭代优化、缺特征就算不下去;NBC 不需优化、能处理缺失特征、可按类别单独拟合、可用于无标签数据,但独立性假设让概率值走极端。
例 2(课件 p.30–31):分别列出逻辑回归和朴素贝叶斯的优点,并说明每条的原因。
提示
LR 三条来自「判别式只学分界」;NBC 四条来自「每个特征是连乘里独立的因子」。
解答
LR:① Better Predictive Accuracy,条件分布 p(y|x) 比联合分布 p(y, x) 容易学;② Can Handle Feature Preprocessing,可以做多项式基展开,NBC 里造新特征很麻烦;③ Well-calibrated Probabilities,NBC 的强独立性假设让概率走极端。NBC:① Easy to Fit,数数和求平均,不需迭代优化;② Can Handle Missing Input Features,缺失特征在连乘里跳过;③ Can Fit Classes Separately,新增类别只拟合新类;④ Can be Used for Unlabelled Training Data,适用于半监督和无监督学习。
完整例题
题面(自编情境,沿用 L03b 完整例题的训练集):10 个样本,c1 有 6 个、c2 有 4 个;c1 里 a = A1 有 4 个、b = B1 有 3 个;c2 里 a = A1 有 1 个、b = B1 有 3 个。(a)新样本 a = A1、b 缺失,NBC 怎么判?报出归一化概率。(b)训练集再加入 5 个 c3 样本,其中 a = A1 有 2 个、b = B1 有 1 个。哪些数要重新算?新的先验是多少?
约定:概率保留三位小数;特征类内独立。
解法:
- (a)跳过 b 那一项。c1:0.6 × 4/6 = 0.4;c2:0.4 × 1/4 = 0.1。判 c1。
- (a)归一化:0.4/(0.4 + 0.1) = 0.8,c2 为 0.2。
- (b)条件概率:c1、c2 的 p(A1|·)、p(B1|·) 不动;只新估 c3 的 p(A1|c3) = 2/5,p(B1|c3) = 1/5。
- (b)先验:N 从 10 变成 15,三类都重数。p(c1) = 6/15 = 0.4,p(c2) = 4/15 ≈ 0.267,p(c3) = 5/15 ≈ 0.333。
要点:缺特征时少乘一项即可;加类别时条件分布只补新类,先验因为 N 变了要全部重算。
答题格式:(a)写出跳过哪一项、两类分数、判类、归一化;(b)分「不动的 / 新估的 / 重算的」三行写。
变式题(先自己做)
自编情境。判断下列说法对错,错的改正:(1)逻辑回归的决策边界在任何情况下都只能是直线。(2)NBC 输出的概率值接近 1,说明这个判断很可靠。(3)NBC 新增一个类别时,先验和条件分布都不用改。(4)测试样本缺了一个特征,逻辑回归照样能算 w’x。(5)逻辑回归可以看作单个神经元。
提示
每条对照一条优点或一条局限:基展开、概率校准、按类单独拟合、缺失特征、单神经元。
判分点与答案(非官方评分标准)
判分点:每条判对给分,错的那几条要写出改正理由。
(1)错。原始特征上是直线;做基展开后,展开空间里线性,原空间里是曲线或曲面。
(2)错。NBC 因连乘让概率走极端,排序可信、数值不可信。
(3)错。条件分布只要估新类,原有类不动;先验的分母 N 变了,要按新总数重数。
(4)错。w’x 少一维算不下去,NBC 才能跳过那一项。
(5)对。Σ wᵢxᵢ + b 再过 sigmoid,就是一个神经元,堆起来是深度学习。
闪卡自测
1. LR 和 NBC 的假设各是什么?
LR:决策边界线性;NBC:特征类内条件独立,实值特征类内高斯(p.29)。
2. LR 和 NBC 的关键步骤各是什么?
LR:梯度下降最小化交叉熵;NBC:数数与求均值方差(p.29)。
3. LR 的三条优点是什么?
Better Predictive Accuracy、Can Handle Feature Preprocessing、Well-calibrated Probabilities(p.30)。
4. 为什么基展开能绕开线性边界的限制?
展开后的特征空间里边界仍是线性的,映射回原空间就是曲面(p.30)。
5. NBC 的四条优点是什么?
Easy to Fit、Can Handle Missing Input Features、Can Fit Classes Separately、Can be Used for Unlabelled Training Data(p.31)。
6. 缺失特征时两种方法各怎么办?
NBC 在连乘里跳过那一项;LR 的 w’x 少一维算不下去(p.31)。
7. 为什么说 NBC 的概率值不能当真?
连乘小概率导致输出走极端,排序可信、数值不可信(p.30)。
8. 两条路分别通向课程的哪一半?
LR 是单个神经元,通向深度学习;NBC 学分布,通向表示学习(p.32)。
下一讲
把逻辑回归这个神经元排成层、叠起来,就能分开异或这种一条直线分不开的数据:L04a 异或与隐藏层。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。