L04c-2 偏差与方差:比较 J_train 和 J_cv,判断模型太简单还是太复杂
从三张拟合图讲起,看懂偏差和方差各指什么,学会只用 J_train 与 J_cv 的相对大小诊断欠拟合和过拟合,再看 λ 怎样把模型推向偏差或方差、12 个候选 λ 怎么挑。
一句话版
模型在新数据上表现差,先比较训练误差和交叉验证误差。两个都高而且差不多,是模型太简单;训练误差低、交叉验证误差高出一截,是模型太复杂。
读之前最好先懂三分法和 J_train、J_cv,见 L04c-1;正则化参数 λ 见 L04b-4。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 偏差 | bias | 模型太简单学不会,连训练集都拟合不好 |
| 方差 | variance | 模型太复杂背答案,换一批训练数据结果就大变 |
| 欠拟合 | underfit | 高偏差的另一种叫法 |
| 过拟合 | overfit | 高方差的另一种叫法 |
| 诊断 | diagnostic | 一个能跑的测试,看清算法哪里在工作、哪里出了问题 |
| λ | 读「lambda」,正则化参数 | 惩罚大参数的力度,越大模型被压得越简单 |
一个类比:家教先看两张成绩单
一个学生成绩不好,家长请了家教。家教不会上来就布置题,先要两张成绩单:练习册的分数和月考的分数。
两张都差,而且差得差不多,说明根本没学会。这时多刷同一本练习册没用,要换更深的教材,这是高偏差。
练习册满分、月考很差,说明他背下了练习册的答案。这时让他少背套路、多见新题,这是高方差。
家教也可以调「管得多严」:管得太死,学生只会一种套路,遇到稍难的题就不会;完全不管,又容易死背。正则化参数 λ 就是这个松紧旋钮。
类比在哪里失效:
- 家教看分数,分数越高越好;模型看误差,误差越低越好,方向相反。
- 学生的毛病可能同时有好几种、原因复杂;这一讲的诊断规则只看两个误差的相对大小,规则以外的情况课件没讲。
从零讲起
1. 偏差与方差
它解决什么问题
模型差,可能差在两个相反的方向:太简单或太复杂。方向判断错了,补救就会南辕北辙,比如模型本来就太简单,还去减特征。所以先要给这两种毛病起名字,分清楚。
从哪来(补充)
「偏差—方差」这对说法在机器学习里流行开来,常追溯到 Geman、Bienenstock 和 Doursat 在 1992 年发表于 Neural Computation 的论文 Neural networks and the bias/variance dilemma。论文观察到神经网络的隐藏单元越多,方差越大、偏差越小,两者此消彼长,所以叫「两难」。出处:Wikipedia: Bias–variance tradeoff
直觉
想象你反复从同一个来源抽一批训练数据,每次都训一个模型。
高偏差的模型像一把太短的尺子:每次训出来的结果差不多,可都离真相差一截,错得很稳定。
高方差的模型像一根太软的面条:每次都把这批数据的每个点穿过去,可换一批数据,曲线形状就大变,错得很随机。
一步一步看
目标:用 d = 1、2、4 三条曲线拟合同一组点,看高偏差和高方差在训练集与新数据上各是什么样。
用同一组 5 个点,试三个次数不同的多项式。
-
d = 1,直线 θ₀ + θ₁x。点明显是弯的,直线两边都偏得较远,连训练点都拟合不好。这是高偏差。
-
d = 2,二次曲线。平滑地贴着这几个点走,趋势抓到了,也没有迁就个别点。这是刚好。
-
d = 4,四次曲线。弯了几道,正好穿过每一个点,训练误差接近 0。来一个新点,它很可能离曲线很远。这是高方差。
-
把三种情况列成表:
| 模型 | 训练集拟合 | 新数据 | 名字 |
|---|---|---|---|
| d = 1 | 差 | 差 | 高偏差 / 欠拟合 |
| d = 2 | 好 | 好 | 刚好 |
| d = 4 | 几乎完美 | 差 | 高方差 / 过拟合 |
怎么判断
问两个问题:
- 模型在训练集上拟合得好不好?不好,就有偏差问题。
- 训练集上很好、新数据上却差很多吗?是,就有方差问题。
意思是:偏差看的是训练误差本身的高低,方差看的是新数据误差比训练误差高出多少。下一个概念把这两问换成 J_train 和 J_cv 两个数。
常见误解
以为偏差和方差是两个独立的旋钮,可以同时压到 0
调模型复杂度时,它们通常此消彼长:复杂度往上加,偏差下降、方差上升。能做的是找两者加起来最小的位置,第三页 L04c-3 会把这件事画成一张总图。
以为过拟合的模型训练误差一定是 0
不一定是 0,只是明显比新数据上的误差低。判断看两者的差距,不看训练误差是否恰好为 0。
试一下
一条十次多项式穿过 11 个训练点,训练误差为 0;另一条直线在训练点和新点上误差都很大。各是什么问题?
十次多项式是高方差(过拟合),直线是高偏差(欠拟合)。
2. 用 J_train 和 J_cv 诊断
它解决什么问题
特征一多就画不出拟合图,没法靠眼睛看出直线还是弯曲线。需要一条只用数字就能下的判断规则,而上一页已经有现成的两个数:J_train 和 J_cv。
直觉
J_train 告诉你模型在见过的数据上学得怎么样,J_cv 告诉你它在没见过的数据上怎么样。
两个都高,说明见过的都没学会,问题在模型太简单。见过的学得很好、没见过的很差,说明它背了答案,问题在太复杂。
一步一步看
目标:把 d 从 1 扫到 10 画出 J_train 和 J_cv,看两条线的高低和间隙怎样只用数字分出偏差和方差。
把 d 从 1 扫到 10,每个 d 记下 J_train 和 J_cv,画成两条线。
-
看 J_train(训练误差):d 越大,曲线越能贴住训练点,J_train 一路往下走。
-
看 J_cv(交叉验证误差):先降后升,像字母 U。左边 d 太小,模型学不会;右边 d 太大,模型开始背答案。
-
看左端:J_train 高,J_cv 和它差不多一样高。这是高偏差。
-
看右端:J_train 很低,J_cv 比它高出一大截。这是高方差。
-
谷底那个 d 就是该选的,和上一页用交叉验证集挑 d 是同一件事。
怎么算
高偏差:J_train 高,且 J_cv ≈ J_train。 高方差:J_train 低,且 J_cv ≫ J_train。
意思是:先看 J_train 本身高不高,再看 J_cv 比 J_train 高出多少。两个误差都高而且挨得近,是偏差;两个误差隔得远,是方差。
课件的练习数字可以直接代进去:
- 模型甲 J_train = 0.5、J_cv = 0.52,两个都高且几乎一样,高偏差。
- 模型乙 J_train = 0.02、J_cv = 0.45,训练误差很低、交叉验证误差高出很多,高方差。
常见误解
以为 J_cv 高就一定是过拟合
两种问题都会让 J_cv 偏高,单看它分不出原因。要再看 J_train:J_train 也高、两者接近,是偏差;J_train 低、J_cv 远高于它,才是方差。
以为 J_train 低就说明模型没问题
J_train 低只排除了偏差问题,方差问题恰恰常常伴随很低的 J_train。必须和 J_cv 一起看。
试一下
J_train = 3.0、J_cv = 3.2;另一组 J_train = 0.1、J_cv = 2.8。各是什么问题?
第一组两个都高且接近,高偏差。第二组训练误差很低、交叉验证误差高出很多,高方差。
3. λ 怎样影响偏差和方差
它解决什么问题
正则化参数 λ 是另一个超参数。它调大调小,模型会往偏差还是方差那边走?知道了方向,才能把「增大 λ」「减小 λ」这两个补救动作对上号,也才知道 λ 该怎么挑。
直觉
λ 是对大参数的罚款。罚得越重,模型越不敢用高次项,曲线越平,最后被压成一条水平线。罚得越轻,模型越自由,四次项、三次项全用上,曲线越弯。
所以 λ 越大模型越简单,往偏差那边走;λ 越小模型越复杂,往方差那边走。这和 d 的方向正好相反。
一步一步看
目标:固定四次模型只换 λ,看 λ 从大到小怎样把模型从高偏差推到高方差,以及怎样用交叉验证集挑 λ。
模型固定为四次多项式 θ₀ + θ₁x + θ₂x² + θ₃x³ + θ₄x⁴,加 L2 正则化,只换 λ。
-
λ 很大,比如 λ = 10000。为了少交罚款,θ₁、θ₂、θ₃、θ₄ 都被压到接近 0,只剩 h ≈ θ₀,一条水平线。这是高偏差。
-
λ 适中。高次项保留一点,曲线平滑贴着点。这是刚好。
-
λ 很小,接近不正则化。四次项全力迁就每个点,曲线弯来弯去。这是高方差。
-
横轴换成 λ,把 J_train 和 J_cv 画出来。J_train 随 λ 增大一路上升,因为罚得越重越难贴合训练集。J_cv 仍是 U 形,只是左边变成方差区、右边变成偏差区。
-
挑 λ 的流程和挑 d 完全一样。课件给的候选是 λ = 0,再从 0.01 起每次翻倍:0.01、0.02、0.04、0.08……一直到 10.24,加起来 12 个。每个 λ 在训练集上训出参数,在交叉验证集上算 J_cv,挑最小的,再去测试集报一次分。
怎么算
训练时最小化:J(θ) = (1/2m) Σ(h_θ(x⁽ⁱ⁾) − y⁽ⁱ⁾)² + (λ/2m) Σ_{j=1}^{n} θ_j²
评估时用:J_train、J_cv、J_test,都是 (1/2m) Σ(h − y)²,没有 λ 那一项。
意思是:λ 只在「学参数」那一步出场,用来管住参数的大小;一旦参数学好了,评估和比较只看预测误差本身,不再加罚款。挑 λ 时比较的是不带正则项的 J_cv。
第二个求和的上限是 n(特征数),对参数求和;θ₀ 不罚,所以从 j = 1 开始。
常见误解
以为 λ 和 d 调大效果一样
方向相反。d 越大模型越复杂,往方差那边走;λ 越大模型越简单,往偏差那边走。所以「减小 λ」治偏差,「增大 λ」治方差。
以为挑 λ 时应该比较带正则项的 J
带正则项的 J 里含 λ 本身,λ 越小这一项越小,比它等于偏袒小 λ。比较要用不带正则项的 J_cv。
试一下
固定四次多项式扫 λ,λ 最大的那个候选 J_train 和 J_cv 都很高且几乎相等。这是什么问题?该往哪边调 λ?
高偏差。λ 太大,参数被压向 0,模型接近水平线。应该减小 λ。
把它们串起来
起点是上一页留下的问题:交叉验证误差偏高,到底是哪种毛病。
先给两种毛病命名。模型太简单,连训练集都拟合不好,叫高偏差;模型太复杂,把训练集的噪声也背下来,叫高方差。
判断只用两个数。J_train 高、J_cv 和它差不多,是偏差;J_train 低、J_cv 高出一大截,是方差。扫 d 时偏差在左、方差在右,J_cv 的谷底就是该选的 d。
λ 是另一个调复杂度的旋钮,方向和 d 相反:λ 大偏差、λ 小方差。挑 λ 的流程和挑 d 一样,候选排一列,交叉验证集比,测试集报分。
还剩一个实际问题没回答:要不要再去收集数据。这要靠下一页的学习曲线。
课件里的坑
- [课件有误] 正则项的求和上限写成 m(样本数),应为 n(特征数);同一份课件回顾正则化时写的是正确的 n。答题时写 n。
- [课件取整] 12 个候选 λ 的最后一个,课件写成 10,按翻倍规律精确值是 10.24。
- [读图提醒] 挑 λ 那页写「Pick (say) θ⁽⁴⁾」,这里的上标指第 4 个候选(λ = 0.04),和挑 d 时的 θ⁽⁴⁾(d = 4)是两回事。
- [读图提醒] d 图和 λ 图都是 U 形,偏差区和方差区左右对调,读图前先看横轴是哪一个。
课后 10 分钟:考点复习
这 10 分钟怎么用:前 3 分钟把必背读一遍,重点是第 1 条的两组不等式和第 4 条的镜像关系;中间 4 分钟把课件例题和完整例题走一遍,每张图都说出是偏差还是方差;最后 3 分钟做变式题,先自己答,再展开参考答案对照。
必背
- 高偏差(欠拟合):J_train 高且 J_cv ≈ J_train;高方差(过拟合):J_train 低且 J_cv ≫ J_train
- d 增大:J_train 单调下降,J_cv 先降后升呈 U 形;d 图左边是偏差区,右边是方差区
- λ 很大时 θ_j ≈ 0,h ≈ θ₀ 是水平线,高偏差;λ 很小接近不正则化,高方差
- 随 λ 增大 J_train 单调上升,J_cv 呈 U 形,和 d 图左右镜像:λ 图左边方差区、右边偏差区
- 选 λ 的流程和选 d 一样:候选从 0.01 起翻倍,加上 λ = 0 共 12 个,交叉验证集挑最小 J_cv,测试集报分
- 只有训练目标 J(θ) 带正则项,J_train、J_cv、J_test 三个评估误差都不带
课件例题
例 1(课件 p.27):三张拟合图各是高偏差、刚好还是高方差?
题面:同一组 5 个点,模型依次是 θ₀ + θ₁x、θ₀ + θ₁x + θ₂x²、θ₀ + … + θ₄x⁴。
提示
看每条线在训练点上贴得怎么样,再想象来一个新点会怎样。
解答
直线:点在线两侧偏得较远,高偏差(欠拟合)。二次曲线:平滑贴着点,刚好。四次曲线:弯了几道穿过每个点,高方差(过拟合)。
例 2(课件 p.28–29):J_cv 偏高,是偏差还是方差?
见下方完整例题。
例 3(课件 p.31):λ 取很大、适中、很小时,四次多项式各拟合成什么样?
题面:模型 θ₀ + θ₁x + θ₂x² + θ₃x³ + θ₄x⁴ 加 L2 正则化,三张图只换 λ;底部说明 λ = 10000 时的情形。
提示
λ 是罚款,罚得越重参数越小,曲线越平。
解答
λ 很大:几乎水平的直线,高偏差。λ = 10000 时 θ₁ ≈ 0、θ₂ ≈ 0……只剩 h ≈ θ₀。λ 适中:平滑贴合,刚好。λ 很小:弯来弯去穿过每个点,高方差。λ 大对应偏差、λ 小对应方差,和 d 的方向相反。
例 4(课件 p.33):怎样挑 λ?候选有哪些?
题面:模型和代价同例 3,课件列出一列候选 λ,从 λ = 0 到 λ = 10,图中写 Pick (say) θ⁽⁴⁾。
提示
找出候选之间的规律,再套用挑 d 的流程。
解答
候选是 λ = 0,加上从 0.01 起每次翻倍的 0.01、0.02、0.04、0.08、0.16、0.32、0.64、1.28、2.56、5.12、10.24,共 12 个;课件把最后一个写成 10。每个 λ 在训练集上最小化带正则项的 J 得到 θ⁽ᵏ⁾,在交叉验证集上算不带正则项的 J_cv(θ⁽ᵏ⁾),挑最小的,课件示例挑出第 4 个(λ = 0.04),最后报 J_test(θ⁽⁴⁾)。
例 5(课件 p.34):横轴换成 λ,J_train 和 J_cv 各怎么变?
题面:左上是训练时最小化的 J(θ)(含正则项),右上是 J_train 和 J_cv(不含正则项),下方是两条误差随 λ 从小到大的曲线。
提示
先想 λ 变大时训练集还能不能贴得住,再想两端各是偏差还是方差。
解答
J_train 随 λ 增大单调上升,惩罚越重越难贴合训练集。J_cv 是 U 形:左端 λ 小时高,标 Variance;右端 λ 大时高,标 bias;谷底是 Just right。和 d 那张图左右镜像:d 图左偏差右方差,λ 图左方差右偏差。
完整例题
课件 p.28 画出两条误差随 d 变化的曲线,p.29 给出诊断规则,合起来是一道完整的诊断题。
题面:多项式回归预测房价,你发现交叉验证误差 J_cv 偏高。(1) 随着 d 从 1 增大到 10,J_train 和 J_cv 各怎么变?(2) 怎样判断此时是偏差问题还是方差问题?(3) 课件给的两组数:模型甲 J_train = 0.5、J_cv = 0.52;模型乙 J_train = 0.02、J_cv = 0.45,各是什么问题?
- 两条曲线的形状:d 越大,曲线越能贴住训练点,J_train 单调下降;J_cv 先降后升呈 U 形(p.28)。
- 左端和右端:左端 d 小,两条线都高且接近,是偏差区;右端 d 大,J_train 很低而 J_cv 很高,是方差区(p.28)。
- 诊断规则:J_train 高且 J_cv ≈ J_train 是高偏差(欠拟合);J_train 低且 J_cv ≫ J_train 是高方差(过拟合)(p.29)。
- 模型甲:J_train = 0.5 很高,J_cv = 0.52 和它几乎一样,高偏差。补救方向是提高复杂度,比如加特征、加多项式项、减小 λ。
- 模型乙:J_train = 0.02 很低,J_cv = 0.45 远高于它,高方差。补救方向是降低复杂度或加数据,比如减特征、增大 λ、多收训练样本。
这道题的结论要单独记:J_cv 偏高本身不说明方向,一定要配上 J_train 一起看。
答题格式:先写 J_train 高低,再写 J_cv 与 J_train 的差距,最后下结论并各给两个补救动作。
变式题(先自己做)
自编情境:多项式回归预测房价,数字为构造。
(a) d = 1 时 J_train = 42.0、J_cv = 44.5;d = 6 时 J_train = 2.1、J_cv = 39.7。各是什么问题? (b) 固定 d = 6 改扫 λ,λ = 10.24 时 J_train 和 J_cv 都很大且几乎相等,这是什么问题,为什么? (c) J_cv 对 λ 的曲线和 J_cv 对 d 的曲线,各自哪一边是方差区?
提示
先看 J_train 高不高,再看 J_cv 比它高出多少。λ 从大到小相当于模型从简单到复杂。
判分点与答案(非官方评分标准)
判分点:① (a) 两个结论都要写出依据(J_train 高低 + 两者差距);② (b) 要说出参数被压向 0;③ (c) 两张图的方向都要写对。
(a) d = 1:J_train = 42.0 很高,J_cv = 44.5 和它接近,高偏差。d = 6:J_train = 2.1 很低,J_cv = 39.7 远高于它,高方差。
(b) 高偏差。λ = 10.24 时惩罚太重,所有 θ_j 被压向 0,h ≈ θ₀ 接近一条水平线;J_train 和 J_cv 都高且相等正是偏差的特征。
(c) λ 图的左边(λ 小)是方差区,右边是偏差区;d 图相反,右边(d 大)是方差区。
追加一题:某同学挑 λ 时比较的是带正则项的 J,结果总挑出 λ = 0。错在哪?
带正则项的 J 里包含 λ Σθ_j²,λ = 0 时这一项直接消失,而且模型最自由、训练误差最低,比较它必然偏袒 λ = 0。应该比较不带正则项的 J_cv。
闪卡自测
1. J_train 高、J_cv ≈ J_train,是什么问题?
高偏差、欠拟合(p.29)。
2. J_train 低、J_cv ≫ J_train,是什么问题?
高方差、过拟合(p.29)。
3. 随着 d 增大,J_train 和 J_cv 各怎么变?
J_train 单调下降;J_cv 先降后升呈 U 形,谷底就是该选的 d(p.28)。
4. λ = 10000 时模型长什么样,属于哪种问题?
θ_j ≈ 0,h ≈ θ₀ 是水平线,高偏差欠拟合(p.31)。
5. 候选 λ 有几个,规律是什么?
12 个:λ = 0,加上从 0.01 起每次翻倍到 10.24(课件写 10)(p.33)。
6. 哪个式子里有 λ?
只有训练时最小化的 J(θ)。J_train、J_cv、J_test 都不带正则项(p.32)。
7. d 图和 λ 图的偏差区各在哪边?
d 图偏差在左(d 小),λ 图偏差在右(λ 大),左右镜像(p.34)。
下一讲
下一页 L04c-3 换一个横轴:训练样本数 m。学习曲线回答「再去收集数据值不值」,并把六个补救动作和偏差、方差一一配对。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。