L05c 正则化:L2、L1、早停和 dropout 怎么防过拟合
从「模型把训练集背下来了」讲起,看 L2 和 L1 怎么在梯度里加一股把权重往 0 拉的力,再看早停、dropout、数据增强从另外三个方向下手。
一句话版
过拟合是模型把训练集背了下来,换一批数据就不灵。正则化就是各种「别背太死」的办法。
一类办法改损失函数:L2 和 L1 在损失里加一项惩罚权重大小,梯度里就多出一股把权重往 0 拉的力。另一类不碰公式:数据增强多造样本,早停在验证误差最低时收手,dropout 每轮随机关掉一些单元。
上一页处理的是欠拟合,也就是学不动。这一页处理反方向的问题:学过头。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 过拟合 | overfitting | 训练集上很好,没见过的数据上变差 |
| 正则化 | regularization | 防过拟合的各种手段的总称 |
| 正则化系数 α | 读「阿尔法」 | 惩罚项的分量,越大越重视「权重小」 |
| L2 正则 | 也叫 weight decay、权重衰减 | 惩罚权重的平方和 |
| L1 正则 | L1 regularization | 惩罚权重的绝对值之和 |
| 稀疏 | sparse | 很多权重正好等于 0 |
| 验证集 | validation set | 训练时不拿来更新参数、专门用来看效果的数据 |
一个类比:备考背题
一个学生把练习册的答案逐字背下来,练习册上的题全对,考试换了数字就不会。这就是过拟合。
L2 像老师说「每道题的解法别写太长」:长的砍得多,短的砍得少,砍完都还在。L1 像「每道题固定扣一点篇幅」:短的解法扣着扣着就没了,只留下真有用的几道。
早停是在模拟考成绩开始下滑时停止刷题。数据增强是把同一道题换着数字、换着问法多练几遍。dropout 是复习时随机遮住几页笔记,逼自己别只靠某几页。
类比在哪里失效:
- 学生会主动理解题目,网络不会。正则化只是在数学上让「贴死训练集」变得更贵。
- α 不能随便加大。课件说 α 太大会欠拟合,相当于砍得太狠,连该会的都不会了。
从零讲起
1. L2 正则化
它解决什么问题
过拟合的模型往往靠一些很大的权重去贴合训练集里的个别点。L2 正则在损失里加上权重平方和,权重越大罚得越重。模型只好在「训练误差小」和「权重小」之间折中,学到的函数更平滑。
从哪来(补充)
在统计里,给线性回归加平方惩罚叫岭回归,由 Hoerl 和 Kennard 1970 年在 Technometrics 上首次提出。在机器学习里它也叫 weight decay 或 L2 正则化。
出处:Wikipedia: Ridge regression
直觉
正则项像一根弹簧,一头拴在 0,一头拴在权重上。权重离 0 越远,弹簧拉得越紧;离 0 越近,拉力越弱。
所以 L2 会把每个权重按比例压小,大的压得多、小的压得少,但很难压到正好为 0。
一步一步看
目标:只看正则项,让 w 从 0.5 每步乘 0.98,看 L2 怎样把权重越压越小却永远到不了 0。
只看正则项的作用:设原损失对这个权重的梯度为 0,α = 0.1,η = 0.1,w 从 0.5 出发。
-
每一步,w 乘上 1 − 2×0.1×0.1 = 0.98。
-
第 1 步:0.5 × 0.98 = 0.49。
-
第 2 步:0.49 × 0.98 = 0.4802。每步减少的量都比上一步少一点。
-
继续走:10 步后约 0.4085,50 步后约 0.1821。越来越接近 0,但永远不会正好等于 0。
图里的青绿线是下一个概念 L1,先留个印象:它是一条直线,一路降到 0。
怎么算
新损失:
ℓₙₑw = α·||W||² + ℓ(W) = α·(w₁² + w₂² + … + w_K²) + ℓ(W)
意思是:在原来的损失 ℓ(W) 上,加网络里全部 K 个权重的平方和,再乘系数 α。
对 w₁ 求导,只有 w₁² 一项和 w₁ 有关:
dℓₙₑw/dw₁ = 2α·w₁ + dℓ/dw₁
意思是:新梯度 = 原来 BP 算出的梯度 + 2αw₁。原来那项完全不用重算,正则项只是在每个权重的梯度上各加一个 2αw。
代入梯度下降:
w ← w − η(2αw + dℓ/dw) = (1 − 2ηα)·w − η·dℓ/dw
意思是:每一步先把 w 乘一个略小于 1 的系数(1 − 2ηα),再按原梯度走。权重每步都「衰减」一点,所以叫 weight decay。
常见误解
以为 L2 的梯度是 α·w
平方求导要乘 2,结果是 2α·w。考试最容易丢分的就是漏掉这个 2。
以为 α 越大越好,反正越不容易过拟合
α 越大,模型越重视「权重小」、越不重视训练误差。α 太大,权重被压得太狠,模型连训练集都拟合不好,变成欠拟合。
试一下
α = 0.05,η = 0.1,原梯度为 0。w = 0.4 走一步 L2 后是多少?
每步乘 1 − 2×0.1×0.05 = 0.99,w = 0.4 × 0.99 = 0.396。
2. L1 正则化
它解决什么问题
L2 只能把权重压小,很少压到 0。有时希望模型干脆不用某些输入,让一部分权重正好为 0,这样模型更简单。L1 把平方换成绝对值,做到这一点。
从哪来(补充)
统计里的对应方法叫 Lasso。它 1986 年先在地球物理领域被提出,1996 年 Robert Tibshirani 重新发现并推广。它也叫 L1 正则化,会把一部分系数压成正好为 0。
出处:Wikipedia: Lasso (statistics)
直觉
L1 的拉力像一个固定重量的砝码,不管权重离 0 多近,拉力都一样大。
L2 的弹簧到了 0 附近几乎不使劲,L1 的砝码照样往下拽。所以 L1 能把那些对损失贡献不大的权重一路推到 0。
一步一步看
目标:同样从 0.5 出发每步减 0.01,再对比两种拉力,看 L1 为什么能把权重推到正好为 0。
同样的设定:α = 0.1,η = 0.1,w 从 0.5 出发,原梯度为 0。
-
每一步,w 减去 η·α = 0.1×0.1 = 0.01,和 w 本身多大无关。
-
第 1 步:0.5 − 0.01 = 0.49;第 2 步:0.48。
-
10 步后 0.40,50 步后正好到 0。回看上一张图的青绿直线。
-
再把两种拉力和 w 的关系画出来:L2 的拉力 2αw 是一条过原点的斜线,L1 是一条水平线。w = 0.05 时,L2 拉力 2×0.1×0.05 = 0.01,L1 拉力 0.1。
-
离 0 越近,两者差得越多。L2 只能压小,L1 能推到 0。
怎么算
新损失:
ℓₙₑw = α·||W|| + ℓ(W) = α·(|w₁| + |w₂| + … + |w_K|) + ℓ(W)
意思是:把 L2 的平方和换成绝对值之和。这里的 ||W|| 按展开式读作所有 |wᵢ| 相加。
对 w₁ 求导:
dℓₙₑw/dw₁ = α·sign(w₁) + dℓ/dw₁
意思是:新梯度 = 原梯度 + α 乘 w₁ 的符号。sign 是符号函数,正数取 +1,负数取 −1。拉力大小始终是 α,方向总是指向 0。
两种正则的梯度并排比:
| 加在梯度上的项 | 拉力随 w 变小 | 结果 | |
|---|---|---|---|
| L2 | 2α·w | 跟着变小 | 只压小,不归零 |
| L1 | α·sign(w) | 不变 | 倾向稀疏,很多权重变 0 |
常见误解
以为 L1 一定比 L2 好,因为模型更简单
两者各有用途。L1 适合想让模型只用少数几个输入的场合;L2 让所有权重一起变小,函数更平滑。课件只比较了它们的效果,没说谁更好。
以为按 L1 的式子一直走,w 会稳稳停在 0
纯按式子走,到 0 附近会在两侧来回跳。底稿补充说,实现中会处理成停在 0。
试一下
α = 0.2,η = 0.5,原梯度为 0。w = −0.3 走一步 L1 后是多少?
sign(−0.3) = −1,梯度 = 0.2×(−1) = −0.2,w = −0.3 − 0.5×(−0.2) = −0.2。负的权重被往上拉,也是朝 0 走。
3. Early stopping(早停)
它解决什么问题
训练轮数越多,模型越有机会把训练集背下来。训练误差会一路下降,可在没见过的数据上,误差到某个时刻就开始回升。早停的做法是一直盯着验证误差,在它最低的时候停下。
直觉
验证集是模拟考。刷题初期,练习册和模拟考成绩一起涨;刷到一定程度,练习册还在进步,模拟考却开始退步。退步那一刻就该停。
训练越久,模型实际用到的复杂度越高。所以这张图和「误差随模型复杂度变化」的曲线是同一个形状,只是横轴换成了训练轮数。
一步一步看
目标:在训练和验证两条误差曲线上找该停的那一轮,看停早了偏差大、停晚了方差大。
-
横轴是 Epochs(训练轮数),纵轴是 Error。训练集和验证集各画一条误差曲线。
-
训练误差一路下降。
-
验证误差先降后升。在它的最低点画一条竖线,就是该停的地方。
-
竖线左边标 Increasing Bias:停得太早,模型还没学够,偏差大。
-
竖线右边标 Increasing Variance:停得太晚,模型过拟合,方差大。
怎么判断
停在哪:验证误差最低的那一轮。
意思是:判断依据是验证误差,不看训练误差。训练误差会一直下降,等它最低时模型早就过拟合了。
实际操作中,每训练一轮就在验证集上算一次误差,记下最好的那一轮。
常见误解
以为早停要等训练误差不再下降
训练误差几乎总在下降,等它停下来模型早已过拟合。标准是验证误差最低点。
试一下
训练了 30 轮,验证误差在第 12 轮最低,之后一直上升。应该用哪一轮的模型?竖线右边那段叫什么?
用第 12 轮的模型。右边那段验证误差上升,模型过拟合,图上标 Increasing Variance。
4. Dropout 与数据增强
它解决什么问题
前三个手段改的是损失函数和训练时长。还有两个方向:改网络结构和改数据。dropout 每轮随机关掉一部分单元,让每个单元不能依赖固定的几个搭档。数据增强对训练图像做不改变标签的变换,等于免费增加样本。
从哪来(补充)
以 dropout 这个名字首次提出的是 Hinton 等人 2012 年的论文《Improving neural networks by preventing co-adaptation of feature detectors》。更早的文献把类似做法叫 dilution。推理(测试)时通常关掉 dropout。
出处:Wikipedia: Dilution (neural networks)
直觉
一个小组做项目,总有人只靠某个能干的同学。每次开会随机让几个人缺席,剩下的人就得各自顶上,每个人都学到一些本事。dropout 对单元做的就是这件事。
数据增强像把一张小猫照片裁剪一下、翻个面、转个角度,它还是小猫。模型看了这些变体,就不容易记住某张具体的图。
一步一步看
目标:看一轮 dropout 关掉哪些单元、剩下怎样的小网络,再把四种正则化手段按改哪里排开。
-
左边是完整网络:输入层、两个隐藏层,每层 5 个单元,全部相连。
-
这一轮训练随机关掉一部分:输入层丢 2 个,第一隐藏层丢 3 个,第二隐藏层丢 2 个。
-
连到被丢单元的线全部去掉,剩下的连线组成一个更小的网络,这一轮只训练它。
-
下一个 mini-batch 重新随机,丢的是另一批单元。测试时用完整网络。
-
把四种正则化手段放在一起看,各管一个方向:
手段 改哪里 做法 L1 / L2 损失函数 惩罚权重大小 data augmentation 数据 裁剪、翻转、旋转训练图像 early stopping 训练过程 验证误差最低时停 dropout 网络结构 每轮随机关掉一部分单元
怎么算
训练时每个单元以概率 p 被关掉,保留下来的输出除以 (1 − p):
保留单元的输出 ← 原输出 / (1 − p)
意思是:关掉一部分以后,总输出的期望会变小,除以 (1 − p) 把它补回来,这样训练和测试时的期望输出一致。
例:4 个单元输出和为 20,p = 0.5。随机保留后期望和是 20 × 0.5 = 10,再除以 0.5 恢复到 20。
课件这一页只给了名字和图,没有公式;这个缩放是底稿补充的常见做法。
常见误解
以为测试时也要随机丢单元
dropout 只在训练时用。测试(推理)时用完整网络,所有单元都在。
以为数据增强可以随便变换
变换不能改变标签。小猫翻转后还是小猫;如果一种变换会让图片变成另一类,它就不能拿来增强。
试一下
某层输出和为 12,p = 0.25。随机保留后期望和是多少?要乘回什么数才能恢复?
期望和 = 12 × (1 − 0.25) = 9,除以 0.75(等于乘 4/3)恢复到 12。
把它们串起来
过拟合是模型把训练集背得太死。四个手段从四个方向下手。
L2 和 L1 改损失函数,在每个权重的梯度上加一项:L2 加 2αw,拉力随权重变小而变小,只把权重压小;L1 加 α·sign(w),拉力恒定,能把权重推到 0。
early stopping 管训练过程,在验证误差最低时停。dropout 管网络结构,每轮随机关掉一部分单元。数据增强管数据,用不改变标签的变换多造样本。
回到上一讲的 dℓ/dw₁ 表达式:换激活函数改的是里面的 σ′,加正则化是在后面加一项 2αw₁ 或 α·sign(w₁),加动量改的是更新规则。下一页回答一个更根本的问题:这样的网络到底能表示多复杂的函数。
课件里的坑
- [读图提醒] p.20 把 L1 范数写成 ||W||,没有下标。不加下标的 ||W|| 一般指 L2 范数,这里按展开式应读作 Σ|wᵢ|
- [读图提醒] p.20 的 |w| 在 0 处不可导,sign(0) 课件没定义。实现中通常取 0
- [记号重叠] p.19–21 的 α 是正则化系数、学习率写成 η;p.12 动量那页的 α 是动量参数、学习率是 ε。按上下文判断
- [范围] p.22 三种方法只给名字和图,没有公式。dropout 的 (1 − p) 缩放和「测试时用完整网络」是补充内容
- [读图提醒] p.22 早停图上的 Increasing Bias / Increasing Variance 沿用前面讲过的偏差和方差概念,对象从线性回归换成了深度网络
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先写出 L2、L1 正则后的损失和对 w₁ 的梯度;再用 α = 0.1、η = 0.1、w = 0.5 各走一步;然后说出四种手段各管哪个方向;最后回查早停停在哪条曲线的最低点。
必背
- L2 梯度加 2αw,按比例压小权重;L1 梯度加 α·sign(w),拉力恒定,倾向稀疏。
- L2 更新式 w ← (1 − 2ηα)·w − η·dℓ/dw,每步先乘一个略小于 1 的系数,所以也叫 weight decay。
- L2 求导出来是 2α 不是 α;正则项只在每个权重的梯度上加一项,原来 BP 算的 dℓ/dw 不用重算。
- early stopping 停在验证误差最低点;data augmentation 和 dropout 也是正则化。
- 三种手段各管一个方向:data augmentation 管数据,early stopping 管训练过程,dropout 管网络结构。
- dropout 训练时按概率 p 随机关掉单元,保留的输出除以 (1 − p);测试时用完整网络。
课件例题
例 5(课件 p.19):加 L2 正则后对 w₁ 求导
题面:新损失 ℓnew = α·(w₁² + w₂² + … + w_K²) + ℓ(W)。求 dℓnew/dw₁,并写出梯度下降更新式。
提示
求和里只有一项含 w₁。更新式代入 w ← w − η·梯度,把含 w 的项合并。
解答
- 只有 w₁² 一项含 w₁:dℓnew/dw₁ = 2αw₁ + dℓ/dw₁。后一项就是 BP 原来算的,不用重算。
- 更新:w ← w − η(2αw + dℓ/dw) = (1 − 2ηα)·w − η·dℓ/dw。每步先把 w 乘一个略小于 1 的系数,所以 L2 也叫 weight decay。
例 6(课件 p.20–21):换成 L1,和 L2 比
题面:ℓnew = α·(|w₁| + |w₂| + … + |w_K|) + ℓ(W)。求 dℓnew/dw₁,并解释为什么 L1 会得到稀疏的 W。
提示
|w| 的导数是什么?再比较 w 很小时两种正则项的拉力。
解答
- dℓnew/dw₁ = α·sign(w₁) + dℓ/dw₁,sign 正数取 +1、负数取 −1。
- L2 的拉力 2αw 随 w 变小而变小,L1 的拉力始终是 α。
- 例如 w = 0.05、α = 0.1 时,L2 拉力 0.01,L1 拉力 0.1,大 10 倍。L1 会把贡献不大的权重推到 0,L2 只压小不归零。
完整例题
题面(自编情境:课件 p.19–20 的正则化只给了公式,没给数据):某权重 w = 0.2,BP 算出 dℓ/dw = −0.1,α = 0.1,η = 0.5。(a) 用 L2 正则化算一步更新。(b) 用 L1 正则化算一步更新。(c) 解释两者结果为什么不同。
解法:
- (a) L2 梯度 = 2αw + dℓ/dw = 2×0.1×0.2 + (−0.1) = 0.04 − 0.1 = −0.06。
- w = 0.2 − 0.5×(−0.06) = 0.2 + 0.03 = 0.23。
- (b) L1 梯度 = α·sign(w) + dℓ/dw = 0.1×(+1) + (−0.1) = 0。
- w = 0.2 − 0.5×0 = 0.2,停在原地。
- (c) 原损失的梯度是负的,想把 w 推大。L1 的拉力 0.1 恰好和它抵消;L2 的拉力只有 0.04,挡不住,w 还是变大了。
要点:先分别写出正则项,再加原梯度,最后代入更新式。sign 只看正负,不看大小。
答案:(a) 0.23;(b) 0.2;(c) L1 拉力恒为 α,正好抵消原梯度;L2 拉力 2αw 在 w 较小时偏弱。
答题格式:每种正则写三行:梯度 = 正则项 + 原梯度 = 数值;w = 旧值 − η × 梯度 = 数值;一句话结论。
变式题(先自己做)
(1) 自编情境:w = −0.3,dℓ/dw = 0.05,α = 0.2,η = 0.5,分别用 L2、L1 算一步。哪个把 w 往 0 拉得更多? (2) 自编情境:w = 0.4,dℓ/dw = 0.3,α = 0.05,η = 0.1,分别用 L2 和 L1 正则化算一步更新后的 w。
提示
(1) sign(−0.3) = −1,L1 的拉力方向朝 0,也就是让 w 变大。(2) 两种正则的梯度都是「正则项 + 0.3」,先算正则项。
判分点与答案(非官方评分标准)
判分点:① L2 的系数写成 2α;② L1 的符号函数取对正负;③ 更新式代入时符号正确。
(1) L2:梯度 = 2×0.2×(−0.3) + 0.05 = −0.07,w = −0.3 + 0.035 = −0.265。L1:梯度 = 0.2×(−1) + 0.05 = −0.15,w = −0.3 + 0.075 = −0.225。L1 往 0 拉得更多。
(2) L2:梯度 = 2×0.05×0.4 + 0.3 = 0.34,w = 0.4 − 0.034 = 0.366。L1:梯度 = 0.05 + 0.3 = 0.35,w = 0.4 − 0.035 = 0.365。
闪卡自测
1. L2 正则化后 dℓₙₑw/dw₁ 是什么?
2α·w₁ + dℓ/dw₁(p.19)。
2. L1 正则化后 dℓₙₑw/dw₁ 是什么?为什么它会产生稀疏解?
α·sign(w₁) + dℓ/dw₁;拉力大小恒定,不随 w 变小而减弱,能把权重推到 0(p.20–21)。
3. 为什么 L2 也叫 weight decay?
更新式是 w ← (1 − 2ηα)·w − η·dℓ/dw,每步先把权重乘一个略小于 1 的系数(p.19)。
4. early stopping 图上竖虚线两侧分别标了什么?
左侧 Increasing Bias,右侧 Increasing Variance;虚线在验证误差最低点(p.22)。
5. early stopping 为什么不在训练误差最低时停?
训练误差会一直下降,那时模型已经过拟合;应在验证误差最低时停(p.22)。
6. data augmentation、early stopping、dropout 各从哪个方向防过拟合?
数据、训练过程、网络结构(p.22)。
7. dropout 测试时还丢单元吗?
不丢,测试时用完整网络;训练时保留的输出除以 (1 − p) 让期望一致(p.22,缩放为补充)。
下一讲
本讲最后一页讲通用近似定理:ReLU 网络是分段线性函数,拐点足够多就能贴近任意曲线。见 L05d。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。