← COMP5511 全部讲次
L04c-3 · 第 4 周

L04c-3 学习曲线:再收集数据值不值,六个补救动作怎么对号入座

把训练样本数 m 当横轴,一帧帧看训练误差和交叉验证误差怎么变,学会从学习曲线读出偏差和方差,判断加数据有没有用,再把六个补救动作和总误差分解串成一张图。

一句话版

学习曲线是把训练样本数当横轴,画训练误差和交叉验证误差两条线。两条线早早贴在一起停在高处,再收集数据也没用;两条线中间还隔着缺口,多收数据大概率有用。

读之前最好先懂偏差、方差的诊断规则,见 L04c-2。

先认识这几个词

词 全称 / 读法 一句人话
学习曲线 learning curve 横轴是训练样本数 m,看两种误差怎么随 m 变
m 训练样本数 拿来训练模型的数据有几行
间隙 gap 同一个 m 上,J_cv 比 J_train 高出的那一段
平台 plateau m 很大时两条线趋近的高度
不可约误差 irreducible error 数据本身的噪声,换任何模型都去不掉
模型复杂度 model complexity d 越大、λ 越小,模型越复杂

一个类比:刷题量和两张成绩单

还是那个学生和家教。这回家教不换教材,只是让学生一点点加大刷题量,每加一批题,记下练习册分数和月考分数。

刚开始只刷了两三道题,练习册当然全对,月考却一塌糊涂。题量一多,练习册很难再全对,月考倒是慢慢涨上来。

如果两条分数线很快碰在一起、停在不及格,说明学生的方法本身不行,再刷一万道题也是这个分数。如果练习册一直很高、月考还在慢慢追,说明多刷题还有用。

类比在哪里失效:

  • 分数越高越好,误差越低越好,图上的上下方向是反的。
  • 学生刷题会越刷越熟练,模型不会:每个 m 都是从头重新训一遍,模型本身的复杂度不变。

从零讲起

1. 学习曲线怎么画

它解决什么问题

收集数据要花钱花时间。上一页能判断偏差还是方差,可还没直接回答「多收数据值不值」。学习曲线把训练样本数 m 放到横轴上,直接看误差随数据量的走势。

从哪来(补充)

学习曲线在机器学习里的标准定义是:横轴是训练样本数(或训练轮数),纵轴是模型的表现,通常同时画训练集和验证集两条。它的用途之一就是判断加数据还有没有用:验证分数和训练分数已经收敛到同一个值时,再加训练数据不会有明显改善。出处:Wikipedia: Learning curve (machine learning)

直觉

模型固定为二次曲线,复杂度不变,只改训练集大小。

点很少时,一条二次曲线能轻松穿过全部点,训练误差是 0;可它只见过这几个点,对新数据一无所知,交叉验证误差很高。

点越多,一条二次曲线越难同时穿过全部点,训练误差被抬高;同时它见过的情况越来越全,交叉验证误差往下走。

一步一步看

目标:用同一个二次模型依次拟合前 m 个点,看 J_train 和 J_cv 怎样随样本数一升一降画成学习曲线。

用同一个二次模型 h = θ₀ + θ₁x + θ₂x²,依次拟合前 m 个点。

  1. m = 1、2、3:一条二次曲线能正好穿过 3 个以内的任意点,每个点到曲线的距离都是 0,J_train = 0。

    三幅小图,二次曲线依次拟合 1 个、2 个、3 个点,曲线都正好穿过每一个点,每幅下方标 J_train = 0

  2. m = 4、5、6:点多过二次曲线的自由度,曲线只能从点中间穿过,有的点在线上方、有的在下方,J_train > 0,而且一般越来越大。

    三幅小图,二次曲线依次拟合 4 个、5 个、6 个点,曲线无法穿过全部点,点到曲线有竖向误差线;m=4 那一幅用青绿框出,标从这里开始 J_train 大于 0

  3. 每个 m 记下 J_train 和 J_cv,画成两条线:J_train 从 0 往上走,J_cv 从高处往下走。

  4. 读图只看两个量:同一个 m 上两条线的竖向间隙,以及 m 很大时两条线趋近的平台高度。

    学习曲线示意图,横轴训练样本数 m,纵轴误差:训练误差从零开始上升,交叉验证误差从高处下降,两线逐渐靠近;两线之间的竖向间隙用青绿标为方差,平台离零的高度标为偏差

怎么判断

间隙 = 同一个 m 上 J_cv − J_train,反映方差。 平台高度 = m 很大时两条线趋近的误差值,反映偏差。

意思是:两条线隔得远,说明模型在见过和没见过的数据上表现差很多,是方差;两条线最后停的位置离 0 很远,说明连训练集都学不好,是偏差。这和上一页的诊断规则是同一套,只是换了横轴。

常见误解

以为训练误差随数据增多应该下降

训练误差是在训练集本身上算的。样本越多,模型越难把每个点都照顾到,训练误差反而上升。下降的是交叉验证误差。

以为学习曲线是把同一个模型越训越久

课件这里的横轴是训练样本数 m,每个 m 都单独训一遍,看的是数据量的影响。以训练轮数为横轴的曲线也叫学习曲线,但不是这一讲说的那种。

试一下

一条直线(d = 1)拟合 m = 1 和 m = 2 时,J_train 各是多少?m = 3 呢?

直线能穿过任意 2 个点,所以 m = 1、2 时 J_train = 0。m = 3 时 3 个点一般不在一条直线上,J_train > 0。

2. 用学习曲线判断加数据值不值

它解决什么问题

同样是「误差大」,有的情况加数据能救,有的情况加多少都白搭。学习曲线的形状能把两种情况分开,避免花几个月去收集没用的数据。

直觉

高偏差的模型太简单。数据再多,它还是那条直线,画不出弯曲的趋势,所以两条线很快在高处会合,然后一起躺平。

高方差的模型太复杂。数据少时它把每个点都背下来,数据多了,噪声互相抵消,它被迫去拟合真正的趋势,交叉验证误差会继续往训练误差那边靠。

一步一步看

目标:对照直线和 100 次多项式两种学习曲线,看怎样从间隙和平台高度判断多收数据值不值。

  1. 情形 A:模型是直线 θ₀ + θ₁x。J_cv 很快降下来,J_train 很快升上去,两线迅速会合,停在很高的位置。

    两种学习曲线并排:左图高偏差,训练误差和交叉验证误差很快收敛在高位,标注加数据没用、应加特征或减小 λ;右图高方差,训练误差一直很低,交叉验证误差缓慢下降,两线之间有大缺口,标注加数据很可能有用、或减特征和增大 λ

  2. 读情形 A:间隙小、平台高,是高偏差。再往右延长横轴,两条线还是贴在那个高度。加数据没用,要提高模型复杂度。

  3. 情形 B:模型是 100 次多项式,λ 很小。J_train 一直很低,J_cv 慢慢下降,两条线之间隔着一大段。

  4. 读情形 B:间隙大、平台还没出现,是高方差。J_cv 还在往下走,加数据很可能让缺口继续缩小。

形状 诊断 加数据
两线很快会合,停在高处 高偏差 基本没用
训练误差低,两线有大缺口 高方差 很可能有用

怎么判断

先看两条线最后是否已经会合:会合了而且位置高,就是高偏差,别去收数据。 再看还没会合时缺口有多大:缺口大、J_cv 仍在下降,就是高方差,收数据值得试。

意思是:加数据只能缩小两条线之间的缺口,压不低两条线共同的平台。缺口代表方差,平台代表偏差,所以加数据只治方差。

常见误解

以为加数据总是有帮助

只对高方差有效。课件原话是高偏差时「getting more training data will not (by itself) help much」。模型本身太简单,看再多数据也画不出那条曲线。

以为课件那页标题写了 low variance,左右两张图都是低方差

那页标题只描述左图。右图标的是 Low bias case,两线之间还有明显缺口,说明有方差问题。读图以图内标注为准。

试一下

一张学习曲线:m 很大时 J_train 和 J_cv 都停在差不多的高度,离 0 很远。团队打算再花三个月收集十倍数据。你怎么劝?

这是高偏差,两条线已经会合,再加数据也只是在这个高度上平移。应该先提高模型复杂度:加特征、加多项式项或减小 λ。

3. 六个补救动作对号入座

它解决什么问题

课件开头就列了六个「接下来试什么」:多收集训练样本、减少特征、增加特征、加多项式特征、减小 λ、增大 λ。不诊断就挨个试,费时费力。现在有了诊断,可以把它们按偏差、方差分成两组。

直觉

六个动作都在拧同一个旋钮:模型的有效复杂度,再加一个「数据量」。

太复杂(方差)就往简单拧,或者多给数据让它背不过来;太简单(偏差)就往复杂拧。

一步一步看

目标:先诊断是高偏差还是高方差,再把六个补救动作分进两组,看每组动作是在降还是放开复杂度。

  1. 先诊断:用上一页的 J_train、J_cv 规则,或这一页的学习曲线,确定是高偏差还是高方差。

  2. 高方差那一组:多收集训练样本、减少特征、增大 λ。减特征是直接删掉一些 θ_j,增大 λ 是把它们压向 0,都在降复杂度。

    六个补救动作分成两组的示意:左组治高方差,列多收集训练样本、减少特征、增大 λ,其中多收集训练样本用青绿标出;右组治高偏差,列增加特征、加多项式特征、减小 λ;中间写先诊断再选组

  3. 高偏差那一组:增加特征、加多项式特征、减小 λ。三个都在放开复杂度。

  4. 「多收集训练样本」只出现在方差组,这正是上一个概念的结论。

诊断 该做的 别做的
高方差 多收数据、减特征、增大 λ 加特征、加多项式项、减小 λ
高偏差 加特征、加多项式项、减小 λ 多收数据、减特征、增大 λ

怎么判断

拿到一个动作,问它让模型变复杂还是变简单:变简单的治方差,变复杂的治偏差。多收数据单独记,它不改模型,只治方差。

意思是:两组动作方向相反,用错组会让问题更严重。比如高偏差时还去减特征,模型只会更简单。

常见误解

以为减少特征和增大 λ 是两件不相干的事

方向相同,都在降低模型的有效复杂度,所以都归在治方差那组。加特征和减小 λ 都在放开复杂度,归在治偏差那组。

试一下

诊断为高方差,同事提议「加多项式特征 + 多收数据」。哪个对、哪个错?

多收数据对,治方差。加多项式特征错,它让模型更复杂,方差会更大。

4. 总误差的三块:偏差² + 方差 + 不可约误差

它解决什么问题

前面一直分开说偏差和方差。课件最后一张图把它们放到同一条横轴上,回答一个总问题:模型复杂度到底该停在哪。

从哪来(补充)

课件只给了图。背后的公式叫偏差—方差分解:用平方误差衡量时,模型在新数据上的期望误差 = 偏差² + 方差 + 不可约误差。三项都不小于 0,所以不可约误差是任何模型都跨不过去的下限。出处:Wikipedia: Bias–variance tradeoff

直觉

不可约误差是数据自带的噪声:同样面积的两套房子,成交价本来就会差一些。模型再好也猜不中这部分。

剩下的误差分给偏差和方差。模型越复杂,偏差越小、方差越大,两者之和先降后升,谷底就是最好的复杂度。

一步一步看

目标:沿模型复杂度这条横轴把偏差²、方差和不可约误差相加,看总误差的 U 形谷底就是复杂度该停的地方。

  1. 横轴是模型复杂度,越往右 d 越大或 λ 越小。

  2. 偏差² 一路下降:模型越复杂,越能画出真实趋势。

    横轴是模型复杂度的示意图:偏差平方随复杂度下降,方差随复杂度上升,不可约误差是一条水平线,总误差是三者之和呈青绿色 U 形;谷底竖线标最优复杂度,左侧标欠拟合区,右侧标过拟合区

  3. 方差一路上升:模型越复杂,越容易被这批数据的噪声带跑。

  4. 不可约误差是一条水平线,和模型无关。

  5. 三条加起来就是总误差,呈 U 形。谷底左边是欠拟合区,右边是过拟合区。调 d、调 λ、用交叉验证集挑模型,都是在找这个谷底。

怎么算

期望测试误差 = 偏差² + 方差 + 不可约误差

意思是:总误差拆成三块,前两块随模型复杂度此消彼长,第三块是数据噪声,谁也去不掉。所以总误差不可能降到不可约误差以下。

常见误解

以为模型足够好,测试误差可以降到 0

不可约误差来自数据噪声,任何模型都消不掉,它就是总误差的下限。

以为公式里的偏差不用平方

分解式里是偏差的平方。课件图例也写的是 bias squared。

试一下

复杂度往右挪一步,偏差² 下降了 2,方差上升了 5,不可约误差不变。总误差怎么变?该不该挪?

总误差上升 5 − 2 = 3,不该挪。说明已经过了谷底,正在往过拟合区走。

把它们串起来

起点是一个常见场景:正则化线性回归在新房子上误差很大,手里有六个动作可选。课件建议先诊断,别急着试。

上一页用 J_train 和 J_cv 分清了偏差和方差。这一页换成以训练样本数为横轴的学习曲线,多回答了一个问题:再收集数据值不值。两条线早已在高处会合,是偏差,加数据没用;中间还隔着缺口,是方差,加数据有用。

诊断清楚以后,六个动作分成两组:治方差的多收数据、减特征、增大 λ;治偏差的加特征、加多项式项、减小 λ。

最后那张总图把全讲收口。总误差 = 偏差² + 方差 + 不可约误差,前两块此消彼长,谷底就是最好的复杂度;第三块是下限,谁也去不掉。

课件里的坑

  • [课件有误] 列六个动作那页的正则项求和上限写成 m(样本数),应为 n(特征数)。
  • [读图提醒] 学习曲线对比那页标题写「high bias and low variance」,右半边图实际标的是「Low bias case」,读图以图内标注为准。
  • [课件留白] 「irreducible error」和偏差²+方差分解课件只给了图,没有文字和公式;记住总误差 = 偏差² + 方差 + 不可约误差,不可约误差是数据噪声。

课后 10 分钟:考点复习

这 10 分钟怎么用:前 3 分钟把必背读一遍,重点是第 2、3 条怎么从图上读;中间 4 分钟把课件例题和完整例题走一遍,每张学习曲线都说出偏差还是方差;最后 3 分钟做变式题,先自己答,再展开参考答案对照。

必背

  1. 学习曲线:横轴是训练样本数 m;m 增大时 J_train 上升,J_cv 下降
  2. 学习曲线读图:两条线的间隙是方差,收敛平台的高度是偏差
  3. 高偏差时两条线很快收敛在高位,加数据没用;高方差时两条线之间有大缺口,加数据很可能有用
  4. 六个补救动作分两组:治高方差用加数据、减特征、增大 λ;治高偏差用加特征、加多项式项、减小 λ
  5. 总误差 = 偏差² + 方差 + 不可约误差;模型复杂度增大时偏差²下降、方差上升,总误差呈 U 形

课件例题

例 1(课件 p.10、p.38–39):正则化线性回归在新房子上误差太大,六个动作该选哪几个?

见下方完整例题。

例 2(课件 p.36):二次模型分别拟合 1 到 6 个点,训练误差怎么变?

题面:六张小图,h = θ₀ + θ₁x + θ₂x² 依次拟合 m = 1、2、3、4、5、6 个点;下方是 J_train 和 J_cv 随 m 变化的主图。

顶部写 h(x) = θ₀ + θ₁x + θ₂x²,下面六张手绘小图,红叉数量依次是 1 到 6 个,黑色二次曲线分别去拟合这些点,前四张手写标着 m = 1、2、3、4
图片来源:COMP5511 Lecture 4 Machine Learning Part I-3 Model selections bias-variance, p.36
提示

二次曲线最多能正好穿过几个点?

解答

m 较小时曲线能完美穿过所有点,训练误差为 0;m 越大越难同时穿过全部点,J_train 随 m 上升。J_cv 从很高处随 m 下降。两条线之间的竖向间隙是方差,平台离 0 的高度是偏差。

例 3(课件 p.37):两张学习曲线,哪张是高偏差?

题面:左图验证误差很快降下、训练误差很快升上,两线迅速收敛在高位;右图训练误差一直很低,验证误差缓慢下降,两线还有明显间隙。

提示

先看平台高不高,再看间隙大不大。

解答

左图是高偏差:训练误差高说明偏差高。右图是低偏差:训练误差低;两线还有间隙,说明右图有方差问题。标题写的 low variance 只对左图成立。

例 4(课件 p.41):模型复杂度从低到高,四条线怎么走?

题面:横轴 Model Complexity,四条线是 bias squared、variance、generalization error 和 Irreducible Error,背景分欠拟合区、最优带、过拟合区。

提示

哪一条和模型无关?哪一条是另外三条的和?

解答

偏差² 随复杂度单调下降,方差单调上升,不可约误差是一条水平线。泛化误差是三者之和,呈 U 形,最低点就是最优模型。调 d、调 λ 都是在这条 U 形线上找谷底。

完整例题

课件 p.10 提出问题,p.38–39 用学习曲线给出答案,合起来是一道完整的诊断题。

题面:正则化线性回归预测房价,在一批新房子上误差大得不能接受。候选动作有六个:多收集训练样本、减少特征、增加特征、加多项式特征、减小 λ、增大 λ。画出学习曲线后可能看到两种情形。情形 A:模型是直线 θ₀ + θ₁x,两条线很快收敛,停在很高的位置。情形 B:模型是 100 次多项式且 λ 很小,训练误差很低,验证误差高,两线之间有很大间隙。分别诊断,并选出该用的动作。

  1. 读图规则:两线间隙代表方差,平台高度代表偏差(p.36)。
  2. 情形 A 是高偏差:两条线已经收敛,而且都高。直线拟合不了弯曲的趋势,数据再多还是那条直线(p.38)。
  3. 情形 A 该做什么:加数据几乎没用,课件把这句划线强调。该提高模型复杂度:增加特征、加多项式特征、减小 λ(p.38、p.10)。
  4. 情形 B 是高方差:训练误差很低、两线间隙很大,验证曲线还可能随数据增多向训练曲线靠拢(p.39)。
  5. 情形 B 该做什么:多收集训练样本很可能有效;也可以减少特征或增大 λ(p.39、p.10)。
  6. 六个动作的分组:治方差的是多收数据、减特征、增大 λ;治偏差的是加特征、加多项式特征、减小 λ。p.10 只列菜单,配对关系要到 p.29、p.38–39 才给出。

这道题的结论要单独记:先画学习曲线判断偏差还是方差,再从六个动作里挑对应那一组;高偏差时去收数据是白花力气。

答题格式:先描述两条线的形状(间隙、平台),再下诊断,最后列三个对应动作并点明加数据有没有用。

变式题(先自己做)

自编情境,数字为构造:同一份房价数据画了两张学习曲线。

(a) 模型甲:m 从 10 增到 1000,J_train 从 0 升到 38,J_cv 从 90 降到 40,之后基本不动。诊断?该不该再收数据? (b) 模型乙:m = 1000 时 J_train = 3,J_cv = 35,J_cv 还在缓慢下降。诊断?给三个动作。 (c) 某模型偏差² = 10、方差 = 6、不可约误差 = 4。期望测试误差是多少?如果把复杂度调到极致,它最多能降到多少?

提示

先看平台高度和间隙大小。(c) 想一想哪一项永远去不掉。

判分点与答案(非官方评分标准)

判分点:① (a) 要写出「两线会合在高位」这个依据;② (b) 三个动作都要来自方差组;③ (c) 要写出不可约误差是下限。

(a) 两线会合在 38 到 40 附近,间隙很小、平台很高,是高偏差。不该再收数据,应加特征、加多项式项或减小 λ。

(b) 训练误差很低、间隙很大,J_cv 还在降,是高方差。动作:多收集训练样本、减少特征、增大 λ。

(c) 期望测试误差 = 10 + 6 + 4 = 20。偏差² 和方差此消彼长,无法同时压到 0;即使理想情况下两者都为 0,总误差也降不到 4 以下,因为不可约误差是数据噪声。

追加一题:一位同学说「J_train 随 m 上升,说明模型越训越差」。错在哪?

每个 m 都是重新训练同一个复杂度的模型。J_train 上升是因为要同时照顾的点变多了,不是模型变差;真正反映泛化能力的 J_cv 在下降。

闪卡自测

1. 学习曲线的横轴是什么?

训练样本数 m(p.36)。

2. 学习曲线里 J_train 为什么随 m 上升?

样本越多,模型越难同时穿过所有点,训练误差被抬高;同时 J_cv 因见过更多数据而下降(p.36)。

3. 两线间隙和平台高度各代表什么?

间隙代表方差,平台高度代表偏差(p.36)。

4. 高偏差时加数据有用吗?高方差呢?

高偏差没用,两条线早已收敛在高位(p.38);高方差有用,缺口会随数据增多缩小(p.39)。

5. 六个动作里哪些治方差、哪些治偏差?

治方差:加数据、减特征、增大 λ;治偏差:加特征、加多项式项、减小 λ(p.10、p.38–39)。

6. 总泛化误差可以拆成哪三部分?

偏差² + 方差 + 不可约误差;不可约误差是数据噪声,换模型也去不掉(p.40–41)。

7. 模型复杂度增大时,偏差²和方差各怎么走?

偏差² 下降,方差上升,总误差呈 U 形,谷底是最优复杂度(p.41)。

下一讲

第 4 周三份课件到此结束:线性回归学会了怎么训 θ,正则化学会了怎么压住过拟合,这一讲学会了怎么判断该往哪个方向调。下一讲进入无监督学习,从距离度量讲到聚类:L05a-1。

下一讲 →
T04 T04 Tutorial 4:三道概率手算加一道 Monty Hall,考的是哪一步用了独立性

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。