← COMP5511 全部讲次
L04c-1 · 第 4 周

L04c-1 训练集、交叉验证集、测试集:先把误差量准,再挑模型

从误差函数 J 怎么读讲起,一步步看为什么训练误差不算数、数据为什么要切成三份、怎样用交叉验证集挑多项式次数 d,以及分类问题的测试误差怎么算。

一句话版

模型在训练数据上的分数不能当真实水平,挑模型时用过的分数也不能当最终成绩。所以要把数据切成三份:训练集学参数,交叉验证集挑模型,测试集只在最后报一次分。

这一页从误差怎么算讲起,一直讲到用交叉验证集挑出多项式次数。读之前最好先懂线性回归和正则化,线性回归见 L04b-1,正则化见 L04b-4。

先认识这几个词

词 全称 / 读法 一句人话
θ 读「theta」,模型参数 模型训练时要学出来的那组数字
d degree,多项式次数 用几次方的曲线去拟合,d 越大曲线越能弯
λ 读「lambda」,正则化参数 惩罚大参数的力度,越大模型被压得越简单
J_train / J_cv / J_test 训练误差 / 交叉验证误差 / 测试误差 同一个误差公式,分别算在三份数据上
泛化误差 generalization error 模型碰到没见过的新数据时的误差
超参数 hyperparameter 训练前由人定下的设置,比如 d 和 λ,训练本身学不出来

一个类比:练习册、月考和高考

把训练集当作平时做的练习册,交叉验证集当作月考,测试集当作高考。

练习册你做过很多遍,分数当然高。这个分数说明不了你考试时的水平,这就是训练误差偏乐观。

要知道哪种复习方法有效,就拿月考来比。方法 A、B、C 各复习一轮,谁月考分高就用谁。月考可以考很多次,它本来就是拿来做选择的。

高考只考一次,考完不许再改复习方法。假如先偷看高考卷再挑复习方法,最后报的高考分就没人信,因为方法是冲着这套卷子挑的。

类比在哪里失效:

  • 三套考卷题型可以不同;三份数据是从同一批数据里随机切出来的,分布一样,只差在模型见没见过。
  • 学生复习可以在上一轮基础上接着改;模型每换一次 d 或 λ,都要从头重新训一遍 θ。

从零讲起

1. 先补一块:误差函数 J 怎么读(补充)

它解决什么问题

后面所有判断都靠比较误差的大小。要比较,先得会读那个公式:J = (1/2m) Σ(h(x) − y)²。它把「模型预测得准不准」压成一个数,数越小越准。

直觉

每个数据点都有一个真实答案 y,模型给出一个预测 h(x)。两者差多少,就是这个点上的误差。

把所有点的误差平方后加起来,再取个平均,就得到整份数据上的误差。平方有两个作用:负的差变成正的,不会和正的差互相抵掉;差得多的点被放大,模型会更在意大错。

一步一步看

目标:在三个点上逐步算误差、平方、求和再除以 2m,看 J 怎样把预测准不准压成一个约 0.33 的数。

拿 3 个点算一遍:(1, 2)、(2, 2)、(3, 4),模型是 h(x) = x。

  1. 每个点算「预测 − 真实」:h(1) − 2 = −1,h(2) − 2 = 0,h(3) − 4 = −1。

    坐标系里三个数据点 (1,2)、(2,2)、(3,4) 和直线 h(x)=x,每个点到直线的竖虚线是误差,最右边那条 3−4=−1 用青绿标出;右侧列出四步:预测减真实得 −1、0、−1,平方得 1、0、1,加起来是 2,除以 2m 即 6 约等于 0.33

  2. 各自平方:1、0、1。

  3. 加起来:1 + 0 + 1 = 2。

  4. 除以 2m。这里 m = 3,2m = 6,J = 2 ÷ 6 ≈ 0.33。

怎么算

J(θ) = (1/2m) Σ_{i=1}^{m} (h_θ(x⁽ⁱ⁾) − y⁽ⁱ⁾)²

意思是:对第 1 到第 m 个样本,每个都拿预测值减真实值、再平方,全部加起来,最后除以 2 倍的样本数。

几个记号逐个拆开:

  • 上标 (i) 是第几个样本,不是 i 次方。
  • m 是这份数据里的样本数。数据换成交叉验证集,m 就换成 m_cv;换成测试集,就是 m_test。
  • 分母里多出来的 2 只是为了求导时约掉平方的 2,不影响谁大谁小。

训练时用的 J 还可能加一项正则项 λΣθ_j²,那是训练手段。本讲拿来比较模型的三个误差都不带这一项。

常见误解

以为误差可以直接把「预测 − 真实」加起来

正负会抵消。一个点高估 5、一个点低估 5,直接加是 0,看上去完美,实际两个点都错得很远。所以要先平方再加。

以为 J 小到 0 就是好模型

J 在哪份数据上算的才是关键。在训练集上算到 0,常常说明模型把训练点背下来了,下一个概念专门讲这个。

试一下

同一个模型 h(x) = x,数据换成 (1, 1)、(2, 4) 两个点。J 是多少?

误差是 0 和 −2,平方是 0 和 4,加起来 4。m = 2,除以 2m = 4,J = 1。

2. 为什么训练误差不算数

它解决什么问题

参数 θ 就是在训练集上把误差压到最小得来的。拿同一份数据去打分,等于让学生自己出题自己答,分数一定偏高。我们要的是模型在新数据上的误差,所以得留一份训练时没碰过的数据。

直觉

一条四次曲线可以把 5 个点全部穿过去,训练误差接近 0。可曲线为了穿过每个点弯来弯去,来一个新房子,预测就跑偏了。

只有一个特征时,画出来一眼能看出它在乱弯。特征多到 100 个时画不出图,只能靠一份没参与训练的数据,用数值说话。

一步一步看

目标:把 10 行数据打乱后按 70/30 切开,看 θ 只在训练集上学,测试集留到最后才算 J_test。

课件用 10 行(面积, 房价)演示怎么切。

  1. 手上是全部 10 行。真要切之前,先把行的顺序随机打乱。

    一排 10 个格子,每格上面是面积下面是房价,从 2104 和 400 到 1494 和 243,下方括号标出全部 10 行,注明切之前先随机打乱行的顺序

  2. 按 70/30 切:10 × 70% = 7 行做训练集,10 × 30% = 3 行做测试集。

    同一排 10 个格子,前 7 个括成训练集 7 行,后 3 个用青绿括成测试集 3 行,注明训练集学参数 θ,测试集训练时不碰,最后用来算 J_test

  3. 用训练集的 7 行最小化 J,学出 θ。这一步测试集一行都不看。

  4. 把学好的 θ 拿到测试集的 3 行上,算 J_test。这个数才拿来估计泛化误差。

数据 行数 用来干什么
训练集 7 学 θ
测试集 3 θ 定下以后算一次 J_test

怎么算

J_test(θ) = (1/2m_test) Σ_{i=1}^{m_test} (h_θ(x_test⁽ⁱ⁾) − y_test⁽ⁱ⁾)²

意思是:公式和训练时的 J 一模一样,只是把样本换成测试集里的样本,把 m 换成测试集的行数 m_test。

这里有两点要写对。第一,θ 是训练集上学出来的,在测试集上不再改动。第二,式子里没有正则项,只算预测误差。

常见误解

以为训练误差低就说明模型好

训练误差极低、测试误差却高,是过拟合的信号。课件原话是训练误差 likely to be lower than the actual generalization error。评估模型要看没参与训练的数据。

以为按原顺序取前 7 行、后 3 行就行

如果数据事先按房价排过序,前 7 行全是一类房子,后 3 行是另一类,两份分布不同,测出来的误差没有代表性。课件没写打乱这一步,实际操作要先打乱。

试一下

20 行数据按 70/30 切,训练集和测试集各多少行?测试误差公式里的 m_test 是几?

20 × 70% = 14 行训练,20 × 30% = 6 行测试,m_test = 6。

3. 三份数据各干各的

它解决什么问题

只切两份,够给一个已经定好的模型打分。可我们还要挑模型:d 取几、λ 取多少。如果拿测试集来挑,测试集就参与了选择,它报出的分数又变得偏乐观。于是要再切出一份数据,专门负责挑。

从哪来(补充)

课件叫 cross validation set 的这份数据,更通用的名字是验证集(validation set),也叫 development set 或 dev set。标准做法和课件一致:训练集训参数,验证集挑验证误差最低的模型,测试集评估最终选定的那一个,测试集不能拿来调超参数。

这几个词在文献里并不统一,有的书把 validation 和 test 两个词反过来用。判断依据只有一条:只在最后一次实验里用的那份,才是测试集。出处:Wikipedia: Training, validation, and test data sets

课件这种随机切一次、留一份来评估的做法叫 holdout。另一种常见做法是 k 折交叉验证:把数据分成 k 份,轮流拿一份验证、其余训练,结果取平均。课件没讲 k 折,出处:Wikipedia: Cross-validation (statistics)

直觉

把「挑」和「评」交给两份不同的数据。交叉验证集可以反复用,每个候选模型都去它那里考一次。测试集等所有选择都做完,只考一次。

谁参与了选择,谁报出的分数就偏乐观。测试集一次选择都不参与,它的分数才干净。

一步一步看

目标:把同样 10 行按 60/20/20 切成三份,看训练、交叉验证、测试三份数据各干什么、各用几次。

  1. 还是那 10 行,这次按 60/20/20 切:10 × 60% = 6 行训练,10 × 20% = 2 行交叉验证,10 × 20% = 2 行测试。

    同一排 10 个格子,前 6 个括成训练集 6 行,第 7、8 个用青绿括成交叉验证集 2 行,最后 2 个括成测试集 2 行,注明交叉验证集专门负责挑,测试集退到最后只报一次分

  2. 三份数据各自的用途和使用次数如下图。训练集和交叉验证集之间可以来回很多次,测试集只在最后用一次。

    训练、交叉验证、测试三分法示意:顶部一条数据条按 6、2、2 切开;三张卡片分别写训练集最小化 J_train 学出 θ、交叉验证集算 J_cv 挑最小的候选、测试集算 J_test 报最终成绩只用一次;训练集和交叉验证集之间有来回箭头

  3. 三份数据各算一个误差,形状完全一样:

误差 算在哪 除以
J_train 训练集 2m
J_cv 交叉验证集 2m_cv
J_test 测试集 2m_test

怎么判断

拿到一个流程,逐个问三件事:

  • θ 是在哪份数据上学的?只能是训练集。
  • d、λ 这类超参数是看哪份数据上的误差挑的?只能是交叉验证集。
  • 最后报的泛化误差是哪份数据上算的?只能是测试集,而且测试集在这之前没参与过任何选择。

三问有一问答错,报出的数就偏乐观。

常见误解

以为只切训练、测试两份也能选模型

两份只够评估一个已经定下的模型。拿测试集挑出 d = 5,d 就是照着测试集挑的,J_test 也就偏乐观了。多出的第三份数据,就是为了把「选」和「评」分开。

以为挑完以后报 J_cv 也可以

J_cv 参与了挑选,它和用测试集挑完再报 J_test 是同一个错。最终成绩只能报测试集上的那一次。

试一下

一个流程:训练集训 θ,测试集上比较 d = 1 到 5 挑出最好的,再在交叉验证集上报一次误差。哪里错了?

交叉验证集和测试集的角色反了。挑 d 要在交叉验证集上做,最后报分用测试集。按这个流程,报出的那个数来自一份没参与挑选的数据,本身还算干净;可测试集已经被用来挑选,它就不能再当最终考卷。两份的名字和用途要对上。

4. 用交叉验证集挑 d

它解决什么问题

多项式次数 d 取 1 还是取 10?d 太小,曲线太硬;d 太大,曲线乱弯。要有一个固定的流程,在一排候选里挑出最合适的那个,并且挑完还能报一个可信的泛化误差。

直觉

每个候选都是一个模型。让它们都在训练集上学好,再去交叉验证集上考一次,谁的 J_cv 最低就选谁。

J_train 不能拿来挑。d 越大,曲线越能贴住训练点,J_train 只会一路往下掉,按它挑永远挑最大的 d。

一步一步看

目标:让 d 从 1 到 10 各训一组参数,看怎样在交叉验证集上挑出 d = 4,再到测试集上报一次泛化误差。

  1. 列出候选:d = 1 是 θ₀ + θ₁x,d = 2 是 θ₀ + θ₁x + θ₂x²,一直到 d = 10。

  2. 每个 d 都在训练集上最小化 J,得到参数,记作 θ⁽¹⁾、θ⁽²⁾……θ⁽¹⁰⁾。上标是第几个候选。

  3. 每组参数都在交叉验证集上算一次 J_cv,画成柱子,挑最矮的。课件的示例挑出 d = 4。

    柱状示意图,横轴是候选次数 d 从 1 到 10,每根柱子是该次数模型的 J_cv,柱子先变矮再变高,d=4 最矮,用青绿标出并写最矮选 d=4;右侧说明每根柱子是训练集训参数、交叉验证集算 J_cv,挑完以后在测试集上算一次 J_test(θ⁽⁴⁾);底部注明柱高是示意

  4. 选定 d = 4 以后,拿 θ⁽⁴⁾ 到测试集上算一次 J_test(θ⁽⁴⁾),这就是报出去的泛化误差。

怎么算

选中的次数 = 让 J_cv(θ⁽ᵈ⁾) 最小的那个 d;报告的误差 = J_test(θ⁽ᵈ⁾)。

意思是:三份数据按顺序各用一次角色。训练集给每个 d 定参数,交叉验证集定 d,测试集给定下来的模型打分。

挑 λ 的流程一模一样,只是候选从 d 换成一排 λ 值,见下一页 L04c-2。

常见误解

以为课件一处选 d = 5、另一处选 d = 4 是前后矛盾

那是两个示例。前一个演示错误流程(在测试集上挑),后一个演示正确流程(在交叉验证集上挑),具体挑出几次不重要,考的是流程。

试一下

四个候选 d = 1、2、3、4 的 J_cv 分别是 30、12、9、15,J_train 分别是 28、10、6、2。选哪个 d?报哪个数?

只看 J_cv,最小的是 9,选 d = 3。报的是 θ⁽³⁾ 在测试集上算出的 J_test,不报 9。J_train 在 d = 4 最小,那只说明它贴训练点贴得最紧。

5. 分类问题的测试误差

它解决什么问题

上面的平方误差是给回归用的,预测的是房价这种连续数。分类问题的答案只有 0 和 1,模型输出的是「判成 1 的把握」h(x),介于 0 和 1 之间。测试误差得换个算法。

直觉

有两种思路。一种看把握给得对不对:真实是 1,模型却只给了很低的把握,就重罚。另一种更粗:先按 0.5 一刀切成 0 或 1,再数判错了几个。

一步一步看

目标:把四个测试样本的 h 判成 0 或 1 再对照真实答案,看分类的测试误差怎样算成错分率 0.5。

用 4 个测试样本算 0/1 错分率。

  1. 样本 A:h = 0.8,判 1,真实 1,判对。
  2. 样本 B:h = 0.3,判 0,真实 1,判错。
  3. 样本 C:h = 0.6,判 1,真实 0,判错。
  4. 样本 D:h = 0.1,判 0,真实 0,判对。
  5. 判错 2 个,共 4 个,错分率 = 2 ÷ 4 = 0.5。
样本 h(x) 判成 真实 y err
A 0.8 1 1 0
B 0.3 0 1 1
C 0.6 1 0 1
D 0.1 0 0 0

怎么算

log-loss 形式:

J_test = −(1/m_test) Σ [y log h(x) + (1 − y) log(1 − h(x))]

意思是:真实是 1 时只剩前一项,h 越接近 1 罚得越少;真实是 0 时只剩后一项,h 越接近 0 罚得越少。课件这一行把第二项里的「1 −」漏了。

0/1 错分率形式:

err = 1,当 h(x) ≥ 0.5 而 y = 0,或 h(x) < 0.5 而 y = 1;否则 err = 0。测试错误率 = (1/m_test) Σ err。

意思是:先按 0.5 判成 0 或 1,判错记 1、判对记 0,取平均就是判错样本的比例。课件这一行是空白,这个定义是按课件标题补的。

常见误解

以为 0/1 错分率和 log-loss 总会给出同样的排名

不一定。两个模型判错的个数一样,可一个把握给得很极端、一个很犹豫,log-loss 会差很多。题目问哪一种,就按哪一种算。

试一下

5 个测试样本,h 依次是 0.9、0.4、0.7、0.2、0.5,真实 y 依次是 1、1、0、0、0。0/1 错分率是多少?

按 0.5 判:1、0、1、0、1(0.5 ≥ 0.5,判 1)。对照真实:第 1 个对,第 2 个错,第 3 个错,第 4 个对,第 5 个错。错 3 个,错分率 3 ÷ 5 = 0.6。

把它们串起来

起点是一个常见场景:模型在新数据上表现差,想判断下一步怎么改。第一步是能可靠地量出「表现」,量的工具就是误差函数 J。

训练误差量不准,因为 θ 就是照着训练集调出来的。于是留一份测试集,在上面算 J_test,这是只切两份的版本。

可一旦要挑 d 或 λ,测试集又被拿去做了选择,J_test 也变乐观了。于是再切出一份交叉验证集专门负责挑,测试集退到最后,只报一次分。

挑的流程是固定的:每个候选在训练集上训,在交叉验证集上比,挑最低的,最后去测试集报分。回归用平方误差,分类换成 log-loss 或 0/1 错分率,流程不变。

有了这三个误差,下一页就能回答更具体的问题:J_cv 偏高时,毛病出在模型太简单还是太复杂。

课件里的坑

  • [课件有误] p.17 逻辑回归的 J_test 第二项 log 里漏了「1 −」,正确形式是 (1 − y) log(1 − h(x))。
  • [课件留白] p.17 的 0/1 错分率公式是空的:err = 1 当 h(x) ≥ 0.5 且 y = 0,或 h(x) < 0.5 且 y = 1,否则 0;测试错误率是这些 err 的平均。
  • [课件有误] p.25 选中的模型写成 θ₀ + θ₁x₁ + … + θ₄x⁴,单变量多项式回归里第一项应为 θ₁x,下标 1 是多余的。
  • [课件留白] p.15 的 70/30 切分没说要先随机打乱;如果数据按房价排序过再切,训练集和测试集分布会不同,切之前先 shuffle。
  • [两页不同] p.20 挑出 d = 5、p.25 挑出 d = 4,是错误流程和正确流程两个示例,不是同一题前后矛盾。

课后 10 分钟:考点复习

这 10 分钟怎么用:前 3 分钟把必背读一遍,重点是第 2、3 条的因果;中间 4 分钟把课件例题和完整例题走一遍,说清 d = 5 和 d = 4 两个选法差在哪;最后 3 分钟做变式题,先自己答,再展开参考答案对照。

必背

  1. 训练误差是乐观估计:参数在训练集上拟合过,训练误差一定低于真实泛化误差
  2. 拿测试集挑 d 或 λ,测试误差就变成乐观估计,因为超参数已经在测试集上拟合过
  3. 三分法固定顺序:训练集拟合 θ,交叉验证集选超参数(d、λ),测试集只在最后报一次分
  4. J_train、J_cv、J_test 形式相同,都是 (1/2m) Σ(h − y)²,只换数据集和样本数,三个都不含正则项
  5. 分类的测试误差:log-loss 第二项是 (1 − y) log(1 − h(x));0/1 错分率是判错样本的比例,h(x) ≥ 0.5 判 1
  6. 10 行数据按 70/30 切是 7 + 3,按 60/20/20 切是 6 + 2 + 2;切之前先随机打乱

课件例题

例 1(课件 p.13):特征有 100 个时,怎么知道模型过拟合了?

题面:左图是四次多项式穿过 5 个点、弯来弯去,配文 Fails to generalize;右侧列出面积、卧室数、楼层数、房龄等特征,一直到 x₁₀₀。

提示

一个特征时靠什么看出过拟合?特征多了以后,这个办法还能用吗?

解答

一个特征时能画出曲线,肉眼看出它在迁就个别点。100 个特征画不出图,只能用数值判断:留出训练时没见过的数据,在上面算误差。训练误差低、新数据误差高,就是过拟合。这就是要切测试集的原因。

例 2(课件 p.15–16):10 行房价数据按 70/30 切,怎么分?测试误差怎么算?

题面:10 行 (Size, Price),第一行 (2104, 400),最后三行 (1427, 199)、(1380, 212)、(1494, 243)。

提示

先算行数,再想 θ 在哪份上学、J_test 的分母用哪个 m、有没有正则项。

解答

10 × 70% = 7 行训练,10 × 30% = 3 行测试,课件取前 7 行训练、最后 3 行测试。先用训练集最小化 J(θ) 学出 θ,再在测试集上算 J_test(θ) = (1/2m_test) Σ(h_θ(x_test⁽ⁱ⁾) − y_test⁽ⁱ⁾)²,这里 m_test = 3,式子里没有正则项。实际操作前要先随机打乱,课件没写。

例 3(课件 p.17):分类问题的测试误差有哪两种算法?

题面:课件给了 log-loss 形式的 J_test,第三行 Misclassification error (0/1 misclassification error) 下面是空白。

提示

一种看把握给得准不准,一种先按 0.5 切成 0/1 再数错。

解答

一是 log-loss:J_test = −(1/m_test) Σ[y log h(x) + (1 − y) log(1 − h(x))],课件第二项漏了「1 −」。二是 0/1 错分率:h(x) ≥ 0.5 判为 1、否则判为 0,判错记 err = 1、判对记 0,测试错误率是 err 的平均,也就是判错样本的比例。

例 4(课件 p.20、p.25):d = 1 到 10 里挑一个模型,两种流程哪个对?

见下方完整例题。

例 5(课件 p.22):同样 10 行数据按 60/20/20 切,怎么分?

题面:同例 2 的 10 行数据,改切三份。

提示

先算每份几行,再对着顺序数:前几行训练,接着几行交叉验证,最后几行测试。

解答

10 × 60% = 6 行训练,10 × 20% = 2 行交叉验证,10 × 20% = 2 行测试。课件取前 6 行训练,(1534, 315) 和 (1427, 199) 做交叉验证,(1380, 212) 和 (1494, 243) 做测试。三份的样本数分别记作 m、m_cv、m_test。

完整例题

课件 p.20 和 p.25 用同一组候选演示了错误流程和正确流程,这是本讲最常考的概念题。

题面:候选模型是 d = 1 到 10 的多项式,d = 1 为 θ₀ + θ₁x,d = 10 为 θ₀ + θ₁x + … + θ₁₀x¹⁰。流程 A:每个 d 训出 θ⁽ᵈ⁾,在测试集上算 J_test,挑出 d = 5,报 J_test(θ⁽⁵⁾) 作为泛化误差。流程 B:每个 d 训出 θ⁽ᵈ⁾,在交叉验证集上算 J_cv,挑出 d = 4,报 J_test(θ⁽⁴⁾)。哪个流程报出的数可信?为什么?

  1. 两个流程的共同步骤:每个候选 d 都在训练集上最小化 J_train,得到 θ⁽ᵈ⁾。θ 永远只在训练集上学(p.20、p.25)。
  2. 流程 A 的问题:d 是用测试集挑的。d 也是一个参数,课件原话是 d 已经 fit to test set,J_test(θ⁽⁵⁾) 很可能是泛化误差的乐观估计(p.20)。
  3. 流程 B 为什么对:d 在交叉验证集上挑,测试集没参与任何选择,J_test(θ⁽⁴⁾) 才是干净的泛化估计(p.25)。
  4. 两页选出的 d 不同:p.20 挑的是 d = 5,p.25 挑的是 d = 4,是两个不同示例,不矛盾。考试问的是流程,不是具体哪个 d。
  5. p.24 的流程图是同一件事:训练集训练、验证集评估、按验证结果调整,循环若干轮;跳出循环后挑验证集上最好的模型,最后在测试集上确认一次。

这道题的结论要单独记:谁参与了选择,谁就不能再报成绩。报 J_cv 和流程 A 报 J_test 是同一个错。

答题格式:先写三份数据各自的角色,再指出流程 A 里哪份数据身兼两职,最后写正确流程的报分对象 J_test(θ⁽⁴⁾)。

变式题(先自己做)

自编情境:多项式回归预测房价,数据按 60/20/20 切成三份。对 d = 1 到 6 各训一个模型,得到下表(单位:千美元²,数字为构造)。

d 1 2 3 4 5 6
J_train 42.0 18.5 12.1 9.8 6.2 2.1
J_cv 44.5 21.0 14.9 15.6 24.3 39.7

(a) 应该选哪个 d? (b) 选出的模型泛化误差怎么报,能不能报 14.9? (c) 换成分类问题:测试集有 8 个样本,按 0.5 判完以后错了 2 个。0/1 错分率是多少?如果某个样本 h = 0.5、真实 y = 0,它算判对还是判错?

提示

选 d 只看哪一行?14.9 是在哪份数据上算的、那份数据刚刚干了什么?0.5 这个边界值按 ≥ 还是 > 判。

判分点与答案(非官方评分标准)

判分点:① (a) 要说明只看 J_cv;② (b) 要写出报 J_test 并说明 14.9 为何不行;③ (c) 要写出 h ≥ 0.5 判 1。

(a) 选 d 只看 J_cv:最小值 14.9 出现在 d = 3,所以选 d = 3。J_train 在 d = 6 最小是意料之中,它只会随 d 下降,不能拿来选。

(b) 报 J_test(θ⁽³⁾),拿 d = 3 训好的参数在测试集上算一次误差。不能报 14.9,因为 d 是在交叉验证集上挑出来的,这个数已经偏乐观。

(c) 错分率 = 2 ÷ 8 = 0.25。h = 0.5 满足 h ≥ 0.5,判为 1,真实是 0,算判错。

闪卡自测

1. 为什么训练误差不能当泛化误差用?

θ 是在训练集上最小化 J 得到的,训练误差天然偏低,p.19 称之为乐观估计。

2. 用测试集选 d 之后,J_test 为什么不可信?

d 这个额外参数已经在测试集上拟合过,J_test 变成对泛化误差的乐观估计(p.20)。

3. 三分法典型比例?p.22 的 10 行数据怎么分?

60/20/20;6 行训练,2 行交叉验证,2 行测试。

4. J_train、J_cv、J_test 三个公式的区别在哪?

形状完全一样,都是 (1/2m) Σ(h − y)²,只是算在不同数据子集上、除以各自的 m(p.23)。它们都不含 λ 正则项。

5. p.24 流程图里测试集出现几次?

一次。训练集训练、验证集评估、按验证结果调整,循环若干轮;跳出后挑验证集上最好的模型,最后在测试集上确认一次(p.24)。

6. 0/1 错分率怎么定义?

h(x) ≥ 0.5 判 1,否则判 0;判错记 1、判对记 0,取平均就是判错的比例。课件 p.17 这一行是空的。

7. 挑 d 时为什么不看 J_train?

d 越大曲线越能贴住训练点,J_train 只会一路下降,按它挑永远挑最大的 d(p.25、p.28)。

下一讲

下一页 L04c-2 用这一页的 J_train 和 J_cv 做诊断:模型差,是因为太简单(偏差)还是太复杂(方差),以及 λ 该往哪边调。

下一讲 →
L04c-2 L04c-2 偏差与方差:比较 J_train 和 J_cv,判断模型太简单还是太复杂

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。