L04c-1 训练集、交叉验证集、测试集:先把误差量准,再挑模型
从误差函数 J 怎么读讲起,一步步看为什么训练误差不算数、数据为什么要切成三份、怎样用交叉验证集挑多项式次数 d,以及分类问题的测试误差怎么算。
一句话版
模型在训练数据上的分数不能当真实水平,挑模型时用过的分数也不能当最终成绩。所以要把数据切成三份:训练集学参数,交叉验证集挑模型,测试集只在最后报一次分。
这一页从误差怎么算讲起,一直讲到用交叉验证集挑出多项式次数。读之前最好先懂线性回归和正则化,线性回归见 L04b-1,正则化见 L04b-4。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| θ | 读「theta」,模型参数 | 模型训练时要学出来的那组数字 |
| d | degree,多项式次数 | 用几次方的曲线去拟合,d 越大曲线越能弯 |
| λ | 读「lambda」,正则化参数 | 惩罚大参数的力度,越大模型被压得越简单 |
| J_train / J_cv / J_test | 训练误差 / 交叉验证误差 / 测试误差 | 同一个误差公式,分别算在三份数据上 |
| 泛化误差 | generalization error | 模型碰到没见过的新数据时的误差 |
| 超参数 | hyperparameter | 训练前由人定下的设置,比如 d 和 λ,训练本身学不出来 |
一个类比:练习册、月考和高考
把训练集当作平时做的练习册,交叉验证集当作月考,测试集当作高考。
练习册你做过很多遍,分数当然高。这个分数说明不了你考试时的水平,这就是训练误差偏乐观。
要知道哪种复习方法有效,就拿月考来比。方法 A、B、C 各复习一轮,谁月考分高就用谁。月考可以考很多次,它本来就是拿来做选择的。
高考只考一次,考完不许再改复习方法。假如先偷看高考卷再挑复习方法,最后报的高考分就没人信,因为方法是冲着这套卷子挑的。
类比在哪里失效:
- 三套考卷题型可以不同;三份数据是从同一批数据里随机切出来的,分布一样,只差在模型见没见过。
- 学生复习可以在上一轮基础上接着改;模型每换一次 d 或 λ,都要从头重新训一遍 θ。
从零讲起
1. 先补一块:误差函数 J 怎么读(补充)
它解决什么问题
后面所有判断都靠比较误差的大小。要比较,先得会读那个公式:J = (1/2m) Σ(h(x) − y)²。它把「模型预测得准不准」压成一个数,数越小越准。
直觉
每个数据点都有一个真实答案 y,模型给出一个预测 h(x)。两者差多少,就是这个点上的误差。
把所有点的误差平方后加起来,再取个平均,就得到整份数据上的误差。平方有两个作用:负的差变成正的,不会和正的差互相抵掉;差得多的点被放大,模型会更在意大错。
一步一步看
目标:在三个点上逐步算误差、平方、求和再除以 2m,看 J 怎样把预测准不准压成一个约 0.33 的数。
拿 3 个点算一遍:(1, 2)、(2, 2)、(3, 4),模型是 h(x) = x。
-
每个点算「预测 − 真实」:h(1) − 2 = −1,h(2) − 2 = 0,h(3) − 4 = −1。
-
各自平方:1、0、1。
-
加起来:1 + 0 + 1 = 2。
-
除以 2m。这里 m = 3,2m = 6,J = 2 ÷ 6 ≈ 0.33。
怎么算
J(θ) = (1/2m) Σ_{i=1}^{m} (h_θ(x⁽ⁱ⁾) − y⁽ⁱ⁾)²
意思是:对第 1 到第 m 个样本,每个都拿预测值减真实值、再平方,全部加起来,最后除以 2 倍的样本数。
几个记号逐个拆开:
- 上标 (i) 是第几个样本,不是 i 次方。
- m 是这份数据里的样本数。数据换成交叉验证集,m 就换成 m_cv;换成测试集,就是 m_test。
- 分母里多出来的 2 只是为了求导时约掉平方的 2,不影响谁大谁小。
训练时用的 J 还可能加一项正则项 λΣθ_j²,那是训练手段。本讲拿来比较模型的三个误差都不带这一项。
常见误解
以为误差可以直接把「预测 − 真实」加起来
正负会抵消。一个点高估 5、一个点低估 5,直接加是 0,看上去完美,实际两个点都错得很远。所以要先平方再加。
以为 J 小到 0 就是好模型
J 在哪份数据上算的才是关键。在训练集上算到 0,常常说明模型把训练点背下来了,下一个概念专门讲这个。
试一下
同一个模型 h(x) = x,数据换成 (1, 1)、(2, 4) 两个点。J 是多少?
误差是 0 和 −2,平方是 0 和 4,加起来 4。m = 2,除以 2m = 4,J = 1。
2. 为什么训练误差不算数
它解决什么问题
参数 θ 就是在训练集上把误差压到最小得来的。拿同一份数据去打分,等于让学生自己出题自己答,分数一定偏高。我们要的是模型在新数据上的误差,所以得留一份训练时没碰过的数据。
直觉
一条四次曲线可以把 5 个点全部穿过去,训练误差接近 0。可曲线为了穿过每个点弯来弯去,来一个新房子,预测就跑偏了。
只有一个特征时,画出来一眼能看出它在乱弯。特征多到 100 个时画不出图,只能靠一份没参与训练的数据,用数值说话。
一步一步看
目标:把 10 行数据打乱后按 70/30 切开,看 θ 只在训练集上学,测试集留到最后才算 J_test。
课件用 10 行(面积, 房价)演示怎么切。
-
手上是全部 10 行。真要切之前,先把行的顺序随机打乱。
-
按 70/30 切:10 × 70% = 7 行做训练集,10 × 30% = 3 行做测试集。
-
用训练集的 7 行最小化 J,学出 θ。这一步测试集一行都不看。
-
把学好的 θ 拿到测试集的 3 行上,算 J_test。这个数才拿来估计泛化误差。
| 数据 | 行数 | 用来干什么 |
|---|---|---|
| 训练集 | 7 | 学 θ |
| 测试集 | 3 | θ 定下以后算一次 J_test |
怎么算
J_test(θ) = (1/2m_test) Σ_{i=1}^{m_test} (h_θ(x_test⁽ⁱ⁾) − y_test⁽ⁱ⁾)²
意思是:公式和训练时的 J 一模一样,只是把样本换成测试集里的样本,把 m 换成测试集的行数 m_test。
这里有两点要写对。第一,θ 是训练集上学出来的,在测试集上不再改动。第二,式子里没有正则项,只算预测误差。
常见误解
以为训练误差低就说明模型好
训练误差极低、测试误差却高,是过拟合的信号。课件原话是训练误差 likely to be lower than the actual generalization error。评估模型要看没参与训练的数据。
以为按原顺序取前 7 行、后 3 行就行
如果数据事先按房价排过序,前 7 行全是一类房子,后 3 行是另一类,两份分布不同,测出来的误差没有代表性。课件没写打乱这一步,实际操作要先打乱。
试一下
20 行数据按 70/30 切,训练集和测试集各多少行?测试误差公式里的 m_test 是几?
20 × 70% = 14 行训练,20 × 30% = 6 行测试,m_test = 6。
3. 三份数据各干各的
它解决什么问题
只切两份,够给一个已经定好的模型打分。可我们还要挑模型:d 取几、λ 取多少。如果拿测试集来挑,测试集就参与了选择,它报出的分数又变得偏乐观。于是要再切出一份数据,专门负责挑。
从哪来(补充)
课件叫 cross validation set 的这份数据,更通用的名字是验证集(validation set),也叫 development set 或 dev set。标准做法和课件一致:训练集训参数,验证集挑验证误差最低的模型,测试集评估最终选定的那一个,测试集不能拿来调超参数。
这几个词在文献里并不统一,有的书把 validation 和 test 两个词反过来用。判断依据只有一条:只在最后一次实验里用的那份,才是测试集。出处:Wikipedia: Training, validation, and test data sets
课件这种随机切一次、留一份来评估的做法叫 holdout。另一种常见做法是 k 折交叉验证:把数据分成 k 份,轮流拿一份验证、其余训练,结果取平均。课件没讲 k 折,出处:Wikipedia: Cross-validation (statistics)
直觉
把「挑」和「评」交给两份不同的数据。交叉验证集可以反复用,每个候选模型都去它那里考一次。测试集等所有选择都做完,只考一次。
谁参与了选择,谁报出的分数就偏乐观。测试集一次选择都不参与,它的分数才干净。
一步一步看
目标:把同样 10 行按 60/20/20 切成三份,看训练、交叉验证、测试三份数据各干什么、各用几次。
-
还是那 10 行,这次按 60/20/20 切:10 × 60% = 6 行训练,10 × 20% = 2 行交叉验证,10 × 20% = 2 行测试。
-
三份数据各自的用途和使用次数如下图。训练集和交叉验证集之间可以来回很多次,测试集只在最后用一次。
-
三份数据各算一个误差,形状完全一样:
| 误差 | 算在哪 | 除以 |
|---|---|---|
| J_train | 训练集 | 2m |
| J_cv | 交叉验证集 | 2m_cv |
| J_test | 测试集 | 2m_test |
怎么判断
拿到一个流程,逐个问三件事:
- θ 是在哪份数据上学的?只能是训练集。
- d、λ 这类超参数是看哪份数据上的误差挑的?只能是交叉验证集。
- 最后报的泛化误差是哪份数据上算的?只能是测试集,而且测试集在这之前没参与过任何选择。
三问有一问答错,报出的数就偏乐观。
常见误解
以为只切训练、测试两份也能选模型
两份只够评估一个已经定下的模型。拿测试集挑出 d = 5,d 就是照着测试集挑的,J_test 也就偏乐观了。多出的第三份数据,就是为了把「选」和「评」分开。
以为挑完以后报 J_cv 也可以
J_cv 参与了挑选,它和用测试集挑完再报 J_test 是同一个错。最终成绩只能报测试集上的那一次。
试一下
一个流程:训练集训 θ,测试集上比较 d = 1 到 5 挑出最好的,再在交叉验证集上报一次误差。哪里错了?
交叉验证集和测试集的角色反了。挑 d 要在交叉验证集上做,最后报分用测试集。按这个流程,报出的那个数来自一份没参与挑选的数据,本身还算干净;可测试集已经被用来挑选,它就不能再当最终考卷。两份的名字和用途要对上。
4. 用交叉验证集挑 d
它解决什么问题
多项式次数 d 取 1 还是取 10?d 太小,曲线太硬;d 太大,曲线乱弯。要有一个固定的流程,在一排候选里挑出最合适的那个,并且挑完还能报一个可信的泛化误差。
直觉
每个候选都是一个模型。让它们都在训练集上学好,再去交叉验证集上考一次,谁的 J_cv 最低就选谁。
J_train 不能拿来挑。d 越大,曲线越能贴住训练点,J_train 只会一路往下掉,按它挑永远挑最大的 d。
一步一步看
目标:让 d 从 1 到 10 各训一组参数,看怎样在交叉验证集上挑出 d = 4,再到测试集上报一次泛化误差。
-
列出候选:d = 1 是 θ₀ + θ₁x,d = 2 是 θ₀ + θ₁x + θ₂x²,一直到 d = 10。
-
每个 d 都在训练集上最小化 J,得到参数,记作 θ⁽¹⁾、θ⁽²⁾……θ⁽¹⁰⁾。上标是第几个候选。
-
每组参数都在交叉验证集上算一次 J_cv,画成柱子,挑最矮的。课件的示例挑出 d = 4。
-
选定 d = 4 以后,拿 θ⁽⁴⁾ 到测试集上算一次 J_test(θ⁽⁴⁾),这就是报出去的泛化误差。
怎么算
选中的次数 = 让 J_cv(θ⁽ᵈ⁾) 最小的那个 d;报告的误差 = J_test(θ⁽ᵈ⁾)。
意思是:三份数据按顺序各用一次角色。训练集给每个 d 定参数,交叉验证集定 d,测试集给定下来的模型打分。
挑 λ 的流程一模一样,只是候选从 d 换成一排 λ 值,见下一页 L04c-2。
常见误解
以为课件一处选 d = 5、另一处选 d = 4 是前后矛盾
那是两个示例。前一个演示错误流程(在测试集上挑),后一个演示正确流程(在交叉验证集上挑),具体挑出几次不重要,考的是流程。
试一下
四个候选 d = 1、2、3、4 的 J_cv 分别是 30、12、9、15,J_train 分别是 28、10、6、2。选哪个 d?报哪个数?
只看 J_cv,最小的是 9,选 d = 3。报的是 θ⁽³⁾ 在测试集上算出的 J_test,不报 9。J_train 在 d = 4 最小,那只说明它贴训练点贴得最紧。
5. 分类问题的测试误差
它解决什么问题
上面的平方误差是给回归用的,预测的是房价这种连续数。分类问题的答案只有 0 和 1,模型输出的是「判成 1 的把握」h(x),介于 0 和 1 之间。测试误差得换个算法。
直觉
有两种思路。一种看把握给得对不对:真实是 1,模型却只给了很低的把握,就重罚。另一种更粗:先按 0.5 一刀切成 0 或 1,再数判错了几个。
一步一步看
目标:把四个测试样本的 h 判成 0 或 1 再对照真实答案,看分类的测试误差怎样算成错分率 0.5。
用 4 个测试样本算 0/1 错分率。
- 样本 A:h = 0.8,判 1,真实 1,判对。
- 样本 B:h = 0.3,判 0,真实 1,判错。
- 样本 C:h = 0.6,判 1,真实 0,判错。
- 样本 D:h = 0.1,判 0,真实 0,判对。
- 判错 2 个,共 4 个,错分率 = 2 ÷ 4 = 0.5。
| 样本 | h(x) | 判成 | 真实 y | err |
|---|---|---|---|---|
| A | 0.8 | 1 | 1 | 0 |
| B | 0.3 | 0 | 1 | 1 |
| C | 0.6 | 1 | 0 | 1 |
| D | 0.1 | 0 | 0 | 0 |
怎么算
log-loss 形式:
J_test = −(1/m_test) Σ [y log h(x) + (1 − y) log(1 − h(x))]
意思是:真实是 1 时只剩前一项,h 越接近 1 罚得越少;真实是 0 时只剩后一项,h 越接近 0 罚得越少。课件这一行把第二项里的「1 −」漏了。
0/1 错分率形式:
err = 1,当 h(x) ≥ 0.5 而 y = 0,或 h(x) < 0.5 而 y = 1;否则 err = 0。测试错误率 = (1/m_test) Σ err。
意思是:先按 0.5 判成 0 或 1,判错记 1、判对记 0,取平均就是判错样本的比例。课件这一行是空白,这个定义是按课件标题补的。
常见误解
以为 0/1 错分率和 log-loss 总会给出同样的排名
不一定。两个模型判错的个数一样,可一个把握给得很极端、一个很犹豫,log-loss 会差很多。题目问哪一种,就按哪一种算。
试一下
5 个测试样本,h 依次是 0.9、0.4、0.7、0.2、0.5,真实 y 依次是 1、1、0、0、0。0/1 错分率是多少?
按 0.5 判:1、0、1、0、1(0.5 ≥ 0.5,判 1)。对照真实:第 1 个对,第 2 个错,第 3 个错,第 4 个对,第 5 个错。错 3 个,错分率 3 ÷ 5 = 0.6。
把它们串起来
起点是一个常见场景:模型在新数据上表现差,想判断下一步怎么改。第一步是能可靠地量出「表现」,量的工具就是误差函数 J。
训练误差量不准,因为 θ 就是照着训练集调出来的。于是留一份测试集,在上面算 J_test,这是只切两份的版本。
可一旦要挑 d 或 λ,测试集又被拿去做了选择,J_test 也变乐观了。于是再切出一份交叉验证集专门负责挑,测试集退到最后,只报一次分。
挑的流程是固定的:每个候选在训练集上训,在交叉验证集上比,挑最低的,最后去测试集报分。回归用平方误差,分类换成 log-loss 或 0/1 错分率,流程不变。
有了这三个误差,下一页就能回答更具体的问题:J_cv 偏高时,毛病出在模型太简单还是太复杂。
课件里的坑
- [课件有误] p.17 逻辑回归的 J_test 第二项 log 里漏了「1 −」,正确形式是 (1 − y) log(1 − h(x))。
- [课件留白] p.17 的 0/1 错分率公式是空的:err = 1 当 h(x) ≥ 0.5 且 y = 0,或 h(x) < 0.5 且 y = 1,否则 0;测试错误率是这些 err 的平均。
- [课件有误] p.25 选中的模型写成 θ₀ + θ₁x₁ + … + θ₄x⁴,单变量多项式回归里第一项应为 θ₁x,下标 1 是多余的。
- [课件留白] p.15 的 70/30 切分没说要先随机打乱;如果数据按房价排序过再切,训练集和测试集分布会不同,切之前先 shuffle。
- [两页不同] p.20 挑出 d = 5、p.25 挑出 d = 4,是错误流程和正确流程两个示例,不是同一题前后矛盾。
课后 10 分钟:考点复习
这 10 分钟怎么用:前 3 分钟把必背读一遍,重点是第 2、3 条的因果;中间 4 分钟把课件例题和完整例题走一遍,说清 d = 5 和 d = 4 两个选法差在哪;最后 3 分钟做变式题,先自己答,再展开参考答案对照。
必背
- 训练误差是乐观估计:参数在训练集上拟合过,训练误差一定低于真实泛化误差
- 拿测试集挑 d 或 λ,测试误差就变成乐观估计,因为超参数已经在测试集上拟合过
- 三分法固定顺序:训练集拟合 θ,交叉验证集选超参数(d、λ),测试集只在最后报一次分
- J_train、J_cv、J_test 形式相同,都是 (1/2m) Σ(h − y)²,只换数据集和样本数,三个都不含正则项
- 分类的测试误差:log-loss 第二项是 (1 − y) log(1 − h(x));0/1 错分率是判错样本的比例,h(x) ≥ 0.5 判 1
- 10 行数据按 70/30 切是 7 + 3,按 60/20/20 切是 6 + 2 + 2;切之前先随机打乱
课件例题
例 1(课件 p.13):特征有 100 个时,怎么知道模型过拟合了?
题面:左图是四次多项式穿过 5 个点、弯来弯去,配文 Fails to generalize;右侧列出面积、卧室数、楼层数、房龄等特征,一直到 x₁₀₀。
提示
一个特征时靠什么看出过拟合?特征多了以后,这个办法还能用吗?
解答
一个特征时能画出曲线,肉眼看出它在迁就个别点。100 个特征画不出图,只能用数值判断:留出训练时没见过的数据,在上面算误差。训练误差低、新数据误差高,就是过拟合。这就是要切测试集的原因。
例 2(课件 p.15–16):10 行房价数据按 70/30 切,怎么分?测试误差怎么算?
题面:10 行 (Size, Price),第一行 (2104, 400),最后三行 (1427, 199)、(1380, 212)、(1494, 243)。
提示
先算行数,再想 θ 在哪份上学、J_test 的分母用哪个 m、有没有正则项。
解答
10 × 70% = 7 行训练,10 × 30% = 3 行测试,课件取前 7 行训练、最后 3 行测试。先用训练集最小化 J(θ) 学出 θ,再在测试集上算 J_test(θ) = (1/2m_test) Σ(h_θ(x_test⁽ⁱ⁾) − y_test⁽ⁱ⁾)²,这里 m_test = 3,式子里没有正则项。实际操作前要先随机打乱,课件没写。
例 3(课件 p.17):分类问题的测试误差有哪两种算法?
题面:课件给了 log-loss 形式的 J_test,第三行 Misclassification error (0/1 misclassification error) 下面是空白。
提示
一种看把握给得准不准,一种先按 0.5 切成 0/1 再数错。
解答
一是 log-loss:J_test = −(1/m_test) Σ[y log h(x) + (1 − y) log(1 − h(x))],课件第二项漏了「1 −」。二是 0/1 错分率:h(x) ≥ 0.5 判为 1、否则判为 0,判错记 err = 1、判对记 0,测试错误率是 err 的平均,也就是判错样本的比例。
例 4(课件 p.20、p.25):d = 1 到 10 里挑一个模型,两种流程哪个对?
见下方完整例题。
例 5(课件 p.22):同样 10 行数据按 60/20/20 切,怎么分?
题面:同例 2 的 10 行数据,改切三份。
提示
先算每份几行,再对着顺序数:前几行训练,接着几行交叉验证,最后几行测试。
解答
10 × 60% = 6 行训练,10 × 20% = 2 行交叉验证,10 × 20% = 2 行测试。课件取前 6 行训练,(1534, 315) 和 (1427, 199) 做交叉验证,(1380, 212) 和 (1494, 243) 做测试。三份的样本数分别记作 m、m_cv、m_test。
完整例题
课件 p.20 和 p.25 用同一组候选演示了错误流程和正确流程,这是本讲最常考的概念题。
题面:候选模型是 d = 1 到 10 的多项式,d = 1 为 θ₀ + θ₁x,d = 10 为 θ₀ + θ₁x + … + θ₁₀x¹⁰。流程 A:每个 d 训出 θ⁽ᵈ⁾,在测试集上算 J_test,挑出 d = 5,报 J_test(θ⁽⁵⁾) 作为泛化误差。流程 B:每个 d 训出 θ⁽ᵈ⁾,在交叉验证集上算 J_cv,挑出 d = 4,报 J_test(θ⁽⁴⁾)。哪个流程报出的数可信?为什么?
- 两个流程的共同步骤:每个候选 d 都在训练集上最小化 J_train,得到 θ⁽ᵈ⁾。θ 永远只在训练集上学(p.20、p.25)。
- 流程 A 的问题:d 是用测试集挑的。d 也是一个参数,课件原话是 d 已经 fit to test set,J_test(θ⁽⁵⁾) 很可能是泛化误差的乐观估计(p.20)。
- 流程 B 为什么对:d 在交叉验证集上挑,测试集没参与任何选择,J_test(θ⁽⁴⁾) 才是干净的泛化估计(p.25)。
- 两页选出的 d 不同:p.20 挑的是 d = 5,p.25 挑的是 d = 4,是两个不同示例,不矛盾。考试问的是流程,不是具体哪个 d。
- p.24 的流程图是同一件事:训练集训练、验证集评估、按验证结果调整,循环若干轮;跳出循环后挑验证集上最好的模型,最后在测试集上确认一次。
这道题的结论要单独记:谁参与了选择,谁就不能再报成绩。报 J_cv 和流程 A 报 J_test 是同一个错。
答题格式:先写三份数据各自的角色,再指出流程 A 里哪份数据身兼两职,最后写正确流程的报分对象 J_test(θ⁽⁴⁾)。
变式题(先自己做)
自编情境:多项式回归预测房价,数据按 60/20/20 切成三份。对 d = 1 到 6 各训一个模型,得到下表(单位:千美元²,数字为构造)。
| d | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|
| J_train | 42.0 | 18.5 | 12.1 | 9.8 | 6.2 | 2.1 |
| J_cv | 44.5 | 21.0 | 14.9 | 15.6 | 24.3 | 39.7 |
(a) 应该选哪个 d? (b) 选出的模型泛化误差怎么报,能不能报 14.9? (c) 换成分类问题:测试集有 8 个样本,按 0.5 判完以后错了 2 个。0/1 错分率是多少?如果某个样本 h = 0.5、真实 y = 0,它算判对还是判错?
提示
选 d 只看哪一行?14.9 是在哪份数据上算的、那份数据刚刚干了什么?0.5 这个边界值按 ≥ 还是 > 判。
判分点与答案(非官方评分标准)
判分点:① (a) 要说明只看 J_cv;② (b) 要写出报 J_test 并说明 14.9 为何不行;③ (c) 要写出 h ≥ 0.5 判 1。
(a) 选 d 只看 J_cv:最小值 14.9 出现在 d = 3,所以选 d = 3。J_train 在 d = 6 最小是意料之中,它只会随 d 下降,不能拿来选。
(b) 报 J_test(θ⁽³⁾),拿 d = 3 训好的参数在测试集上算一次误差。不能报 14.9,因为 d 是在交叉验证集上挑出来的,这个数已经偏乐观。
(c) 错分率 = 2 ÷ 8 = 0.25。h = 0.5 满足 h ≥ 0.5,判为 1,真实是 0,算判错。
闪卡自测
1. 为什么训练误差不能当泛化误差用?
θ 是在训练集上最小化 J 得到的,训练误差天然偏低,p.19 称之为乐观估计。
2. 用测试集选 d 之后,J_test 为什么不可信?
d 这个额外参数已经在测试集上拟合过,J_test 变成对泛化误差的乐观估计(p.20)。
3. 三分法典型比例?p.22 的 10 行数据怎么分?
60/20/20;6 行训练,2 行交叉验证,2 行测试。
4. J_train、J_cv、J_test 三个公式的区别在哪?
形状完全一样,都是 (1/2m) Σ(h − y)²,只是算在不同数据子集上、除以各自的 m(p.23)。它们都不含 λ 正则项。
5. p.24 流程图里测试集出现几次?
一次。训练集训练、验证集评估、按验证结果调整,循环若干轮;跳出后挑验证集上最好的模型,最后在测试集上确认一次(p.24)。
6. 0/1 错分率怎么定义?
h(x) ≥ 0.5 判 1,否则判 0;判错记 1、判对记 0,取平均就是判错的比例。课件 p.17 这一行是空的。
7. 挑 d 时为什么不看 J_train?
d 越大曲线越能贴住训练点,J_train 只会一路下降,按它挑永远挑最大的 d(p.25、p.28)。
下一讲
下一页 L04c-2 用这一页的 J_train 和 J_cv 做诊断:模型差,是因为太简单(偏差)还是太复杂(方差),以及 λ 该往哪边调。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。