L02a 线性回归:定一条直线,用最小二乘一次算出系数
从「回归」这个词讲起:先把模型写成 y = wᵀx + b,再用均方误差给直线打分,最后用求导把误差最小的 w、b 一次算出来。
一句话版
线性回归先把预测公式的形状定成一条直线,再从数据里找出让误差最小的斜率和截距。误差用「每个点差多少,平方后取平均」来量,最小的那一组可以用公式一次算出来。
这一页讲模型长什么样、误差怎么量、最优解怎么算。没有现成公式时怎么一步步逼近,见下一页 L02a-2。参数模型和非参数模型的区别,见 L01a。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 回归 | regression | 预测一个连续的数,比如房价 |
| w、b | 权重 weight、偏置 bias | 公式里待填的系数:w 管斜率,b 管截距 |
| wᵀx | 读「w 转置乘 x」 | w 和 x 对应位置相乘再加起来 |
| Σ | 读「西格玛」,求和号 | 把后面那一项对所有样本加起来 |
| 残差 | residual | 真值减预测值,点到直线的竖直距离 |
| MSE | Mean Squared Error,均方误差 | 每个点的误差平方后取平均,越小越好 |
| 导数 | derivative | 曲线在某一点的斜率,正负告诉你往哪边走会下降 |
一个类比:中介 A 的定价公式
上一讲有两个中介。B 把整本成交簿子背下来,A 只在纸条上留几个系数。这一讲说的是 A。
A 的纸条上写着 价格 = w × 面积 + b。w 是每平方英尺加多少钱,b 是面积为 0 时公式给出的值,也就是截距。课件的演示代码(demo)用的就是这张纸条:特征是面积 GrLivArea,标签是房价 SalePrice。
纸条的形状是 A 自己定的,课件叫 Stage 1。把 w 和 b 填成具体数字,才叫训练,课件叫 Stage 2。怎么填?A 先给自己定个规矩:拿旧成交记录来对,报价和成交价差得越少越好。差多少,就用「差值平方后取平均」来算。
有了这条规矩,最好的 w、b 能直接算出来。把所有成交记录代进一个现成公式,一次就得到答案。
类比在哪里失效:
- 真实房价没有一条藏着的「正确直线」。成交价本身带噪声,最好的直线误差也到不了零。
- A 的纸条只有面积一项。课件的模型可以有很多个特征,每个特征配一个自己的 w。
从零讲起
1. 回归和线性模型
它解决什么问题
你手上有一批带答案的数据,比如每套房子的面积和成交价。你想要一个公式:输入新房子的面积,输出一个价格。输出是连续的数,这类问题叫回归。线性模型是最简单的一种公式:每个特征乘一个系数,加起来,再加一个常数。
从哪来(补充)
「回归」这个词来自 19 世纪的 Francis Galton。他研究身高遗传,发现高个子父母的孩子,身高往往往平均值回落一点,他把这个现象叫 regression toward the mean。后来这个词被拿来泛指「用一个变量预测另一个连续变量」的统计方法。
出处:Wikipedia: Regression analysis
直觉
模型的形状先定死,只留几个数字待填。填好以后,整张训练表就可以扔掉,预测只用这几个数字。这就是参数模型。
数字有几个,看的是表有几列,跟表有几行无关。表从一千行涨到一百万行,要填的数字个数不变。
一步一步看
目标:用四特征的表数出要学几个数,看补一列恒为 1 的特征后,偏置 b 怎样并进权重。
课件用一张 4 个特征的表来演示。
-
表里每一行是一个样本:4 个特征 x₁ 到 x₄,加一个标签 y。第一行是 (0.2, 1, 10, −3),标签 0.4。
-
给每个特征配一个权重:x₁ 配 w₁,x₂ 配 w₂,依次类推。再加一个偏置 b。
-
预测值 = 每个特征乘自己的权重,加起来,再加 b。
-
数一数要填的数字:4 个权重加 1 个 b,一共 5 个。表再多几千行,也还是 5 个。
-
给表补一列恒为 1 的 x₅。w₅ 乘的永远是 1,它干的就是 b 的活。于是公式里不再需要单独的 b。
怎么算
模型有三种等价写法:
- 逐项展开:
y = w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄ + b - 行向量乘列向量:
y = [w₁ w₂ w₃ w₄] · [x₁; x₂; x₃; x₄] + b - 最紧凑:
y = wᵀx + b
意思是:w 和 x 都是长度为 D 的一列数,wᵀx 把它们对应位置相乘再加起来,得到一个数,再加 b 就是预测值。
wᵀx 的形状是 1×D 乘 D×1,结果是 1×1,也就是一个标量。所以本讲的线性回归每次只输出一个数。
参数个数 = D + 1。D 是特征个数,这里 D = 4,所以是 5 个。
补一列常数 1 之后,把 x 写成 (x₁, …, x_D, 1),把 w 写成 (w₁, …, w_D, b)。这时 wᵀx = w₁x₁ + … + w_D·x_D + b·1,和原来的式子一模一样,模型就写成 y = wᵀx。demo 代码正是这样做的:在标准化后的面积前面补一列 1,所以要学的 w 是二维向量。
常见误解
以为训练数据越多,线性回归的参数越多
参数个数由特征维度 D 决定,是 D + 1,和样本数 N 无关。这一点正是它和上一讲 KNN 的分界线:KNN 要把整张表留着,线性回归只留这几个数。
以为截距 b 就是「面积为 0 的房子值多少钱」
b 只是公式在面积为 0 时给出的值。训练数据里没有面积为 0 的房子,这个值在现实里没有意义,它的作用只是让直线能上下平移。
试一下
一张表有 7 个特征、3000 行。线性模型 y = wᵀx + b 有几个参数?补一列常数 1 之后呢?
7 + 1 = 8 个参数。补一列 1 之后 w 变成 8 维,b 被吸进 w 里,参数还是 8 个,只是写法变了。行数 3000 不影响参数个数。
2. 均方误差:给一条直线打分
它解决什么问题
w、b 可以填无数组数,每组对应一条直线。要挑出「最好」的那条,先得有一个能算的分数。均方误差(MSE)就是这个分数:越小,直线离数据点越近。
直觉
每个数据点到直线有一段竖直的差距,叫残差。残差有正有负,直接相加会互相抵消,所以先平方,全变成正数。平方还有一个效果:差得越远,罚得越重,差 2 罚 4,差 3 罚 9。最后除以点数,取个平均。
一步一步看
目标:拿三个点和一条直线逐步算残差、平方、平均,看 MSE 怎样给一条直线打出一个分数。
拿三个点 (1,2)、(2,4)、(3,5) 和直线 y = 1.5x + 0.667 来算。这条直线正是第 4 个概念会算出来的最优解。
-
算每个点的预测值:x = 1 时预测 2.167,x = 2 时 3.667,x = 3 时 5.167。
-
残差 = 真值 − 预测:分别是 −0.167、+0.333、−0.167。
-
平方:0.028、0.111、0.028。
-
加起来约 0.167,除以 3 个点,MSE ≈ 0.0556。
怎么算
先认符号。ȳⁿ 是第 n 个样本的真实标签,y 是模型预测值。不带上标的 ȳ 和 x̄ 是全体样本的均值。课件这么写,默写时先分清。
L(w,b) = (1/N) Σₙ (ȳⁿ − (wxⁿ + b))²
意思是:对每个样本,用真值 ȳⁿ 减去预测 wxⁿ + b,得到残差;残差平方;所有样本的平方加起来,再除以样本数 N。
L 是 w 和 b 的函数。数据是固定的,换一组 w、b,L 就变一次。训练要做的事,就是找让 L 最小的那组 w、b。
课件同一页问了一个对比:只求平方和、不除以 N(最小二乘,LSE),和 MSE 一样吗?换成平均绝对误差(MAE)呢?
- 平方和与 MSE 只差常数因子 1/N。乘一个正常数不改变最低点的位置,所以让它们最小的 w、b 相同。
- MAE 把平方换成绝对值,
(1/N) Σ |ȳⁿ − (wxⁿ + b)|,是另一个函数,最低点一般在别处。它对离群点没那么敏感,但在残差为 0 处不可导。
课件还给了四个近义词:loss 指单个样本的误差,error 与 loss 同义,cost 是全部样本的平均,objective 泛指任何要优化的目标。
常见误解
以为残差直接相加就能当误差
正负会抵消。一条直线可以一半点在上方、一半在下方,残差加起来是 0,但每个点都差很远。所以要先平方(或取绝对值)。
以为平方和、MSE、MAE 三个随便换,答案都一样
平方和与 MSE 的最优解相同,只差一个 1/N。MAE 是另一个函数,最优解一般不同。
试一下
两个点 (0,1)、(2,3),直线 y = x。MSE 是多少?换成直线 y = x + 1 呢?
y = x 时预测是 0 和 2,残差都是 1,平方都是 1,MSE = (1 + 1)/2 = 1。
y = x + 1 时预测是 1 和 3,正好穿过两个点,残差都是 0,MSE = 0。第二条更好。
3. 先补一块:求导找最低点(补充)
它解决什么问题
MSE 给每条直线打了分,下一步要找分数最低的那条。找一个函数的最低点,高中数学已经有现成办法:求导,令导数等于 0。第 4 个概念和下一页的梯度下降都靠它,这里单独补一下。
直觉
导数是曲线在某一点的斜率。站在一个碗形的坡上:
- 斜率为负,说明往右走在下坡,最低点在右边。
- 斜率为正,说明往右走在上坡,最低点在左边。
- 斜率为 0,脚下是平的,这就是碗底。
一步一步看
目标:在抛物线上三处画切线比斜率正负,看出最低点就是导数等于 0 的地方。
拿一条开口向上的抛物线 L(w) = (w − 2)² + 1 来看。
-
在 w = 0.6 处画一条切线,它往右下倾斜,斜率是负的。往右走,L 会变小。
-
在 w = 3.4 处画切线,它往右上倾斜,斜率是正的。往左走,L 会变小。
-
在 w = 2 处切线是水平的,斜率为 0。左右都是上坡,这里就是最低点。
-
所以找最低点只要解一个方程:导数 = 0。
怎么算
本讲只用到两条求导规则。
- 常数的导数是 0。
(aw + c)²对 w 的导数是2(aw + c) · a。意思是:先把括号当整体,平方的导数是「2 乘括号」;再乘上括号里面对 w 的导数 a。这叫链式法则。
用在 L(w) = (w − 2)² + 1 上:括号里是 w − 2,里面对 w 的导数是 1,所以 L′(w) = 2(w − 2) · 1 + 0 = 2(w − 2)。令 2(w − 2) = 0,得 w = 2。代回去 L(2) = 1,这就是最小值。
函数有两个变量 w 和 b 时,对 w 求导就把 b 当常数,叫对 w 的偏导数,记作 ∂L/∂w。对 b 求偏导同理,把 w 当常数。两个偏导同时为 0 的地方,就是碗底。
课件里也有这一步。MSE 展开后是 w 和 b 的二次式,把 b 当常数、只看 w,就是一条开口向上的抛物线。用高中的顶点公式或求导令其为 0,就能找到最低点。
常见误解
以为导数为 0 的地方一定是最低点
导数为 0 只说明那里是平的,也可能是山顶,或者只是某一个局部的坑底。对开口向上的抛物线这类碗形函数,平的地方只有碗底一处,导数为 0 就是最低点。线性回归的 MSE 正好是碗形的,下一页会再讲非碗形的情况。
试一下
L(w) = (3w − 6)²。用链式法则求 L′(w),再求最低点。
括号里是 3w − 6,里面对 w 的导数是 3。L′(w) = 2(3w − 6) · 3 = 18w − 36。令它为 0,得 w = 2。代回去 L(2) = 0,最低点在 w = 2。
4. 最小二乘的闭式解
它解决什么问题
有了打分规则(MSE)和找最低点的工具(求导),就能把最优的 w、b 直接算出来,不用一组一组去试。一次算出结果的公式叫闭式解,这个方法叫最小二乘估计(least square estimator)。
从哪来(补充)
最小二乘最早由 Legendre 在 1805 年清楚地发表。Gauss 在 1809 年也发表了这个方法,并说自己从 1795 年起就在用,两人因此有过谁先发明的争执。它最早用来根据观测数据推算天体轨道,Gauss 用它预测了小行星谷神星重新出现的位置。
直觉
MSE 对 w、b 来说是一个碗。碗底那一点,两个偏导数同时为 0。写出这两个方程,解出来就是答案。
解出来的公式有很直观的含义。b 的公式说明:最优直线一定穿过数据的中心点 (x̄, ȳ)。w 的公式说明:斜率看的是 x 和 y「一起偏离均值」的程度,x 偏大时 y 也偏大,斜率就是正的。
一步一步看
目标:用三个点按公式手算斜率和截距,看闭式解算出的直线和前面打分的那条是同一条。
还是那三个点 (1,2)、(2,4)、(3,5),按公式手算一遍。
-
算均值:x̄ = (1 + 2 + 3)/3 = 2,ȳ = (2 + 4 + 5)/3 ≈ 3.667。
-
算每个点的离均差,填进表里:
点 x − x̄ y − ȳ 乘积 (x − x̄)² (1,2) −1 −1.667 1.667 1 (2,4) 0 0.333 0 0 (3,5) 1 1.333 1.333 1 合计 3 2 -
斜率 w = 乘积合计 ÷ 平方合计 = 3 / 2 = 1.5。
-
截距 b = ȳ − w·x̄ = 3.667 − 1.5 × 2 = 0.667。
-
得到直线 y = 1.5x + 0.667,MSE ≈ 0.0556,和第 2 个概念算的一样。
怎么算
下面把一维闭式解完整推一遍。为了读起来不乱,真值写成 yⁿ(课件写 ȳⁿ),均值写成 x̄、ȳ。
第一步,对 b 求偏导,令其为 0。
L(w,b) = (1/N) Σ (yⁿ − wxⁿ − b)²
括号里对 b 的导数是 −1,用链式法则:
∂L/∂b = (1/N) Σ 2(yⁿ − wxⁿ − b) · (−1) = −(2/N) Σ (yⁿ − wxⁿ − b)
令它为 0,两边乘 −N/2:Σyⁿ − wΣxⁿ − Nb = 0。两边除以 N,Σyⁿ/N 就是 ȳ,Σxⁿ/N 就是 x̄:
b = ȳ − w·x̄
意思是:最优直线一定穿过点 (x̄, ȳ)。
第二步,把 b 代回去。残差变成:
yⁿ − wxⁿ − (ȳ − wx̄) = (yⁿ − ȳ) − w(xⁿ − x̄)
第三步,对 w 求偏导,令其为 0。括号里对 w 的导数是 −xⁿ:
∂L/∂w = −(2/N) Σ xⁿ[(yⁿ − ȳ) − w(xⁿ − x̄)] = 0
整理得:Σ xⁿ(yⁿ − ȳ) = w · Σ xⁿ(xⁿ − x̄)
第四步,把 xⁿ 换成 (xⁿ − x̄)。因为 Σ(yⁿ − ȳ) = 0、Σ(xⁿ − x̄) = 0,所以左右两边各减去 x̄ 乘这些和,值不变:
Σ (xⁿ − x̄)(yⁿ − ȳ) = w · Σ (xⁿ − x̄)²
最后:
w = Σ(xⁿ − x̄)(yⁿ − ȳ) / Σ(xⁿ − x̄)²
意思是:分子量 x 和 y 一起偏离均值的程度,分母量 x 自己散得多开,两者相除就是斜率。
特征不止一个时,同样是「对每个参数求偏导、令其为 0」,解的是一个线性方程组。这个方程组有唯一解的条件是:把所有样本的特征排成的那张表(设计矩阵)满列秩,也就是没有哪一列能由别的列凑出来。
demo 里有一个现成的例子。面积标准化之后 x̄ = 0,代进 b = ȳ − w·x̄,第二项为零,所以 b 恰好等于房价均值 ȳ。
常见误解
以为所有模型都有闭式解
闭式解来自「对 w、b 求偏导令其为零,再解线性方程组」,只适用于线性模型加平方误差。换了损失或换了模型,通常写不出这样的公式。这时要一步一步逼近,就是下一页的梯度下降。不过也不是只剩梯度下降一条路,例如 MAE 可以用线性规划求解。
算 w 时直接用 Σxy / Σx²
分子分母都要用离均差 (x − x̄)、(y − ȳ)。直接用原值算出来的是一条必须穿过原点的直线的斜率,和带截距 b 的模型对不上。
试一下
两个点 (0,1)、(2,5)。用闭式解求 w、b,并验证直线穿过 (x̄, ȳ)。
x̄ = 1,ȳ = 3。离均差:x 是 −1、1,y 是 −2、2。分子 = (−1)(−2) + (1)(2) = 4,分母 = 1 + 1 = 2,w = 2。b = 3 − 2 × 1 = 1。
直线 y = 2x + 1,代 x = 1 得 y = 3,正好是 (x̄, ȳ)。两个点都在线上,MSE = 0。
把它们串起来
课件把整件事分成四个阶段。Stage 0 准备数据。Stage 1 定模型形状:y = wᵀx + b,参数个数 D + 1 在看到数据前就定了。Stage 2 确定参数的数值,这一步才叫训练。Stage 3 评估。
这一页走完了 Stage 1 和 Stage 2 的第一条路。先用 MSE 说清什么叫「好」,再借求导找到碗底,得到一次算完的闭式解。
闭式解只在「线性模型 + 平方误差」时有。下一页换一条通用的路:梯度下降。它不需要解方程,只要会求导,后面训练神经网络靠的就是它。
课件里的坑
- [课件有误] p.9 标题 “Convid-19 Dataset” 拼写有误,并且那个 Kaggle 数据集是 2018 年的小儿肺炎 X 光片,与新冠无关。
- [口径差异] p.19 等高线图上的「最佳点 (w = 3, b = −185)」是图源的示意值。只用左表列出的 4 行做最小二乘,得到的是 w ≈ 2.33、b ≈ −209,别拿表里的数去验证图上的坐标。
- [课件有误] p.20 把 MSE 展开写成
K₁w² + K₂wb + K₃b² + K₄,省略了 w、b 的一次项。自己推导多出一次项是正常的,不影响「二次函数、有唯一最低点」的结论。
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写三样东西:模型 y = wᵀx + b 和参数个数、MSE 的定义式、一维闭式解。然后把「变式题」做一遍。最后回查两个最容易错的地方:闭式解的分子分母都用离均差,b 由 ȳ − w·x̄ 回代。
必背
- 本讲单输出线性回归是参数模型、输出一个标量;参数个数 = 特征维度 D + 1,由模型形态定,与训练样本数无关。
- 模型写成 y = wᵀx + b;在特征前补一列常数 1 可以把偏置 b 吸进 w,之后公式里只剩 w。
- 损失用均方误差 MSE:L(w,b) = (1/N) Σ (ȳⁿ − (wxⁿ + b))²;最小化平方和与最小化 MSE 解相同,换成 MAE 解一般不同。
- 一维闭式解 w = Σ(xⁿ−x̄)(ȳⁿ−ȳ) / Σ(xⁿ−x̄)²,b = ȳ − w·x̄,要能手算。
- 四个阶段里只有 Stage 2「确定参数 W 的数值」叫训练;Stage 1 定模型形状是人定的,Stage 3 是评估打分。
课件例题
例 1(课件 p.13):四个特征的数据表,写模型、数参数
题面:训练表有 4 个特征 x₁–x₄ 和标签 y,前三行是 (0.2, 1, 10, −3) → 0.4,(0.1, 1.5, 6, −2) → 0.6,(0.25, 2, 12, −1) → 0.3,最后一行 Datapoint N 是 (0.5, 3, 8, −2.5) → 0.7。用三种写法写出线性模型,并数参数个数。紧接的 p.14 问:表里加一列恒为 1 的 x₅ 之后,还需要单独的 b 吗?
提示
每个特征配一个权重,再加一个偏置。参数个数只看列数。x₅ 恒为 1 时,w₅·x₅ 等于什么?
解答
- 逐项展开:y = w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄ + b。
- 行向量乘列向量:y = [w₁ w₂ w₃ w₄] · [x₁; x₂; x₃; x₄] + b。
- 向量内积:y = wᵀx + b。wᵀx 是 1×D 乘 D×1,结果是标量。
- 参数个数 D + 1,这里 D = 4,共 5 个。表有多少行都不改变这个数。
- p.14:加一列 x₅ = 1 后模型变成 y = wᵀx,b 变成了 w₅,不再需要单独的偏置。
例 2(课件 p.17):最小二乘、MSE、MAE,同还是不同
题面:一维数据表 x 取 51.1, 60.0, 96.5, …, 72.3,y 取 −91.0, −68.5, 15.3, …, −38.6,损失是 L(w, b) = (1/N)·Σ(ȳⁿ − (w·xⁿ + b))²。课件问:Least Square Error 和 Mean Absolute Error 与它 same or different?顺带区分 loss、error、cost、objective 四个词。
提示
乘一个正常数会不会移动函数的最低点?绝对值和平方是不是同一个函数?
解答
- 最小二乘是平方和,和 MSE 只差常数因子 1/N,最小值点相同。
- MAE 用绝对值 |ȳⁿ − (wxⁿ + b)|,是另一个函数,最优解一般不同。它对离群点不敏感,在零点不可导。
- 四个词:loss function 指单个样本的误差,error function 与它同义,cost function 是所有样本的平均,objective function 泛指任何要优化的目标。
例 3(课件 p.18–19):用最小二乘公式算 w、b
题面:用 p.17 那张一维数据表,按最小二乘公式算出 w、b。
提示
先算 x̄、ȳ,再列离均差表,分子是乘积之和,分母是 x 离均差的平方和。
解答
完整计算见下方「完整例题」:只用课件列出的 4 行,得到 w ≈ 2.33、b ≈ −209,MSE 也在那里一并算出。
例 4(课件 p.20):只看 w 时,高中方法能不能求最小值
题面:MSE 展开后是 L(w,b) = K₁w² + K₂wb + K₃b² + K₄。把 b 当常数,只看 w,课件问 Any method from high school?
提示
b 固定以后,L 关于 w 是几次函数?开口朝哪?
解答
- 固定 b 后,L(w) = K₁w² + (K₂b)·w + (K₃b² + K₄),是开口向上的抛物线。
- 用抛物线顶点公式 w = −(K₂b)/(2K₁),或求导令其为零,就能得到最低点。
- 课件括注 same to Least Square Estimator:这个顶点就是闭式解。
- 严格展开还有 w、b 的一次项,课件省略了,不影响「二次函数、有唯一最低点」的结论。
完整例题
题面(课件 p.18–19):课件的一维数据表只列出 4 行,x = 51.1, 60.0, 96.5, 72.3,对应 y = −91.0, −68.5, 15.3, −38.6,中间用「…」省略了其余样本。只用这 4 行,按最小二乘公式求 w、b 和 MSE;再算课件 p.19 等高线图上标的「best function」(w = 3, b = −185) 和「worst function」(w = −5, b = −140) 在这 4 行上的 MSE。
- 均值:x̄ = (51.1 + 60.0 + 96.5 + 72.3)/4 = 69.975,ȳ = (−91.0 − 68.5 + 15.3 − 38.6)/4 = −45.7。
- 离均差:x − x̄ = −18.875, −9.975, 26.525, 2.325;y − ȳ = −45.3, −22.8, 61.0, 7.1。
- 分子 Σ(x − x̄)(y − ȳ) = 855.04 + 227.43 + 1618.02 + 16.51 ≈ 2717.0。
- 分母 Σ(x − x̄)² = 356.27 + 99.50 + 703.58 + 5.41 ≈ 1164.75。
- w = 2717.0 / 1164.75 ≈ 2.33,b = ȳ − w·x̄ = −45.7 − 2.333 × 69.975 ≈ −208.9,约 −209。
- 预测 ≈ −89.73、−68.97、16.17、−40.28,误差 ≈ −1.27、0.47、−0.87、1.68,MSE ≈ 1.35。
- 图上 (3, −185) 在这 4 行上 MSE ≈ 5119,(−5, −140) 的 MSE ≈ 212949。图上的点是图源用它自己的完整数据画的,和这 4 行对不上,所以「best」在这里并不好。
- 读图时只需要理解:损失是 (w, b) 的函数,有一个最低点;别拿表里 4 个数去验证图上的坐标。
答案:w ≈ 2.33,b ≈ −209,MSE ≈ 1.35。
变式题(先自己做)
自编情境。训练点 (1,2)、(2,3)、(3,7)。(a)求最小二乘解 w、b;(b)求这条直线的 MSE;(c)这组点的最优 MSE 为什么不是 0?
提示
闭式解的分子分母都用离均差,b 靠均值回代。(c)看三个点在不在同一条直线上。
判分点与答案(非官方评分标准)
判分点:① 分子分母都用离均差;② b 由 ȳ − w·x̄ 回代;③(c)答出「三点不共线」。
- x̄ = 2,ȳ = 4。分子 Σ(x−x̄)(y−ȳ) = (−1)(−2) + 0 + (1)(3) = 5,分母 Σ(x−x̄)² = 2,故 w = 2.5,b = 4 − 2.5 × 2 = −1。
- 预测 1.5、4、6.5,误差 0.5、−1、0.5,平方和 1.5,MSE = 0.5。
- 三个点不在同一条直线上,任何直线都不可能同时穿过三点,所以最优解的 MSE 也大于 0。闭式解给的是「最好的那条直线」,不保证误差为零。
闪卡自测
1. 10 个特征的线性回归有几个参数?训练集从 1000 条涨到 100 万条,参数变吗?
11 个(10 个权重 + 1 个偏置);不变,参数个数只看特征维度(p.13)。
2. D = 3 时把 y = wᵀx + b 逐项展开;补一列常数 1 之后不含 b 的形式是什么?
y = w₁x₁ + w₂x₂ + w₃x₃ + b;补一列 x₄ = 1 后写成 y = wᵀx,b 变成了常数 1 那一列对应的权重(p.13–14)。
3. 机器学习里说的 training 是四个阶段里的哪一步?
Stage 2,确定参数 W 的数值。Stage 1 设计模型是人定的,Stage 3 是打分,只有 Stage 2 是「学」(p.11)。
4. 「最小化平方和」与「最小化 MSE」得到的 (w,b) 相同吗?换成 MAE 呢?
相同,两者只差常数因子 1/N;MAE 是另一个函数,最优解一般不同,且零点不可导(p.17)。
5. loss、cost、objective 三个词各指什么?
loss 指单个训练样本的误差,cost 是全部样本的平均,objective 是任何要优化的目标的泛称(p.17)。
6. 闭式解里 b 的公式说明最优直线一定穿过哪一点?
b = ȳ − w·x̄,等价于 ȳ = w·x̄ + b,所以直线一定穿过均值点 (x̄, ȳ)(p.18)。
7. demo 里把面积标准化后,偏置项恰好等于房价均值,为什么?
标准化后 x̄ = 0,闭式解 b = ȳ − w·x̄ 里第二项为零,所以 b = ȳ(p.18, p.40)。
8. 只看 w、把 b 当常数时,MSE 是什么形状?最低点怎么求?
开口向上的抛物线;用顶点公式或求导令其为 0,得到的就是最小二乘解(p.20)。
下一讲
L02a-2 梯度下降:没有现成公式时,从随便一组 w、b 出发,沿着导数指的下坡方向一步步挪,最后挪到和闭式解同一个点。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。