L02a Linear Regression(上):中介 A 的定价公式是怎么调出来的
第一个参数模型:定一条直线,用最小二乘一次算出系数,或用梯度下降一步步试出来。
一句话版
先定一条直线的形状,再用成交记录把斜率和截距定下来:要么套公式一次算完,要么从随便一组数出发一步步往误差小的方向挪。
先认识这几个词
读之前最好先懂参数模型和非参数模型的区别,见 L01a。
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 回归 | regression | 预测一个连续的数,比如房价 |
| w、b | 权重 weight、偏置 bias | 公式里待填的系数:w 管斜率,b 管截距 |
| wᵀx | 读「w 转置乘 x」 | w 和 x 对应位置相乘再加起来 |
| Σ | 读「西格玛」,求和号 | 把后面那一项对所有样本加起来 |
| MSE | Mean Squared Error,均方误差 | 每个点的误差平方后取平均,越小越好 |
| 梯度 | gradient | 损失往哪个方向升得最快,反着走就是下降 |
| η | 读「伊塔」,学习率 | 梯度下降每一步迈多大 |
一个类比:中介 A 的定价公式
上一讲有两个中介,B 把整本成交簿子背下来,A 只在纸条上留几个系数。这一讲整讲都在说 A。A 的纸条上写的是 价格 = w × 面积 + b。w 是每平方英尺加多少钱,b 是面积为 0 时的预测值(截距),不等于现实中的土地底价。课件的演示代码(demo)用的就是这张纸条,特征是面积 GrLivArea,标签是房价 SalePrice。
A 的第一个问题是 w 和 b 填多少。纸条的形状是他自己定的,课件叫 Stage 1;填数字那一步才叫训练,课件叫 Stage 2。填法有两种。一种是把全部成交记录代进一个现成公式,一次算完,这是最小二乘估计。另一种是先随便写一组 w、b,给旧房子报价,看报高了还是报低了。报高了往下拧,报低了往上拧,再报一次,拧到误差不再明显下降,这是梯度下降。
填完以后怎么知道填得好不好、要不要把纸条改复杂,是 L02b 的内容。
类比在哪里失效:
- 真实房价没有一条藏着的「正确直线」,成交价本身带噪声,最小的误差也到不了零。
- 「线性模型 + 平方误差」能一次算出最优,后面的神经网络通常只能一步步拧,但也不是所有别的问题都没有现成公式。
概念卡
符号图例:ȳⁿ 是第 n 个样本的真实标签,y 是模型预测值;不带上标的 ȳ 和 x̄ 是全体样本的均值。闭式解那一条三者同时出现,默写时先分清。
1. 参数模型与模型形态(parametric model, y = wᵀx + b)
人话定义:它用几个固定的数描述输入和输出的关系。回归模型先把公式的形状定死,只留几个数字待填,输出是一个实数。
例子:课件用一张 4 个特征的表演示,第一行特征是 0.2、1、10、−3,标签 0.4。模型写成三种等价形式。第一种逐项展开:y = w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄ + b。第二种是一个行向量乘一个列向量,再加 b。第三种最紧凑:y = wᵀx + b。意思都是每个特征乘上自己的权重,加起来,再加 b。参数一共 4 + 1 = 5 个,表格再多几千行也还是 5 个。
再给表补一列恒为 1 的 x₅,模型变成 y = wᵀx,b 消失了,它变成了 w₅。demo 代码正是这样做的:在标准化后的面积前面补一列 1,所以要学的 w 是二维向量。
常见误解
「训练数据越多,线性回归的参数越多」→ 错。参数个数由特征维度 D 决定,是 D + 1,和样本数 N 无关。这条正是它和 KNN 的分界线。
2. 均方误差与闭式解(MSE, least square estimator)
人话定义:它给「哪组 w、b 最好」定一个能算的标准。标准是均方误差:每个点的真值减预测值,平方后对所有点取平均,越小越好。损失最小的那组 w、b 就是「最好」的。
例子:定义式是 L(w,b) = (1/N) Σₙ (ȳⁿ − (wxⁿ + b))²,意思是误差平方加起来再除以点数 N。一维时让它最小的 w、b 有现成公式,叫闭式解:w = Σ(xⁿ−x̄)(ȳⁿ−ȳ) / Σ(xⁿ−x̄)²,b = ȳ − w·x̄。拿三个点 (1,2)、(2,4)、(3,5) 走一遍。均值 x̄ = 2,ȳ ≈ 3.667。分子 = (−1)(−1.667) + 0 + (1)(1.333) = 3,分母 = 1 + 0 + 1 = 2。所以 w = 1.5,b = 3.667 − 3 = 0.667。代回去三个预测是 2.167、3.667、5.167,MSE ≈ 0.0556。
课件在同一页接着问:平方和与 MSE 一样吗?换成 MAE(平均绝对误差)呢?平方和与 MSE 只差常数 1/N,最小值点相同。MAE 用绝对值,是另一个函数,最优解一般不同。
同页还给了四个近义词。loss 指单个样本的误差,error 与 loss 同义,cost 是全部样本的平均,objective 是最泛的说法。
常见误解
「闭式解是所有模型都有的」→ 错。它来自对 w、b 分别求导令其为零,再解一个线性方程组,只适用于线性最小二乘。换了损失不能直接沿用,但也不等于只能梯度下降,例如 MAE 也可用线性规划求解。
3. 梯度下降(gradient descent)
人话定义:它解决「没有现成公式时,怎么找到损失最小的 w」。从随机的 w 出发,算出损失往哪边升,朝相反方向挪一小步,重复到损失不再明显下降。
例子:课件把算法写成四步:随机初始化 w⁰;算 L(w),小于阈值 ε 就停;算导数 dL/dw;更新 w¹ = w⁰ − η · dL/dw。意思是新 w 等于旧 w 减去「步长 × 坡度」。两个参数时 w、b 各自求偏导、同时更新。
还是那三个点,从 (w,b) = (0,0) 出发、η = 0.1。起点损失 15.000,两个偏导分别是 −16.667 和 −7.333。第一步走到 (1.667, 0.733),损失掉到 0.234。第二步梯度变成 +1.822 和 +0.800,走到 (1.484, 0.653),损失 0.058,已经贴近闭式解的 0.0556。
这两步正好回答课件的三个问题。
- 步子一样大吗?不一样。每步挪动量是 η 乘梯度,越靠近谷底梯度越小,步子自动变短。
- 更新量恒为负吗?第一步 w 往上冲、第二步往回拉,正负号由梯度的符号决定,只有「方向与梯度相反」不变。
- 循环永远不停怎么办?加最大迭代次数。demo 设 2000 轮,实际约 300 轮后损失就不再变化。demo 里「损失小于 ε 就停」那条判停条件永远触发不了,因为成交价带噪声,误差到不了那么小。
课件还画了一条有好几个坑的曲线,问「一定下降吗」。学习率太大会跨过谷底跳到更高处;损失不是碗形时,会滚进局部的坑出不来。线性回归配 MSE 的损失是碗形(凸函数),没有「不是全局最低」的局部坑。最低点在哪还要看数据:设计矩阵(把所有样本的特征排成的那张表)满列秩,也就是各列之间没有一列能由别的列凑出来时,最优参数才唯一。学习率过大时,线性回归照样会发散。
常见误解
「梯度下降和闭式解会得到不同的答案」→ 对线性回归 + MSE 来说,学习率合适、迭代够多,梯度下降就收敛到闭式解那一点。demo 跑完 2000 轮得到的 w 与闭式解完全一致,换算回原始尺度是「房价 ≈ 107.1 × 面积 + 18569」。
把它们串起来
主线就是课件的四个阶段。Stage 0 准备数据。Stage 1 定模型形状:y = wᵀx + b,参数个数 D + 1 在看到数据前就定死了。Stage 2 定参数,这一步才叫训练。先用 MSE 说清什么叫「好」,再给两条路:一维有闭式解,一次算完;通用办法是梯度下降,朝梯度反方向一步步挪。
两条路在线性回归上会走到同一个点。梯度下降是后面训练神经网络的基础方法,到那时模型通常没有闭式解。Stage 3 评估留给 L02b。
课件里的坑
- [课件有误] p.23 不等式链写成
L(w⁰,b⁰) > L(w¹,b¹) > L(w²,b¹),第三项的 b 下标按上下文应改为L(w²,b²)。 - [口径差异] p.19 等高线图上的「最佳点 (w = 3, b = −185)」是图源的示意值,只用左表列出的 4 行做最小二乘得到的是 w ≈ 2.33、b ≈ −209,别拿表里的数去验证图上的坐标。
- [课件有误] p.20 把 MSE 展开写成
K₁w² + K₂wb + K₃b² + K₄,省略了 w、b 的一次项;自己推导多出一次项是正常的。 - [补充] p.21 的判停条件「损失小于 ε」在真实数据上很难触发,demo 的误差平方和量级是 10¹²、阈值 10⁻⁴,实际靠 2000 轮上限结束。
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写三条——模型写成 y = wᵀx + b 与 MSE 的形式、一维闭式解、梯度下降四步;再把下面的「变式题」做一遍;最后回查梯度下降那一步的负号和 2/n 系数。三步做完再往下看答案。
必背
- 本讲单输出线性回归是参数模型、输出一个标量;参数个数 = 特征维度 D + 1,由模型形态定,与训练样本数无关。
- 模型写成 y = wᵀx + b;在特征前补一列常数 1 可以把偏置 b 吸进 w,之后公式里只剩 w。
- 损失用均方误差 MSE:L(w,b) = (1/N) Σ (ȳⁿ − (wxⁿ + b))²;最小化平方和与最小化 MSE 解相同,换成 MAE 解一般不同。
- 一维闭式解 w = Σ(xⁿ−x̄)(ȳⁿ−ȳ) / Σ(xⁿ−x̄)²,b = ȳ − w·x̄,要能手算。
- 梯度下降四步:随机初始化 → 算损失判停 → 求梯度 → w ← w − η·∂L/∂w;更新方向永远与梯度相反,每步实际位移 η·|梯度| 随梯度变小,η 本身不变,必须设最大迭代次数。
课件例题
例 1(课件 p.13):四个特征的数据表,写模型、数参数
题面:训练表有 4 个特征 x₁–x₄ 和标签 y,前三行是 (0.2, 1, 10, −3) → 0.4,(0.1, 1.5, 6, −2) → 0.6,(0.25, 2, 12, −1) → 0.3,最后一行 Datapoint N 是 (0.5, 3, 8, −2.5) → 0.7。用三种写法写出线性模型,并数参数个数。紧接的 p.14 问:表里加一列恒为 1 的 x₅ 之后,还需要单独的 b 吗?
解答
- 逐项展开:y = w₁x₁ + w₂x₂ + w₃x₃ + w₄x₄ + b。
- 行向量乘列向量:y = [w₁ w₂ w₃ w₄] · [x₁; x₂; x₃; x₄] + b。
- 向量内积:y = wᵀx + b。wᵀx 是 1×D 乘 D×1,结果是标量。
- 参数个数 D + 1,这里 D = 4,共 5 个。表有多少行都不改变这个数。
- p.14:加一列 x₅ = 1 后模型变成 y = wᵀx,b 变成了 w₅,不再需要单独的偏置。
例 2(课件 p.17):最小二乘、MSE、MAE,同还是不同
题面:一维数据表 x 取 51.1, 60.0, 96.5, …, 72.3,y 取 −91.0, −68.5, 15.3, …, −38.6,损失是 L(w, b) = (1/N)·Σ(ȳⁿ − (w·xⁿ + b))²。课件问:Least Square Error 和 Mean Absolute Error 与它 same or different?顺带区分 loss、error、cost、objective 四个词。
解答
- 最小二乘是平方和,和 MSE 只差常数因子 1/N,最小值点相同。
- MAE 用绝对值 |ȳⁿ − (wxⁿ + b)|,是另一个函数,最优解一般不同。它对离群点不敏感,在零点不可导。
- 四个词:loss function 指单个样本的误差,error function 与它同义,cost function 是所有样本的平均,objective function 泛指任何要优化的目标。
例 3(课件 p.18–19):用最小二乘公式算 w、b
见下方完整例题。
例 4(课件 p.20):只看 w 时,高中方法能不能求最小值
题面:MSE 展开后是 L(w,b) = K₁w² + K₂wb + K₃b² + K₄。把 b 当常数,只看 w,课件问 Any method from high school?
解答
- 固定 b 后,L(w) = K₁w² + (K₂b)·w + (K₃b² + K₄),是开口向上的抛物线。
- 用抛物线顶点公式 w = −(K₂b)/(2K₁),或求导令其为零,就能得到最低点。
- 课件括注 same to Least Square Estimator:这个顶点就是闭式解。
- 严格展开还有 w、b 的一次项,课件省略了,不影响「二次函数、有唯一最低点」的结论。
例 5(课件 p.21):梯度下降四步里的三个问题
题面:四步是随机初始化 w⁰;算 L(w),若 L(w) < ε 就结束;求 dL/dw;更新 w¹ = w⁰ − η·dL/dw,再回第二步。课件问:每一步的步子一样大吗?更新项总是负的吗?循环停不下来怎么办?
解答
- 步子不一样大。每步位移是 η 乘导数,越靠近谷底导数越小,步子自动变短。η 本身不变。
- 更新项 −η·dL/dw 不一定是负的。谷底右侧导数为正,w 减小;左侧导数为负,w 增大。方向永远与导数相反。
- L < ε 可能永远达不到,数据有噪声,最小 MSE 未必小于 ε。要加最大迭代次数,或改用「相邻两步 L 的变化小于 ε」判停。
例 6(课件 p.23):梯度下降一定下降吗
题面:课件写 L(w⁰,b⁰) > L(w¹,b¹) > …,问 always decrease? 下方画了一条非凸曲线,三个球停在不同的坑里,问 What will happen then?
解答
- 学习率太大时不一定下降:步子跨过谷底跳到对面更高处,甚至发散。
- 非凸函数有多个局部极小,从不同初始点出发会停在不同的坑,只保证到某个局部极小。
- 线性回归加 MSE 的损失是凸的碗,学习率合适就收敛到闭式解;非凸问题出现在后面的神经网络。
完整例题
题面(课件 p.18–19):课件的一维数据表只列出 4 行,x = 51.1, 60.0, 96.5, 72.3,对应 y = −91.0, −68.5, 15.3, −38.6,中间用「…」省略了其余样本。只用这 4 行,按最小二乘公式求 w、b 和 MSE;再算课件 p.19 等高线图上标的「best function」(w = 3, b = −185) 和「worst function」(w = −5, b = −140) 在这 4 行上的 MSE。
- 均值:x̄ = (51.1 + 60.0 + 96.5 + 72.3)/4 = 69.975,ȳ = (−91.0 − 68.5 + 15.3 − 38.6)/4 = −45.7。
- 离均差:x − x̄ = −18.875, −9.975, 26.525, 2.325;y − ȳ = −45.3, −22.8, 61.0, 7.1。
- 分子 Σ(x − x̄)(y − ȳ) = 855.04 + 227.43 + 1618.02 + 16.51 ≈ 2717.0。
- 分母 Σ(x − x̄)² = 356.27 + 99.50 + 703.58 + 5.41 ≈ 1164.75。
- w = 2717.0 / 1164.75 ≈ 2.33,b = ȳ − w·x̄ = −45.7 − 2.333 × 69.975 ≈ −208.9,约 −209。
- 预测 ≈ −89.73、−68.97、16.17、−40.28,误差 ≈ −1.27、0.47、−0.87、1.68,MSE ≈ 1.35。
- 图上 (3, −185) 在这 4 行上 MSE ≈ 5119,(−5, −140) 的 MSE ≈ 212949。图上的点是图源用它自己的完整数据画的,和这 4 行对不上,所以「best」在这里并不好。
- 读图时只需要理解:损失是 (w, b) 的函数,有一个最低点;别拿表里 4 个数去验证图上的坐标。
答案:w ≈ 2.33,b ≈ −209,MSE ≈ 1.35。
变式题(先自己做)
变式 1(自编情境,补一步梯度下降):训练点 (1,2)、(2,4)、(3,5)。求最小二乘解 w、b 和 MSE;再从 (w,b) = (0,0) 出发、η = 0.1,做一步梯度下降。
参考答案
步骤:x̄ = 2,ȳ = 11/3。分子 Σ(xᵢ−x̄)(yᵢ−ȳ) = (−1)(−5/3) + 0 + (1)(4/3) = 3,分母为 2,故 w = 3/2,b = 2/3。预测为 13/6、11/3、31/6,误差为 −1/6、1/3、−1/6;平方和 1/6,MSE = 1/18 ≈ 0.05556。
梯度下降一步:在 (0,0) 处预测全为 0,L = (4 + 16 + 25)/3 = 15。∂L/∂w = −(2/3)Σxᵢyᵢ = −50/3,∂L/∂b = −(2/3)Σyᵢ = −22/3。这里用各样本的 yᵢ,不是均值 ȳ。
更新后 w = 5/3 ≈ 1.66667,b = 11/15 ≈ 0.73333。用未四舍五入的参数回算,L = 158/675 ≈ 0.23407。
答案:最小二乘解为 w = 3/2、b = 2/3,MSE = 1/18;一步梯度下降后为 (5/3, 11/15),损失从 15 降至约 0.23407,尚未达到最优值。
变式 2(自编情境):换一组点:(1,2)、(2,3)、(3,7)。求最小二乘解 w、b 和 MSE;再从 (w,b) = (0,0) 出发、η = 0.1 做一步梯度下降,并比较这一步之后的损失和最优 MSE 差多少。
提示
闭式解的分子分母都用离均差,b 靠均值回代。梯度那一步注意两件事:前面的负号,以及 2/n 里的 n 这里是 3。
参考答案与自检(非官方评分标准)
自检要点:① w 的分子分母都必须用离均差,b 由 ȳ − w·x̄ 回代;② 梯度的负号和 2/3 系数缺一不可;③ 最后要说出「一步 ≠ 收敛」——把 GD 一步后的损失和最优 MSE 摆在一起比。
- x̄ = 2,ȳ = 4。分子 Σ(x−x̄)(y−ȳ) = (−1)(−2) + 0 + (1)(3) = 5,分母 Σ(x−x̄)² = 2,故 w = 2.5,b = 4 − 2.5 × 2 = −1。
- 预测 1.5、4、6.5,误差 0.5、−1、0.5,平方和 1.5,MSE = 0.5。注意这组点不共线,最优解的 MSE 也不为 0。
- 梯度下降起点 (0,0):预测全为 0,误差就是 y 本身 2、3、7,L = (4 + 9 + 49)/3 ≈ 20.67。
∂L/∂w = −(2/3) Σ x(y − ŷ) = −(2/3)(1×2 + 2×3 + 3×7) = −(2/3)(29) ≈ −19.33;∂L/∂b = −(2/3)(2 + 3 + 7) = −8。- 更新:w = 29/15 ≈ 1.93333,b = 0.8;保留分数到最后,避免中途舍入。
- 用精确参数回算,L = 782/675 ≈ 1.15852,比最优 MSE = 0.5 高 889/1350 ≈ 0.65852。一步更新使损失下降,但不等于已经收敛。
闪卡自测
1. 10 个特征的线性回归有几个参数?训练集从 1000 条涨到 100 万条,参数变吗?
11 个(10 个权重 + 1 个偏置);不变,参数个数只看特征维度(p.13)。
2. D = 3 时把 y = wᵀx + b 逐项展开;补一列常数 1 之后不含 b 的形式是什么?
y = w₁x₁ + w₂x₂ + w₃x₃ + b;补一列 x₄ = 1 后写成 y = wᵀx,b 变成了常数 1 那一列对应的权重(p.13–14)。
3. 机器学习里说的 training 是四个阶段里的哪一步?
Stage 2,确定参数 W 的数值。Stage 1 设计模型是人定的,Stage 3 是打分,只有 Stage 2 是「学」(p.11)。
4. 「最小化平方和」与「最小化 MSE」得到的 (w,b) 相同吗?换成 MAE 呢?
相同,两者只差常数因子 1/N;MAE 是另一个函数,最优解一般不同,且零点不可导(p.17)。
5. loss、cost、objective 三个词各指什么?
loss 指单个训练样本的误差,cost 是全部样本的平均,objective 是任何要优化的目标的泛称(p.17)。
6. 梯度下降的更新量 −η·∂L/∂w 恒为负吗?
否。η 恒正,但导数有正有负,谷底右侧 w 减小、左侧 w 增大;不变的只有「方向与梯度相反」(p.21)。
7. 学习率太大会怎样?线性回归的梯度下降会掉进局部极小吗?
太大会跨过谷底跳到更高处甚至发散;线性回归 + MSE 的损失是二次函数、只有一个最低点,不会有局部极小问题(p.20, p.23)。
8. demo 里「误差平方和小于 10⁻⁴ 就停」为什么从没触发过?
这份数据的误差平方和量级是 10¹²,这个条件永远触发不了,实际靠 2000 轮上限结束(p.21, p.40)。
9. demo 里把面积标准化后,偏置项恰好等于房价均值,为什么?
标准化后 x̄ = 0,闭式解 b = ȳ − w·x̄ 里第二项为零,所以 b = ȳ(p.18, p.40)。
下一讲
L02b 接着讲 Stage 3:训练好的直线怎么评估,贴不上数据时加 x² 这类高次项,加多了怎么用偏差、方差诊断,以及用验证集和 N 折交叉验证决定加到几次。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。