← COMP5541 全部讲次
P01a · 第 1 周

P01a Practical 1(上):线性代数与微积分,期末的数学计算题从这里出

Practical 1 的前两节:矩阵形状检查、闭区间最值、梯度与 Hessian、拉格朗日乘子,附答案文档没覆盖的那题完整解。

一句话版

这份练习不计分、不用交,但期末闭卷考的数学工具全在里面;这半页是线性代数和微积分两节,做不动哪一题就是这学期要补的哪一块。

先认识这几个词

词 全称 / 读法 一句人话
[1 2; 3 4] 矩阵的写法,分号隔开两行 第一行是 1 2,第二行是 3 4
ᵀ 读「转置」 把行变成列、列变成行
det、rank determinant 行列式、秩 两个用来判断矩阵能不能求逆的量
驻点 stationary point 导数等于 0 的点,可能是山顶、谷底或平台
∇f 读「nabla f」,梯度 各个偏导数排成的列向量
Hessian 海森矩阵 二阶偏导数排成的矩阵,用来判断临界点的类型
λ 读「兰姆达」,拉格朗日乘子 带约束求最值时引入的辅助变量
特征值、迹 eigenvalue、trace 迹是主对角线上的数相加;二阶矩阵的两个特征值,乘积等于行列式、和等于迹

题目地图

这两节考的是工具熟练度,不是概念理解。

节 题目 考什么 主要失分点
线性代数 内积、矩阵乘法、逆、行列式、秩 形状与那条等价链 算完不看形状,左乘右乘混用
微积分 2.1 一元函数在两个闭区间上的最值 驻点加端点 只找驻点,不比端点
微积分 2.2 梯度、Hessian、临界点分类 Hessian 判定表 把梯度写成行向量、忘了 Hessian 对称
微积分 2.3 拉格朗日乘子求约束临界点 ∇f = λ∇g 的联立 解出 t 后忘了代回约束验算

数学部分讲师给了答案文档,但有两处没覆盖:六个概率分布的公式(题目要求写出来,答案只重复了题面)和拉格朗日那一整题。拉格朗日那题在下面补齐了,六个分布见 P01b。

概念卡

1. 形状检查与那条等价链(Linear Algebra)

人话定义:它帮你在矩阵题算完后发现写反的式子。相乘结果的形状由两边的行数、列数决定,形状不对就说明式子写反了。

例子:给定 X = [1 2; 3 4],y = [3, 1]ᵀ,z = [2, 3]ᵀ。y · z = 3·2 + 1·3 = 9,是一个标量(单个数),等价写法 ⟨y, z⟩、yᵀz、zᵀy 都要认得。

Xy = [5, 13]ᵀ 形状 2×1,zᵀX = [11, 16] 形状 1×2。同一个 X,左乘右乘连形状都不同,这是本题真正的考点。

另一条要背的等价链是:det ≠ 0 ⟺ 可逆 ⟺ 满秩 ⟺ 各列线性无关,⟺ 读「等价于」。这里 det(X) = 1·4 − 2·3 = −2 ≠ 0,所以 rank(X) = 2。

常见误解

以为形状检查只是细节 → 后面写神经网络前向传播时,一层的输出到底是 Wx 还是 xᵀW,靠的正是这一步,形状对不上就说明写反了。

二阶逆的公式也顺手记牢:[a b; c d]⁻¹ = 1/(ad−bc) · [d −b; −c a]。算完乘回去看是不是单位阵(对角线全 1、其余全 0)。考场上花十秒验算,比事后发现符号错了划算。

回讲义:L02a 线性回归:定一条直线,用最小二乘一次算出系数

2. 闭区间最值的三步套路(Extrema on a Closed Interval)

人话定义:它解决「函数在一段区间上最大、最小是多少」。候选点是区间内的驻点、不可导点和两个端点,全部算出函数值比大小。

例子:f(x) = x³ − 3x + 7,f′ = 3x² − 3,驻点 x = ±1。

在 [0, 2] 上只有 x = 1 落在区间内。二阶导 f″ = 6x 在该点为 6 > 0,是极小值点,f(1) = 5。极小点定了,最大值只能出现在端点,f(0) = 7、f(2) = 9,所以最小 5、最大 9。

在 [−2, 0] 上落在区间内的是 x = −1,f″ = −6 < 0,是极大值点 f(−1) = 9。最小值在端点,f(−2) = 5、f(0) = 7。

常见误解

只找驻点不比端点 → 这是这类题的标准失分点。连续函数在闭区间上的候选包括驻点、不可导点与两个端点,逐个比较函数值。极大、极小可能都在内部,不能套「另一端必在端点」。

回讲义:L02a 线性回归:定一条直线,用最小二乘一次算出系数

3. 梯度、Hessian 与判定表(Multivariate Calculus)

人话定义:它找出多变量函数的临界点,再判断是哪一类。梯度是一阶偏导排成的列向量,用来找临界点;Hessian 是二阶偏导排成的对称矩阵,用来判类型。

例子:f(x, y) = x³ + y² + xy。求偏导时把另一个变量当常数。∇f = [3x² + y, 2y + x]ᵀ,在 (2, 3) 处等于 [15, 8]ᵀ,形状 2×1。

H = [6x 1; 1 2],在 (0, 0) 处等于 [0 1; 1 2],形状 2×2。它是对称的,因为混合偏导与求导次序无关。

判定表要背:

  • 正定为局部极小
  • 负定为局部极大
  • 不定为鞍点
  • 半定则判据失效、要看更高阶

正定可以理解成往任何方向都向上弯,鞍点是有的方向向上、有的方向向下。

常见误解

把 Hessian 写成向量,或让梯度方向与题目约定不一致 → 先检查维度与转置;梯度也有行向量约定,关键是前后一致。

鞍点附近梯度可能很小,给优化带来困难;momentum 和 Adam 这类优化方法并不保证逃离所有鞍点。这道数学题也为后面的优化方法作铺垫。

回讲义:L02a-2 梯度下降:没有公式时,顺着坡一步步走到谷底

逐题拆解

第 1 节的数据:X = [1 2; 3 4],y = [3, 1]ᵀ,z = [2, 3]ᵀ。

1① 内积

y·z = 3·2 + 1·3 = 9,结果是标量。yᵀz、zᵀy、⟨y, z⟩ 是同一个数的不同写法。

1② 左乘与右乘

Xy = [1·3+2·1, 3·3+4·1]ᵀ = [5, 13]ᵀ,形状 2×1。zᵀX = [2·1+3·3, 2·2+3·4] = [11, 16],形状 1×2。两个结果形状不同,这是本题的考点。

一步一步看

目标:用同一个 X 分别算 Xy 和 zᵀX,看左乘用行、右乘用列,两种结果的形状也不一样。

青绿框是这一步参与点乘的那一行(或那一列),以及它算出来的那一格;问号是还没算的格。

  1. Xy 的第 0 个数:X 的第 0 行 [1, 2] 和 y 点乘,1·3 + 2·1 = 5。

    第 1 步:矩阵 X 的第 0 行 1、2 与列向量 y 的 3、1 点乘,得到 Xy 的第一个数 5

  2. Xy 的第 1 个数:X 的第 1 行 [3, 4] 和 y 点乘,3·3 + 4·1 = 13。两行各得一个数,Xy 是 2×1。

    第 2 步:矩阵 X 的第 1 行 3、4 与 y 点乘得 13,Xy 写成 5 和 13 两行一列

  3. 换成右乘:zᵀ = [2, 3] 和 X 的第 0 列 [1, 3] 点乘,2·1 + 3·3 = 11。

    第 3 步:行向量 z 转置 2、3 与 X 的第 0 列 1、3 点乘,得到 zᵀX 的第一个数 11

  4. zᵀ 和 X 的第 1 列 [2, 4] 点乘,2·2 + 3·4 = 16。zᵀX = [11, 16],是 1×2,和 Xy 的形状不同。

    第 4 步:z 转置与 X 的第 1 列 2、4 点乘得 16,zᵀX 是一行两列的 11 和 16

1③ 逆矩阵

X = [1 2; 3 4],套二阶公式:1/(ad−bc) = 1/(−2),再把 [d −b; −c a] = [4 −2; −3 1] 逐项乘上去,得 X⁻¹ = [−2 1; 3/2 −1/2]。验算 X·X⁻¹ 的第一行:1·(−2) + 2·(3/2) = 1,1·1 + 2·(−1/2) = 0,正是单位阵的第一行。

一步一步看

目标:对一个 2×2 矩阵按公式求逆再乘回去验算,看行列式不为 0 时逆矩阵怎样一步步得出。

每帧多写一行推导,青绿框是这一步新写的那一行。

  1. 先算 ad − bc = 1·4 − 2·3 = −2,不为 0,逆存在。

    第 1 步:用 a 等于 1、d 等于 4、b 等于 2、c 等于 3 算出 ad 减 bc 等于负 2

  2. a、d 对调,b、c 变号:[4 −2; −3 1]。

    第 2 步:把 a 和 d 对调、b 和 c 变号,得到矩阵 4、负 2、负 3、1

  3. 每一项乘 1/(−2),得 X⁻¹ = [−2 1; 3/2 −1/2]。

    第 3 步:矩阵每一项乘负二分之一,得到逆矩阵负 2、1、二分之三、负二分之一

  4. 乘回去验算第一行,得 [1, 0],和单位阵对上。

    第 4 步:X 乘逆矩阵的第一行算出 1 和 0,正是单位阵第一行,验算通过

1④ 行列式

det(X) = 1·4 − 2·3 = −2。

1⑤ 秩

det(X) ≠ 0,所以 X 满秩,rank = 2。这一问直接用等价链,不必化行阶梯形。

2.1 一元函数 f(x) = x³ − 3x + 7

① 导数 3x² − 3,驻点 x = ±1。② 区间 [0, 2] 内只有驻点 x = 1,f(1) = 5;端点 f(0) = 7、f(2) = 9,所以最小 5(x = 1)、最大 9(x = 2)。③ 区间 [−2, 0] 内只有驻点 x = −1,f(−1) = 9;端点 f(−2) = 5、f(0) = 7,所以最大 9(x = −1)、最小 5(x = −2)。两问的驻点一个是极小一个是极大,另一个最值都落在端点上。

一步一步看

目标:先求 f 的驻点,再在 [0, 2] 和 [−2, 0] 上比较候选点,看最值有时落在区间端点上。

曲线是 f 在 −2 到 2 之间的样子,灰底是当前区间,青绿圈是这一步要比较的候选点。

  1. 求导 f′(x) = 3x² − 3,令它为 0,驻点 x = 1 和 x = −1。

    第 1 步:三次函数曲线上标出两个驻点,x 等于负 1 在山顶,x 等于 1 在谷底

  2. 区间 [0, 2]:x = −1 不在区间里。候选 0、1、2,函数值 7、5、9,最小 5、最大 9。

    第 2 步:灰底标出区间 0 到 2,候选点 f(0)=7、f(1)=5、f(2)=9,最大值在右端点

  3. 区间 [−2, 0]:x = 1 不在区间里。候选 −2、−1、0,函数值 5、9、7,最大 9、最小 5。

    第 3 步:灰底标出区间负 2 到 0,候选点 f(−2)=5、f(−1)=9、f(0)=7,最小值在左端点

2.2 多元函数 f(x, y) = x³ + y² + xy

① ∇f = [3x² + y, 2y + x]ᵀ,代入 (2, 3) 得 [15, 8]ᵀ。② H = [6x 1; 1 2],在 (0, 0) 处为 [0 1; 1 2]。③ 临界点与分类见下方完整例题。

一步一步看

目标:对 f(x, y) 求偏导、在 (2, 3) 算梯度、再求 Hessian 并代入原点,看一阶和二阶导数各排成什么样。

每帧多写一行推导,青绿框是这一步新写的那一行。

  1. 对 x 求偏导时 y 当常数,对 y 求偏导时 x 当常数:∂f/∂x = 3x² + y,∂f/∂y = 2y + x。

    第 1 步:写出 f 对 x 的偏导 3x² 加 y,以及对 y 的偏导 2y 加 x

  2. 代入 (2, 3):3·4 + 3 = 15,2·3 + 2 = 8,∇f(2, 3) = [15, 8]ᵀ。

    第 2 步:把点 (2, 3) 代入两个偏导,得到梯度列向量 15 和 8

  3. 两个偏导再各求一次偏导,排成 2×2:H = [6x 1; 1 2]。

    第 3 步:对两个一阶偏导再求偏导,排成 Hessian 矩阵 6x、1、1、2

  4. 代入 (0, 0):H(0, 0) = [0 1; 1 2]。

    第 4 步:把原点代入 Hessian,6x 变成 0,得到矩阵 0、1、1、2

2.3 拉格朗日乘子

答案文档完全没有覆盖这一题。求 f(x,y,z) = (x+1)² + (y+2)² + (z−2)² 在约束 g = x² + y² + z² − 36 = 0 下的临界点。

方法是令 ∇f = λ∇g,意思是在约束面上的临界点,f 和 g 的梯度方向平行。逐分量写出:2(x+1) = 2λx、2(y+2) = 2λy、2(z−2) = 2λz,整理成 x(1−λ) = −1、y(1−λ) = −2、z(1−λ) = 2。

令 t = 1/(λ−1),三式化为 x = t、y = 2t、z = −2t。代回约束得 9t² = 36,t = ±2。两个临界点 (2, 4, −4) 与 (−2, −4, 4),对应 f = 81 与 f = 9。

几何验算比代数更快,也更适合考场自查。f 就是点 (x, y, z) 到定点 P = (−1, −2, 2) 的距离平方。约束是以原点为心、半径 6 的球面。|P| = √(1+4+4) = 3 < 6,P 在球内。所以球面上离 P 最近的点距离 6 − 3 = 3(f = 9),最远的距离 6 + 3 = 9(f = 81),和解出来的两个值完全对上。这两点正是过原点与 P 的直线跟球面的两个交点。

一步一步看

目标:用 ∇f = λ∇g 求球面约束下的极值,看换元后怎样解出两个临界点,各自的函数值是多少。

每帧多写一行推导,青绿框是这一步新写的那一行。

  1. 令 ∇f = λ∇g,逐分量写出三条方程。

    第 1 步:f 的三个偏导分别等于 λ 乘 g 的三个偏导,写出三条分量方程

  2. 每条两边除以 2 再移项:x(1−λ) = −1,y(1−λ) = −2,z(1−λ) = 2。

    第 2 步:三条方程移项整理成 x、y、z 各乘 1 减 λ 等于负 1、负 2、2

  3. 令 t = 1/(λ−1),三个未知数都写成 t 的倍数:x = t,y = 2t,z = −2t。

    第 3 步:换元 t 等于 1 除以 λ 减 1,得到 x 等于 t、y 等于 2t、z 等于负 2t

  4. 代回约束:t² + 4t² + 4t² = 36,9t² = 36,t = ±2。

    第 4 步:把三个式子代回球面约束,得到 9t² 等于 36,t 取正负 2

  5. t = 2 得 (2, 4, −4),f = 81;t = −2 得 (−2, −4, 4),f = 9。

    第 5 步:t 取 2 和负 2 得到两个临界点,函数值分别是 81 和 9

这一题到 L05c 还会用上。带约束的优化是正则化的另一种视角:「最小化损失,同时约束 ‖w‖ ≤ C」与「最小化 损失 + λ‖w‖」是同一个问题的两种写法,λ 就是这里的乘子。

课件里的坑

  • [课件留白] 拉格朗日乘子那一整题在答案文档里完全没有出现。上面给了代数解和几何验算两条路。
  • [补充] 「行列式非零 ⟺ 可逆 ⟺ 满秩 ⟺ 列独立」这条等价链以方阵为前提,非方阵谈不上行列式。
  • [补充] Hessian 的二阶判定用于可二阶微分函数的驻点;半正定或半负定时判据给不出结论,通常还需进一步分析。

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写两条——闭区间最值的三步、Hessian 判定表四行;再把下面的「变式题」做一遍;最后回查两处最容易错的地方——算完矩阵不看形状、拉格朗日解出 t 后忘了代回约束。三步做完再往下看答案。

必背

  1. 矩阵乘法不满足交换律,左乘右乘连形状都不同:Xy 是 2×1,zᵀX 是 1×2;写前向传播时靠形状检查判断有没有写反。
  2. 行列式非零 ⟺ 可逆 ⟺ 满秩 ⟺ 各列线性无关,四种说法是同一件事,题目会换着问。
  3. 连续函数闭区间求最值:列出区间内驻点及不可导点 → 加上两端点 → 比较所有候选函数值;二阶导不能代替全局比较。
  4. Hessian 判定表:正定为局部极小、负定为局部极大、不定为鞍点、半定则判据失效要看更高阶。
  5. 梯度是列向量、Hessian 是对称矩阵,形状写错本身就是失分点;求偏导时把另一个变量当常数。
  6. 拉格朗日乘子把约束优化写成 ∇f = λ∇g 逐分量联立,再代回约束;能几何解释的题用几何验算最快。

完整例题

2.2 那道多元函数完整走一遍:f(x, y) = x³ + y² + xy,要求列出所有临界点并分类。

第一步,写出梯度。对 x 求导时把 y 当常数,y² 整项消失、xy 留下 y;对 y 求导同理。∇f = [3x² + y, 2y + x]ᵀ。

第二步,令梯度为零联立。先用线性的那一条:2y + x = 0 得 y = −x/2。代入另一条:3x² − x/2 = 0,即 x(6x − 1) = 0,得 x = 0 或 x = 1/6。对应两个临界点 (0, 0) 与 (1/6, −1/12)。

第三步,写出 Hessian 并在每个临界点上求值。H = [6x 1; 1 2]。在 (0, 0) 处 H = [0 1; 1 2],行列式 0·2 − 1 = −1 < 0,两个特征值一正一负,属于不定,判为鞍点。在 (1/6, −1/12) 处 H = [1 1; 1 2],行列式 2 − 1 = 1 > 0 且迹为 3 > 0,两个特征值都为正,正定,判为局部极小值。

第四步,回答全局最优。取 y = 0、x → +∞ 时 f → +∞;取 y = 0、x → −∞ 时 f → −∞,所以在整个 R² 上全局最优不存在。这一步题目问了就必须答,光列临界点不够。

自检:判定 Hessian 是正定还是不定,二阶情形不必真去解特征值——行列式为负就意味着两个特征值异号,直接判鞍点;行列式为正时再看迹的符号定正负定。考场上这样快得多。

变式题(先自己做)

换一个函数:f(x, y) = x³ + y² + 2xy。

(1) 写出梯度和 Hessian,列出全部临界点。(2) 逐个分类,并算出局部极小值点上的函数值。(3) 全局最优在 R² 上存在吗?给出理由。

提示

两条方程里有一条是线性的,先用它把 y 解成 x 的式子再代入另一条。分类时不必解特征值,先看 Hessian 的行列式符号。第 (3) 问要给出一条具体的趋向路径,不能只说「看起来不存在」。

参考答案与自检(非官方评分标准)

自检要点:① 联立时先用线性那条方程;② 分类的依据写成行列式与迹的符号,或写成特征值符号,两种都算对;③ 全局最优必须给出构造性的理由。

(1) ∇f = [3x² + 2y, 2y + 2x]ᵀ。由 2y + 2x = 0 得 y = −x,代入 3x² + 2y = 0 得 3x² − 2x = 0,即 x(3x − 2) = 0,x = 0 或 x = 2/3。两个临界点:(0, 0) 与 (2/3, −2/3)。Hessian 是 H = [6x 2; 2 2]。

(2) 在 (0, 0) 处 H = [0 2; 2 2],行列式 0·2 − 4 = −4 < 0,特征值一正一负,鞍点。在 (2/3, −2/3) 处 H = [4 2; 2 2],行列式 8 − 4 = 4 > 0 且迹为 6 > 0,正定,局部极小值。函数值 f(2/3, −2/3) = 8/27 + 4/9 − 8/9 = −4/27。

(3) 不存在。沿 y = 0 这条线,f(x, 0) = x³,x → +∞ 时 f → +∞、x → −∞ 时 f → −∞,函数在 R² 上既无上界也无下界,所以全局极大和全局极小都不存在。那个局部极小值 −4/27 只是局部的。

闪卡自测

1. Xy 和 zᵀX 的形状各是什么?这个差别在后面哪里用得上?

Xy 是 2×1,zᵀX 是 1×2。矩阵乘法不满足交换律,左乘右乘连维度都不同。写神经网络前向传播时判断该写 Wx 还是 xᵀW,靠的就是这个形状检查。

2. 说出「行列式非零」的三个等价说法。

可逆、满秩、各列线性无关。四种说法是同一件事,题目会换着问。本题里 det(X) = −2 ≠ 0,所以 X 可逆、rank(X) = 2。

3. X = [1 2; 3 4] 的逆是什么?怎么验算?

X⁻¹ = [−2 1; 3/2 −1/2]。乘回去看是不是单位阵,花十秒验算比事后发现符号错划算。

4. 闭区间上求最值的三步是什么?哪一步最常漏?

对闭区间上的连续函数,列出内部驻点、不可导点与两端点,比较全部函数值。最常漏的是比较端点。二阶导可辅助分类,但不能代替全局最值比较。

5. f(x, y) = x³ + y² + xy 在 (2, 3) 处的梯度是多少?形状是什么?

[15, 8]ᵀ,列向量,形状 2×1。对 x 求偏导时把 y 当常数。

6. 背出 Hessian 判定表的四行。

正定(特征值全正)为局部极小;负定(全负)为局部极大;不定(有正有负)为鞍点;半定(含零特征值)判据失效,要看更高阶。

7. 二阶 Hessian 判正定还是不定,有没有不解特征值的快法?

有。行列式为负说明两个特征值异号,直接判鞍点;行列式为正时再看迹,迹为正是正定、为负是负定。考场上比解特征方程快得多。

8. 拉格朗日那题的几何验算怎么做?

f 是点到 P = (−1, −2, 2) 的距离平方,约束是半径 6 的球面。|P| = 3 < 6,P 在球内,所以球面上最近点距离 6 − 3 = 3、f = 9,最远点距离 6 + 3 = 9、f = 81,和代数解出来的两个临界值对得上。

9. 拉格朗日乘子 λ 在后面哪一讲以什么身份出现?

L05 正则化:「最小化损失且约束 ‖w‖ ≤ C」与「最小化 损失 + λ‖w‖」是同一个问题的两种写法,λ 就是这里的乘子。

下一步

先把上面那道变式题在纸上重做一遍,尤其是「不解特征值、只看行列式与迹」这条快法,期末计算题靠它省时间。拉格朗日那题用几何验算再对一遍答案。然后接着做 P01b:概率、统计两节和 iris 上的 KNN 编程题。

下一讲 →
P01b P01b Practical 1(下):概率、统计与 iris 上的 KNN

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。