← COMP5541 全部讲次
R01

课堂 Quiz 复习资料|Quiz 2 准备版

非官方 Quiz 2 准备:L04–L07 要点、易判错的陈述对照与英文判断题入口,Quiz 1 内容压缩保留。

手机上宽表格可左右滑动;自测答案默认收起,点击题目下方按钮查看。

2026-10-28 · Quiz 2 准备(L04–L07)· 非官方

测验形式与 Quiz 2 范围

三次 In-class Quiz 共 9%,每次 3%,约 30 分钟、约 20 道二择一判断题(True/False),题面是英文。考试安排与范围以讲师通知为准。

Quiz 2 按课表在 L08(11-05)课上。范围按惯例推断,以课堂公告为准。 推断依据:Quiz 1 在 L04 课末进行(L04 p.42),公告范围是 L1+L2+L3,当天讲的 L04 不考。照此类推,Quiz 2 覆盖 Quiz 1 之后、L08 之前的 L04–L07,L08 当天的 GNN 不在内。目前没有 Quiz 2 的独立公告;公告若不同,以公告为准。

判断题的分数大多丢在范围词上。课件写 likely、may、tend to、not the optimal,题目改成 always、must、guarantee、only,命题就从对变成错。下面每讲先列要点,再列「易判错的陈述」:左列是课件原话,中列是常见的偷换说法,右列是偷换后的判断。文末 32 道英文判断题(S21–S52)按 L04、L05、L06、L07 各 8 道排列,均为补充·自拟练习,答案节给 True/False、一句理由和课件页码(PDF 页序)。

Quiz 1 的 L01–L03 内容压缩在最后一节「Quiz 1 范围(已考)」,供查漏。

L04 Deep Neural Networks Part 1

要点。 线性回归和逻辑回归「Can only model linear relationships」(p.7):sigmoid 单调,逻辑回归的决策边界 wx = 0 仍是直线,所以解不了 XOR。线性回归拟合 XOR 的最好结果是四个点全输出 0.5、MSE 0.25(p.14);逻辑回归停在 loss = ln 2 ≈ 0.693,权重全 0(p.15)。加一个含两个 sigmoid 单元的隐藏层后,回归和分类都成功(p.16–17),而且课件给了两组完全不同的成功参数,解不唯一。

MLP 的定义(p.18):隐藏层 = 线性函数 + 非线性激活;输出层「may not have a non-linear function」;层数叫 depth,每层神经元数叫 width;FC 层也叫 Dense 层。三种激活:sigmoid 值域 (0,1),ReLU = max(0,x),tanh 值域 (−1,1)。全连接层参数 =(上一层宽度 + 1)× 本层宽度,不计偏置去掉 +1(p.12–13)。

输出层配对(p.22):回归配线性输出或 ReLU,损失 MSE/MAE;二分类配 sigmoid + CE;多分类配 softmax + CE。

梯度下降四步:初始化、算损失并判停、求导、按 w − η·dL/dw 更新(p.24)。链式法则:一条路径上局部导数相乘,多条路径相加(p.25)。sigmoid 导数 σ(s)(1−σ(s)),最大 0.25(p.27)。示例网络 2-2-2-1 无偏置、平方损失没有二分之一,所以原始误差是 2(y − ȳ)(p.26–28);第一层权重有两条路径,必须相加(p.31)。三条观察:越靠前的层链越长、中间值可复用、梯度只和真实存在的下游路径有关(p.35)。BP 负责高效求梯度(前向用矩阵乘法、反向复用中间变量),更新由梯度下降完成(p.36)。

易判错的陈述

课件原话(页) 常见偷换 偷换后
Linear / logistic regression: Can only model linear relationships(p.7) 逻辑回归用了非线性的 sigmoid,所以能分开 XOR 错
The output layer may not have a non-linear function(p.18) 输出层必须有激活函数;或输出层一定不能有激活函数 两种都错
Each hidden layer / neuron has a linear function + a non-linear function(p.18) 只把线性层叠得更深,网络就能学非线性关系 错,线性叠线性仍是线性
Regression: without non-linear function, or with non-linear function (e.g., ReLU)(p.22) 回归任务的输出层只能是线性的 错,可加 ReLU,视任务而定
多分类:softmax + CE(p.22) 多分类输出层用 sigmoid 配 MSE 错
两组不同参数都解出 XOR(p.16–17) 解 XOR 的网络权重是唯一的 错
多条路径各自相乘再相加(p.25、p.31) 只取贡献最大的一条路径 错
前向用矩阵乘法加速,反向复用中间变量(p.36) 反向传播本身就是参数更新算法 错,更新由梯度下降完成

L05 Deep Neural Networks Part 2

要点。 深度网络的三类问题与对策(p.8):优化低效 → mini-batch SGD、动量(对付 local minimum traps);欠拟合 → 梯度消失时换 ReLU、Leaky ReLU;过拟合 → L1/L2、dropout、early stopping、data augmentation。

全批梯度是所有样本梯度的平均,每步算全体「Too much computation and memory」,改用 mini-batch(p.10)。p.11 四条要按原话记:大 batch 梯度估计更准「but not the optimal」;小 batch 的噪声「can offer a regularizing effect」;batch size = 1 泛化误差最好,但要小学习率维持稳定,运行慢;GPU 对 2 的幂次 batch 更快,极小的 batch 让 GPU 吃不满。

动量(p.12):v ← αv − εg,θ ← θ + v。这里 α 是动量参数、ε 是学习率;α = 0 时退化为普通梯度下降。惯性帮助冲过局部极小,也可能冲过最低点。

欠拟合的三个原因:层太少、神经元太少、激活函数不好(p.15)。「Sigmoid() in hidden layers is likely to result in gradient vanishing」:σ′ ≤ 0.25,每层乘一次,前面层的梯度可能变得很小。ReLU 导数取 0 或 1,缓解梯度消失,代价是 Dead neurons(p.16);Leaky ReLU 负区斜率为 a,课件取 a = 0.02,导数取 a 或 1(p.17)。

L2:新损失 α‖W‖² + ℓ(W),对 w₁ 的梯度是 2αw₁ + dℓ/dw₁(p.19)。L1:α·Σ|wᵢ| + ℓ(W),梯度 α·sign(w₁) + dℓ/dw₁(p.20)。「L1 regularization tends to learn sparse W」(p.21):L1 的拉力大小恒定,L2 的拉力随 w 变小而变弱,只把权重压小。注意 p.19–21 的 α 是正则化系数,和 p.12 的动量 α 同名不同义。其他正则化(p.22):data augmentation、early stopping(在验证误差最低处停)、dropout。课件这一讲没有讲 Adam 等其他优化器,也没有讲学习率调度和 Batch Normalization;BN 只在 L06 的 ResNet 结构图里出现过。

通用近似定理(p.25)三条要连读:单隐藏层能表示任意函数;但这一层可能大到不可行;可能学不出、泛化不好。ReLU 网络是分段线性函数,每段线性、整体非线性(p.26);理论上能逼近任意函数(p.27,原话带 in theory)。

易判错的陈述

课件原话(页) 常见偷换 偷换后
Larger batches provide more accurate estimate of the gradient, but not the optimal(p.11) 大 batch 梯度更准,所以训练出的模型总是最好 错
Small batches can offer a regularizing effect(p.11) 小 batch 的噪声只会伤害训练,没有任何好处 错
Batchsize =1, the best generalization error, … Slow runtime(p.11) batch size = 1 泛化最好,而且跑得最快 错,运行慢
Modern GPUs offer better runtime for batch sizes with power of 2(p.11) batch size 必须是 2 的幂次 错,只是更快
Sigmoid() in hidden layers is likely to result in gradient vanishing(p.15) 隐藏层用 sigmoid 总会导致梯度消失 错,原话是 likely
欠拟合原因:too few layers / neurons,bad activation functions(p.15) 欠拟合只可能因为网络太小 错
ReLU 缓解梯度消失,但有 Dead neurons(p.16) ReLU 消除了所有梯度问题 错
L1 regularization tends to learn sparse W(p.21) L2 正则化让大量权重正好变成 0 错,那是 L1
早停图:在验证误差最低处停(p.22) 在训练误差最低处停 错
A single hidden layer can represent any function; but may be infeasibly large; may fail to learn and generalize(p.25) 所以只用一层隐藏层就够,不需要深度网络 错
Piece-wise linear function(p.26) ReLU 网络整体是线性函数 错

L06 Convolutional Neural Networks

要点。 FC 处理图像的三个问题(p.8):容易过拟合、参数量大、拉平后不保留空间关系(课件拼成 reserve,应为 preserve)。784-128-64-10 的 FC 网络已有 109,386 个参数。图像图案是局部的、在图内重复、在类别间共享(p.9)。一个 FC 神经元等于拿一个和整图一样大的核做一次点积(p.11);卷积是小核按 stride 滑动做点积,得到一张 feature map(p.12)。

尺寸公式:无 padding 时输出边长 = (N − k)/s + 1,7×7 图、3×3 核、stride 1 得 5×5(p.12)。带 padding 的通用式 (N + 2p − k)/s + 1 是注解补充,课件只给了数例;stride 1 时每边补 (k − 1)/2 可保持尺寸:5×5 核补 2,11×11 核补 5(p.18)。padding 可以补 0,也可以复制边界值。

一个核学一种特定图案;点积越大,patch 和核越相似(p.13,原话「each kernel represents only one specific pattern」)。H 个核得到 H 个通道(p.14)。核的深度必须等于输入通道数,各通道乘积加起来得到一张输出图;参数量 = k×k×C_in×C_out,偏置另加 C_out,和输入的长宽无关(p.15)。p.17 练习:128×128×3 → Conv1(5×5×3×32)→ 124×124×32 → Conv2(11×11×32×128)→ 114×114×128。

max-pooling(p.20):2×2 窗口、stride 2 时长宽减半,通道数不变,没有可学习参数。课件列的性质:downsample;「Preserve the largest feature, ignore the smaller features; overcome overfitting」;对窗口内神经元的排列不变(permutation invariant)。玩具例 [[1,1,2,4],[5,6,7,8],[3,2,1,0],[1,2,3,4]] 得 [[6,8],[3,4]]。

代表结构:典型堆叠是 (CONV-RELU-CONV-RELU-POOL) 重复再接 FC(p.22)。ImageNet top-5 错误率 AlexNet 16.4%(8 层)、VGG 7.3%(19 层)、ResNet 3.6%(152 层),人类基准 5.1%(p.23)。AlexNet:ReLU 替代 sigmoid、8 层、各层核大小不同(p.24)。VGG:统一 3×3 小核,参数更少,多叠几层得到同样大的感受野;三层 3×3 = 7×7 感受野,每对输入、输出通道 27 个权重,一层 7×7 是 49 个(p.25)。ResNet:skip connection 让梯度能传回前层,层数可达 152、1000;课件说的「very dense layers」指层数多(p.26)。「Deeper layers tend to learn more semantic meaningful patterns」(p.27)。

易判错的陈述

课件原话(页) 常见偷换 偷换后
In an FC layer, each neuron is connected to all neurons in the previous layer; in a CNN layer, to a patch(p.34) 卷积层神经元也连上一层全部神经元,只是权重共享 错
The kernel (parameters) is shared when moving on the image(p.34) 卷积核在每个位置有各自独立的权重 错
Each kernel represents only one specific pattern(p.13) 一个卷积核能同时检测多种不同图案 错
参数量 = k×k×C_in×C_out(+ C_out)(p.15) 输入图越大,卷积层参数越多 错,和长宽无关
核深度 = 输入通道数,各通道结果相加(p.15) 每个核只处理一个输入通道 错
Max-pooling: downsample, preserve the largest feature, permutation invariant(p.20) pooling 有可学习权重;或会改变通道数 都错
AlexNet: kernel size is different!(p.24) AlexNet 每层用同样大小的核 错,统一小核是 VGG
VGG: Use 3 x 3 kernels, less parameters(p.25) VGG 用小核是为了让感受野比 7×7 更大 错,感受野相同、参数更少
Deeper layers tend to learn more semantic … features(p.27) 每加深一层都保证学到更高语义的特征 错,原话是 tend to
ResNet: very dense layers(152 layers, 1000 layers)(p.26) dense 指 DenseNet 式的稠密连接 错,指层数多

L07 Recurrent Neural Networks + Attention

要点。 MLP 和 CNN 要求每个输入数据点的维数固定(p.8,课件拼成 fix,应为 fixed);输入和/或输出是序列时就需要序列模型,例如语音助手(p.9)。五种结构(p.11):One to One(DNNs、CNNs)、One to Many(Image Captioning)、Many to One(Sentiment Classification)、Many to Many 同步(Video Captioning)、Many to Many 先读后写(Machine Translation,输入输出长度可不同)。

vanilla RNN(p.13):h_t = tanh(W_hh h_{t−1} + W_hx x_t),y_t = W_yh h_t,课件式子不含偏置。三个权重矩阵在所有时间步共用,参数量和序列长度无关;输入 3、隐状态 4、输出 2 时共 16 + 12 + 8 = 36 个(自拟)。隐状态「memorize/accumulate information of each time step」(p.27)。

LSTM(p.15):遗忘门 f、输入门 i、输出门 o 用 sigmoid,候选 g 用 tanh,每个都由 x_t 和 h_{t−1} 各配一个权重矩阵;c_t = f_t × c_{t−1} + i_t × g_t,h_t = o_t × tanh(c_t)。同维数下四组门的权重是 vanilla RNN 核心部分的 4 倍(112 对 28,自拟)。seq2seq(p.16):Encoder 把整句压成 Encoder Vector,Decoder 展开成另一句,课件写「Many to One + One to Many」。

优缺点(p.18,页眉是 LSTM,内容 RNN 与 LSTM 共有):Advantages:Can process sequential data with variable sizes;Can learn sequential dependency within a sequence。Disadvantages:Gradient exploding and vanishing problems;Long time to train and inference;Hard to capture very long-term dependency within a sequence。p.17 红字 Perdition 应为 Prediction。

Attention + RNN(p.21,Bahdanau et al 2015):e_ij = a(s_{i−1}, h_j),α_ij = exp(e_ij) / Σ_k exp(e_ik),c_i = Σ_j α_ij h_j 是 context vector,s_i = f(s_{i−1}, y_{i−1}, c_i)。课件总结「weighted summation of all features over time」(p.27)。RNN 编码解码「Sequential process is time consuming」(p.22)。Transformer(p.23):Attention(Q, K, V) = softmax(Q Kᵀ / √d_k) V;变长输入「padded with zeros but will be masked out when computing losses」。p.24:Scaled Dot-Product Attention 是 MatMul → Scale → Mask (opt.) → SoftMax → MatMul;Multi-Head 是 Q、K、V 各过 Linear,h 个头并行,Concat 后再 Linear。p.25:Vaswani 等 2017 年「Attention is all you need」。p.6 议程写 Transformer,节标题写 Attention Layer。

易判错的陈述

课件原话(页) 常见偷换 偷换后
Each input data point has a fix(ed) number of dimensions(p.8) MLP、CNN 能直接接收任意长度的输入 错
The input and/or the output is a sequence(p.9) 输入和输出都必须是序列才算序列问题 错,一边是序列即可
Many to One: Sentiment Classification; One to Many: Image Captioning(p.11) 情感分类是 One to Many 错
Many to Many: Machine Translation(p.11、p.16) 所有 Many to Many 的输入输出必须等长 错,翻译可以不等长
h_t = tanh(W_hh h_{t−1} + W_hx x_t)(p.13) 每个时间步有各自的权重,序列越长参数越多 错,权重共用
f、i、o 用 σ,g 用 tanh(p.15) LSTM 四个门控量全部用 sigmoid 错,g 用 tanh
Disadvantages: Gradient exploding and vanishing problems(p.18,LSTM 一节) LSTM 彻底消除了梯度消失和爆炸 错
Can learn sequential dependency; hard to capture very long-term dependency(p.18) RNN 学不到任何序列依赖 错,只是很长距离的难
weighted summation of all features over time(p.27) attention 只取分数最高的那一个位置 错,所有位置按权重加
Sequential process is time consuming(p.22) 加了 attention 的 RNN 就能完全并行 错,仍是顺序处理
softmax(Q Kᵀ / √d_k) V(p.23) 分数除以 d_k 错,除以 √d_k
padded with zeros but will be masked out when computing losses(p.23) 补的 0 也算进损失 错

Quiz 1 范围(已考)

Quiz 1 已于 10-08 进行,L03 p.4 公告范围 L1+L2+L3。以下压缩保留,期末前查漏用。

KNN 与训练评估。 KNN 按特征空间距离找邻居,再投票或聚合;K 是超参数,non-parametric 指没有固定维数的参数化模型假设,不等于没有超参数。不同量纲会主导欧氏距离,缩放规则只能从训练数据估计。K 小通常方差高,K 大通常更平滑、偏差可能高,这是趋势,不是严格单调。Training loss 用于拟合,validation 用于选模型,test 用于最终评估;反复按测试集调参,测试集就成了验证集。

线性回归与正则化。 记 J = (1/(2m))∑ᵢ(ŷᵢ − yᵢ)²,则 ∂J/∂w = (1/m)∑ᵢ(ŷᵢ − yᵢ)xᵢ;题面损失没有二分之一时梯度多乘 2。负梯度是局部下降方向,步长过大会越过最低点。平方损失线性回归是凸的,convex 不等于 strictly convex,共线特征可令最优解不唯一。L2 写成 λ‖w‖²/2 时梯度 λw,写成 λ‖w‖² 时 2λw。L1 常产生稀疏解,λ 过大可导致欠拟合。

Logistic regression 与 Naive Bayes。 z = wᵀx + b,p = σ(z);在原始特征上线性的是 logit z,阈值 0.5 对应 z = 0。sigmoid 配 binary cross-entropy 时 ∂L/∂z = p − y,换成平方损失就要另乘 sigmoid 局部导数。朴素贝叶斯按 P(c)∏ⱼP(xⱼ|c) 比较类别,naive 假设是给定类别后的条件独立;Gaussian NB 的类内高斯是另一项附加假设。连续特征用密度,密度可以大于 1;只比较类别时公共正分母可省,归一化不保证校准。

Quiz 1 的 20 道英文判断题(S1–S20)见英文自测 1、2。

先做题再看答案

英文自测 3 是 Quiz 2 准备的 32 道判断题(S21–S52);英文自测 1、2 是 Quiz 1 范围的 S1–S20。

英文自测 1 · 英文自测 2 · 英文自测 3

Quiz 3 的准备材料分两册:L08 图神经网络 · L09 自编码器与胶囊网络。

回查

回查页码:L01 的 KNN,L02 的线性回归与模型选择,L03 p.4 的 Quiz 公告和 p.11–31 的 LR/NBC。复习错题时记下「哪个条件词让判断变了」,再把错误命题改写成成立的英文句子。

下一页 →
R02 课堂 Quiz 复习资料|Quiz 3 准备版(L08 图神经网络)

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。