← COMP5541 全部讲次
L06c · 第 8 周

L06c max-pooling 与典型 CNN:把图快速缩小,再把零件装起来

一帧一帧手算 max-pooling,讲清它没有参数、不改通道、梯度怎么回传,再把卷积、ReLU、pooling 组装成一个典型的 CNN。

一句话版

max-pooling 把特征图切成一个个小窗口,每个窗口只留最大的那个数。2×2 的窗口、步长 2,图的长和宽各缩一半,数据只剩四分之一。它什么都不用学,也不改通道数。

卷积、ReLU 交替几次,再接一次 pooling,这样的一组重复几遍,最后接全连接层打分,就是一个典型的 CNN。

上一页 L06b 用补边保住了尺寸,这一页负责把尺寸缩下来。

先认识这几个词

词 全称 / 读法 一句人话
pooling 池化 把一个小窗口里的数合成一个,让图变小
max-pooling 最大池化 窗口里只留最大的那个数
降采样 downsample 让图变小,数据变少
排列不变 permutation invariant 窗口里的数换个位置,结果不变
ReLU Rectified Linear Unit 负数变 0,正数原样输出
分段线性 piece-wise linear 一段一段都是直线拼起来的函数

一个类比:每个小组只派最高分的人

一个班按座位分成四人小组。老师不想听每个人汇报,只让每组派分数最高的那个人上台。人数一下变成四分之一,每组最突出的那个声音保住了。

组员换座位,派出来的还是同一个人。这就是「对窗口内排列不变」。

类比在哪里失效:

  • 小组可以按人头商量着选代表。max-pooling 只比数值大小,不看别的。
  • 落选的人在班里还在;pooling 之后,没被选中的数就没了,位置细节也跟着丢了。

从零讲起

1. max-pooling 怎么做

它解决什么问题

卷积层靠补边保住了尺寸,可特征图一直这么大,后面每一层都要在整张大图上滑,计算太贵。需要一个办法把图快速缩小,同时尽量留住最重要的信息。

从哪来(补充)

max-pooling 由 Yamaguchi 等人在 1990 年提出。1993 年,Weng 等人在一个叫 Cresceptron 的识别网络里用上了它。

出处:Wikipedia: Convolutional neural network

直觉

卷积之后,特征图上的大数表示「这里很像某种图案」。一个小窗口里只要有一处很像,就说明这片区域有这个图案。

所以每个窗口只留最大值就够了:图变小了,最强的那个信号还在。

一步一步看

目标:用 2×2 窗口、步长 2 扫一张 4×4 特征图,看每个窗口只留最大值,输出缩成 2×2。

拿一个 4×4 的单通道特征图,四行依次是 2 0 1 3、4 1 0 2、0 5 2 2、1 1 6 0。窗口 2×2,步长 2,四个窗口互不重叠。

  1. 左上窗口是 {2, 0, 4, 1},最大值 4,填进输出的左上。

    第 1 步:左边 4×4 输入,青绿框圈住左上的 2×2 窗口,里面是 2、0、4、1;右边 2×2 输出左上填进 4

  2. 窗口右移两格。右上窗口是 {1, 3, 0, 2},最大值 3。

    第 2 步:青绿框圈住右上的 2×2 窗口,里面是 1、3、0、2;输出右上填进 3

  3. 下移两格回到左边。左下窗口是 {0, 5, 1, 1},最大值 5。

    第 3 步:青绿框圈住左下的 2×2 窗口,里面是 0、5、1、1;输出左下填进 5

  4. 右下窗口是 {2, 2, 6, 0},最大值 6。四个窗口做完,输出两行是 4 3、5 6。

    第 4 步:青绿框圈住右下的 2×2 窗口,里面是 2、2、6、0;输出右下填进 6,整张输出两行是 4 3、5 6

怎么算

pooling 的输出尺寸和卷积用同一个公式:

输出边长 = (N − k)/s + 1,k 是窗口边长

意思是:窗口怎么滑,和卷积核一模一样,只是到了每个位置不做点积,改成取最大值。

代进 2×2、步长 2:(4 − 2)/2 + 1 = 2,输出 2×2。最常见的配置就是窗口和步长都取 2,窗口互不重叠,长宽各减半。

常见误解

以为 pooling 窗口会重叠

步长等于窗口边长时,窗口一个挨一个,不重叠,也不漏。步长比窗口小才会重叠。课件用的是 2×2 窗口、步长 2。

试一下

4×4 输入四行依次是 3 1 0 2、4 8 1 1、0 2 5 7、6 1 3 2,做 2×2、步长 2 的 max-pooling,结果是什么?

左上 {3, 1, 4, 8} → 8,右上 {0, 2, 1, 1} → 2,左下 {0, 2, 6, 1} → 6,右下 {5, 7, 3, 2} → 7。结果两行是 8 2、6 7。

2. pooling 的性质:没有参数,不改通道

它解决什么问题

pooling 层算参数量时记几个?过完 pooling,通道数变不变?反向传播时梯度怎么穿过它?这三个问题考试都会碰到。

直觉

取最大值这件事不需要任何权重,所以它没有要学的东西,参数量是 0。

它对每个通道单独做,一个通道进,一个通道出,所以只缩长和宽,通道数不变。

反向传播时,输出只和窗口里那个最大值有关。别的数稍微变一点,最大值不变,输出也不变,所以梯度只回到最大值的位置。

一步一步看

目标:让 128×128×32 的特征图过一次 max-pooling,看长宽减半、通道不变、没有参数,梯度只流向最大值。

  1. 接上一页的网络:Conv1 补边后输出 128×128×32。

  2. 做 2×2、步长 2 的 max-pooling。32 个通道各自做一次。

  3. 每个通道从 128×128 变成 64×64,输出 64×64×32。

  4. 把这一层的情况列成表:

    项目 pooling 前 pooling 后
    长 × 宽 128×128 64×64
    通道 32 32
    这一层的参数 — 0
  5. 反向传播:在第一个例子的左上窗口 {2, 0, 4, 1} 里,最大值 4 拿到全部梯度,2、0、1 三个位置的梯度都是 0。

怎么判断

课件列了 max-pooling 的三个性质:

  • 降采样:图变小,后面的计算变少。
  • 保留最大的特征、忽略较小的。课件原话说能克服过拟合,实际效果是缓解。
  • 对窗口内的排列不变:[[1,1],[5,6]] 和 [[6,1],[5,1]] 取最大都是 6。

课件还留了三个问题,没给答案,下面是补充:

  • 梯度怎么算:只传给窗口里最大值的位置,其余为 0。
  • 是不是分段线性:是。在「谁最大」固定的一片区域里,输出就等于那个输入,是一条直线。所以它和 ReLU 一样是分段线性函数。
  • max、min、mean 怎么选:mean pooling 取平均,每个位置都分到梯度;min pooling 在 ReLU 之后很容易取到 0,基本不用。

缺点课件没写,常见说法是:每个窗口只留一个值,位置细节和较弱的响应被丢掉了。

常见误解

以为 pooling 层也有权重,要算进参数量

它只取最大值,没有可学的参数,算参数量时记 0。

以为 pooling 会把通道合并

pooling 对每个通道单独做,只缩长和宽。改通道数的是卷积层,靠核的个数。

试一下

64×64×16 的特征图做 2×2、步长 2 的 max-pooling,输出多大?这一层多少参数?

(64 − 2)/2 + 1 = 32,输出 32×32×16,通道不变。参数 0。

3. 典型 CNN 结构

它解决什么问题

卷积、ReLU、pooling、全连接,零件都有了。这一节看它们按什么顺序装成一个完整的分类网络,以及顺序能不能换。

直觉

卷积找图案,ReLU 加非线性,隔几层用 pooling 缩一次图。这样一组一组往下叠,图越来越小,通道越来越多,找到的图案越来越复杂。

最后把剩下的小特征图拉平成一条向量,交给全连接层,给每一类打分。

一步一步看

目标:把卷积、激活、池化这一组重复几次再接全连接,看典型 CNN 怎样搭成,再试 ReLU 和池化能否换序。

  1. 一组是 CONV → RELU → CONV → RELU → POOL:两次卷积加激活,再缩一次。

  2. 这一组重复几次。课件引用的图里是三次。

  3. 最后的特征图拉平,接全连接层 FC。

  4. FC 输出每一类的分数,比如 car、truck、airplane、ship、horse。

    一组 CONV、RELU、CONV、RELU、POOL 用虚线框住,POOL 描成青绿,标注这一组重复几次;后面接 FC 全连接层,输出 car、truck、airplane、ship、horse 五类的分数

  5. 课件红字问:ReLU 和 max-pool 交换顺序有没有影响?拿窗口 −3、−1、2、−5 试:先 ReLU 变成 0、0、2、0,最大 2;先取最大得 2,ReLU 后还是 2。

怎么判断

判断每个零件改了什么:

零件 改长宽 改通道 有参数
CONV 不补边会缩,补边不变 改成核的个数 有
RELU 不改 不改 没有
POOL 缩小 不改 没有
FC 先拉平 输出类别数 有

判断 ReLU 和 pooling 的顺序:ReLU 单调不减,大的数过了 ReLU 仍然最大(或者一起变成 0),所以 max(ReLU(a), ReLU(b), …) = ReLU(max(a, b, …))。

意思是:两种顺序结果相同。先 pool 再 ReLU 更省,2×2 窗口时 ReLU 只用算四分之一的数。

判断卷积层之间要不要 ReLU:要。没有它,几层卷积叠起来仍然只是一个线性运算,学不到复杂的层级图案。

常见误解

以为每做一次卷积就要 pooling 一次

典型结构是两次卷积加 ReLU 才接一次 pooling。pooling 太频繁,图缩得太快,后面的层就没东西可看了。

以为 ReLU 只是为了让数变成非负

ReLU 的作用是给网络加非线性。没有它,再多层卷积也能合成一层线性运算。

试一下

窗口是 −4、−2、−6、−1。先 ReLU 再取最大,和先取最大再 ReLU,分别得多少?

先 ReLU 全变 0,最大 0;先取最大是 −1,ReLU 后是 0。两种顺序都是 0。

把它们串起来

卷积层靠补边保住尺寸,图一直很大,计算太贵。max-pooling 负责缩:每个窗口只留最大值,2×2、步长 2 时长宽各减半。它没有参数,不改通道,对窗口里的排列不在乎;反向传播时梯度只回到最大值那一格。

零件凑齐以后,标准装法是 CONV、RELU、CONV、RELU、POOL 一组,重复几组,最后拉平接全连接层打分。卷积改通道,pooling 缩长宽,ReLU 提供非线性。ReLU 和 pooling 的先后不影响结果,先 pool 更省。

这样搭出来的网络能多深?下一页看 ImageNet 比赛里的三个代表网络:AlexNet、VGG、ResNet,它们把层数从 8 一路推到 152。

课件里的坑

  • [只问不答] 课件问「梯度怎么算」「是不是分段线性」「max、min、mean 选哪个」,只提问没给答案,本页的答案是补充(p.20)
  • [只问不答] 课件问 ReLU 和 max-pool 的顺序有没有影响,同样没给答案,本页的答案是补充(p.22)
  • [说法边界] 课件说 max-pooling 能 overcome overfitting,实际是缓解,不是消除(p.20)
  • [缺点没写] 课件 take-home 问 max-pooling 的优缺点,缺点没给,常见说法是丢掉位置细节和较弱响应(p.34)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先手算一次 2×2 的 max-pooling;再把「零件改了什么」那张表默写出来;然后过一遍课件例题;最后做完整例题,把一个小 CNN 的每层尺寸和参数量从头算到尾。

必背

  1. max-pooling 按窗口取最大值:降采样、保留最大响应、对窗口内排列不变;没有参数,通道数不变。
  2. 2×2、stride 2 的 max-pooling 让长宽各减半:128×128×32 → 64×64×32。
  3. max-pooling 反向传播只把梯度传给窗口里的最大值位置,其余位置梯度为 0。
  4. 典型 CNN:CONV-RELU-CONV-RELU-POOL 重复几次,最后接全连接层输出类别。
  5. ReLU 和 max-pooling 交换顺序结果相同(ReLU 单调不减),先 pool 计算更少。

课件例题

例 1(课件 p.20):手算 max-pooling

题面:4×4 输入的四行依次是 1 1 2 4、5 6 7 8、3 2 1 0、1 2 3 4。用 2×2 的窗口、步长 2 做 max-pooling,结果是什么?

提示

步长等于窗口大小,四个窗口互不重叠:左上、右上、左下、右下。

解答
  1. 左上 {1, 1, 5, 6} → 6;右上 {2, 4, 7, 8} → 8。
  2. 左下 {3, 2, 1, 2} → 3;右下 {1, 0, 3, 4} → 4。
  3. 结果是 2×2:第一行 6、8,第二行 3、4。

例 2(课件 p.20):pooling 后的尺寸

题面:128×128×3 的图经过 Conv1(5×5×3×32,步长 1,补边保持尺寸),再做 2×2、步长 2 的 max-pooling。pooling 前后各多大?pooling 层有多少参数?

提示

pooling 也能套输出尺寸公式,窗口大小当 k。通道数要不要变?

解答
  1. Conv1 补边后输出 128×128×32。
  2. pooling:(128 − 2)/2 + 1 = 64,输出 64×64×32,通道数不变。
  3. 参数量 0,pooling 只取最大值。

例 3(课件 p.22):ReLU 和 max-pooling 的顺序

题面:课件问「Does the order of ReLU and Max-pool matter?」。用窗口 −3、−1、2、−5 和 −4、−2、−6、−1 各验证一次。

提示

两种顺序各算一遍。再想想 ReLU 会不会改变数的大小顺序。

解答
  1. 第一个窗口:两种顺序都得 2。
  2. 第二个窗口:先 ReLU 全变 0,最大 0;先取最大 −1,ReLU 后 0。也一样。
  3. 补充:ReLU 单调不减,不改变大小顺序,所以顺序不影响结果;先 pooling 计算更少。

例 4(课件 p.31 Q3):引入 pooling 层的主要目的是什么?

提示

想想 pooling 有没有权重、改不改通道数。

解答

选 D:逐步缩小空间尺寸,并带来一定的空间不变性。A 错,pooling 没有可学习的权重;C 错,pooling 不改变通道数。

例 5(课件 p.32 Q6):卷积层之间的非线性激活(如 ReLU)起什么作用?

提示

去掉 ReLU,几层卷积叠起来是什么运算?

解答

选 B:让网络能学复杂的、非线性的层级图案。没有它,多层卷积叠起来仍然是一个线性运算。

完整例题

题面(自编):输入 32×32×3 的图,依次经过:Conv1(16 个 3×3 的核,步长 1,每边补 1)→ ReLU → max-pooling(2×2,步长 2)→ Conv2(32 个 3×3 的核,步长 1,每边补 1)→ ReLU → max-pooling(2×2,步长 2)→ 拉平 → 全连接层输出 10 类。求每层输出尺寸和参数量(含偏置),哪一层参数最多?

解法:

  1. Conv1:(32 + 2 − 3)/1 + 1 = 32,输出 32×32×16;参数 3×3×3×16 + 16 = 448。
  2. ReLU 不改尺寸、没有参数。pooling:32/2 = 16,输出 16×16×16,参数 0。
  3. Conv2:补边保持 16,输出 16×16×32;参数 3×3×16×32 + 32 = 4,640。
  4. pooling:输出 8×8×32,参数 0。
  5. 拉平:8×8×32 = 2,048 个数。全连接 2,048×10 + 10 = 20,490。

答案:32×32×16 → 16×16×16 → 16×16×32 → 8×8×32 → 10;参数 448、4,640、20,490,全连接层最多。

答题格式:画一张表「层 / 输出尺寸 / 参数量」,ReLU 和 pooling 也各占一行,参数写 0,不要漏行。

变式题(先自己做)

(1) 4×4 输入四行依次是 0 3 2 2、1 4 5 1、7 0 0 2、2 2 1 9,做 2×2、步长 2 的 max-pooling。 (2) 一个 56×56×64 的特征图连续做两次 2×2、步长 2 的 max-pooling,输出多大?两层一共多少参数? (3) 第 (1) 题左上窗口里,哪个位置能拿到反向传过来的梯度?

提示

(1) 四个不重叠窗口各取最大。(2) 每次长宽减半,通道不变。(3) 梯度只回到最大值的位置。

判分点与答案(非官方评分标准)

判分点:① 窗口划分正确;② 通道数不变;③ pooling 参数写 0;④ 梯度只给最大值位置。

(1) 左上 {0, 3, 1, 4} → 4,右上 {2, 2, 5, 1} → 5,左下 {7, 0, 2, 2} → 7,右下 {0, 2, 1, 9} → 9,结果两行 4 5、7 9。

(2) 56 → 28 → 14,输出 14×14×64;参数 0。

(3) 左上窗口的最大值是 4(第 2 行第 2 列),只有它拿到梯度,其余三个位置梯度为 0。

闪卡自测

1. max-pooling 的三个性质是什么?

降采样;保留最大特征、忽略较小的,课件原话是克服过拟合,实际效果是缓解;对窗口内神经元的排列不变(p.20)。

2. 128×128×32 做 2×2、步长 2 的 max-pooling,输出多大?参数多少?

64×64×32,参数 0(p.20)。

3. max-pooling 反向传播时梯度传给谁?

补充:只传给窗口里取到最大值的位置,其余位置梯度为 0(p.20)。

4. max-pooling 是分段线性的吗?

补充:是。「谁最大」固定的区域里,输出就等于那个输入(p.20)。

5. 典型 CNN 的结构怎么排?

(CONV-RELU-CONV-RELU-POOL) 重复几次,最后接全连接层(p.22)。

6. ReLU 和 max-pooling 交换顺序,结果变吗?

补充:不变,ReLU 单调不减;先 pool 计算更少(p.22)。

7. 引入 pooling 的主要目的是什么?

逐步缩小空间尺寸,带来一定的空间不变性(p.31)。

下一讲

零件装好了,接下来看它们能叠多深。下一页讲 ImageNet 上的三个代表网络 AlexNet、VGG、ResNet,以及为什么越深越好:L06d。

下一讲 →
L06d L06d AlexNet、VGG、ResNet:网络为什么越做越深

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。