← COMP5511 全部讲次
L07a-3 · 第 7 周

L07a-3 参数量与池化:数清一层要学几个数,再把图缩小一半

先数一个卷积层的参数量,看它为什么和图的大小无关,认识常见设置和 1×1 卷积;再一格一格做一遍最大池化,最后把卷积、ReLU、池化、全连接串成一个完整的 CNN。

一句话版

一个卷积层要学多少个数,只看滤波器:每个滤波器的权重个数是 F × F × 输入深度,再加 1 个偏置,乘上滤波器个数就是整层。图本身多大,和参数量没关系。

池化层专门负责把图缩小。它在每张激活图上开一个小窗,每个窗只留一个代表(通常是最大值),没有任何参数要学。

卷积层找特征,池化层缩尺寸,最后全连接层给出分类结果,这三种层串起来就是一个完整的 CNN。

前置:输出尺寸公式见上一页 L07a-2。

先认识这几个词

词 全称 / 读法 一句人话
K number of filters,滤波器个数 这一层准备了几个滤波器,也就是输出深度
D₁ input depth,输入深度 输入有几层(几个通道)
偏置 bias 每个滤波器点积完再加的那 1 个数
1×1 卷积 1×1 convolution 窗口只有一格,专门改深度
池化 pooling,也叫下采样 downsample 开小窗,每窗留一个代表,把图缩小
最大池化 max pooling 每个窗只留最大的那个数
ReLU Rectified Linear Unit 逐个数做 max(0, x),负数变 0

一个类比:班级合影的缩印

全班合影要印成小照片贴进校刊。编辑把原图切成一个个 2×2 的小方块,每块只留最亮的那个点,印出来的照片边长只剩一半。

缩印后细节少了,可谁站在哪、谁穿白衣服还看得出来。最亮的点代表了「这一块有没有亮东西」,至于它在方块里的左上还是右下,就不在乎了。这就是最大池化。

缩印这件事没什么要学的,规则写死:切块、取最亮。所以池化层没有参数。

类比在哪里失效:

  • 照片缩印通常是三层颜色一起处理。池化层对每张激活图各做各的,64 张进去 64 张出来,层与层之间不混。
  • 激活图里的数可以是任意实数,「最亮」只是「最大」的比喻。

从零讲起

1. 数参数:先数一个滤波器,再乘个数

它解决什么问题

训练一个网络,要学的数越多,需要的数据和算力越多,也越容易过拟合。所以设计网络时得会数:这一层到底有几个参数?

直觉

参数都藏在滤波器里。一个滤波器的形状是 F × F × D₁,里面每一格是一个权重。它还带 1 个偏置。

这个滤波器滑过图上所有位置,用的都是同一组权重,所以图再大,参数也不会多。K 个滤波器,参数就是 K 份。

一步一步看

目标:先数一个滤波器的权重和偏置再乘个数,看这一层参数是 760,而且和输入长宽无关。

拿上一页那道题:输入 32×32×3,10 个 5×5 滤波器,步长 1,补零 2。

  1. 补全滤波器的形状:深度等于输入深度 3,所以是 5×5×3。

  2. 一个滤波器的权重:5 × 5 × 3 = 75。

  3. 加上偏置:75 + 1 = 76。

  4. 10 个滤波器:76 × 10 = 760。

    三个方框从左到右:一个滤波器 5×5×3 = 75 个权重,加偏置 75 + 1 = 76,10 个滤波器 76 × 10 = 760;底下注明和输入的长宽 32×32 无关

  5. 换一张 64×64×3 的图喂进同一层,参数还是 760,只是输出变成 64×64×10。

怎么算

参数量 = (F · F · D₁) · K + K。

意思是:F · F · D₁ 是一个滤波器的权重个数,乘 K 是所有滤波器的权重,最后的 + K 是每个滤波器各 1 个偏置。式子里没有输入的宽和高。

常见误解

以为输入图越大,卷积层参数越多

参数只取决于 F、D₁、K。随输入大小增长的是全连接层,它每个输出都要和每个输入连线。卷积层的输出尺寸会随输入变大,参数量不变。

漏掉偏置,或者把偏置算成 F × F 个

每个滤波器只有 1 个偏置,点积算完加一次。10 个滤波器就是 10 个偏置。

试一下

输入 32×32×3,用 32 个 3×3 滤波器。这一层多少参数?

每个滤波器 3×3×3 = 27 个权重加 1 个偏置,共 28;32 个是 (3·3·3 + 1) × 32 = 896。

2. 常见设置与 1×1 卷积

它解决什么问题

F、S、P、K 四个数可以随便组合,可大多数组合要么尺寸不合法,要么缩得太快。课件给了几组常用搭配,照着选基本不出错。

直觉

最常用的两组让宽高不变:3×3 补 1,5×5 补 2,步长都是 1。滤波器个数 K 常取 2 的幂,如 32、64、128、512,方便硬件计算。

1×1 卷积看起来什么都没做,窗口只有一格。可它的深度是 D₁:它在每个位置把 D₁ 个通道做一次加权求和。用 K 个这样的滤波器,深度就从 D₁ 变成 K,宽高不动。

一步一步看

目标:用公式算几种常见设置的输出宽,再看 1×1 卷积怎样不动宽高、只把深度从 64 压到 32。

  1. 把课件的常见设置列成表,放在 32 宽的输入上算输出宽:

    设置 输出宽 效果
    F = 3, S = 1, P = 1 (32 − 3 + 2)/1 + 1 = 32 宽高不变
    F = 5, S = 1, P = 2 (32 − 5 + 4)/1 + 1 = 32 宽高不变
    F = 5, S = 2, P 视情况 P = 2 时 (32 − 5 + 4)/2 + 1 = 16.5 课件写 whatever fits
    F = 1, S = 1, P = 0 (32 − 1)/1 + 1 = 32 宽高不变,只改深度
  2. 看 1×1 卷积:输入 32×32×64,用 32 个 1×1 滤波器。每个滤波器形状是 1×1×64。

  3. 在某一个位置上,它把这一格的 64 个通道值各乘一个权重再相加,得到 1 个数。

  4. 32 个滤波器得到 32 个数,输出 32×32×32,深度从 64 压到 32。

  5. 参数:(1·1·64 + 1) × 32 = 2080。

怎么算

1×1 卷积参数量 = (D₁ + 1) · K,输出 = W × H × K。

意思是:1×1 卷积在每个像素上做一次「D₁ 维到 K 维」的全连接,所有像素共用这一组权重。它常用来压缩或扩展深度。

常见误解

以为 1×1 卷积什么也不做

它在宽高方向确实只看一格,可在深度方向看全部 D₁ 个通道。它的作用就在深度方向:混合通道、改变通道数。

试一下

输入 16×16×128,用 64 个 1×1 滤波器。输出多大?多少参数?

输出 16×16×64。参数 (1·1·128 + 1) × 64 = 129 × 64 = 8256。

3. 池化:每个窗口只留一个代表

它解决什么问题

卷积层补零后宽高不变,可网络最后要从整张图浓缩出一个类别,图总得变小。池化层有计划地缩小尺寸:后面的层计算量变少,同样大小的滤波器在缩小后的图上能看到原图更大的范围。

从哪来(补充)

最大池化的概念由 Yamaguchi 等人在 1990 年提出。

出处:Wikipedia: Convolutional neural network

直觉

在一张激活图上开 2×2 的窗,步长 2,窗与窗不重叠。每个窗里 4 个数只留最大的一个。图的宽高各减半,数据量剩四分之一。

激活图里大的数代表「这里有这个特征」。取最大值保留了「这一块里有没有」,丢掉了「精确在哪一格」。图案平移一点点,结果往往不变。

一步一步看

目标:用 2×2、步长 2 的窗口对 4×4 激活图做最大池化,看 16 个数怎样缩成 4 个。

拿一张 4×4 的激活图:第 1 行 1 1 2 4,第 2 行 5 6 7 8,第 3 行 3 2 1 0,第 4 行 1 2 3 4。窗口 2×2,步长 2。

  1. 左上窗口盖住 1、1、5、6,最大是 6,填进输出左上。

    最大池化第 1 帧:4×4 切片左上 2×2 窗口高亮,盖住 1、1、5、6,max 得 6,填进 2×2 输出左上格

  2. 右跳 2 格,窗口盖住 2、4、7、8,最大是 8。

    最大池化第 2 帧:窗口右跳两格盖住 2、4、7、8,max 得 8,填进输出右上格,左上已是 6

  3. 换行,下跳 2 格,回到最左:窗口盖住 3、2、1、2,最大是 3。

    最大池化第 3 帧:窗口换到左下,盖住 3、2、1、2,max 得 3,填进输出左下格

  4. 最后右下:窗口盖住 1、0、3、4,最大是 4。输出 [[6, 8], [3, 4]],16 个数缩成 4 个。

    最大池化第 4 帧:窗口到右下,盖住 1、0、3、4,max 得 4,2×2 输出填满为 6、8、3、4

怎么算

池化输出:W₂ = (W₁ − F)/S + 1,H₂ = (H₁ − F)/S + 1,D₂ = D₁,参数 0。

意思是:宽高的算法和不补零的卷积一样,只是池化一般不补零。深度不变,因为每张激活图单独池化。没有参数,因为「取最大」是固定规则。

常见误解

以为池化和卷积一样会改深度

卷积的滤波器贯穿全部深度,输出深度等于滤波器个数。池化逐张激活图各做各的,64 张进去还是 64 张出来,224×224×64 池化后是 112×112×64。

以为池化层也有权重要训练

最大池化只是比大小,没有可学的数,参数量是 0。反向传播时,梯度只传回每个窗口里取到最大值的那一格,其余格梯度为 0。

试一下

同一张 4×4 激活图改做平均池化(每窗取平均),2×2、步长 2,结果是什么?

左上 (1+1+5+6)/4 = 3.25,右上 (2+4+7+8)/4 = 5.25,左下 (3+2+1+2)/4 = 2,右下 (1+0+3+4)/4 = 2。结果 [[3.25, 5.25], [2, 2]]。

4. 把层串成一个完整的 CNN

它解决什么问题

前面讲的都是单独一层。真正的网络要把卷积、ReLU、池化、全连接按顺序接起来,最后输出每个类别的分数。读懂结构图,才能一层一层算尺寸和参数。

直觉

卷积层(补零时)保持宽高、改变深度;ReLU 逐个数取 max(0, x),不改尺寸;池化层保持深度、把宽高减半。几轮下来,图越来越小、越来越深。

最后把剩下的小图拉平,接全连接层,输出每个类别一个分数。课件示例的类别是 car、truck、airplane、ship、horse。

一步一步看

目标:沿三段卷积加池化一路算尺寸,看宽高怎样从 32 减半到 4,最后拉平接全连接。

  1. 课件结构:CONV → RELU → CONV → RELU → POOL,整段重复三次,最后接 FC。

  2. 数尺寸时跳过 RELU,只看 CONV 和 POOL。以 32×32×3 输入为例(卷积都用 3×3、补 1、步长 1,池化都用 2×2、步长 2,滤波器个数自拟):

    段 经过 输出
    第 1 段 两层卷积 K = 16,再池化 16×16×16
    第 2 段 两层卷积 K = 32,再池化 8×8×32
    第 3 段 两层卷积 K = 64,再池化 4×4×64
    FC 拉平后接全连接 5 个类别分数
  3. 卷积每层宽高不变,池化每次减半:32 → 16 → 8 → 4。

  4. 最后拉平是 4 × 4 × 64 = 1024 维,全连接到 5 个输出要 5120 个权重。

怎么判断

拿到一张结构图,逐层问两句:这层改宽高吗?这层改深度吗?

卷积补零合适时只改深度;池化只改宽高;ReLU 两样都不改。全连接放在最后,负责把特征变成分数。

常见误解

以为 RELU 也是一层要算参数

结构图把 RELU 单独画成一层,但它只是逐元素做 max(0, ·),不改尺寸,没有参数。算参数和尺寸时可以跳过。

试一下

输入 64×64×3,先 3×3 卷积 K = 8(补 1、步长 1),再 2×2 步长 2 池化,再 3×3 卷积 K = 16(补 1、步长 1),再池化。最后输出多大?

64×64×8 → 32×32×8 → 32×32×16 → 16×16×16。

把它们串起来

一个卷积层的参数全在滤波器里。每个滤波器 F × F × D₁ 个权重加 1 个偏置,K 个滤波器乘 K 份。课件那道题:5×5×3 是 75,加偏置 76,10 个共 760。式子里没有图的宽高,这就是权重共享省下来的。

常见设置大多让宽高不变,比如 3×3 补 1、5×5 补 2。1×1 卷积在宽高上只看一格,在深度上看全部通道,用来改深度。

缩小尺寸交给池化层。它在每张激活图上各开小窗,每窗留最大值,宽高减半,深度不变,没有参数。

把这几种层排好:卷积加 ReLU 找特征,池化缩尺寸,重复几轮,最后全连接输出分数。这就是一个完整的 CNN。下一页换一个方向:输入不再是一张图,而是一串长度不定的序列。

课件里的坑

  • [课件留白] 常见设置里 F = 5、S = 2 那一行的补零写的是「whatever fits」。以 32 宽输入为例,27 + 2P 恒为奇数,任何整数补零都除不尽,框架通常向下取整(p.40)。
  • [课件留白] 池化常见设置 F = 3、S = 2 用在 224 上得 111.5,课件没有给配套的输入尺寸,作答时先算是否整除(p.44)。
  • [读图提醒] ConvNetJS 页面上的 state of the art 约 90%、人类约 94% 是演示页面的说明文字,时效性要自己判断(p.45)。
  • [读图提醒] 风格迁移那页左边两张图没有标出处,这页是展示,不是考点(p.49)。
  • [读图提醒] p.19 和 p.41 的结构图把 RELU 画成单独一层,它没有参数、不改尺寸(p.19)。

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写参数公式和池化公式;再在纸上画那张 4×4 切片,自己做一遍最大池化;然后手算课件例题和完整例题;最后做变式题,做完对照两条尺寸公式检查每一步。

必背

  1. 每个滤波器有 F·F·D₁ 个权重加 1 个偏置,整层 (F·F·D₁)·K 个权重加 K 个偏置,与输入的宽高无关
  2. 课件例题:32×32×3 输入、10 个 5×5 滤波器、步长 1、补零 2,输出 32×32×10,参数 760
  3. 卷积层常见设置:K 取 2 的幂;F = 3, S = 1, P = 1;F = 5, S = 1, P = 2;F = 1, S = 1, P = 0 的 1×1 卷积用来改变深度
  4. 池化对每张激活图独立操作,输出宽高 = (W₁ − F)/S + 1,深度不变,没有参数;2×2、步长 2 的最大池化把宽高减半
  5. 最大池化每个窗口只留最大值:4×4 切片 1 1 2 4 / 5 6 7 8 / 3 2 1 0 / 1 2 3 4 经 2×2、步长 2 得 [[6, 8], [3, 4]]
  6. 典型 CNN:CONV → RELU → CONV → RELU → POOL 重复几次,最后接 FC 输出类别分数;RELU 不改尺寸、没有参数

课件例题

例 1(课件 p.36–39):32×32×3 输入、10 个 5×5 滤波器、步长 1、补零 2,输出多大?参数多少?

见下方完整例题。

例 2(课件 p.40):常见设置表里的四组 F、S、P,放在 32×32 输入上各得多宽?

题面:F = 3, S = 1, P = 1;F = 5, S = 1, P = 2;F = 5, S = 2, P = whatever fits;F = 1, S = 1, P = 0。

提示

逐组代入 (W₁ − F + 2P)/S + 1,第三组看 27 + 2P 能不能被 2 整除。

解答

第一组 (32 − 3 + 2)/1 + 1 = 32;第二组 (32 − 5 + 4)/1 + 1 = 32;第四组 (32 − 1)/1 + 1 = 32,三组都保持宽度。第三组 (32 − 5 + 2P)/2 + 1 里 27 + 2P 恒为奇数,P = 2 时得 16.5,除不尽,课件只说「whatever fits」。

例 3(课件 p.42):224×224×64 池化后为什么是 112×112×64?

题面:课件图中池化把这块激活缩小,每张激活图独立处理。

提示

宽高用池化公式,深度想想池化是不是逐张做。

解答

宽高按 2×2、步长 2 算:(224 − 2)/2 + 1 = 112,减半。池化逐张做,64 张激活图池化后还是 64 张,深度不变。

例 4(课件 p.43):4×4 切片做 2×2、步长 2 的最大池化,结果是什么?

题面:第 1 行 1 1 2 4,第 2 行 5 6 7 8,第 3 行 3 2 1 0,第 4 行 1 2 3 4。

提示

切成四个不重叠的 2×2 块,每块取最大。

解答

左上 {1, 1, 5, 6} 取 6,右上 {2, 4, 7, 8} 取 8,左下 {3, 2, 1, 2} 取 3,右下 {1, 0, 3, 4} 取 4。结果 [[6, 8], [3, 4]],16 个数缩成 4 个。

例 5(课件 p.44):池化常见设置 F = 2, S = 2 和 F = 3, S = 2 用在 224 上各得多少?

题面:池化层两个超参数 F、S,输出 (W₁ − F)/S + 1,没有补零项。

提示

第二组算出来是不是整数?不是整数时换个什么输入尺寸能整除?

解答

F = 2, S = 2:(224 − 2)/2 + 1 = 112。F = 3, S = 2:(224 − 3)/2 + 1 = 111.5,不是整数,这组设置要配合别的输入尺寸,例如 225 时得 112。两种设置参数都是 0。

例 6(课件 p.45):ConvNetJS 演示里这一层为什么有 1216 个参数?

题面:一个卷积层显示为 32×32×16,滤波器 5×5×3,步长 1。

提示

输出深度告诉你有几个滤波器。

解答

输出深度 16,说明有 16 个滤波器。每个 5×5×3 = 75 个权重加 1 个偏置,16 × 76 = 1216。也可以拆成 16 × 75 = 1200 个权重加 16 个偏置。

完整例题

题面(课件 p.36–39):输入 32×32×3,10 个 5×5 滤波器,步长 1,补零 2。(a) 输出体积多大?(b) 这一层有多少参数?

解法:

  1. 补全滤波器形状:滤波器深度等于输入深度,实际是 5×5×3。
  2. 算宽高:(32 + 2×2 − 5)/1 + 1 = 32。这正是 F = 5、P = 2、步长 1 保持尺寸的情形。
  3. 定深度:输出深度 = 滤波器个数 = 10,输出 32×32×10。
  4. 算参数:每个滤波器 5×5×3 + 1 = 76,10 个共 76 × 10 = 760。

要点:两个陷阱都在第 4 步:深度 3 要自己补上,每个滤波器还有 1 个偏置,漏掉任何一个都会算错。参数量与 32×32 无关,同一层用在 64×64 的图上还是 760。

答题格式:写清三样东西:滤波器实际形状、尺寸算式、参数算式。只写 32×32×10 和 760 看不出深度有没有补对。

变式题(先自己做)

变式 1(改编自课件 p.17):输入 32×32×3。依次经过:(1) 卷积层,6 个 5×5 滤波器,步长 1,不补零;(2) 卷积层,10 个 5×5 滤波器,步长 1,不补零;(3) 2×2、步长 2 的最大池化。写出每层输出尺寸和参数量。

提示

第二层的滤波器深度要跟上一层的输出深度走。池化不改深度,也没有参数。

判分点与答案(非官方评分标准)

判分点:① 第二层滤波器写成 5×5×6;② 每层都带偏置;③ 池化参数答 0。

(1) (32 − 5)/1 + 1 = 28,输出 28×28×6。参数 6 × (5×5×3 + 1) = 6 × 76 = 456。

(2) (28 − 5)/1 + 1 = 24,输出 24×24×10。参数 10 × (5×5×6 + 1) = 10 × 151 = 1510。

(3) (24 − 2)/2 + 1 = 12,输出 12×12×10,参数 0。两层卷积共 456 + 1510 = 1966 个参数。

变式 2:输入 64×64×3。

(a) 用 16 个 3×3 滤波器、步长 1、补零 1,输出尺寸和参数量是多少? (b) 接着做 2×2、步长 2 的最大池化,输出尺寸和参数量是多少? (c) 如果 (a) 改成 5×5 滤波器、步长 2、不补零,合法吗?

提示

(a) 先判断补零是不是 (F − 1)/2,是的话宽高不变。参数别忘了每个滤波器的偏置。(c) 把数代进公式,看结果是不是整数。

判分点与答案(非官方评分标准)

判分点:① 滤波器深度是否补成 3;② 尺寸公式是否带上补零;③ 池化的参数是否答 0;④ (c) 是否给出算式再下结论。

(a) (64 − 3 + 2)/1 + 1 = 64,输出 64×64×16。参数 16 × (3×3×3 + 1) = 16 × 28 = 448。

(b) (64 − 2)/2 + 1 = 32,输出 32×32×16,参数 0。

(c) (64 − 5)/2 + 1 = 30.5,不是整数,放不下,需要改补零或改步长。

闪卡自测

1. 卷积层参数公式是什么?和输入宽高有关吗?

(F·F·D₁)·K + K,与输入宽高无关(p.40)。

2. 32×32×3 输入、10 个 5×5 滤波器、步长 1、补零 2,参数多少?

每个 5×5×3 + 1 = 76,共 760(p.39)。

3. 1×1 卷积有什么用?

宽高不变,在每个位置混合全部通道,用来改变深度,例如 64 压到 32(p.40)。

4. 池化层输出尺寸怎么算?有几个参数?

W₂ = (W₁ − F)/S + 1,深度不变,参数 0(p.44)。

5. 课件那张 4×4 切片做 2×2、步长 2 最大池化,结果是什么?

[[6, 8], [3, 4]](p.43)。

6. ConvNetJS 那层 1216 个参数怎么来?

16 个 5×5×3 滤波器:16 × 75 + 16 = 1216(p.45)。

下一讲

L07b-1 转到循环神经网络 RNN:输入变成长度不定的序列,同一组权重在时间上反复使用,一步一步把序列读进一个隐藏状态。去之前把本页的参数公式默写一遍,RNN 那边也要数参数。

上一讲是 L07a-2:步长与补零。

下一讲 →
L07b-1 L07b-1 RNN:读一句话时,脑子里那张越写越满的便签

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。