← COMP5511 全部讲次
L07a-1 · 第 7 周

L07a-1 从全连接到卷积:一张小窗口滑过整张图

从点积讲起,看全连接层处理图像为什么又贵又丢信息,再在 5×5 的小矩阵上一格一格滑一遍卷积,最后把多个滤波器叠成一层。

一句话版

卷积层拿一个很小的滤波器,在图像上一格一格地滑。每停一处,就把盖住的那一小块和滤波器做一次点积,得到一个数。滑完整张图,这些数排成一张新的图,叫激活图。

和全连接层比,它只看局部,而且所有位置共用同一组权重。参数因此少得多,像素之间「谁挨着谁」的关系也保住了。

前置:这一页要用到上一讲的神经元「加权求和再加偏置」,见 L06a。

先认识这几个词

词 全称 / 读法 一句人话
点积 dot product 两串数对位相乘,再全部加起来,得到一个数
全连接层 fully connected layer, FC 每个输出都和每个输入连一根线
卷积层 convolution layer, CONV 拿小滤波器在图上滑,每处算一次点积
滤波器 filter,也叫 kernel(卷积核) 一小块权重,比如 5×5×3
激活图 activation map 一个滤波器滑完全图得到的那张输出图
深度 depth,也叫通道数 一张图有几层,彩色图是红绿蓝 3 层
权重共享 weight sharing 同一个滤波器在所有位置都用同一组权重

一个类比:拿一张开了窗的卡片扫格子纸

想象一张写满数字的格子纸。你手里有一张硬卡片,中间挖了一个 3×3 的小窗。卡片上每个窗格旁边都标了一个系数。

你把卡片放在纸的左上角,窗里露出 9 个数。把每个数乘上旁边的系数,加起来,写在另一张纸上。然后卡片往右挪一格,再算一次。一行挪完,下移一格,从左边重新开始。

挪遍全纸,另一张纸上就是一张新表。卡片上的系数从头到尾没换过,这就是权重共享。卡片只露出一小块,这就是局部连接。

类比在哪里失效:

  • 真实的图有好几层(红绿蓝),卡片也得有同样多层,各层分别乘完再一起加。纸上的类比只有一层。
  • 卡片上的系数要靠训练学出来,没人事先写好。网络会自己学到「找竖边」「找某种颜色」这类系数。

从零讲起

1. 先补一块:点积(补充)

它解决什么问题

卷积层每一步算的都是点积。全连接层的每个输出,也是一次点积。先把这个运算弄熟,后面所有的数都是它算出来的。

直觉

两串长度相同的数,第 1 个乘第 1 个,第 2 个乘第 2 个,一直乘到最后,再把所有乘积加起来。结果只有一个数。

一串是输入,一串是权重。权重大的位置,输入对结果的影响就大;权重是 0 的位置,输入怎么变都不影响结果。

一步一步看

目标:拿两串数对位相乘再相加、加上偏置,看一个神经元的输出就是点积加偏置。

  1. 拿两串数:输入是 2、0、1,权重是 3、5、−1。

  2. 对位相乘,得到三项:

    位置 输入 权重 乘积
    1 2 3 6
    2 0 5 0
    3 1 −1 −1
  3. 三个乘积相加:6 + 0 + (−1) = 5。

  4. 神经元还会再加一个偏置 b。取 b = 1,最后输出 6。

怎么算

输出 = wᵀx + b = w₁x₁ + w₂x₂ + … + wₙxₙ + b。

意思是:把权重 w 和输入 x 对位相乘,全部加起来,再加一个偏置。n 是两串数的长度,两串必须一样长,否则对不上位。

常见误解

以为点积的结果还是一串数

点积只出一个数。对位相乘那一步确实得到一串,但最后要全部加起来。卷积每停一处,就靠这一个数填输出图的一格。

试一下

输入 1、1、0、2,权重 2、−1、4、1,偏置 0。输出是多少?

1×2 + 1×(−1) + 0×4 + 2×1 = 2 − 1 + 0 + 2 = 3。

2. 全连接层为什么不适合图像

它解决什么问题

上一讲的网络都是全连接的。它处理表格数据没问题,换成图像就出两个毛病:参数太多,空间关系丢了。卷积层就是冲着这两个毛病来的。

直觉

全连接层只认一列数。一张彩色小图是 32 行、32 列、3 层颜色,要先「拉平」成一长串,才能喂进去。

拉平以后,原来上下相邻的两个像素,在长串里隔了 32 个位置。网络看不出它们挨着。哪怕两张图只差平移一格,长串也几乎整串都变了。

参数也爆炸。每个输出都要和每个输入连一根线,输入有几千个,每个输出就有几千个权重。

一步一步看

目标:数一张图拉平后的长度和所需权重,看图一变大,全连接层的参数涨得有多快。

  1. 拿一张 32×32×3 的彩色图。

  2. 拉平:一行接一行、一层接一层排成一列。

  3. 数长度,并列出要多少权重:

    步骤 算式 结果
    拉平后长度 32 × 32 × 3 3072
    一个输出要的权重 和每个输入连一根 3072
    输出 10 个数要的权重 10 × 3072 30720
  4. 再换一张大一点的图,比如 200×200×3,拉平就是 120000 维,一个输出就要 120000 个权重。图越大,参数涨得越凶。

怎么算

权重个数 = 输出个数 × 输入维度。

意思是:权重矩阵 W 的形状是「输出个数 × 输入维度」,每一行负责一个输出,和整条输入做一次点积。

常见误解

以为全连接层的问题只是参数多,买大显卡就能解决

参数多是一个问题,另一个是拉平把空间结构丢了。像素上下左右谁挨着谁,对认图很重要。全连接层把这些信息交给网络自己从一长串里重新猜,学得又慢又容易过拟合。

试一下

一张 28×28 的灰度图(只有 1 层),全连接层输出 10 个数,要多少权重?

拉平后 28 × 28 × 1 = 784 维,权重 10 × 784 = 7840 个。

3. 卷积:滤波器一格一格滑过去

它解决什么问题

既要省参数,又要保住空间关系。办法是每个输出只看输入的一小块,并且所有位置共用同一个小滤波器。

从哪来(补充)

「只看一小块、到处用同一组权重」这个思路,可以追溯到福岛邦彦(Kunihiko Fukushima)1980 年提出的 neocognitron。它受视觉皮层的启发,用多层局部感受的单元识别手写字符。

出处:Wikipedia: Convolutional neural network

直觉

滤波器是一小块权重。把它盖在图像左上角,盖住的那一块和它做点积,得到一个数,写进输出的左上角。

然后滤波器右移一格,再算,写进输出的下一格。一行走完,下移一格,从左边接着来。

因为滤波器一直是同一个,它在左上角找什么图案,到右下角也找同样的图案。这叫权重共享。

一步一步看

目标:让 3×3 滤波器在 5×5 输入上逐格滑完九个位置,看每处的对位乘加怎样填满 3×3 输出。

下面用一个 5×5 的输入、3×3 的滤波器,一格一格走完全部位置。滤波器是

1 0 1 / 0 1 0 / 1 0 1

四个角和中心是 1,其余是 0。每一帧里,青绿框是这一步盖住的窗口,输出里青绿框是这一步要填的格。

  1. 窗口在第 1 行第 1 列。盖住的 9 个数和滤波器对位相乘:1×1 + 1×0 + 1×1 + 0×0 + 1×1 + 1×0 + 0×1 + 0×0 + 1×1 = 4。输出左上角填 4。

    卷积第 1 帧:5×5 输入左上 3×3 窗口高亮,滤波器为四角和中心为 1 的 3×3 矩阵,九项乘积相加得 4,填入 3×3 输出的第 1 行第 1 列

  2. 右移一格,窗口在第 1 行第 2 列:1×1 + 1×0 + 0×1 + 1×0 + 1×1 + 1×0 + 0×1 + 1×0 + 1×1 = 3。

    卷积第 2 帧:窗口右移一格到第 1 行第 2 列,九项乘积相加得 3,填入输出第 1 行第 2 列,左边那格的 4 已经填好

  3. 再右移,窗口在第 1 行第 3 列,右边缘碰到输入的最后一列:1×1 + 0×0 + 0×1 + 1×0 + 1×1 + 0×0 + 1×1 + 1×0 + 1×1 = 4。这一行只放得下 3 个位置。

    卷积第 3 帧:窗口到第 1 行第 3 列,右边缘贴住输入最右列,乘积相加得 4,输出第一行 4、3、4 填满

  4. 换行:窗口回到最左,下移一格,在第 2 行第 1 列:0×1 + 1×0 + 1×1 + 0×0 + 0×1 + 1×0 + 0×1 + 0×0 + 1×1 = 2。

    卷积第 4 帧:窗口换到第 2 行第 1 列,九项乘积相加得 2,填入输出第 2 行第 1 列

  5. 窗口在第 2 行第 2 列,正中间:1×1 + 1×0 + 1×1 + 0×0 + 1×1 + 1×0 + 0×1 + 1×0 + 1×1 = 4。

    卷积第 5 帧:窗口在输入正中,九项乘积相加得 4,填入输出正中

  6. 窗口在第 2 行第 3 列:1×1 + 1×0 + 0×1 + 1×0 + 1×1 + 1×0 + 1×1 + 1×0 + 0×1 = 3。

    卷积第 6 帧:窗口在第 2 行第 3 列,乘积相加得 3,输出第二行 2、4、3 填满

  7. 再换行,窗口在第 3 行第 1 列,下边缘碰到输入最后一行:0×1 + 0×0 + 1×1 + 0×0 + 0×1 + 1×0 + 0×1 + 1×0 + 1×1 = 2。

    卷积第 7 帧:窗口在第 3 行第 1 列,下边缘贴住输入最下一行,乘积相加得 2

  8. 窗口在第 3 行第 2 列:0×1 + 1×0 + 1×1 + 0×0 + 1×1 + 1×0 + 1×1 + 1×0 + 0×1 = 3。

    卷积第 8 帧:窗口在第 3 行第 2 列,乘积相加得 3,填入输出第 3 行第 2 列

  9. 最后一处,第 3 行第 3 列:1×1 + 1×0 + 1×1 + 1×0 + 1×1 + 0×0 + 1×1 + 0×0 + 0×1 = 4。输出填满。

    卷积第 9 帧:窗口在右下角,乘积相加得 4,3×3 输出全部填满,依次为 4 3 4、2 4 3、2 3 4

最后的输出是 4 3 4 / 2 4 3 / 2 3 4。5×5 的输入变成了 3×3,因为 3 格宽的窗口在 5 格宽的行上只放得下 3 个位置。

怎么算

输出第 r 行第 c 列 = Σᵢ Σⱼ 输入[r+i][c+j] × 滤波器[i][j] + b。

意思是:把滤波器的左上角对准输入的 (r, c),两块对位相乘再全部加起来,最后加偏置 b。i、j 只在滤波器自己的尺寸里跑。

数位置也能直接看出输出多大:窗口左边缘能落在第几列,输出就有几列。上例左边缘能落在第 1、2、3 列,所以输出宽 3。

常见误解

以为每个位置用的是不同的滤波器

9 个位置用的是同一个 3×3 滤波器,9 个权重从头用到尾。这正是卷积省参数的原因:不管图多大,这一个滤波器都只有 9 个权重(再加 1 个偏置)。

以为窗口可以伸出输入的边界

不补零的话不行。窗口要完整地落在输入里面,所以输出比输入小一圈。想保持尺寸,要先在四周补零,下一页讲。

试一下

同一个 5×5 输入,滤波器换成全 1 的 3×3(9 个权重都是 1),偏置 0。输出左上角是多少?

全 1 滤波器就是把窗口里 9 个数直接加起来。左上窗口是 1 1 1 / 0 1 1 / 0 0 1,和为 6。

一个 6×6 的输入、3×3 的滤波器、不补零、每次挪一格,输出多大?

窗口左边缘能落在第 1 到第 4 列,第 5 列起右边缘就出界,横向 4 个位置,纵向同理,输出 4×4。

4. 深度:多个滤波器叠成一层

它解决什么问题

真实的图有好几层颜色,一个滤波器也只能找一种图案。要同时处理多层输入、同时找多种图案,就要把「深度」加进来。

直觉

输入有 3 层(红绿蓝),滤波器也做成 3 层,比如 5×5×3。它盖住输入的一块 5×5×3,三层各自对位相乘,全部加起来,再加一个偏置,仍然只出一个数。所以滤波器只在宽和高两个方向滑,深度方向不滑。

一个滤波器滑完全图,得到一张激活图。想找 6 种图案,就准备 6 个滤波器,得到 6 张激活图,叠在一起,输出的深度就是 6。

下一层的输入深度变成 6,它的滤波器也要做成 6 层。

一步一步看

目标:用 6 个 5×5×3 滤波器扫过 32×32×3 的输入,看激活图怎样叠成 28×28×6,参数又有多少。

  1. 输入是 32×32×3。准备一个 5×5×3 的滤波器。

  2. 滤波器停在一处:5×5×3 = 75 个数对位相乘,加起来,再加 1 个偏置,得到 1 个数。

  3. 宽方向上,5 格宽的窗口在 32 格宽的行上,左边缘能落在第 1 到第 28 列,共 28 个位置;高方向同理。一张激活图是 28×28×1。

  4. 换 6 个不同的滤波器各滑一遍,得到 6 张 28×28 的激活图,叠成 28×28×6。

    32×32×3 的输入经过 6 个 5×5×3 的滤波器,得到 6 张 28×28 的激活图叠在一起,最前面一张用青绿描边,标注激活图 28×28×6

  5. 数这一层的参数:每个滤波器 75 个权重加 1 个偏置,6 个滤波器是 6 × 76 = 456。

怎么算

参数量 = K × (F × F × D + 1),输出 = 宽 × 高 × K。

意思是:K 是滤波器个数,F 是滤波器边长,D 是输入深度。每个滤波器有 F×F×D 个权重和 1 个偏置;输出深度直接等于 K。

常见误解

以为 5×5 的滤波器就只有 25 个权重

课件常把滤波器写成「5×5」,省掉了深度。它的实际形状是 5×5×D,D 等于输入深度。输入是彩色图时,一个滤波器有 5×5×3 = 75 个权重。

把参数量和输出值个数当成一回事

参数是滤波器里的权重和偏置,只和滤波器形状、个数有关:456。输出值是激活图里的格子数:28 × 28 × 6 = 4704。前者训练时要学,后者每张图算一遍。

试一下

输入是 28×28×6,用 10 个 5×5 的滤波器,不补零、每次挪一格。滤波器实际多深?输出多大?

滤波器深度跟输入走,是 5×5×6。宽方向左边缘能落在第 1 到第 24 列,共 24 个位置,输出 24×24×10。

把它们串起来

卷积层的每一个输出,都是一次点积加偏置。全连接层也是,区别只在一个数「看」多少输入。

全连接层让每个输出看全部输入。一张小彩图拉平是 3072 维,十个输出就要三万多个权重,而且像素的邻居关系在拉平时丢了。

卷积层让每个输出只看一小块,并且所有位置共用一个滤波器。在 5×5 的小例子里,一个 3×3 的滤波器滑 9 次,填满 3×3 的输出,全程只用 9 个权重。

滤波器的深度总是等于输入深度,所以它只在宽高方向滑。一个滤波器出一张激活图,K 个滤波器出 K 张,叠起来就是这一层的输出,深度为 K。

输出比输入小一圈,是因为窗口要完整落在输入里。小多少、怎样不让它变小,是下一页的事:步长和补零。

课件里的坑

  • ⚠️ 课件有误:开头回顾页的损失框写成 J = Σₖ yₖ log(yₖ),少了负号。这个式子恒小于等于 0,是对数似然;当损失最小化时应写 J = −Σₖ yₖ log(yₖ)(p.3)。
  • [读图提醒] p.14 的激活图是 28×28,课件要到 p.31 才给出公式解释这个 28,中间十几页都在铺垫。本页用数位置的办法先解释了它(p.14、p.31)。
  • [读图提醒] 卷积动画里三个通道的点积要相加成一个数,偏置每个滤波器只加一次,步长 2 时窗口一次跳两格(p.18)。
  • [读图提醒] 封面课程号渲染成 COMP&MM,是字体问题,内容没错(p.1)。

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先在纸上画一个 4×4 的小矩阵和一个 2×2 的滤波器,自己滑一遍卷积;再读必背 5 条;然后过一遍课件例题;最后做变式题,每一问先写算式再下结论。

必背

  1. 全连接层把 32×32×3 图像拉平成 3072 维,只输出 10 个数就要 30720 个权重,而且丢掉了像素之间的空间关系
  2. 卷积滤波器的深度总是等于输入深度,只在宽高方向滑动;一个滤波器滑完全图得到一张激活图,输出深度等于滤波器个数
  3. 滤波器在一个位置做一次 5×5×3 = 75 维点积再加 1 个偏置;同一个滤波器在所有位置共用这组权重,这叫权重共享
  4. 6 个 5×5×3 滤波器作用在 32×32×3 上:输出 28×28×6,参数 6 × 76 = 456,输出值 4704 个,参数量和输出个数别混
  5. 课件卷积动画:5×5×3 补一圈零成 7×7×3,两个 3×3×3 滤波器、步长 2,输出 3×3×2;三个通道的点积相加,每个滤波器只加一次偏置

课件例题

例 1(课件 p.10):全连接层处理 32×32×3 图像、输出 10 个数,要多少权重?

题面:图像先拉平成一列向量,再乘权重矩阵 W 得到 10 个输出。

提示

先算拉平后的长度,再想 W 的形状是「输出个数 × 输入维度」。

解答

拉平后是 32 × 32 × 3 = 3072 维,W 是 10×3072,权重 10 × 3072 = 30720 个。每个输出是 W 的一行与输入做 3072 维点积。

例 2(课件 p.12–13):5×5×3 滤波器放在一个位置上,算出几个数?做几维点积?

题面:输入 32×32×3,滤波器 5×5×3,在一个位置计算 wᵀx + b。

提示

点积不管多长都只出一个数。维度就是滤波器里权重的个数。

解答

算出 1 个数。点积维度是 5 × 5 × 3 = 75,再加 1 个偏置。滤波器深度必须等于输入深度 3,所以只在宽高方向滑动。

例 3(课件 p.14–16):6 个 5×5 滤波器作用在 32×32×3 上,输出多大?参数多少?

题面:一个滤波器滑遍所有位置得到一张激活图;用 6 个滤波器,把激活图叠起来。

提示

先数一个滤波器在一行上有几个位置,再想深度由什么决定。参数别漏偏置。

解答

5 格宽的窗口在 32 格宽的行上有 28 个位置,一张激活图 28×28×1。6 张叠起来是 28×28×6,输出深度就是滤波器个数。这一层参数 6 × (5×5×3 + 1) = 456,输出值 28 × 28 × 6 = 4704 个,两个数别混。

例 4(课件 p.17):两层卷积串起来,第二层的滤波器多深?输出多大?

见下方完整例题。

例 5(课件 p.18):卷积动画里输出为什么是 3×3×2?o1 左上角那个 6 怎么来?

题面:输入 5×5×3,补零一圈成 7×7×3;两个 3×3×3 滤波器 W0、W1,偏置 b0 = 1、b1 = 0;步长 2。

CS231n 卷积演示:左列是补零后的三张 7×7 输入切片 x[:,:,0]、x[:,:,1]、x[:,:,2],左上 3×3 窗口用蓝框标出;中间是滤波器 W0 的三张 3×3 切片和 Bias b0 = 1,右边是 W1 的三张切片和 Bias b1 = 0,W1 用红框标出并有连线指向输入窗口
图片来源:COMP5511 Lecture 7 NN-2.pdf, p.18
提示

尺寸:在 7 格宽的行上,3 格宽的窗口每次跳 2 格,数一数能落几处。左上角那个数:三个通道各做一次 3×3 点积,再相加、加偏置。

解答

尺寸:窗口左边缘能落在第 1、3、5 列,共 3 个位置,输出 3×3;两个滤波器给出深度 2。o1 左上角:W1 放在补零输入的左上 3×3 处,三个通道点积分别是 1、4、1,求和 6,加偏置 0 仍是 6。整张 o0 为 [[0, −5, 4], [−6, −2, −4], [−7, −8, −5]],o1 为 [[6, 1, 2], [12, 13, 6], [6, 7, 5]]。

完整例题

题面(课件 p.14–17):输入 32×32×3。第一层用 6 个 5×5 滤波器,第二层再用 10 个 5×5 滤波器,都不补零、每次挪一格。写出每层滤波器的实际形状、输出尺寸、参数量。

解法:

  1. 第一层滤波器形状:深度跟输入走,是 5×5×3。
  2. 第一层输出:5 格宽的窗口在 32 格宽的行上,左边缘能落在第 1 到第 28 列,共 28 个位置。输出 28×28×6。
  3. 第一层参数:6 × (5×5×3 + 1) = 6 × 76 = 456。
  4. 第二层滤波器形状:输入深度变成 6,滤波器是 5×5×6。
  5. 第二层输出:在 28 格宽的行上,左边缘能落在第 1 到第 24 列,输出 24×24×10。
  6. 第二层参数:10 × (5×5×6 + 1) = 10 × 151 = 1510。课件这页没给参数量,这是按公式补算的。

要点:第 4 步最容易错。课件只写「5×5」,深度要自己从上一层的输出深度补上。两层都是每过一层宽高少 4,下一页会看到这样缩下去有什么问题。

答题格式:每层写三行:滤波器实际形状、输出尺寸算式、参数算式。只写最后的数,看不出深度补对没有。

变式题(先自己做)

(1) 本页 5×5 输入(第 1 行 1 1 1 0 0,第 2 行 0 1 1 1 0,第 3 行 0 0 1 1 1,第 4 行 0 0 1 1 0,第 5 行 0 1 1 0 0),滤波器改成中间一列为 1、其余为 0(0 1 0 / 0 1 0 / 0 1 0),偏置 0。写出完整的 3×3 输出。

(2) 输入 64×64×3,用 16 个 3×3 滤波器,不补零、每次挪一格。输出多大?参数多少?输出值有多少个?

(3) 接在 (2) 后面再加一层,用 8 个 5×5 滤波器。滤波器实际形状是什么?这一层参数多少?

提示

(1) 这个滤波器只取窗口中间那一列的三个数相加。(2) 数一行上的位置:窗口左边缘最多落到第几列?(3) 滤波器深度等于上一层输出深度。

判分点与答案(非官方评分标准)

判分点:① (1) 九个位置都要算,写出至少一个位置的乘加式;② (2) 参数量和输出值个数分开答;③ (3) 滤波器深度写成 16。

(1) 每个位置取窗口中间列三个数之和。第 1 行三个位置:1+1+0 = 2,1+1+1 = 3,0+1+1 = 2;第 2 行:1+0+0 = 1,1+1+1 = 3,1+1+1 = 3;第 3 行:0+0+1 = 1,1+1+1 = 3,1+1+0 = 2。输出 2 3 2 / 1 3 3 / 1 3 2。

(2) 左边缘能落在第 1 到第 62 列,输出 62×62×16。参数 16 × (3×3×3 + 1) = 16 × 28 = 448。输出值 62 × 62 × 16 = 61504 个。

(3) 滤波器 5×5×16。参数 8 × (5×5×16 + 1) = 8 × 401 = 3208。

闪卡自测

1. 全连接层处理 32×32×3 图像、输出 10 个数,需要多少权重?

拉平成 3072 维,权重矩阵 10×3072,共 30720 个(p.10)。

2. 一个 5×5×3 滤波器在一个位置上算出几个数?做的是几维点积?

1 个数。5×5×3 = 75 维点积,再加 1 个偏置(p.13)。

3. 什么叫权重共享?

同一个滤波器滑到哪里都用同一组权重,参数量和图的大小无关(p.14)。

4. 6 个 5×5 滤波器作用在 32×32×3 上,输出多大?参数多少?

28×28×6,参数 456,输出值 4704 个(p.16)。

5. 第二层卷积接在 28×28×6 上,5×5 滤波器的实际形状是什么?

5×5×6。滤波器深度总是等于输入深度(p.12、p.17)。

6. 课件卷积动画里,多通道的点积怎样合成一个数?偏置加几次?

三个通道各做一次 3×3 点积,三个结果相加,再加一次偏置(p.18)。

下一讲

L07a-2 从滑动过程里推出输出尺寸公式 (N − F)/S + 1,讲步长、补零,以及为什么不补零时图会缩得太快。去之前把本页 9 帧的窗口位置在纸上再数一遍。

上一讲是 L06e:反向传播。

下一讲 →
L07a-2 L07a-2 步长与补零:输出到底多大,数一数窗口能停几处

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。