L06d AlexNet、VGG、ResNet:网络为什么越做越深
从 ImageNet 错误率表出发,依次看 AlexNet、VGG、ResNet 各靠哪一招把网络做深,并逐帧画出感受野怎么随层数变大。
一句话版
ImageNet 比赛里,错误率每降一大截,背后几乎都是网络变深了。
AlexNet 用 ReLU 把网络做到 8 层;VGG 全部改用 3×3 小核,叠到 19 层;ResNet 给每几层加一条捷径,一口气做到 152 层,错误率降到人类基准以下。
上一页 L06c 把零件装成了一个小 CNN,这一页看它能叠多深。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| ImageNet | 图像数据集与比赛 | 一个上百万张图、1000 类的分类比赛 |
| top-5 错误率 | top-5 error | 模型猜的前五名里都没有正确答案的比例 |
| 感受野 | receptive field | 原图上能影响某个神经元的那一块区域 |
| skip connection | 捷径连接 / 跳连 | 把输入原样跳过几层,加到输出上 |
| 残差 | residual | 几层卷积只负责学「在输入上要改多少」 |
| BN | Batch Normalization | 把每层的输出拉回稳定范围,课件只在图里出现 |
一个类比:传话游戏
一排人玩传话。人越多,能做的加工越多,可话传到最后常常面目全非。
VGG 的做法是让每个人只多说一点点,一句话拆成很多小步。ResNet 更进一步:每个人除了转述,还把原话的纸条一起往后递。后面的人至少能拿到原话,只需在上面补自己的修改。
类比在哪里失效:
- 传话里信息只往前走。网络训练时,误差还要从最后一个人往回传,捷径对回传同样有用。
- 纸条是原样传递的;网络里 F(x) + x 是逐个数相加,要求两边形状一致。
从零讲起
1. ImageNet 比赛和 top-5 错误率
它解决什么问题
怎么判断一个网络结构比另一个好?需要一个大家都认的考场。ImageNet 比赛就是那个考场,每年冠军的错误率连成一条线,能直接看出哪种设计带来了进步。
直觉
每张图模型给出五个最可能的类别。只要正确答案在这五个里,就算对。五个都不对,才算一次错误。
1000 类里有很多长得很像的类别,比如不同品种的狗。所以比赛看 top-5,比只看第一名更宽容一点。
一步一步看
目标:按年份看 ImageNet 冠军的 top-5 错误率,看层数一路加深时错误率怎样降到人类基准以下。
-
2010 和 2011 年的冠军都是浅层方法,错误率 28.2 和 25.8。
-
2012 年 AlexNet 用 8 层 CNN,一下降到 16.4。
-
之后层数一路加:VGG 19 层到 7.3,GoogLeNet 22 层到 6.7。
-
2015 年 ResNet 152 层,降到 3.6,低于人类基准 5.1。
怎么判断
读这张表时看两件事:哪一年降得最多,那一年的层数比上一年多了多少。
意思是:课件想让你看到的规律是层数和错误率反着走。2015 到 2017 年这一段,课件标的就是「Revolution of Depth」。
常见误解
以为 top-5 错误率 3.6 表示模型只错 3.6% 的第一名
top-5 只要求正确答案进入前五。只看第一名的错误率会更高。
以为低于人类基准就是全面超过人
人类 5.1 是在这个比赛的同一套题上测的。它只说明在这 1000 类的分类任务上,模型错得比测过的人少。
试一下
2011 到 2012 年,冠军错误率降了多少?
25.8 − 16.4 = 9.4,是整张表里单年降得最多的一次。
2. AlexNet:换上 ReLU,做到 8 层
它解决什么问题
在 2012 年之前,神经网络一深就训练不动。前面讲过,Sigmoid 的导数很小,层一多梯度就消失。AlexNet 要证明:深一点的 CNN 能训练起来,而且效果好很多。
从哪来(补充)
AlexNet 由 Alex Krizhevsky、Ilya Sutskever 和导师 Geoffrey Hinton 在 2012 年做出。他们用两块 GTX 580 显卡训练了五到六天,训练集约 120 万张图。
直觉
课件给的两个亮点:
- 激活函数用 ReLU 替代 Sigmoid。正数部分导数是 1,梯度能往回传得更远。
- 一共 8 层,5 个卷积层加 3 个全连接层,比之前深得多。
另外,课件特意圈出各层核大小不同:11×11、5×5、3×3。这是和 VGG 对比的伏笔。
一步一步看
目标:把 AlexNet 逐层套输出尺寸公式,看 227×227×3 的输入怎样缩到 6×6×256,再输出 1000 类。
-
输入当成 227×227×3。课件图上写的是 224,下面单独说。
-
逐层套输出尺寸公式,结果列成表:
层 设置 输出边长 Conv1 11×11,96 个核,步长 4 55 Pool1 3×3,步长 2 27 Conv2 5×5,256 个核,补 2 27 Pool2 3×3,步长 2 13 Conv3 到 Conv5 3×3,补 1 13 Pool3 3×3,步长 2 6 FC 4096 → 4096 → 1000 1000 类 -
最后的 6×6×256 拉平,进三个全连接层,输出 1000 类的分数。
怎么算
第一层输出:(227 − 11)/4 + 1 = 55。
意思是:11×11 的核每次跳 4 格,在 227 宽的图上能放 55 个位置。
如果照课件写的 224 来算,(224 − 11)/4 + 1 = 54.25,不是整数。所以常见实现都按 227 算,或者加补边。
第一层参数:11×11×3×96 + 96 = 34,944。
常见误解
以为 AlexNet 的 8 层全是卷积层
5 个卷积层加 3 个全连接层,一共 8 层。pooling 没有参数,一般不算层数。
以为 AlexNet 每层的核一样大
核大小各层不同:第一层 11×11,第二层 5×5,后面 3×3。统一用 3×3 是 VGG 的做法。
试一下
第二层是 5×5 的核、补 2、步长 1,输入边长 27,输出边长多少?
(27 + 2×2 − 5)/1 + 1 = 27,尺寸不变。
3. VGG:全部用 3×3,靠叠层看得更远
它解决什么问题
大核看得远,可参数也多。VGG 想知道:不用大核,只用 3×3 小核一层层叠起来,能不能看到同样大的范围,同时省参数?
从哪来(补充)
VGG 出自牛津大学的 Visual Geometry Group,名字就取自这个组。论文 2014 年 9 月 4 日公开,编号 arXiv 1409.1556,同年参加了 ILSVRC 比赛。VGG-16、VGG-19 里的数字是带权重的层数。
直觉
一个 3×3 的神经元只看下面一层的 3×3。可下面那一层的每个格子,又各自看再下面一层的 3×3。
这样往下追,层数越多,顶上那个神经元在原图上能间接看到的区域越大。这块区域就叫感受野。
一步一步看
目标:一层层叠 3×3 卷积,看顶上神经元在原图上的感受野怎样从 3 格扩到 5 格、7 格。
为了看清楚,先画一维的情况,二维时每个方向各自这样扩。
-
只有一层 3×3:顶上的神经元看到原图 3 格。
-
叠第二层:它看到第一层的 3 格,这 3 格合起来盖住原图 5 格。
-
叠第三层:感受野扩到 7 格。每多一层,两边各多 1 格。
怎么算
感受野边长 = 1 + 层数 × (3 − 1)。两层是 1 + 2×(3 − 1) = 5,三层是 1 + 3×(3 − 1) = 7。
意思是:两层 3×3 和一层 5×5 看的范围一样大,三层 3×3 和一层 7×7 一样大。
再比权重(每一对输入、输出通道算一次):
- 两层 3×3:2×9 = 18;一层 5×5:25。
- 三层 3×3:3×9 = 27;一层 7×7:49。
小核叠层省参数,而且每多一层就多一个 ReLU,非线性更强。
VGG16 整体每次 pool 后边长减半:224 → 112 → 56 → 28 → 14 → 7。
常见误解
以为感受野就是卷积核的大小
只有第一层两者一样。深层神经元的感受野要往下一层层追到原图,比核本身大。
以为小核叠层只是为了省参数
省参数是一半理由。另一半是层数变多,中间多了 ReLU,网络能表达更复杂的图案。
试一下
四层 3×3 叠起来,感受野多大?权重和一层同样范围的大核比,各多少?
1 + 4×(3 − 1) = 9,是 9×9。四层 3×3 的权重 4×9 = 36,一层 9×9 是 81。
4. ResNet:加一条捷径
它解决什么问题
只靠不停叠层,到一定深度就训练不动了。层数太多时,连训练集上的准确率都会下降,这叫退化问题。ResNet 要让上百层的网络也能训练好。
从哪来(补充)
ResNet 由何恺明、张祥雨、任少卿、孙剑在 2015 年提出,赢得了当年的 ILSVRC 比赛。论文开头就从退化问题讲起。
出处:Wikipedia: Residual neural network
直觉
普通的几层卷积要从头算出整个输出。ResNet 让这几层只学一个修正量 F(x),最后再把输入 x 原样加回来。
如果某几层没什么可学的,F(x) 学成接近 0 就行,输出就约等于输入。加层至少不会让结果变坏。
一步一步看
目标:跟着输入走一遍残差块的主路和捷径,看输出怎样变成 F(x) + x。
-
输入 x 进入残差块。
-
主路依次经过 Conv、BN、ReLU、Conv、BN,算出 F(x)。
-
上面一条捷径把 x 原样送到加号那里。
-
两路相加得到 F(x) + x,再过一次 ReLU 输出。
-
很多这样的块串起来。ResNet-50、101、152 就是块的个数不同。
怎么算
输出 = F(x) + x。对 x 求导:导数 = F 的导数 + 1。
意思是:不管 F 那一路的梯度多小,总有一个恒等的 1 沿捷径直接传回前面的层,梯度不会在深处消失。
常见误解
以为 skip connection 是把 x 和 F(x) 拼在一起
是逐个数相加,两边的形状必须一样。拼接会让通道数变多,那是另一类网络的做法。
以为课件说的「very dense layers」指全连接层很多
这里的 dense 指层数多,也就是深,和全连接层无关。
试一下
某个残差块里,F 对 x 的导数只有 0.002。整块对 x 的导数是多少?
0.002 + 1 = 1.002。梯度几乎原样传了回去。
5. 为什么要更深
它解决什么问题
前面三个网络都靠加深进步。课件最后回答:深层到底多学到了什么?
直觉
第一层只看很小一块,只能认出边缘和色块。往上每一层的感受野变大,就能把下面认出的小图案组合成更大的东西。
一步一步看
目标:跟着一张狗的图逐层看学到的特征,看越深的层学到的图案越接近语义。
-
一张狗的图进入网络。
-
逐层看学到的特征:
层 学到的东西 Layer 1 边缘、色块 Layer 2 纹理、角点 Layer 3 物体部件 输出 dog -
课件结论:Deeper layers tend to learn more semantic meaningful patterns。
怎么判断
看到「为什么要更深」这类题,答两点:感受野随层数变大,后面的层能组合前面的简单图案,学到语义更强的特征。
意思是:注意课件用的词是 tend to,倾向于。每一层并不严格对应某一级语义。
常见误解
以为层数越多一定越好
没有捷径时,层太多会出现退化问题,训练都变差。ResNet 解决了这个问题,深才真正有用。
试一下
第一层卷积最可能学到什么样的图案?
边缘和色块。它的感受野只有一个核那么大,看不到更大的结构。
把它们串起来
ImageNet 的错误率表把一个规律摆在眼前:层数越多,错误率越低。
AlexNet 先用 ReLU 解决梯度太小的问题,做到 8 层,各层核大小不同。VGG 换个思路,全部用 3×3 小核。两层 3×3 的感受野就有 5×5,三层有 7×7,参数还更少,于是叠到 19 层。
再往深叠会撞上退化问题。ResNet 给每个块加一条捷径,输出 F(x) + x,梯度总能沿捷径传回来,做到了 152 层,错误率降到人类基准以下。
深层为什么有用?感受野越大,越能把边缘、纹理组合成部件和物体。
课件里的坑
- [课件有误] AlexNet 结构图里连续三个「3×3 Conv (384)」,最上面那个应是 256,只有第三、四层是 384(p.24)
- [读图提醒] AlexNet 图上输入写 224,算第一层得 54.25 不是整数;常见实现按 227 算(p.24)
- [数字口径] AlexNet 论文摘要里的 top-5 18.9% 是 2010 测试集的数字,表里的 16.4 是 2012 年比赛的数字,两者不矛盾(p.24)
- [课件有误] VGG16 结构图最后三个框都写 fc 4096,原论文最后一层是 FC-1000(p.25)
- [用词] ResNet 页的「very dense layers」指层数多,和全连接层、DenseNet 都无关(p.26)
- [题号缺失] 课堂练习从 Q4 跳到 Q6,又从 Q7 跳到 Q9,课件里没有 Q5 和 Q8(p.31–33)
课后 10 分钟:考点复习
这 10 分钟怎么用:先把错误率表里 AlexNet、VGG、ResNet 和人类基准四个数默写出来;再画一遍感受野 3 → 5 → 7 的图;然后做课件例题;最后做完整例题,把 VGG16 前半段的尺寸和参数算一遍。
必背
- ImageNet top-5 错误率:AlexNet 16.4%(8 层)→ VGG 7.3%(19 层)→ ResNet 3.6%(152 层),人类基准 5.1%。
- AlexNet:用 ReLU 替代 Sigmoid、8 层(5 个卷积 + 3 个全连接)、各层核大小不同。
- VGG 统一用 3×3 小核:两层 3×3 = 5×5 感受野(18 vs 25 个权重),三层 = 7×7(27 vs 49)。
- 感受野:原始输入图像中影响某个神经元激活值的区域;深层神经元的感受野比核本身大。
- ResNet 的 skip connection:输出 = F(x) + x,梯度能沿捷径传回前层,可训练 152 层甚至 1000 层。
- 越深的层倾向于学到语义越强的特征:边缘 → 纹理 → 部件 → 物体。
课件例题
例 1(课件 p.24):AlexNet 第一层的输出尺寸和参数
题面:AlexNet 第一层是 96 个 11×11 的核、步长 4、不补边。输入按课件写的 224×224×3 算,输出边长是多少?按 227×227×3 呢?第一层有多少参数?
提示
套 (N − k)/s + 1。参数量是核的体积乘核的个数,再加偏置。
解答
- 224:(224 − 11)/4 + 1 = 54.25,不是整数,说明图上的 224 没法直接这样算。
- 227:(227 − 11)/4 + 1 = 55,输出 55×55×96。
- 参数:11×11×3×96 + 96 = 34,944。
例 2(课件 p.25):小核叠层和大核比
题面:两层 3×3 卷积叠起来,和一层 5×5 卷积比,感受野和权重各是多少?三层 3×3 和一层 7×7 呢?若输入、输出都是 C 个通道,两层 3×3 和一层 5×5 的权重各是多少?
提示
感受野 = 1 + 层数 × (3 − 1)。权重先按一对输入、输出通道算。
解答
- 两层 3×3:感受野 1 + 2×(3 − 1) = 5,权重 2×9 = 18;一层 5×5 是 25。
- 三层 3×3:感受野 7,权重 3×9 = 27;一层 7×7 是 49。
- C 进 C 出:两层 3×3 共 18C²,一层 5×5 为 25C²。
例 3(课件 p.33 Q9):深层卷积神经元的「感受野」指什么?
提示
感受野要追到哪一层为止?只有第一层时它和什么一样?
解答
选 A:原始输入图像中影响该神经元激活值的区域。D 说的是核本身的尺寸,只有第一层两者才一样。
完整例题
题面(自编):VGG16 开头两段是:输入 224×224×3 → 两层 3×3 conv 64(步长 1、补 1)→ 2×2 pool/2 → 两层 3×3 conv 128 → pool/2。求每层输出尺寸,以及前两个卷积层的参数量(含偏置)。整个 VGG16 最后得到 7×7×512,拉平后有多少个数?
解法:
- 补 1 的 3×3 卷积不改尺寸:两层 conv 64 都输出 224×224×64。
- 第一层参数:3×3×3×64 + 64 = 1,792。
- 第二层参数:3×3×64×64 + 64 = 36,928。
- pool/2:112×112×64。再两层 conv 128:112×112×128。pool/2:56×56×128。
- 拉平:7×7×512 = 25,088。
答案:224×224×64 → 224×224×64 → 112×112×64 → 112×112×128 → 112×112×128 → 56×56×128;参数 1,792 和 36,928;拉平 25,088 个数。
答题格式:列表「层 / 输出尺寸 / 参数量」,pool 层参数写 0,参数一律写成「核体积 × 核数 + 偏置」再给结果。
变式题(先自己做)
(1) 输入、输出都是 64 个通道。三层 3×3 卷积和一层 7×7 卷积,权重(不含偏置)各是多少?感受野各多大? (2) 某个残差块里,F 对 x 的导数是 0.01,整块对 x 的导数是多少?不加捷径时呢? (3) AlexNet 按 227 输入,Pool3 之后是 6×6×256。拉平后有多少个数?第一个全连接层 FC(4096) 有多少权重(不含偏置)?
提示
(1) 每层权重是 3×3×64×64。(2) 输出 = F(x) + x。(3) 全连接权重 = 输入个数 × 输出个数。
判分点与答案(非官方评分标准)
判分点:① 通道数乘对两次;② 感受野公式正确;③ 写出捷径带来的 +1;④ 拉平个数和全连接权重分开写。
(1) 三层 3×3:3×3×3×64×64 = 110,592;一层 7×7:7×7×64×64 = 200,704。感受野都是 7×7。
(2) 0.01 + 1 = 1.01;不加捷径时只有 0.01。
(3) 6×6×256 = 9,216 个数;权重 9,216×4,096 = 37,748,736。
闪卡自测
1. AlexNet、VGG、ResNet 的 top-5 错误率和层数各是多少?人类基准呢?
16.4%(8 层)、7.3%(19 层)、3.6%(152 层);人类 5.1%(p.23)。
2. AlexNet 的两个亮点是什么?
ReLU 替代 Sigmoid;8 层,比之前深得多(p.24)。
3. VGG 为什么用三层 3×3 代替一层 7×7?
感受野同为 7×7;权重 27C² 少于 49C²;多两个 ReLU,非线性更强(p.25)。
4. 什么是感受野?
原始输入图像中影响某个神经元激活值的区域。深层神经元的感受野比核本身大(p.33)。
5. ResNet 的 skip connection 为什么能帮助训练很深的网络?
输出 = F(x) + x,求导多出恒等项 1,梯度能沿捷径直接传回前面的层,缓解梯度消失(p.26)。
6. 为什么要更深的网络?
越深的层倾向于学到语义越强的特征:边缘 → 纹理 → 部件 → 物体(p.27)。
7. AlexNet 图上写 224 输入,第一层输出为什么算不出整数?
(224 − 11)/4 + 1 = 54.25;常见实现按 227 算,得 55(p.24)。
下一讲
CNN 处理的是一张张图。下一讲换成有先后顺序的数据,比如一句话、一段语音,看网络怎么记住前面的内容:L07a。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。