← COMP5511 全部讲次
L01b · 第 1 周

L01b 深度学习的「深」:很多层,而且每层都要拐个弯

从一个人工神经元讲起,算给你看为什么只叠线性层等于没叠,深度学习凭什么能自己学出特征,以及它为什么要等大数据来了才爆发。

一句话版

深度学习是用很多层神经网络做的机器学习。「深」就是层多,确切地说是夹在输入和输出之间的隐藏层多。

光有层多还不够,每一层都得带一道非线性的「拐弯」,不然叠多少层都等于一层。层多又会拐弯的网络,能自己从原始数据里一层层学出越来越抽象的特征,不用人去设计。代价是它非常吃数据,所以要等大数据和算力到位才爆发。

先认识这几个词

词 全称 / 读法 一句人话
人工神经元 artificial neuron 把输入乘上权重加起来,再过一道非线性的小计算单元
权重 weight 每个输入乘的那个数,学习就是在调它
激活函数 activation function 神经元最后那道非线性的变换
隐藏层 hidden layer 夹在输入层和输出层中间的层
线性 / 非线性 linear / nonlinear 只做乘和加的是线性;会拐弯、会截断的是非线性
特征工程 feature engineering 人来设计「该看数据的哪些方面」
4V Volume / Velocity / Variety / Veracity 大数据的四个特点:多、快、杂、准不准

一个类比:工厂流水线认零件

一家工厂要从传送带上的照片里认出「这是不是合格的齿轮」。

老办法是请工程师定检查项:量齿数、量直径、看有没有缺口。工程师定了什么,机器就只看什么。漏了一项,机器就永远发现不了那种毛病。这就是人工特征工程。

新办法是排一条很长的流水线,每个工位只做一件小事。第一排工人只找明暗交界的地方,第二排把交界拼成短线和弧,第三排把短线拼成齿、拼成圆,最后一排判断整体像不像一个好齿轮。每个工位该看什么,不是工程师规定的,是看了成千上万张照片之后自己练出来的。

流水线越长,能拼出的东西越复杂,这是「深」。每个工位都会做取舍,只把有用的东西往下传,这是「非线性」。

类比在哪里失效:

  • 真工人知道自己在找什么。网络里的每一层没有「意图」,它学到的只是一组权重,人事后去看才发现像是在找边缘。
  • 流水线上每个工位可以完全不同。神经网络每一层做的是同一种计算,只是权重不同。

从零讲起

1. 先补一块:人工神经元和隐藏层(补充)

它解决什么问题

课件说深度学习就是「隐藏层多」,可隐藏层是什么,层由什么组成,课件没讲。不知道一个神经元在算什么,「非线性」为什么要紧也就讲不清。这一块先把最小的零件拆开。

从哪来(补充)

人工神经元最早的数学模型是 1943 年 Warren McCulloch 和 Walter Pitts 的论文 A Logical Calculus of the Ideas Immanent in Nervous Activity。今天的人工神经元保留了同样的骨架:对输入加权求和,再经过一个非线性的激活函数。

出处:Wikipedia: Artificial neuron

直觉

一个神经元像一个打分员。它收到几条信息,每条信息配一个权重,代表这条有多重要。它把「信息 × 权重」全加起来,得到一个总分。

然后它不直接交出总分,而是过一道关:常见的一种是「总分是负的就交 0,是正的就原样交」。这道关就是激活函数,它让神经元的输出会拐弯,这就是非线性。

一步一步看

目标:把一个神经元从收输入到出结果拆成四步,再看很多神经元怎样排成输入层、隐藏层和输出层。

  1. 收到输入:比如三个数 x₁、x₂、x₃。

  2. 每个输入乘上自己的权重 w₁、w₂、w₃。

  3. 把三个乘积加起来,得到一个总分。

  4. 总分过激活函数,得到这个神经元的输出 y。

    一个人工神经元:三个输入 x₁、x₂、x₃ 各乘权重 w₁、w₂、w₃,在求和节点 Σ 加起来,再经过青绿标出的激活函数,也就是非线性的那一步,得到输出 y

很多个神经元并排就是一层。输入数据所在的叫输入层,给出答案的叫输出层,夹在中间的都叫隐藏层。

怎么算

设两个输入 x₁ = 2、x₂ = 1,权重 w₁ = 3、w₂ = −4,激活函数是「负数变 0、正数不变」。

总分 = w₁x₁ + w₂x₂ = 3 × 2 + (−4) × 1 = 2

意思是:第一条信息贡献了 6,第二条拉低了 4,合起来是 2。2 是正数,过激活函数原样交出,输出 y = 2。

如果把 w₂ 换成 −8,总分 = 6 − 8 = −2,过激活函数变成 0。意思是:这个神经元这次「不发声」。权重决定神经元对哪些输入敏感,学习就是在调这些权重。

常见误解

以为人工神经元在模仿真实大脑的全部工作方式

它只借了「接收多路信号、加权汇总、超过一定程度才有反应」这一点。真实神经元的化学和电信号复杂得多,人工神经元只是一个乘、加、过一道关的小公式。

以为输入层和输出层也算隐藏层

隐藏层只指中间那些。数深度时数的是隐藏层,输入层和输出层不算在里面。

试一下

输入 x₁ = 1、x₂ = 3,权重 w₁ = 2、w₂ = −1,激活函数是「负数变 0、正数不变」。输出是多少?如果把 x₂ 改成 1 呢?

第一种:总分 = 2 × 1 + (−1) × 3 = −1,负数变 0,输出 0。第二种:总分 = 2 − 1 = 1,正数不变,输出 1。

2. 「深」是多层,而且必须是非线性的多层

它解决什么问题

课件给的深度学习定义来自 Deng 和 Yu 在 2013 年的说法:用多层非线性信息处理做特征提取与变换、模式分析与分类的一类机器学习技术。考试常问两件事:「深」指什么?为什么多层线性变换不算深度学习?

直觉

「深」指隐藏层的数量。层数越多,网络能表达的函数越复杂。别答「参数多」或「数据多」,那是层多带来的结果,不是定义。

非线性为什么要紧:线性的层只会乘和加。乘一个数再乘一个数,等于乘它们的积。不管叠几层,最后都能合成一次乘法加一次加法,十层和一层能表达的东西完全一样。只有在层与层之间插进会拐弯的激活函数,层数才真的变成表达能力。

一步一步看

目标:用两层「乘一个数」做实验,看出只叠线性层等于一层,中间插一道非线性后才合不回去。

用最简单的「乘一个数」当一层,看看叠起来会发生什么:

  1. 第 1 层把输入乘 2,第 2 层再乘 3。

  2. 合起来就是乘 6,一层就能做到,第二层白加了。

  3. 现在在两层中间插一道非线性:负数变 0,正数不变。

  4. 输入 1:乘 2 得 2,正数不变,再乘 3 得 6。输入 −1:乘 2 得 −2,变成 0,再乘 3 得 0。

  5. 找不到一个数,让 1 乘它得 6、−1 乘它得 0。这两层再也合不成一层了。

    上一行两层都是线性,先乘 2 再乘 3,合起来就是乘 6,一层就够;下一行两层中间夹一道负数变 0 的非线性,输入 1 得 6、输入 −1 得 0,合不成一层

怎么算

把每层写成「乘 a 再加 b」。第 1 层是 y = a₁x + b₁,第 2 层是 z = a₂y + b₂。

代进去:z = a₂(a₁x + b₁) + b₂ = (a₂a₁)x + (a₂b₁ + b₂)

意思是:两层线性合起来还是「乘一个数再加一个数」的形状,新的乘数是 a₂a₁,新的加数是 a₂b₁ + b₂。再叠第三层、第十层,结果都还是这个形状,所以纯线性的多层网络等价于单层。

常见误解

以为参数越多就越「深」

「深」的标准答案是隐藏层的数量。一层里放一百万个神经元,参数很多,但只有一层,不叫深。

以为线性网络叠得够多也能学会复杂的东西

不管叠多少层,纯线性网络合起来都是一层,能表达的只有直线(或平面)那一类关系。题目问「为什么多层线性变换不算深度学习」,答这一句再补上合并的推导就够了。

试一下

三层纯线性网络,每层分别是乘 2、乘 −1、乘 5,都不加常数。它等价于一层乘几?输入 3 时输出多少?

等价于乘 2 × (−1) × 5 = −10。输入 3 时输出 3 × (−10) = −30。

3. 层级特征:深度学习自己学出该看什么

它解决什么问题

传统机器学习先要人决定「看数据的哪些方面」,比如认人脸时量两眼间距、鼻子长度。这一步叫特征工程,又费人力,又容易漏。深度学习的卖点是把这一步也交给数据:网络自己学出该看什么。

直觉

一张图片对机器来说只是一大堆像素亮度。深度网络的前几层学会找最简单的东西,比如明暗交界的边缘;中间几层把边缘拼成局部形状;再往上拼成物体部件,比如眼睛、轮子;最后一层判断整个物体是什么。

每一层都在上一层的基础上做组合,越往上越抽象。这一串层级是网络从数据里学出来的,没人告诉它第二层该找短线。

一步一步看

目标:从原始像素一层层往上看,网络怎样由边缘拼出形状和部件,最后认出整张人脸。

  1. 输入:原始像素。

  2. 浅层:边缘,也就是哪里从亮变暗。

  3. 中层:局部形状,几条边缘拼成角、弧、圆。

  4. 较深层:物体部件,几个形状拼成眼睛、车轮。

  5. 最深层:完整物体,几个部件拼成「这是一张人脸」。

    深度网络逐层学特征示意:从原始像素到边缘、局部形状、物体部件,再到完整物体,每一层都在上一层的基础上组合出更抽象的东西

怎么判断

拿到一个方法,问:特征是谁定的?

人先算好一组指标(比如邮件里出现「免费」的次数、链接个数),再交给模型,是传统机器学习加人工特征工程。直接把原始数据(整张图、整段文字)丢给多层网络,让它自己学中间的表示,是深度学习。

考试问「深度学习相对传统机器学习的核心优势」,标准答案是自动学习层级特征,省掉人工特征工程。

常见误解

以为每一层学什么是人提前设计好的

人只定层数和结构,每一层具体学成找边缘还是找形状,是训练时从数据里调出来的。说「第二层负责找边缘」只是事后观察到的现象。

以为深度学习完全不需要人

省掉的是人工特征工程。网络有几层、每层多大、用什么损失、数据怎么准备,这些还得人来定。

试一下

两个识别手写数字的方案:A 先人工数出每张图里有几个封闭的圈、有几条竖线,再交给一个分类器;B 直接把整张图的像素送进一个五层网络。哪个是深度学习?哪个要做特征工程?

B 是深度学习,它从像素自己学出边缘、笔画、形状这些层级特征。A 要做特征工程:「数圈」「数竖线」是人定的特征,分类器只能看到这两样。

4. 大数据的 4V:深度学习的燃料

它解决什么问题

神经网络的算法 1980 年代就有,为什么到 2012 年后才爆发?层多的网络要调的权重极多,没有海量数据就学不好。课件用全球数据量指数级增长的图回答这个问题,再用 4V 描述「大数据」大在哪里。

从哪来(补充)

2012 年常被当作深度学习爆发的起点,标志是 AlexNet。这是 Krizhevsky、Sutskever 和 Hinton 做的卷积神经网络,在当年的 ImageNet 图像识别比赛(ILSVRC 2012)里拿到 15.3% 的 top-5 错误率,比第二名低了 10.8 个百分点以上。它用 2 块 GTX 580 显卡训练,数据和算力两样都齐了。

出处:Wikipedia: AlexNet

直觉

「大数据」不只是多。课件用四个 V 开头的词描述它:多(Volume)、快(Velocity)、杂(Variety),再加一个准不准(Veracity)。前三个讲数据的规模和形态,第四个讲数据的质量。

一步一步看

目标:拿四个问题去问一批数据,分清 Volume、Velocity、Variety、Veracity 各管大数据的哪一面。

  1. 先问量:数据有多少?到了 PB、EB 这个级别,就是 Volume。
  2. 再问速度:数据是不是源源不断地产生、需要马上处理?是,就是 Velocity。
  3. 再问种类:是不是同时有文本、图像、音频、表格?是,就是 Variety。
  4. 最后问质量:里面有没有噪声、缺失、标错的?有,就是 Veracity 要管的问题。
V 含义 例子
Volume 数据量大 PB / EB 级
Velocity 产生和处理速度快 实时流数据
Variety 类型多样 文本 / 图像 / 音频 / 结构化表
Veracity 真实性 / 可信度参差 噪声、缺失、错误标注

怎么判断

给一个场景,问它体现哪个 V:抓关键词。「每秒上万条」「实时」是 Velocity;「图片加文字加语音」是 Variety;「海量」「PB 级」是 Volume;「有些标签标错了」「传感器偶尔丢数」是 Veracity。

写 4V 名词解释时,四个都要写全。记法是「多快杂」加「准不准」,最容易漏的是 Veracity。

常见误解

以为大数据就是数据量大

量大只是 Volume 一个 V。另外三个分别讲速度、种类和可信度。只答「数据很多」只拿到四分之一。

记成 3V 或 5V

有些教材只讲 3V,有的版本再加第五个 Value。考试按本课件的 4V 写:Volume、Velocity、Variety、Veracity。

试一下

一个城市交通平台:每秒收到几万条车辆定位,同时还有路口摄像头画面和市民的文字投诉,部分 GPS 定位偶尔会漂到河里。分别对应哪几个 V?

每秒几万条是 Velocity(总量也很大,是 Volume);定位、画面、文字三种类型是 Variety;GPS 漂到河里是 Veracity,数据不可全信。

把它们串起来

最小的零件是人工神经元:乘权重、加起来、过一道非线性的激活函数。很多神经元排成一层,输入和输出之间的层叫隐藏层。

「深」就是隐藏层多。非线性是层数能派上用场的前提:只做乘和加的层叠多少都能合成一层,夹了会拐弯的激活函数,才合不起来。

层多又能拐弯的网络,可以一层层把像素拼成边缘、形状、部件、物体。这些特征是它自己从数据里学的,所以省掉了人工特征工程。

代价是要调的权重极多,非常吃数据和算力。大数据的四个 V 描述了这份燃料:多、快、杂,以及准不准。神经网络 1980 年代就有,到 2012 年后数据和算力都跟上,才爆发。

下一页回到中间那一圈:机器学习本身怎么定义,按什么标准分成三类。

课件里的坑

  • [非线性三个字] 课件定义原文是 multiple layers of nonlinear processing。答定义题时「非线性」不能省,省了就和多层线性网络分不开(p.40)
  • [深的定义] 课件明确「深」指隐藏层数量,答参数多、数据多都不对(p.47)
  • [4V 的版本] 课件讲的是 4V,最后一个是 Veracity。别的教材有 3V 或加 Value 的 5V,答题按课件写(p.36)
  • [ICLR 几页不考] p.41–46 用顶会关键词展示领域重心变化,只作背景,不会考(p.41–46)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写深度学习的定义并圈出「多层」「非线性」两个词;再在纸上写一遍两层线性合成一层的推导;然后背出层级特征的五级和 4V;最后做完整例题和变式题。

必背

  1. 深度学习 = 多层非线性信息处理(Deng & Yu, 2013),「深」指隐藏层的数量。
  2. 「非线性」不能丢:纯线性的多层网络叠起来等价于单层,加层数不增加表达能力。
  3. 深度学习相对传统机器学习的核心优势是自动学习层级特征(像素 → 边缘 → 局部形状 → 物体部件 → 完整物体),省掉人工特征工程。
  4. 大数据 4V:Volume / Velocity / Variety / Veracity,最容易漏掉的是 Veracity。
  5. 神经网络 1980 年代就有,深度学习 2012 年后才爆发,缺的是数据和算力。

课件例题

本讲课件没有例题。这一页的内容在考试里以名词解释和简答出现:写出深度学习的定义并解释「深」、说明为什么多层线性不算深度学习、写出 4V、说明深度学习相对传统机器学习的优势。下面的完整例题按简答题的样子练一遍。

完整例题

题面(自编,仿简答题):(1) 深度学习中的「深」指什么?(2) 有人说「把十个线性层叠起来就是一个深度网络」,这句话对吗?请用两层的例子说明。(3) 深度学习相对传统机器学习的核心优势是什么?

解法:

  1. (1) 「深」指隐藏层的数量。层数越多,网络能表达的函数越复杂。
  2. (2) 先下结论:不对。深度学习的定义是多层非线性处理,纯线性的层叠起来等价于一层。
  3. (2) 写推导:第 1 层 y = a₁x + b₁,第 2 层 z = a₂y + b₂。代入得 z = (a₂a₁)x + (a₂b₁ + b₂),仍是「乘一个数加一个数」的形状。叠十层也一样,只是乘数和加数换了。
  4. (2) 补一句怎么改:每层之后加非线性激活函数,层与层就合不起来,层数才真的增加表达能力。
  5. (3) 自动学习层级特征:从像素到边缘、局部形状、物体部件、完整物体,每级都是网络自己从数据学的,省掉了人工特征工程。

要点:(2) 不能只答「不对」,要给出合并的推导或一个具体数字例子,比如先乘 2 再乘 3 等于乘 6。

答题格式:每问先给一句结论,再给依据;(2) 写出合并后的式子。

变式题(先自己做)

自编情境:一家医院想用病人的 CT 影像、电子病历文字和心电监护的实时波形训练一个模型。监护仪每秒传来上百个数据点,部分老病历是手写扫描、识别出来有错字。

(a) 这份数据分别体现了哪几个 V? (b) 医院想直接把原始 CT 图像交给一个多层网络,而不先请医生定义「肿块直径」「边缘是否光滑」这类指标。这种做法利用了深度学习的哪个优势? (c) 工程师为了省算力,把网络里所有激活函数都删掉,只保留线性层。会发生什么?

提示

(a) 按「多快杂准」逐个对。(b) 医生定义指标就是特征工程。(c) 回到两层线性合成一层的推导。

判分点与答案(非官方评分标准)

判分点:① (a) 至少写出 Velocity、Variety、Veracity 并各给依据;② (b) 写出自动学习层级特征 / 省掉特征工程;③ (c) 写出等价于单层、深度失去意义。

(a) 每秒上百个数据点是 Velocity;影像、文字、波形三种类型是 Variety;扫描错字是 Veracity;如果病人多、影像大,也体现 Volume。

(b) 自动学习层级特征。网络从像素自己学出边缘、形状、病灶部件,不用医生先定义指标,省掉人工特征工程。

(c) 网络退化成一层线性模型。线性层叠多少层都等价于单层,层数不再增加表达能力,这个网络不再算深度学习。

闪卡自测

1. 写出深度学习的定义,并圈出两个关键词。

用多层非线性信息处理做特征提取与变换、模式分析与分类的一类机器学习技术(Deng & Yu, 2013)。关键词是「多层」和「非线性」(p.40)。

2. 「深度学习」的「深」指什么?

隐藏层的数量。不是参数多,也不是数据多(p.47)。

3. 一个人工神经元做哪几步计算?

输入乘权重、加起来、过激活函数。激活函数是非线性的那一步。

4. 为什么多层线性变换不算深度学习?

线性层叠起来等价于单层,例如先乘 2 再乘 3 就是乘 6。层数不增加表达能力,深度就失去意义(p.40)。

5. 深度学习相对传统机器学习的核心优势是什么?

自动学习层级特征,省掉人工特征工程。层级是像素 → 边缘 → 局部形状 → 物体部件 → 完整物体(p.48)。

6. 大数据的 4V 是哪四个?哪一个最容易漏?

Volume(量大)、Velocity(快)、Variety(类型多)、Veracity(可信度参差)。最容易漏的是 Veracity(p.36)。

7. 神经网络 1980 年代就有,为什么 2012 年后才爆发?

缺的是数据和算力。全球数据量指数级增长,加上算力提升,多层网络才有足够的数据可学(p.34–35)。

8. 隐藏层指哪些层?

夹在输入层和输出层之间的层。数深度时只数隐藏层。

下一讲

L01c 回到中间那一圈:机器学习怎样用 <T, P, E> 定义,以及按什么标准把它分成监督、无监督、强化三类。

下一讲 →
L01c L01c 机器学习:怎样算「在学」,又按什么分成三类

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。