L07a 序列数据:为什么要换一种网络,以及五种输入输出结构
MLP 和 CNN 要求输入维数固定,一句话、一段语音做不到。先看清这个前提卡在哪,再按「几个输入对几个输出」把序列任务分成五类。
一句话版
前几讲的网络只吃固定长度的输入。一句话、一段语音、一串股价,长度每次都不一样,所以要换一种能「一格一格往下读」的网络。
动手之前,先按「几个输入对几个输出」把序列任务分成五类。后面几页讲的 RNN、LSTM、attention,都是在解决这五类里的某一类。
先认识这几个词
读之前最好记得 L04 的全连接层:每个输出都是全部输入的加权和。
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 序列 | sequence | 有先后顺序的一串数据,比如一句话、一段语音、一串股价 |
| 时间步 | time step,记作 t | 序列里的第几个位置 |
| 维数 | dimension | 一个输入向量里有几个数 |
| One to Many / Many to One | 一对多 / 多对一 | 一个输入对一串输出 / 一串输入对一个输出 |
| Many to Many | 多对多 | 输入输出都是一串,分「同步」和「先读后写」两种 |
| 看图说话 | Image Captioning | 输入一张图,输出一句描述 |
| 情感分类 | Sentiment Classification | 输入一句评论,输出正面或负面 |
一个类比:填表和听写
前几讲的网络像一张印好格子的表。格子数是死的,表上印了 4 格,你就只能填 4 个字。字少了要留空,字多了没地方写。
处理序列的网络像听写。老师念一个字,你写一个字,念多少写多少。纸是一样的纸,写字的手法也一样,只是每次写的格数不同。
这一页先把「为什么填表不行」讲清楚。然后看听写可以有几种玩法:念一串写一个、念一个写一串、边念边写、念完再写。
类比在哪里失效:
- 听写的人自己知道前面写了什么。网络要靠一个专门的「记忆」把前面的信息带下去,这是下一页 RNN 的内容。
- 表格补空位确实能硬凑,下面第 2 个概念会说为什么硬凑也不好用。
从零讲起
1. 先补一块:全连接层的输入维数(补充)
它解决什么问题
要说清「MLP 为什么吃不下变长的句子」,先得知道全连接层的权重是怎么排的。它的形状由输入维数直接决定。
直觉
全连接层的每个输出,都要把每个输入乘一个专属的权重再加起来。输入有几个数,每个输出就要配几个权重。
所以输入的个数一旦定下,权重表的列数也跟着定死。训练完以后,这张表不会自己长出新的列。
一步一步看
目标:把一个 3 进 2 出的全连接层写成权重表,看来了 4 维输入时乘法为什么做不下去。
拿一个输入 3 维、输出 2 维的全连接层来看。
-
第一个输出要用到 3 个输入,配 3 个权重,写成权重矩阵的第一行。
-
第二个输出也要用到 3 个输入,再配 3 个权重,写成第二行。
-
两行叠起来,就是一张 2 行 3 列的表。
输入 1 输入 2 输入 3 输出 1 w₁₁ w₁₂ w₁₃ 输出 2 w₂₁ w₂₂ w₂₃ -
现在来了一个 4 维的输入。第 4 个数在表里找不到对应的列,乘法做不下去。
怎么算
权重矩阵的形状 = 输出维数 × 输入维数。
意思是:行数看这一层有几个输出,列数看喂进来的向量有几个数。上面的例子是 2×3,一共 2×3 = 6 个权重。
输入换成 4 维,需要的是 2×4 的矩阵。训练好的那张 2×3 的表用不上,只能重新训练一个网络。
CNN 也一样。卷积层本身对图片大小不挑,最后接的全连接层却要求特征图展平后的长度固定。
常见误解
以为卷积网络能吃任意大小的输入,所以 CNN 没有这个问题
卷积核在图上滑动,确实不在乎图多大。问题在最后的全连接层:特征图展平后有多少个数,它的权重矩阵就有多少列。图片尺寸一变,展平后的长度跟着变,全连接层就对不上了。课件把 MLP 和 CNN 放在同一页,说的就是这个共同前提。
试一下
一个全连接层输入 5 维、输出 3 维,权重矩阵是几行几列?共多少个权重(不计偏置)?
3 行 5 列,3×5 = 15 个权重。输入换成 6 维就要 3×6 = 18 个,原来那张表用不上。
2. 什么样的问题算序列问题
它解决什么问题
有了上一个概念,就能判断:哪些任务会撞上「维数固定」这堵墙。课件给的标准很宽,只要输入或输出有一边是一串,就算。
直觉
一串数据有两个特点。第一,长度不固定,今天这句话 3 个字,明天那句 7 个字。第二,顺序有意义,「狗咬人」和「人咬狗」用的字一样,意思相反。
固定维数的网络两点都处理不好。长度不同它装不下;顺序它也不会专门去看,每个位置只是表里的一列。
一步一步看
目标:把三句长度不同的影评塞进只有 4 个输入格的网络,看只有长度正好为 4 的那句能正常处理。
把三句长度不同的影评,喂给一个只有 4 个输入格的网络。
-
先看网络这边:输入格只有 x1 到 x4 四个,第一层权重按 4 个输入定死。
-
第一句「好电影」只有 3 个字,第 4 格没东西,只能补一个空。
-
第二句「我很喜欢」正好 4 个字,填满。
-
第三句「这部电影太长了」有 7 个字,多出的 3 个字没地方放。
-
同一个网络,三句话三种结局。只有长度恰好是 4 的那句能正常处理。
怎么判断
拿到一个任务,看它的输入和输出各是什么。
- 输入是不是「一串长度不定、有先后的东西」?比如一段音频、一句话、一段视频。
- 输出是不是一串?比如一句译文、一段文字描述。
两问里只要有一个答「是」,就属于这一讲要处理的问题。课件举的例子是语音助手:输入一段声音,输出一串文字,两头都是一串。
常见误解
以为把短句补零、补到一样长,MLP 就能处理所有序列
补零能凑出固定维数,但有两个毛病。第一,位置和权重是一一绑定的,同一个词出现在第 3 位和第 7 位,要用两套不同的权重去学。第二,总有更长的句子,补到多长都不够。处理序列的模型让同一套权重在每个位置重复使用,这两个毛病就都没了。
以为只有输入是序列才算
课件写的是「输入和/或输出」。给一张图写一句描述,输入只是一张图,输出是一串词,也算序列问题。
试一下
判断一条影评是好评还是差评,输入和输出哪一边是序列?
输入是一串词,是序列;输出是一个标签,不是序列。只要有一边是序列,就属于这一讲的问题。
3. 五种输入输出结构
它解决什么问题
序列问题内部差别很大。看图说话是一个输入出一串,情感分类是一串输入出一个。网络怎么接,取决于是哪一种。课件按「几个输入对几个输出」分成五类,后面每个模型都能对上其中一类。
直觉
每张结构图都画三排格子:底排是输入,中排是网络内部,顶排是输出。中排的格子之间有横向箭头,表示信息一格一格往后传。
数一数底排有几格、顶排有几格,再看顶排的格子出现在哪里,就知道是哪一类。
一步一步看
目标:逐个认五种输入输出结构并配上例子,最后用三个问题判断一个任务该用哪一种。
-
先认五张小图。底排是输入,中排是隐藏层,顶排是输出,横向箭头表示一步传到下一步。
-
One to One:一个输入一个输出,就是前几讲的 DNN 和 CNN,这里没有序列。
-
One to Many:只有第一格有输入,后面每格都出一个输出。看图说话就是这样:一张图进去,一串词出来。
-
Many to One:每格都有输入,只有最后一格出输出。情感分类读完整句评论,最后给一个判断。
-
两种 Many to Many 要对比着看。同步的那种,每个输入格正上方都有输出,视频描述逐帧配字就是这样。先读后写的那种,输入全部读完,右边才开始出输出,机器翻译就是这样。
-
拿到具体任务时,按三个问题一路往下判。
怎么判断
三个问题,按顺序问:
- 输入是一串吗?
- 输出是一串吗?
- 两边都是一串时:是不是每读一格就出一格?
前两问决定是 One 还是 Many。第三问只在两边都是一串时才问:答「是」就是同步的 Many to Many,答「否」就是先读后写的 Many to Many。
第三问还有一个快速判据:输入和输出长度可能不同,就一定是先读后写。中文七个字译成英文三个词,长度对不上,同步的那种做不了。
常见误解
以为两种 Many to Many 是一回事
看图上输出格的位置。视频描述的每个输入格正上方都有输出格,输入输出等长。机器翻译要等全部输入读完,右边才开始出输出,长度可以不同。考试问「机器翻译属于哪类」,要答先读后写的那种。
以为 One to Many 每一步都要给输入
One to Many 只在第一格给输入。后面的格子没有新输入,靠网络内部传下来的信息往下生成。看图说话只有一张图,后面没有第二张图可以喂。
试一下
把一首歌的旋律输入,逐个音符标出「这里是什么和弦」,属于哪一类?
输入是一串,输出也是一串,而且每读一个音符就给出一个标注,长度一一对应。属于同步的 Many to Many。
输入一个主题词,生成一首诗,属于哪一类?
输入只有一个,输出是一串,属于 One to Many。
把它们串起来
前几讲的网络都靠全连接层收尾。全连接层的权重矩阵是「输出维数 × 输入维数」,输入的维数一旦定下,表就定死了。
序列数据偏偏长度不定,顺序还要紧。只要输入或输出有一边是一串,就会撞上这堵墙。补零能硬凑,但位置和权重绑死,再长的句子也装不下。
所以要换一种网络:同一套权重,每个位置重复用,一格一格往下读。至于每格要不要喂输入、要不要取输出,看任务属于五类里的哪一类。下一页的 RNN 就是这种网络,它的一个单元换几种接法,就能覆盖这五类里的四类。
课件里的坑
- [拼写] p.8 红字「a fix number of dimensions」,按语法应为 fixed。不影响理解。
- [拼写] p.17 红字「Stock Price Perdition?」,应为 Prediction(预测)。perdition 意为「毁灭」,属笔误。
- [留白] p.27 第 1 条要求为三类结构各举应用,课件写的是「??」。答案就在 p.11 五张小图下面的例子里。
- [读图提醒] p.11 两张 Many to Many 小图长得像,区别只在输出格的位置:同步的在每个输入格正上方,先读后写的全在右边。
课后 10 分钟:考点复习
这 10 分钟怎么用:先合上页面,把五种结构各配一个例子说出来;再拿三个问题判一遍下面的完整例题;最后回头看两种 Many to Many 的区别,这是最容易混的地方。
必背
- MLP 和 CNN 要求每个输入的维数固定;只要输入或输出有一边是序列,就需要处理序列的模型。
- 五种结构:One to One(DNN、CNN)、One to Many(看图说话)、Many to One(情感分类)、Many to Many 同步(视频描述)、Many to Many 先读后写(机器翻译)。
- 两种 Many to Many 的区别:同步的每读一格就出一格,输入输出等长;先读后写的读完整串才开始输出,长度可以不同。
- 判结构先问输入是不是一串,再问输出是不是一串,两边都是一串时再问是不是每读一格就出一格。
- 全连接层的权重矩阵是「输出维数 × 输入维数」,输入维数一变,矩阵就对不上,这是 MLP 处理不了变长输入的原因。
课件例题
本讲课件没有带数字的例题。课件留了思考题和一个打问号的应用场景,考法多半是「给场景判结构」。
例 1(课件 p.11、p.27):给场景判结构
题面:p.27 第 1 条要求为 One to many、Many to one、Many to many 各举一个应用,课件写的是「??」。
提示
回到 p.11 的五张小图,每张下面都写了一个例子。
解答
- One to many:Image Captioning(看图说话)。
- Many to one:Sentiment Classification(情感分类)。
- Many to many:Video Captioning(视频描述,同步);Machine Translation(机器翻译,先读后写)。
例 2(课件 p.17):股价预测属于哪一类
题面:p.17 放了六只股票半年的涨跌曲线,标题打了问号「Stock Price Prediction?」。用过去一段时间的每日收盘价,预测下一天的价格,属于哪种结构?
提示
按三个问题判:输入是不是一串?输出是不是一串?
解答
- 输入是过去若干天的价格,按时间排成一串,是序列。
- 输出只有下一天的一个价格,不是一串。
- 所以属于 Many to One。课件只提出了问题,这个判断按 p.11 的分类补上。
完整例题
自编情境。判断下列五个任务各属于哪种结构,并说明理由。(a) 给一张照片生成一句描述;(b) 判断一条影评是正面还是负面;(c) 把一句中文译成英文;(d) 给一段视频逐帧标出画面里的动作;(e) 给一张手写数字图片判断是几。
- (a) 输入一张图,不是一串;输出一句话,是一串。属于 One to Many。
- (b) 输入一串词;输出一个标签。属于 Many to One。
- (c) 输入一串,输出一串;中文和英文长度对不上,要先读完整句再译。属于先读后写的 Many to Many。
- (d) 输入一串帧,输出一串标签,每读一帧就出一个。属于同步的 Many to Many。
- (e) 输入一张图,输出一个类别,两边都不是一串。属于 One to One,前几讲的 CNN 就能做。
答题格式:每题写两句话。第一句说输入、输出各是不是一串;第二句给出结构名。两种 Many to Many 一定要写清是哪一种。
变式题(先自己做)
(1) 自编情境:把一段英文语音转成英文文字,输出字数和语音帧数不相等。属于哪种结构? (2) 自编情境:输入一个人名,生成一段祝福语。属于哪种结构? (3) 自编情境:一个全连接层输入 6 维、输出 4 维,权重矩阵是几行几列?输入换成 8 维时,原来的矩阵还能用吗?
提示
(1) 输入输出都是一串,再看长度是否一一对应。(2) 一个输入能不能算一串?(3) 形状是「输出维数 × 输入维数」。
判分点与答案(非官方评分标准)
判分点:① 先分别判输入、输出是否为一串;② 两种 Many to Many 要写明是哪一种;③ 矩阵形状行列不能写反。
- (1) 输入输出都是一串,长度不相等,属于先读后写的 Many to Many。
- (2) 输入是一个名字,当作一个输入;输出是一串。属于 One to Many。
- (3) 4 行 6 列,共 4×6 = 24 个权重;输入换成 8 维要 4×8 的矩阵,原来的不能用。
闪卡自测
1. MLP 和 CNN 处理序列数据的障碍是什么?
每个输入的维数必须固定,序列长度不一(p.8)。
2. 课件说什么时候属于序列问题?
输入和/或输出是一条序列,例如语音助手(p.9)。
3. 五种结构各举一例。
One to One:DNN、CNN;One to Many:看图说话;Many to One:情感分类;Many to Many:视频描述、机器翻译(p.11)。
4. 两种 Many to Many 在图上怎么区分?
同步的每个输入格正上方都有输出格;先读后写的输入全部读完,右边才开始出输出(p.11)。
5. 机器翻译为什么不能用同步的 Many to Many?
两种语言的句子长度一般不同,要先读完整句再译。
6. 全连接层权重矩阵的形状是什么?
输出维数 × 输入维数。
7. 用过去的股价预测下一天,是哪种结构?
Many to One:输入一串价格,输出一个数(p.17)。
8. 判结构的三个问题依次是什么?
输入是一串吗;输出是一串吗;两边都是一串时,是不是每读一格就出一格。
下一讲
下一页 L07b 讲 vanilla RNN:同一个单元在每个时间步重复使用,靠一个隐状态把前面读到的东西带下去。先把五种结构的图记住,下一页会讲同一个 RNN 单元怎么接成这几种结构。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。