← COMP5541 全部讲次
L07a · 第 9 周

L07a 序列数据:为什么要换一种网络,以及五种输入输出结构

MLP 和 CNN 要求输入维数固定,一句话、一段语音做不到。先看清这个前提卡在哪,再按「几个输入对几个输出」把序列任务分成五类。

一句话版

前几讲的网络只吃固定长度的输入。一句话、一段语音、一串股价,长度每次都不一样,所以要换一种能「一格一格往下读」的网络。

动手之前,先按「几个输入对几个输出」把序列任务分成五类。后面几页讲的 RNN、LSTM、attention,都是在解决这五类里的某一类。

先认识这几个词

读之前最好记得 L04 的全连接层:每个输出都是全部输入的加权和。

词 全称 / 读法 一句人话
序列 sequence 有先后顺序的一串数据,比如一句话、一段语音、一串股价
时间步 time step,记作 t 序列里的第几个位置
维数 dimension 一个输入向量里有几个数
One to Many / Many to One 一对多 / 多对一 一个输入对一串输出 / 一串输入对一个输出
Many to Many 多对多 输入输出都是一串,分「同步」和「先读后写」两种
看图说话 Image Captioning 输入一张图,输出一句描述
情感分类 Sentiment Classification 输入一句评论,输出正面或负面

一个类比:填表和听写

前几讲的网络像一张印好格子的表。格子数是死的,表上印了 4 格,你就只能填 4 个字。字少了要留空,字多了没地方写。

处理序列的网络像听写。老师念一个字,你写一个字,念多少写多少。纸是一样的纸,写字的手法也一样,只是每次写的格数不同。

这一页先把「为什么填表不行」讲清楚。然后看听写可以有几种玩法:念一串写一个、念一个写一串、边念边写、念完再写。

类比在哪里失效:

  1. 听写的人自己知道前面写了什么。网络要靠一个专门的「记忆」把前面的信息带下去,这是下一页 RNN 的内容。
  2. 表格补空位确实能硬凑,下面第 2 个概念会说为什么硬凑也不好用。

从零讲起

1. 先补一块:全连接层的输入维数(补充)

它解决什么问题

要说清「MLP 为什么吃不下变长的句子」,先得知道全连接层的权重是怎么排的。它的形状由输入维数直接决定。

直觉

全连接层的每个输出,都要把每个输入乘一个专属的权重再加起来。输入有几个数,每个输出就要配几个权重。

所以输入的个数一旦定下,权重表的列数也跟着定死。训练完以后,这张表不会自己长出新的列。

一步一步看

目标:把一个 3 进 2 出的全连接层写成权重表,看来了 4 维输入时乘法为什么做不下去。

拿一个输入 3 维、输出 2 维的全连接层来看。

  1. 第一个输出要用到 3 个输入,配 3 个权重,写成权重矩阵的第一行。

  2. 第二个输出也要用到 3 个输入,再配 3 个权重,写成第二行。

  3. 两行叠起来,就是一张 2 行 3 列的表。

    输入 1 输入 2 输入 3
    输出 1 w₁₁ w₁₂ w₁₃
    输出 2 w₂₁ w₂₂ w₂₃
  4. 现在来了一个 4 维的输入。第 4 个数在表里找不到对应的列,乘法做不下去。

怎么算

权重矩阵的形状 = 输出维数 × 输入维数。

意思是:行数看这一层有几个输出,列数看喂进来的向量有几个数。上面的例子是 2×3,一共 2×3 = 6 个权重。

输入换成 4 维,需要的是 2×4 的矩阵。训练好的那张 2×3 的表用不上,只能重新训练一个网络。

CNN 也一样。卷积层本身对图片大小不挑,最后接的全连接层却要求特征图展平后的长度固定。

常见误解

以为卷积网络能吃任意大小的输入,所以 CNN 没有这个问题

卷积核在图上滑动,确实不在乎图多大。问题在最后的全连接层:特征图展平后有多少个数,它的权重矩阵就有多少列。图片尺寸一变,展平后的长度跟着变,全连接层就对不上了。课件把 MLP 和 CNN 放在同一页,说的就是这个共同前提。

试一下

一个全连接层输入 5 维、输出 3 维,权重矩阵是几行几列?共多少个权重(不计偏置)?

3 行 5 列,3×5 = 15 个权重。输入换成 6 维就要 3×6 = 18 个,原来那张表用不上。

2. 什么样的问题算序列问题

它解决什么问题

有了上一个概念,就能判断:哪些任务会撞上「维数固定」这堵墙。课件给的标准很宽,只要输入或输出有一边是一串,就算。

直觉

一串数据有两个特点。第一,长度不固定,今天这句话 3 个字,明天那句 7 个字。第二,顺序有意义,「狗咬人」和「人咬狗」用的字一样,意思相反。

固定维数的网络两点都处理不好。长度不同它装不下;顺序它也不会专门去看,每个位置只是表里的一列。

一步一步看

目标:把三句长度不同的影评塞进只有 4 个输入格的网络,看只有长度正好为 4 的那句能正常处理。

把三句长度不同的影评,喂给一个只有 4 个输入格的网络。

  1. 先看网络这边:输入格只有 x1 到 x4 四个,第一层权重按 4 个输入定死。

  2. 第一句「好电影」只有 3 个字,第 4 格没东西,只能补一个空。

  3. 第二句「我很喜欢」正好 4 个字,填满。

  4. 第三句「这部电影太长了」有 7 个字,多出的 3 个字没地方放。

    三行格子:网络只有 x1 到 x4 四个输入格。句子 1 好电影三个字,第四格补空;句子 2 我很喜欢四个字刚好;句子 3 这部电影太长了七个字,多出的太、长、了三格描成青绿,没有位置放

  5. 同一个网络,三句话三种结局。只有长度恰好是 4 的那句能正常处理。

怎么判断

拿到一个任务,看它的输入和输出各是什么。

  1. 输入是不是「一串长度不定、有先后的东西」?比如一段音频、一句话、一段视频。
  2. 输出是不是一串?比如一句译文、一段文字描述。

两问里只要有一个答「是」,就属于这一讲要处理的问题。课件举的例子是语音助手:输入一段声音,输出一串文字,两头都是一串。

常见误解

以为把短句补零、补到一样长,MLP 就能处理所有序列

补零能凑出固定维数,但有两个毛病。第一,位置和权重是一一绑定的,同一个词出现在第 3 位和第 7 位,要用两套不同的权重去学。第二,总有更长的句子,补到多长都不够。处理序列的模型让同一套权重在每个位置重复使用,这两个毛病就都没了。

以为只有输入是序列才算

课件写的是「输入和/或输出」。给一张图写一句描述,输入只是一张图,输出是一串词,也算序列问题。

试一下

判断一条影评是好评还是差评,输入和输出哪一边是序列?

输入是一串词,是序列;输出是一个标签,不是序列。只要有一边是序列,就属于这一讲的问题。

3. 五种输入输出结构

它解决什么问题

序列问题内部差别很大。看图说话是一个输入出一串,情感分类是一串输入出一个。网络怎么接,取决于是哪一种。课件按「几个输入对几个输出」分成五类,后面每个模型都能对上其中一类。

直觉

每张结构图都画三排格子:底排是输入,中排是网络内部,顶排是输出。中排的格子之间有横向箭头,表示信息一格一格往后传。

数一数底排有几格、顶排有几格,再看顶排的格子出现在哪里,就知道是哪一类。

一步一步看

目标:逐个认五种输入输出结构并配上例子,最后用三个问题判断一个任务该用哪一种。

  1. 先认五张小图。底排是输入,中排是隐藏层,顶排是输出,横向箭头表示一步传到下一步。

    五张结构小图并排:One to One 一个输入一个输出,例子 DNN、CNN;One to Many 一个输入三个输出,例子看图说话;Many to One 三个输入只在最后出一个输出,例子情感分类;Many to Many 同步,每个输入上方都有输出,例子视频描述;Many to Many 先读后写,三个输入读完才出两个输出,例子机器翻译,这两个输出描成青绿

  2. One to One:一个输入一个输出,就是前几讲的 DNN 和 CNN,这里没有序列。

  3. One to Many:只有第一格有输入,后面每格都出一个输出。看图说话就是这样:一张图进去,一串词出来。

  4. Many to One:每格都有输入,只有最后一格出输出。情感分类读完整句评论,最后给一个判断。

  5. 两种 Many to Many 要对比着看。同步的那种,每个输入格正上方都有输出,视频描述逐帧配字就是这样。先读后写的那种,输入全部读完,右边才开始出输出,机器翻译就是这样。

  6. 拿到具体任务时,按三个问题一路往下判。

    决策树:先问输入是不是一串,再问输出是不是一串,两边都是一串时再问是不是每读一格就出一格。输入不是一串时,输出不是为 One to One、是为 One to Many;输入是一串、输出不是为 Many to One;两边都是一串,同步出为视频描述那类,先读完再出为机器翻译那类。机器翻译走的是、是、否这条路,描成青绿

怎么判断

三个问题,按顺序问:

  1. 输入是一串吗?
  2. 输出是一串吗?
  3. 两边都是一串时:是不是每读一格就出一格?

前两问决定是 One 还是 Many。第三问只在两边都是一串时才问:答「是」就是同步的 Many to Many,答「否」就是先读后写的 Many to Many。

第三问还有一个快速判据:输入和输出长度可能不同,就一定是先读后写。中文七个字译成英文三个词,长度对不上,同步的那种做不了。

常见误解

以为两种 Many to Many 是一回事

看图上输出格的位置。视频描述的每个输入格正上方都有输出格,输入输出等长。机器翻译要等全部输入读完,右边才开始出输出,长度可以不同。考试问「机器翻译属于哪类」,要答先读后写的那种。

以为 One to Many 每一步都要给输入

One to Many 只在第一格给输入。后面的格子没有新输入,靠网络内部传下来的信息往下生成。看图说话只有一张图,后面没有第二张图可以喂。

试一下

把一首歌的旋律输入,逐个音符标出「这里是什么和弦」,属于哪一类?

输入是一串,输出也是一串,而且每读一个音符就给出一个标注,长度一一对应。属于同步的 Many to Many。

输入一个主题词,生成一首诗,属于哪一类?

输入只有一个,输出是一串,属于 One to Many。

把它们串起来

前几讲的网络都靠全连接层收尾。全连接层的权重矩阵是「输出维数 × 输入维数」,输入的维数一旦定下,表就定死了。

序列数据偏偏长度不定,顺序还要紧。只要输入或输出有一边是一串,就会撞上这堵墙。补零能硬凑,但位置和权重绑死,再长的句子也装不下。

所以要换一种网络:同一套权重,每个位置重复用,一格一格往下读。至于每格要不要喂输入、要不要取输出,看任务属于五类里的哪一类。下一页的 RNN 就是这种网络,它的一个单元换几种接法,就能覆盖这五类里的四类。

课件里的坑

  • [拼写] p.8 红字「a fix number of dimensions」,按语法应为 fixed。不影响理解。
  • [拼写] p.17 红字「Stock Price Perdition?」,应为 Prediction(预测)。perdition 意为「毁灭」,属笔误。
  • [留白] p.27 第 1 条要求为三类结构各举应用,课件写的是「??」。答案就在 p.11 五张小图下面的例子里。
  • [读图提醒] p.11 两张 Many to Many 小图长得像,区别只在输出格的位置:同步的在每个输入格正上方,先读后写的全在右边。

课后 10 分钟:考点复习

这 10 分钟怎么用:先合上页面,把五种结构各配一个例子说出来;再拿三个问题判一遍下面的完整例题;最后回头看两种 Many to Many 的区别,这是最容易混的地方。

必背

  1. MLP 和 CNN 要求每个输入的维数固定;只要输入或输出有一边是序列,就需要处理序列的模型。
  2. 五种结构:One to One(DNN、CNN)、One to Many(看图说话)、Many to One(情感分类)、Many to Many 同步(视频描述)、Many to Many 先读后写(机器翻译)。
  3. 两种 Many to Many 的区别:同步的每读一格就出一格,输入输出等长;先读后写的读完整串才开始输出,长度可以不同。
  4. 判结构先问输入是不是一串,再问输出是不是一串,两边都是一串时再问是不是每读一格就出一格。
  5. 全连接层的权重矩阵是「输出维数 × 输入维数」,输入维数一变,矩阵就对不上,这是 MLP 处理不了变长输入的原因。

课件例题

本讲课件没有带数字的例题。课件留了思考题和一个打问号的应用场景,考法多半是「给场景判结构」。

例 1(课件 p.11、p.27):给场景判结构

题面:p.27 第 1 条要求为 One to many、Many to one、Many to many 各举一个应用,课件写的是「??」。

提示

回到 p.11 的五张小图,每张下面都写了一个例子。

解答
  1. One to many:Image Captioning(看图说话)。
  2. Many to one:Sentiment Classification(情感分类)。
  3. Many to many:Video Captioning(视频描述,同步);Machine Translation(机器翻译,先读后写)。

例 2(课件 p.17):股价预测属于哪一类

题面:p.17 放了六只股票半年的涨跌曲线,标题打了问号「Stock Price Prediction?」。用过去一段时间的每日收盘价,预测下一天的价格,属于哪种结构?

提示

按三个问题判:输入是不是一串?输出是不是一串?

解答
  1. 输入是过去若干天的价格,按时间排成一串,是序列。
  2. 输出只有下一天的一个价格,不是一串。
  3. 所以属于 Many to One。课件只提出了问题,这个判断按 p.11 的分类补上。

完整例题

自编情境。判断下列五个任务各属于哪种结构,并说明理由。(a) 给一张照片生成一句描述;(b) 判断一条影评是正面还是负面;(c) 把一句中文译成英文;(d) 给一段视频逐帧标出画面里的动作;(e) 给一张手写数字图片判断是几。

  1. (a) 输入一张图,不是一串;输出一句话,是一串。属于 One to Many。
  2. (b) 输入一串词;输出一个标签。属于 Many to One。
  3. (c) 输入一串,输出一串;中文和英文长度对不上,要先读完整句再译。属于先读后写的 Many to Many。
  4. (d) 输入一串帧,输出一串标签,每读一帧就出一个。属于同步的 Many to Many。
  5. (e) 输入一张图,输出一个类别,两边都不是一串。属于 One to One,前几讲的 CNN 就能做。

答题格式:每题写两句话。第一句说输入、输出各是不是一串;第二句给出结构名。两种 Many to Many 一定要写清是哪一种。

变式题(先自己做)

(1) 自编情境:把一段英文语音转成英文文字,输出字数和语音帧数不相等。属于哪种结构? (2) 自编情境:输入一个人名,生成一段祝福语。属于哪种结构? (3) 自编情境:一个全连接层输入 6 维、输出 4 维,权重矩阵是几行几列?输入换成 8 维时,原来的矩阵还能用吗?

提示

(1) 输入输出都是一串,再看长度是否一一对应。(2) 一个输入能不能算一串?(3) 形状是「输出维数 × 输入维数」。

判分点与答案(非官方评分标准)

判分点:① 先分别判输入、输出是否为一串;② 两种 Many to Many 要写明是哪一种;③ 矩阵形状行列不能写反。

  1. (1) 输入输出都是一串,长度不相等,属于先读后写的 Many to Many。
  2. (2) 输入是一个名字,当作一个输入;输出是一串。属于 One to Many。
  3. (3) 4 行 6 列,共 4×6 = 24 个权重;输入换成 8 维要 4×8 的矩阵,原来的不能用。

闪卡自测

1. MLP 和 CNN 处理序列数据的障碍是什么?

每个输入的维数必须固定,序列长度不一(p.8)。

2. 课件说什么时候属于序列问题?

输入和/或输出是一条序列,例如语音助手(p.9)。

3. 五种结构各举一例。

One to One:DNN、CNN;One to Many:看图说话;Many to One:情感分类;Many to Many:视频描述、机器翻译(p.11)。

4. 两种 Many to Many 在图上怎么区分?

同步的每个输入格正上方都有输出格;先读后写的输入全部读完,右边才开始出输出(p.11)。

5. 机器翻译为什么不能用同步的 Many to Many?

两种语言的句子长度一般不同,要先读完整句再译。

6. 全连接层权重矩阵的形状是什么?

输出维数 × 输入维数。

7. 用过去的股价预测下一天,是哪种结构?

Many to One:输入一串价格,输出一个数(p.17)。

8. 判结构的三个问题依次是什么?

输入是一串吗;输出是一串吗;两边都是一串时,是不是每读一格就出一格。

下一讲

下一页 L07b 讲 vanilla RNN:同一个单元在每个时间步重复使用,靠一个隐状态把前面读到的东西带下去。先把五种结构的图记住,下一页会讲同一个 RNN 单元怎么接成这几种结构。

下一讲 →
L07b L07b Vanilla RNN:同一组权重,一格一格往下读

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。