← COMP5511 全部讲次
L10b · 第 11 周

L10b 从 RNN 到大模型:语言模型为什么换了结构、又越做越大

从零讲语言模型在做什么,RNN 为什么又慢又健忘,Transformer 的四个组件怎样解决这两个问题,以及模型和数据一起变大时的缩放律。

一句话版

语言模型做的事只有一件:看着前面的字,猜下一个字。早期用 RNN 来猜,它只能一个字一个字顺着读,又慢又容易忘掉前面的内容。Transformer 让一句话里的所有字同时进来、互相直接看,这两个问题一起解决了。结构顺了,模型和数据就能一起往大里做,于是有了大语言模型。

本页是 L10 六页中的第二页。上一页讲生成图片,见 L10a;「一个字一个字往下写」的完整演示在 L09a 已经讲过,这里不重复。

先认识这几个词

词 全称 / 读法 一句人话
token 读「头肯」 模型一次读写的最小单位,大致一个字或半个词
RNN Recurrent Neural Network,循环神经网络 一个字一个字顺着读、边读边更新记忆的网络
隐藏状态 hidden state RNN 读到当前位置时脑子里的「记忆」
Transformer 读「穿斯否么」 让所有字同时进来、互相直接看的网络结构
自注意力 self-attention 每个字直接去看句子里其他所有字
缩放律 scaling law 模型、数据变大时效果怎样跟着变的规律
涌现能力 emergent capability 模型大到一定程度才突然出现的本事

一个类比:传话游戏和圆桌会议

RNN 像传话游戏。一排人,第一个人把话悄悄告诉第二个,第二个再告诉第三个。后面的人必须等前面的人说完,快不起来;传到第十个人,第一个人说的细节早就走样了。

Transformer 像圆桌会议。所有人同时坐下,每个人都能直接听到桌上任何一个人的发言,想听谁就多注意谁。大家可以同时开口,坐在两端的人也能直接对话。

类比在哪里失效:

  • 圆桌会议的人听不出谁先发言谁后发言;Transformer 为此专门加了位置编码,告诉每个字它排第几。
  • 传话游戏里每个人都可能故意乱传;RNN 的「走样」是因为记忆空间有限,每读一个字就要覆盖一部分旧记忆。

从零讲起

1. 语言模型在做什么:猜下一个 token

它解决什么问题

翻译、摘要、写代码、答题,看起来是很多种任务。课件把它们统一成一件事:给定前面的内容,预测下一个 token。只要这件事做得足够好,一个字一个字接下去,就能完成各种任务。

直觉

手机输入法会在你打字时猜下一个词。语言模型做的是同一件事,只是读的上文更长、猜得更准。翻译也能写成这个形式:前面放英文原句,后面一个字一个字接出中文。

一步一步看

目标:用「I saw a」看清,模型每次都在已有内容后面猜一个词。

  1. 输入「I saw a」,模型给词表里每个词打一个概率,比如「cat」「dog」「movie」各有一个。
  2. 选出一个词,比如「cat」,接到末尾,变成「I saw a cat」。
  3. 再拿整串去猜下一个词。一直重复,直到写完。
已有内容 模型要猜的
I saw
I saw a
I saw a cat

怎么算

课件把这件事写成一个条件概率:

P(y_i | y_{1:i-1}, x_{1:m}, Θ)

意思是:在已经写出的前 i-1 个词 y_{1:i-1}(下标 1:i-1 读作「第 1 个到第 i-1 个」)、输入的原文 x_{1:m} 和模型参数 Θ 都给定的情况下,第 i 个词是 y_i 的概率。模型训练就是让真实的下一个词得到尽量高的概率。

常见误解

以为语言模型是先想好整段话,再一口气写出来

它每次只预测一个 token,写出来的 token 接回输入,再预测下一个。整段话是这样一步步接出来的。

试一下

做英译中时,P(y_i | y_{1:i-1}, x_{1:m}, Θ) 里的 x 和 y 分别是什么?

x 是英文原句的各个词,y 是已经写出的中文词。模型每一步看着整句英文和已写出的中文,预测下一个中文词。

2. RNN 的两条局限:慢,而且健忘

它解决什么问题

Transformer 出现之前,语言模型主要用 RNN 及其改进版。要明白 Transformer 改了什么,先要知道 RNN 卡在哪。课件列了两条。

直觉

RNN 读句子像人用手指着字一个个读,每读一个字就更新一次脑子里的记忆。这种读法很自然,但有两个代价。一是必须按顺序读,不能跳着、同时读。二是记忆的容量固定,读得越多,早先的内容被挤掉得越多。

一步一步看

目标:分别看出 RNN 为什么不能并行,以及前面的词为什么会被遗忘。

  1. 读「I saw a cat」:第 1 个隐藏状态 h1 读完「I」,h2 要用 h1 再读「saw」,h3 要用 h2,h4 要用 h3。

    RNN 按顺序计算:四个词 I saw a cat 各自向上进入隐藏状态 h1 到 h4,隐藏状态之间有从左到右的箭头,h4 用青绿描边,说明每一步都要等上一步

  2. 这就是第一条局限:第 t 步要等第 t-1 步算完,GPU 有再多核心也只能一步一步排队。

  3. 再看第二条。第一个词的信息存进隐藏状态以后,每读一个新词,隐藏状态都要被改写一次。

    长距离信息被逐步抹掉:一行六个格子,第一个是青绿描边的词 1,中间是四次改写,最后是词 k 加 1;下方青绿条从长变短,示意词 1 的信息越来越少

  4. 两个词相隔 k 个位置,第一个词的信息就要挨过 k 次改写,每一次都可能被抹掉一部分。所以 RNN 对长文本很吃力。

怎么判断

遇到「RNN 为什么不适合大规模训练」这类问题,按两条答。

  • 速度:计算不能并行,位置 t 依赖位置 t-1。
  • 长距离:相隔 k 个位置,就有 k 次机会把前面的信息从隐藏状态里抹掉。

常见误解

以为 RNN 慢只是因为电脑不够快,换更好的 GPU 就行

慢在结构上。每一步都要等上一步的结果,GPU 核心再多也没法同时算一句话里的不同位置。

以为 RNN 完全记不住前面的内容

它能记住一些,只是距离越远,被改写的次数越多,丢得越多。短句没问题,长文章就吃力。

试一下

一段话里,第 1 个词和第 50 个词有关联。按课件的说法,RNN 在预测第 50 个词之前,第 1 个词的信息有多少次被抹掉的机会?

两者相隔 49 个位置,大约就有 49 次机会。距离越远,机会越多,第 1 个词的信息越难保留到第 50 个词。

3. Transformer:所有词同时进来,直接互相看

它解决什么问题

RNN 的两条局限都来自「顺着读」。Transformer 让整句话一次进来,每个词直接去看其他所有词。不用排队,能并行;第 1 个词和第 100 个词之间只隔一步,不会被一路改写。

从哪来(补充)

Transformer 出自论文《Attention Is All You Need》,第一作者 Ashish Vaswani,2017 年提交到 arXiv。课件的结构图就取自这篇论文。

出处:arXiv: Attention Is All You Need

直觉

读一句「那只猫追老鼠,因为它饿了」,人看到「它」,会直接回头看「猫」,不用把中间每个字重读一遍。自注意力就是这个动作:每个词给句中其他词打分,分高的多看几眼,再把看到的内容合进自己。

一步一步看

目标:从下往上走一遍 Transformer 的四个组件,说出每个组件补上了什么。

  1. 输入嵌入:每个 token 变成一串数字(一个向量),模型才能计算。
  2. 位置编码:所有词同时进来,模型分不出谁先谁后,所以给每个位置加上一个「第几个」的标记。
  3. 自注意力:每个词直接看句中所有其他词,按相关程度取用它们的信息。长距离依赖靠这一层。
  4. 前馈网络 FFN:对每个位置单独再加工一遍。

Transformer 四组件:从下到上四个方框,输入嵌入、位置编码、自注意力、前馈网络 FFN;自注意力用青绿描边,旁注长距离依赖靠它

怎么判断

问「Transformer 怎样解决 RNN 的两条局限」,对着答。

  • 不能并行 → 一句话的所有位置同时计算。
  • 长距离遗忘 → 自注意力让任意两个词一步直达。
  • 顺序丢了怎么办 → 位置编码补上。

常见误解

以为 Transformer 只有自注意力一个部件

课件列了四个:输入嵌入、位置编码、自注意力、前馈网络。只答自注意力会漏掉三个,尤其别漏位置编码。

以为同时读进所有词,模型自然知道词的顺序

自注意力本身不管顺序,把一句话打乱再送进去,每个词算出的结果不变,只跟着换位置,模型分不出原顺序。所以要额外加位置编码。

试一下

把 Transformer 里的位置编码去掉,「狗咬人」和「人咬狗」在模型看来有什么区别?

没有区别。三个字一样,只是顺序不同,没有位置编码时模型分不出来。这就是位置编码存在的原因。

4. 越做越大:数据、参数和缩放律

它解决什么问题

Transformer 能并行,于是模型可以做得很大、喂很多数据。课件接着回答两个问题:现在的模型到底见过多少数据?变大一定变好吗?

从哪来(补充)

课件那张缩放律图出自 Jared Kaplan 等人 2020 年 1 月提交到 arXiv 的论文《Scaling Laws for Neural Language Models》。

出处:arXiv: Scaling Laws for Neural Language Models

直觉

一个 13 岁的人到这个年纪接触过的词,不到 1 亿个 token(课件数据)。课件列出的模型,训练时见过的 token 从几十亿到上万亿。读得多、脑子大,能力就跟着涨;可要是脑子很大、书却只有几本,再大的脑子也学不到更多。

一步一步看

目标:先比训练数据量,再读缩放律图,看出数据不够时会发生什么。

  1. 比数据量:BERT(2018)见过 3 Billion 个 token,RoBERTa(2019)30 Billion,GPT-3(2020)200 Billion,Chinchilla(2022)1.4 Trillion。

    训练 token 数对比:五条横条按对数刻度画,13 岁的人少于一亿、BERT 三十亿、RoBERTa 三百亿、GPT-3 两千亿、Chinchilla 一万四千亿,Chinchilla 用青绿描边

  2. 读缩放律图:横轴是模型参数量,纵轴是测试损失,越低越好。数据多的那条线,模型越大损失越低。

  3. 数据少的线很快走平:模型再加大,损失也降不下去。课件把这叫数据瓶颈。

    缩放律示意:横轴模型参数量,纵轴测试损失;黑色实线代表数据多,一直往下降;青绿虚线代表数据少,很快走平

  4. 模型大到一定程度,还会冒出小模型没有的本事,课件叫涌现能力:上下文学习、思维链、零样本思维链。后两页细讲。

怎么判断

读缩放律图时问两句。

  • 同一条线上:往右(模型更大)损失是不是还在降?还在降,说明加大模型有用。
  • 不同线之间:数据少的线是不是早早走平?走平了,说明瓶颈在数据,光加大模型没用。

常见误解

以为只要把模型做大,效果就会一直变好

缩放律图显示,数据量不够时曲线会走平。模型和数据要一起变大,缺一个就卡住。

以为涌现能力是专门训练出来的

涌现指的是没有专门教,模型大到一定程度后自己表现出来。上下文学习就是这样:GPT-3 没有专门训练过「看几个例子就学会」,却能做到。

试一下

一个团队数据只有一小份,却不停加大模型,发现测试损失几乎不动。按缩放律,他们下一步该优先做什么?

优先补数据。损失走平说明数据成了瓶颈,继续加大模型没有收益。

把它们串起来

语言模型的任务一直是同一个:根据前文预测下一个 token。变的是怎么读前文。

RNN 顺着读,每步要等上一步,又在一路改写中丢掉远处的信息。Transformer 用输入嵌入、位置编码、自注意力、前馈网络四个组件,让所有词同时进来、互相直接看,速度和长距离问题一起解决了。

能并行之后,模型和数据都往大里做。缩放律说明两者要同时变大;做到足够大时,模型冒出了上下文学习、思维链这些新本事。怎样用好这样一个大模型,是下一页的内容。

课件里的坑

  • [读图提醒] token 数那页的圆按大小示意,数字才是重点:13 岁的人不到 100 Million,Chinchilla 达到 1.4 Trillion(p.52)
  • [读图提醒] 缩放律图横轴是 non-embedding 参数量,不同颜色是不同数据量,从 21M 到 22.0B;标题里的 Data Size Bottleneck 是结论(p.54)
  • [重复页] p.51 的参数规模图和 p.7 是同一张
  • [措辞] 课件说 RNN 不能并行指同一句话内的不同位置;它说的长上下文问题是「k 次被抹掉的机会」,不要答成「完全记不住」(p.48)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先写出语言模型的条件概率式子并用一句话解释;再默写 RNN 两条局限和 Transformer 四个组件,一一对上「哪个组件解决了哪条局限」;最后说一句缩放律图的结论。

必背

  1. 语言模型就是预测下一个 token:P(y_i | y_{1:i-1}, x_{1:m}, Θ)
  2. RNN 局限一:训练慢,不能并行,位置 t 的计算要等 t-1 算完
  3. RNN 局限二:长上下文差,两个 token 相隔 k 个位置,第一个的信息就有 k 次机会被从隐藏状态里抹掉
  4. Transformer 四个组件:输入嵌入、位置编码、自注意力、前馈网络(FFN),能捕捉长距离依赖
  5. 缩放律:模型越大测试损失越低,但数据量不够时曲线会走平,数据成了瓶颈
  6. 大模型的涌现能力:上下文学习(ICL)、思维链(CoT)、零样本思维链

课件例题

本讲课件没有例题。这一部分是概念讲解,预计考简答:写出 RNN 的两条局限,说明 Transformer 四个组件各做什么、怎样解决 RNN 的问题,读缩放律图说出结论。

完整例题

题面(改编自课件 p.48、p.50):说明 RNN 处理长文本的两条局限,并说明 Transformer 的哪些组件解决了它们。

解法:

  1. 局限一,不能并行:RNN 位置 t 的计算依赖位置 t-1,一句话只能逐位置算,训练慢。
  2. 局限二,长距离遗忘:两个 token 相隔 k 个位置,前一个的信息要经过 k 次隐藏状态更新,每次都可能被抹掉。
  3. Transformer 的对策一:整句同时输入,所有位置同时计算,可以并行。
  4. Transformer 的对策二:自注意力让任意两个位置直接交互,距离不再造成信息衰减,能捕捉长距离依赖。
  5. 补一句:同时输入会丢掉顺序,所以加位置编码;输入嵌入把 token 变成向量,前馈网络对每个位置再加工。

要点:别只写自注意力,位置编码是「为什么同时输入还知道顺序」的答案。

答题格式:先列两条局限,每条一句;再写「局限 → 对应组件」两行;最后一句补齐四个组件。

变式题(先自己做)

自编情境:

(1) 用 RNN 读一句 30 个词的话,最后一个词和第一个词有关。估计第一个词的信息有几次被抹掉的机会。 (2) 有人说「Transformer 读句子不分先后,所以不需要知道顺序」。这句话错在哪? (3) 一张缩放律图上,数据量最小的那条线在模型变大时几乎不再下降。这说明什么?

提示

(1) 用「相隔 k 个位置,就有 k 次机会」。(2) 想想「狗咬人」和「人咬狗」。(3) 看是模型还是数据成了瓶颈。

判分点与答案(非官方评分标准)

判分点:① (1) 数出相隔位置数;② (2) 指出顺序靠位置编码;③ (3) 说出数据瓶颈。

(1) 两者相隔 29 个位置,约 29 次机会。

(2) 顺序对语义很重要,「狗咬人」和「人咬狗」意思相反。自注意力本身不管顺序,所以 Transformer 专门加了位置编码。

(3) 数据成了瓶颈。数据量不够时,模型再大也学不到更多,测试损失降不下去。

闪卡自测

1. 语言模型用哪个条件概率描述?

P(y_i | y_{1:i-1}, x_{1:m}, Θ):给定已生成的词、输入和参数,预测下一个词(p.45)。

2. RNN 的两条局限是什么?

训练慢、不能并行(t 依赖 t-1);长上下文差(相隔 k 个位置有 k 次被抹掉的机会)(p.48)。

3. Transformer 的四个组件是什么?

输入嵌入、位置编码、自注意力、前馈网络(FFN)(p.50)。

4. BERT、GPT-3、Chinchilla 训练时各见过多少 token?

BERT 3 Billion,GPT-3 200 Billion,Chinchilla 1.4 Trillion(p.52)。

5. 缩放律图的结论是什么?

模型越大测试损失越低,但数据少时曲线走平,数据成为瓶颈(p.54)。

6. 课件列的三种涌现能力是什么?

上下文学习(ICL)、思维链(CoT)、零样本思维链(Zero-shot CoT)(p.56)。

下一讲

模型训好了,怎么让它做你要的任务?可以再训练一遍,也可以只改问法。微调、提示和上下文学习见 L10c。

下一讲 →
L10c L10c 微调、提示与上下文学习:怎样让一个大模型做你的任务

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。