L10b 从 RNN 到大模型:语言模型为什么换了结构、又越做越大
从零讲语言模型在做什么,RNN 为什么又慢又健忘,Transformer 的四个组件怎样解决这两个问题,以及模型和数据一起变大时的缩放律。
一句话版
语言模型做的事只有一件:看着前面的字,猜下一个字。早期用 RNN 来猜,它只能一个字一个字顺着读,又慢又容易忘掉前面的内容。Transformer 让一句话里的所有字同时进来、互相直接看,这两个问题一起解决了。结构顺了,模型和数据就能一起往大里做,于是有了大语言模型。
本页是 L10 六页中的第二页。上一页讲生成图片,见 L10a;「一个字一个字往下写」的完整演示在 L09a 已经讲过,这里不重复。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| token | 读「头肯」 | 模型一次读写的最小单位,大致一个字或半个词 |
| RNN | Recurrent Neural Network,循环神经网络 | 一个字一个字顺着读、边读边更新记忆的网络 |
| 隐藏状态 | hidden state | RNN 读到当前位置时脑子里的「记忆」 |
| Transformer | 读「穿斯否么」 | 让所有字同时进来、互相直接看的网络结构 |
| 自注意力 | self-attention | 每个字直接去看句子里其他所有字 |
| 缩放律 | scaling law | 模型、数据变大时效果怎样跟着变的规律 |
| 涌现能力 | emergent capability | 模型大到一定程度才突然出现的本事 |
一个类比:传话游戏和圆桌会议
RNN 像传话游戏。一排人,第一个人把话悄悄告诉第二个,第二个再告诉第三个。后面的人必须等前面的人说完,快不起来;传到第十个人,第一个人说的细节早就走样了。
Transformer 像圆桌会议。所有人同时坐下,每个人都能直接听到桌上任何一个人的发言,想听谁就多注意谁。大家可以同时开口,坐在两端的人也能直接对话。
类比在哪里失效:
- 圆桌会议的人听不出谁先发言谁后发言;Transformer 为此专门加了位置编码,告诉每个字它排第几。
- 传话游戏里每个人都可能故意乱传;RNN 的「走样」是因为记忆空间有限,每读一个字就要覆盖一部分旧记忆。
从零讲起
1. 语言模型在做什么:猜下一个 token
它解决什么问题
翻译、摘要、写代码、答题,看起来是很多种任务。课件把它们统一成一件事:给定前面的内容,预测下一个 token。只要这件事做得足够好,一个字一个字接下去,就能完成各种任务。
直觉
手机输入法会在你打字时猜下一个词。语言模型做的是同一件事,只是读的上文更长、猜得更准。翻译也能写成这个形式:前面放英文原句,后面一个字一个字接出中文。
一步一步看
目标:用「I saw a」看清,模型每次都在已有内容后面猜一个词。
- 输入「I saw a」,模型给词表里每个词打一个概率,比如「cat」「dog」「movie」各有一个。
- 选出一个词,比如「cat」,接到末尾,变成「I saw a cat」。
- 再拿整串去猜下一个词。一直重复,直到写完。
| 已有内容 | 模型要猜的 |
|---|---|
| I | saw |
| I saw | a |
| I saw a | cat |
怎么算
课件把这件事写成一个条件概率:
P(y_i | y_{1:i-1}, x_{1:m}, Θ)
意思是:在已经写出的前 i-1 个词 y_{1:i-1}(下标 1:i-1 读作「第 1 个到第 i-1 个」)、输入的原文 x_{1:m} 和模型参数 Θ 都给定的情况下,第 i 个词是 y_i 的概率。模型训练就是让真实的下一个词得到尽量高的概率。
常见误解
以为语言模型是先想好整段话,再一口气写出来
它每次只预测一个 token,写出来的 token 接回输入,再预测下一个。整段话是这样一步步接出来的。
试一下
做英译中时,P(y_i | y_{1:i-1}, x_{1:m}, Θ) 里的 x 和 y 分别是什么?
x 是英文原句的各个词,y 是已经写出的中文词。模型每一步看着整句英文和已写出的中文,预测下一个中文词。
2. RNN 的两条局限:慢,而且健忘
它解决什么问题
Transformer 出现之前,语言模型主要用 RNN 及其改进版。要明白 Transformer 改了什么,先要知道 RNN 卡在哪。课件列了两条。
直觉
RNN 读句子像人用手指着字一个个读,每读一个字就更新一次脑子里的记忆。这种读法很自然,但有两个代价。一是必须按顺序读,不能跳着、同时读。二是记忆的容量固定,读得越多,早先的内容被挤掉得越多。
一步一步看
目标:分别看出 RNN 为什么不能并行,以及前面的词为什么会被遗忘。
-
读「I saw a cat」:第 1 个隐藏状态 h1 读完「I」,h2 要用 h1 再读「saw」,h3 要用 h2,h4 要用 h3。
-
这就是第一条局限:第 t 步要等第 t-1 步算完,GPU 有再多核心也只能一步一步排队。
-
再看第二条。第一个词的信息存进隐藏状态以后,每读一个新词,隐藏状态都要被改写一次。
-
两个词相隔 k 个位置,第一个词的信息就要挨过 k 次改写,每一次都可能被抹掉一部分。所以 RNN 对长文本很吃力。
怎么判断
遇到「RNN 为什么不适合大规模训练」这类问题,按两条答。
- 速度:计算不能并行,位置 t 依赖位置 t-1。
- 长距离:相隔 k 个位置,就有 k 次机会把前面的信息从隐藏状态里抹掉。
常见误解
以为 RNN 慢只是因为电脑不够快,换更好的 GPU 就行
慢在结构上。每一步都要等上一步的结果,GPU 核心再多也没法同时算一句话里的不同位置。
以为 RNN 完全记不住前面的内容
它能记住一些,只是距离越远,被改写的次数越多,丢得越多。短句没问题,长文章就吃力。
试一下
一段话里,第 1 个词和第 50 个词有关联。按课件的说法,RNN 在预测第 50 个词之前,第 1 个词的信息有多少次被抹掉的机会?
两者相隔 49 个位置,大约就有 49 次机会。距离越远,机会越多,第 1 个词的信息越难保留到第 50 个词。
3. Transformer:所有词同时进来,直接互相看
它解决什么问题
RNN 的两条局限都来自「顺着读」。Transformer 让整句话一次进来,每个词直接去看其他所有词。不用排队,能并行;第 1 个词和第 100 个词之间只隔一步,不会被一路改写。
从哪来(补充)
Transformer 出自论文《Attention Is All You Need》,第一作者 Ashish Vaswani,2017 年提交到 arXiv。课件的结构图就取自这篇论文。
出处:arXiv: Attention Is All You Need
直觉
读一句「那只猫追老鼠,因为它饿了」,人看到「它」,会直接回头看「猫」,不用把中间每个字重读一遍。自注意力就是这个动作:每个词给句中其他词打分,分高的多看几眼,再把看到的内容合进自己。
一步一步看
目标:从下往上走一遍 Transformer 的四个组件,说出每个组件补上了什么。
- 输入嵌入:每个 token 变成一串数字(一个向量),模型才能计算。
- 位置编码:所有词同时进来,模型分不出谁先谁后,所以给每个位置加上一个「第几个」的标记。
- 自注意力:每个词直接看句中所有其他词,按相关程度取用它们的信息。长距离依赖靠这一层。
- 前馈网络 FFN:对每个位置单独再加工一遍。
怎么判断
问「Transformer 怎样解决 RNN 的两条局限」,对着答。
- 不能并行 → 一句话的所有位置同时计算。
- 长距离遗忘 → 自注意力让任意两个词一步直达。
- 顺序丢了怎么办 → 位置编码补上。
常见误解
以为 Transformer 只有自注意力一个部件
课件列了四个:输入嵌入、位置编码、自注意力、前馈网络。只答自注意力会漏掉三个,尤其别漏位置编码。
以为同时读进所有词,模型自然知道词的顺序
自注意力本身不管顺序,把一句话打乱再送进去,每个词算出的结果不变,只跟着换位置,模型分不出原顺序。所以要额外加位置编码。
试一下
把 Transformer 里的位置编码去掉,「狗咬人」和「人咬狗」在模型看来有什么区别?
没有区别。三个字一样,只是顺序不同,没有位置编码时模型分不出来。这就是位置编码存在的原因。
4. 越做越大:数据、参数和缩放律
它解决什么问题
Transformer 能并行,于是模型可以做得很大、喂很多数据。课件接着回答两个问题:现在的模型到底见过多少数据?变大一定变好吗?
从哪来(补充)
课件那张缩放律图出自 Jared Kaplan 等人 2020 年 1 月提交到 arXiv 的论文《Scaling Laws for Neural Language Models》。
出处:arXiv: Scaling Laws for Neural Language Models
直觉
一个 13 岁的人到这个年纪接触过的词,不到 1 亿个 token(课件数据)。课件列出的模型,训练时见过的 token 从几十亿到上万亿。读得多、脑子大,能力就跟着涨;可要是脑子很大、书却只有几本,再大的脑子也学不到更多。
一步一步看
目标:先比训练数据量,再读缩放律图,看出数据不够时会发生什么。
-
比数据量:BERT(2018)见过 3 Billion 个 token,RoBERTa(2019)30 Billion,GPT-3(2020)200 Billion,Chinchilla(2022)1.4 Trillion。
-
读缩放律图:横轴是模型参数量,纵轴是测试损失,越低越好。数据多的那条线,模型越大损失越低。
-
数据少的线很快走平:模型再加大,损失也降不下去。课件把这叫数据瓶颈。
-
模型大到一定程度,还会冒出小模型没有的本事,课件叫涌现能力:上下文学习、思维链、零样本思维链。后两页细讲。
怎么判断
读缩放律图时问两句。
- 同一条线上:往右(模型更大)损失是不是还在降?还在降,说明加大模型有用。
- 不同线之间:数据少的线是不是早早走平?走平了,说明瓶颈在数据,光加大模型没用。
常见误解
以为只要把模型做大,效果就会一直变好
缩放律图显示,数据量不够时曲线会走平。模型和数据要一起变大,缺一个就卡住。
以为涌现能力是专门训练出来的
涌现指的是没有专门教,模型大到一定程度后自己表现出来。上下文学习就是这样:GPT-3 没有专门训练过「看几个例子就学会」,却能做到。
试一下
一个团队数据只有一小份,却不停加大模型,发现测试损失几乎不动。按缩放律,他们下一步该优先做什么?
优先补数据。损失走平说明数据成了瓶颈,继续加大模型没有收益。
把它们串起来
语言模型的任务一直是同一个:根据前文预测下一个 token。变的是怎么读前文。
RNN 顺着读,每步要等上一步,又在一路改写中丢掉远处的信息。Transformer 用输入嵌入、位置编码、自注意力、前馈网络四个组件,让所有词同时进来、互相直接看,速度和长距离问题一起解决了。
能并行之后,模型和数据都往大里做。缩放律说明两者要同时变大;做到足够大时,模型冒出了上下文学习、思维链这些新本事。怎样用好这样一个大模型,是下一页的内容。
课件里的坑
- [读图提醒] token 数那页的圆按大小示意,数字才是重点:13 岁的人不到 100 Million,Chinchilla 达到 1.4 Trillion(p.52)
- [读图提醒] 缩放律图横轴是 non-embedding 参数量,不同颜色是不同数据量,从 21M 到 22.0B;标题里的 Data Size Bottleneck 是结论(p.54)
- [重复页] p.51 的参数规模图和 p.7 是同一张
- [措辞] 课件说 RNN 不能并行指同一句话内的不同位置;它说的长上下文问题是「k 次被抹掉的机会」,不要答成「完全记不住」(p.48)
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先写出语言模型的条件概率式子并用一句话解释;再默写 RNN 两条局限和 Transformer 四个组件,一一对上「哪个组件解决了哪条局限」;最后说一句缩放律图的结论。
必背
- 语言模型就是预测下一个 token:P(y_i | y_{1:i-1}, x_{1:m}, Θ)
- RNN 局限一:训练慢,不能并行,位置 t 的计算要等 t-1 算完
- RNN 局限二:长上下文差,两个 token 相隔 k 个位置,第一个的信息就有 k 次机会被从隐藏状态里抹掉
- Transformer 四个组件:输入嵌入、位置编码、自注意力、前馈网络(FFN),能捕捉长距离依赖
- 缩放律:模型越大测试损失越低,但数据量不够时曲线会走平,数据成了瓶颈
- 大模型的涌现能力:上下文学习(ICL)、思维链(CoT)、零样本思维链
课件例题
本讲课件没有例题。这一部分是概念讲解,预计考简答:写出 RNN 的两条局限,说明 Transformer 四个组件各做什么、怎样解决 RNN 的问题,读缩放律图说出结论。
完整例题
题面(改编自课件 p.48、p.50):说明 RNN 处理长文本的两条局限,并说明 Transformer 的哪些组件解决了它们。
解法:
- 局限一,不能并行:RNN 位置 t 的计算依赖位置 t-1,一句话只能逐位置算,训练慢。
- 局限二,长距离遗忘:两个 token 相隔 k 个位置,前一个的信息要经过 k 次隐藏状态更新,每次都可能被抹掉。
- Transformer 的对策一:整句同时输入,所有位置同时计算,可以并行。
- Transformer 的对策二:自注意力让任意两个位置直接交互,距离不再造成信息衰减,能捕捉长距离依赖。
- 补一句:同时输入会丢掉顺序,所以加位置编码;输入嵌入把 token 变成向量,前馈网络对每个位置再加工。
要点:别只写自注意力,位置编码是「为什么同时输入还知道顺序」的答案。
答题格式:先列两条局限,每条一句;再写「局限 → 对应组件」两行;最后一句补齐四个组件。
变式题(先自己做)
自编情境:
(1) 用 RNN 读一句 30 个词的话,最后一个词和第一个词有关。估计第一个词的信息有几次被抹掉的机会。 (2) 有人说「Transformer 读句子不分先后,所以不需要知道顺序」。这句话错在哪? (3) 一张缩放律图上,数据量最小的那条线在模型变大时几乎不再下降。这说明什么?
提示
(1) 用「相隔 k 个位置,就有 k 次机会」。(2) 想想「狗咬人」和「人咬狗」。(3) 看是模型还是数据成了瓶颈。
判分点与答案(非官方评分标准)
判分点:① (1) 数出相隔位置数;② (2) 指出顺序靠位置编码;③ (3) 说出数据瓶颈。
(1) 两者相隔 29 个位置,约 29 次机会。
(2) 顺序对语义很重要,「狗咬人」和「人咬狗」意思相反。自注意力本身不管顺序,所以 Transformer 专门加了位置编码。
(3) 数据成了瓶颈。数据量不够时,模型再大也学不到更多,测试损失降不下去。
闪卡自测
1. 语言模型用哪个条件概率描述?
P(y_i | y_{1:i-1}, x_{1:m}, Θ):给定已生成的词、输入和参数,预测下一个词(p.45)。
2. RNN 的两条局限是什么?
训练慢、不能并行(t 依赖 t-1);长上下文差(相隔 k 个位置有 k 次被抹掉的机会)(p.48)。
3. Transformer 的四个组件是什么?
输入嵌入、位置编码、自注意力、前馈网络(FFN)(p.50)。
4. BERT、GPT-3、Chinchilla 训练时各见过多少 token?
BERT 3 Billion,GPT-3 200 Billion,Chinchilla 1.4 Trillion(p.52)。
5. 缩放律图的结论是什么?
模型越大测试损失越低,但数据少时曲线走平,数据成为瓶颈(p.54)。
6. 课件列的三种涌现能力是什么?
上下文学习(ICL)、思维链(CoT)、零样本思维链(Zero-shot CoT)(p.56)。
下一讲
模型训好了,怎么让它做你要的任务?可以再训练一遍,也可以只改问法。微调、提示和上下文学习见 L10c。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。