← COMP5511 全部讲次
L10c · 第 11 周

L10c 微调、提示与上下文学习:怎样让一个大模型做你的任务

从零讲三种用预训练模型的方式:微调、提示、指令微调;提示怎样把分类题改成填空题;FT、FS、1S、0S 四档的取舍;以及不改参数也能学会新任务的上下文学习。

一句话版

一个预训练好的大模型,可以用三种方式让它做具体任务。第一种是拿任务数据再训练一遍,叫微调。第二种是参数不动,只把问题写成它熟悉的样子,叫提示。第三种是先在很多任务上教它听懂指令,以后给一句指令就能做新任务,叫指令微调。提示里放几个示范,模型就能照着学会,这叫上下文学习。

本页是 L10 六页中的第三页。上一页讲模型怎么来的,见 L10b。

先认识这几个词

词 全称 / 读法 一句人话
微调 fine-tuning 拿任务数据再训练,改模型参数
提示 prompt / prompting 不改参数,只改问法
指令微调 instruction tuning 在很多任务上练「听指令做事」
模板 template 把原题套进一句带空格的话
标签词映射 verbalizer,记作 M 约定哪个词代表哪个类别
FT / FS / 1S / 0S Fine-tune / Few-shot / One-shot / Zero-shot 微调 / 少样本 / 单样本 / 零样本
上下文学习 In-context learning,ICL 看提示里的示范就学会,参数不动

一个类比:请一位全能的新同事

公司来了一位读书极多的新同事。要他做报销审核,有三种办法。

一是送他去培训两周,专门练报销,练完他审报销很强,但别的活要再培训,这是微调。二是不培训,把问题写成他熟悉的形式递给他,附上两三张审好的单子当样板,他看一眼就照做,这是提示和上下文学习。三是入职时先让他在几十种不同的活上练「看懂任务说明就动手」,以后递一张说明,新活也能接,这是指令微调。

类比在哪里失效:

  • 新同事看完样板会记住;模型做完这一题,示范不会留在参数里,下一次还要重新给。
  • 真人培训几天就够;模型微调要先备 1k–100k 条标注,代价远比写几句提示高。

从零讲起

1. 三种范式:用同一个预训练模型的三条路

它解决什么问题

预训练模型只会猜下一个词或被遮住的词。要它做情感分类、翻译、问答,得接一个步骤把它「接到」任务上。课件比较了三种接法,区别在于改不改参数、一个模型能做几个任务。

从哪来(补充)

指令微调这条路线的代表是 FLAN。它出自论文《Finetuned Language Models Are Zero-Shot Learners》,第一作者 Jason Wei,2021 年 9 月提交到 arXiv。课件的三范式对比图就来自这篇论文。

出处:arXiv: Finetuned Language Models Are Zero-Shot Learners

直觉

三条路的起点一样,都是同一个预训练模型。分叉在中间那一步:要么拿一个任务的大量样本再训练,要么什么都不训练只写提示,要么拿很多任务的指令一起训练。

一步一步看

目标:沿三条线各走一遍,说出每条线中间那一步是什么。

  1. A 预训练 + 微调(BERT、T5):在任务 A 上微调,再在任务 A 上推理。每个任务要大量专门样本,得到一个专门模型。
  2. B 提示(GPT-3):写提示或给几个示范,参数不动,直接推理任务 A。
  3. C 指令微调(FLAN):用自然语言指令在任务 B、C、D 上微调,再去做没见过的任务 A。

三种范式:三行流程,A 预训练模型在任务 A 上微调再推理;B 预训练模型写提示后直接推理,中间方框青绿描边;C 预训练模型在很多任务上做指令微调,再推理没见过的任务 A

怎么判断

给一个做法,问它属于哪种范式,看两件事。

  • 参数改没改:没改就是提示(B)。
  • 改的话用了哪些任务:只用目标任务的样本,是微调(A);用一批其他任务的指令,目标任务没见过,是指令微调(C)。

常见误解

以为指令微调就是在目标任务上微调

指令微调用的是很多别的任务,目标任务在训练时没出现过。它练的是「看懂指令」这项通用本事。

以为预训练 + 微调的数据少一点也没关系

课件特别提醒:每个任务通常要数万条标注样本;数据太少时,模型还可能忘掉预训练时学到的东西。

试一下

拿一万条电影评论标注再训练 BERT,用来做电影评论情感分类。这是哪种范式?

预训练 + 微调(A)。参数改了,用的是目标任务自己的样本,得到的是一个专门做这件事的模型。

2. 提示的三步:把分类题改成填空题

它解决什么问题

预训练时,BERT 一类模型练的是「猜被遮住的词」。直接拿它做分类,要在后面加一个新的分类层,再用标注数据训练这一层。提示换了个思路:把分类题改写成填空题,让模型做它本来就会的事。

直觉

问一个人「这条影评是正面还是负面」,他得先理解你要什么。改成「No reason to watch. It was ___.」请他填一个词,他顺口就会填 terrible。你只要事先说好:填 terrible 算负面,填 great 算正面。

一步一步看

目标:用影评「No reason to watch.」走完提示三步,得出它是负面。

  1. 套模板:在原句后面加上「It was [MASK].」,分类题变成了填空题。

    提示第一步:一行模板 CLS No reason to watch. It was MASK . SEP,整条青绿描边,下方注明原句和模板加上的部分

  2. 定标签词映射 M:great 对应正面,terrible 对应负面。

    提示第二步:模板下方两个青绿方框,great 对应正面,terrible 对应负面,说明模型只会填词所以要先约定词和类别

  3. 直接用模型填词:比较 great 和 terrible 填进空格的分数,做 softmax 得到概率,terrible 更高,判为负面。

    提示第三步:两个标签词下面写分数,terrible 的分数更高并用青绿字标出,最后一行说明做 softmax 后判为负面

怎么算

课件把第 3 步写成:

p(y | x_in) = p([MASK] = M(y) | x_prompt) = exp(w_{M(y)} · h_[MASK]) / Σ_{y’} exp(w_{M(y’)} · h_[MASK])

意思是:h_[MASK] 是模型读完整句后在空格位置给出的向量,w_{M(y)} 是标签词 M(y) 的词向量。两者点乘得到「这个词填进空格」的分数,再对所有候选标签词做 softmax,类别 y 的概率就是它的标签词胜出的程度。

用两个类别写成数字:假设 terrible 的分数是 2,great 的分数是 0,那么负面的概率 = e² / (e² + e⁰) ≈ 7.39 / 8.39 ≈ 0.88,判为负面。

常见误解

以为提示法一定不能用标注数据

参数不动时,提示法只靠模板和标签词。手头有标注数据时,课件提到也可以在提示的形式上再微调,叫 prompt-based fine-tuning。

以为 softmax 是在整个词表上选最高的词

这里只在约定好的标签词之间比较,比如 great 和 terrible。词表里别的词分数再高也不参与。

试一下

把「The food was cold.」按三步改写成情感分类的提示。

模板:「[CLS] The food was cold. It was [MASK]. [SEP]」。映射:great → 正面,terrible → 负面。让模型比较 great 和 terrible 填进空格的分数,取高的那个,大概率判为负面。

3. FT、FS、1S、0S:给多少示范

它解决什么问题

用提示时还要决定一件事:提示里放几个示范,还是干脆再训练。课件把这排成四档,每档有得有失。

直觉

教人做事,可以手把手练很久(FT),可以给几个样板(FS),可以只给一个样板(1S),也可以只说一句任务要求(0S)。越往后越省事,可越难一次做到最好。

一步一步看

目标:从左到右走一遍四档,记住每档要什么、得什么。

  1. FT 微调:要 1k–100k 条标注,改参数;任务效果最强,但每个新任务都要整理数据,泛化差。
  2. FS 少样本:提示里放几个示范;要的任务数据少得多,也不容易学到数据里的虚假规律。
  3. 1S 单样本:只放一个示范,最像给人下指令的方式。
  4. 0S 零样本:只写任务描述,最方便,但可能有歧义。

FT FS 1S 0S 光谱:四个方框从左到右,FT 微调需要 1k 到 100k 条标注,FS 少样本,1S 单样本,0S 零样本只有任务描述并青绿描边;下方左端写效果更强,右端写更方便更通用

怎么判断

遇到「某个场景该选哪一档」,看两件事。

  • 有没有成批的标注数据、需不需要最好的效果:有、需要,选 FT。
  • 任务说得清吗:说得清选 0S;容易误解就补一个或几个示范,走 1S 或 FS。

常见误解

以为 FS、1S 也要训练模型

四档里只有 FT 改参数。FS、1S、0S 的示范和说明都写在提示里,模型参数一个没动。

以为 0S 一定比 FS 差,没有用处

0S 最方便、最通用,不用准备任何示范。课件把它的缺点写成「有挑战、可能有歧义」,任务描述写清楚时它够用。

试一下

一个小公司只有 20 条标注好的客服对话,想让模型分类客户投诉。四档里先试哪档更合适?

先试 FS:挑几条代表性的写进提示做示范。20 条远不够 FT 的 1k–100k 条,硬去微调还可能让模型忘掉预训练学到的东西。

4. 上下文学习:看示范就会,参数不动

它解决什么问题

FS 和 1S 能成立,靠的是大模型的一项本事:读到提示里的几个示范,就能照着规律做下一个。这叫上下文学习。它让一个模型不用训练就能接新任务。

从哪来(补充)

「上下文学习」这个名字出自 GPT-3 的论文。论文题为《Language Models are Few-Shot Learners》,第一作者 Tom B. Brown,2020 年提交到 arXiv。GPT-3 有 175 billion(1750 亿)个参数,论文主要在 few-shot 设置下测试它。

出处:arXiv: Language Models are Few-Shot Learners

直觉

给你看「英国的首都是伦敦。德国的首都是柏林。法国的首都是 ___」,你不用别人解释就知道要填巴黎。规律藏在前两句里。大模型读到这样的输入,会顺着同样的规律接下去。

一步一步看

目标:用首都题看清上下文学习的全过程只是「读一段更长的输入」。

  1. 写两行示范:英国首都是伦敦,德国首都是柏林。
  2. 第三行留空:法国首都是 ___。
  3. 模型照着规律输出 Paris。整个过程模型参数一个没改。

上下文学习示范:三行文字框,英国首都是伦敦、德国首都是柏林两行示范,第三行法国首都留空并青绿描边,下方说明输出巴黎且参数不改

怎么判断

判断某个做法是不是上下文学习,问一句:模型参数有没有更新?没有更新、只靠提示里的示范就学会了任务,就是上下文学习。

课件还给了它的成绩:不更新参数,也能和用多得多数据训练的模型竞争;GPT-3 在 LAMBADA 和 TriviaQA 两个测试上达到了当时最好的成绩。

常见误解

以为上下文学习会让模型「记住」这次学的东西

示范只在这一次的输入里起作用。换一次对话不再给示范,模型不会记得。

以为上下文学习是专门训练出来的功能

它属于大模型的涌现能力:模型大到一定程度自己表现出来,没有专门为它训练。

试一下

提示写「sea otter → loutre de mer,cheese → fromage,bread → ___」,模型接出 pain。这算哪一档?是上下文学习吗?

给了两个示范,算 FS。参数没改,模型靠示范看出「英译法」的规律,是上下文学习。

把它们串起来

同一个预训练模型,接到任务上有三条路:用任务样本微调、只写提示、先用很多任务的指令微调。中间那一步决定了改不改参数、一个模型能做几个任务。

提示这条路的具体做法,是把分类题改写成填空题:套模板、定标签词、比较标签词的分数。提示里放多少示范,排成 FT、FS、1S、0S 四档,越往后越省事、越难做到最好。

FS 和 1S 能起作用,靠的是上下文学习:大模型读到示范就照着做,参数不动。下一页讲另外两招:让模型把推理步骤写出来,以及先查资料再回答。

课件里的坑

  • [笔误] 「we no not」应为「we do not」,「learner」应为「learned」(p.57)
  • [笔误] FT/FS/1S/0S 那页把零样本写成「Zero-shot (OS)」,应为数字 0 的「0S」(p.63)
  • [读图提醒] 提示第 3 步原写「Fine-tune」,课件划掉改成「Directly use」,意思是参数不动、直接用模型填词(p.62)
  • [对照] p.60 对比两种做法:加分类头再微调(打叉)和用 MLM head 做提示(打勾),打叉的意思是这里不用那条路

课后 10 分钟:考点复习

这 10 分钟怎么用:先默写三种范式,每种一句话说清改不改参数;再拿一句新影评,按提示三步写出模板和标签词;最后把 FT、FS、1S、0S 各写一条优点、一条缺点。

必背

  1. 三种范式:预训练 + 微调(BERT、T5)每个任务一个专门模型;提示(GPT-3)靠换提示做不同任务;指令微调(FLAN)在很多任务上用指令微调,再做没见过的任务
  2. 提示不更新模型参数,微调要更新
  3. 提示三步:套模板把任务改成填空、定标签词映射、直接用语言模型填词
  4. p(y|x) = exp(w_{M(y)}·h_[MASK]) / Σ exp(w_{M(y’)}·h_[MASK]):比较各标签词填进空格的分数再做 softmax
  5. FT → FS → 1S → 0S:越往前任务专门效果越强,越往后越方便、越通用、要的数据越少;FT 通常要 1k–100k 条标注
  6. 上下文学习(ICL):靠提示里的示范学会任务,不更新参数;名字出自 GPT-3 论文

课件例题

例 1(课件 p.61):情感分类,输入是「No reason to watch.」。按提示三步写出模板、标签词映射,并说明模型怎样给出类别。

提示

模板要留一个 [MASK] 空格;映射要用两个形容词;第 3 步比较的是两个词的分数。

解答

模板:[CLS] No reason to watch. It was [MASK]. [SEP]。映射 M:great → positive,terrible → negative。模型不改参数,算 terrible 和 great 填进空格的分数,按 p(y|x) 公式做 softmax,terrible 胜出,判为 negative(课件 p.62 图中打勾)。

例 2(课件 p.64):示范「Great Britain’s capital is London. Germany’s capital is Berlin. France’s capital is [X]」,模型填什么?这个过程更新参数吗?

提示

先看前两句的规律,再想这一页的标题「Demonstrations」。

解答

填 Paris。前两句是示范,模型照着「某国首都是某城」的规律接下去。整个过程不更新任何参数,是上下文学习。

例 3(课件 p.59):GPT-3 的提示「Translate English to French」后面跟着 sea otter、peppermint、plush girafe 几个例子,最后一行是 cheese。说明这是哪一档、模型做了什么。

提示

数一数示范有几条,再看模型参数动没动。

解答

有任务描述,又有几条英法对照示范,属于少样本 FS。模型看示范学会了「英译法」,给 cheese 接出法语 fromage,参数没有更新。

完整例题

题面(改编自课件 p.58、p.63):比较预训练 + 微调、提示、指令微调三种范式;再说明 FT 和 0S 各有什么优缺点。

解法:

  1. 预训练 + 微调:每个任务用大量专门样本再训练,改参数,每个任务一个专门模型(BERT、T5)。
  2. 提示:参数不动,靠写提示或给示范做任务,一个模型换提示就能做不同任务(GPT-3)。
  3. 指令微调:在很多任务上用自然语言指令微调,然后做没见过的任务(FLAN)。
  4. FT 的优缺点:任务效果最强;但每个新任务要 1k–100k 条标注,泛化差。
  5. 0S 的优缺点:最方便,不需要任何示范;但有挑战,任务描述可能有歧义。

要点:三范式的分界是「改不改参数、用哪些任务改」;四档的分界是「示范多少」。

答题格式:三范式各一行,写「做法 + 改不改参数 + 代表模型」;FT 和 0S 各写一条加号、一条减号。

变式题(先自己做)

自编情境:

(1) 想用提示法做「新闻是体育类还是财经类」二分类。写出模板和标签词映射。 (2) 在 (1) 中,模型给「体育」标签词的分数是 3,给「财经」标签词的分数是 1。求判为体育的概率(保留两位小数)。 (3) 某模型先在翻译、摘要、问答等任务上用指令训练,然后直接做从没练过的诗歌分类。这是哪种范式?

提示

(1) 模板留一个空,标签词要各对应一个类别。(2) 两个类别的 softmax:e 的分数次方除以两项之和。(3) 看目标任务训练时见过没有。

判分点与答案(非官方评分标准)

判分点:① (1) 模板含空格,映射一词对一类;② (2) 套 softmax 得出数值;③ (3) 答出指令微调并说明理由。

(1) 模板:「[新闻原文] This news is about [MASK].」映射:sports → 体育,finance → 财经。

(2) P(体育) = e³ / (e³ + e¹) ≈ 20.09 / (20.09 + 2.72) ≈ 0.88,判为体育。

(3) 指令微调。它在一批其他任务上用指令训练过,诗歌分类训练时没见过,靠「听懂指令」去做。

闪卡自测

1. 三种范式各举一个代表模型。

预训练 + 微调:BERT、T5;提示:GPT-3;指令微调:FLAN(p.58)。

2. 提示会更新模型参数吗?

不会。提示只改输入,微调才改参数(p.59)。

3. 提示三步是什么?

套模板改成填空、定标签词映射、直接用语言模型填词(p.61–62)。

4. FT 通常要多少条标注?

1k–100k 条(p.63)。

5. FT、FS、1S、0S 从左到右是什么趋势?

任务专门的效果变弱,但更方便、更通用、要的数据更少(p.63)。

6. 上下文学习的特点是什么?名字出自哪里?

靠提示里的示范学会任务,不更新参数;名字出自 GPT-3 论文(p.65)。

下一讲

示范能教会模型做简单的题,多步推理的题它还是容易跳步算错;它不知道的新事也答不上。思维链和检索增强见 L10d。

下一讲 →
L10d L10d 思维链与检索增强:让大模型算对多步题、答出它不知道的事

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。