← COMP5511 全部讲次
L10d · 第 11 周

L10d 思维链与检索增强:让大模型算对多步题、答出它不知道的事

从零讲思维链提示为什么能让模型算对多步题,零样本思维链那一句「Let's think step by step」,以及检索增强的大模型怎样先查资料再回答,把闭卷考变成开卷考。

一句话版

大模型有两个常见毛病。多步的算术题,它爱跳过中间步骤直接报一个数,经常报错;训练之后才发生的事,它不知道,有时还会编一个。思维链让它先把步骤写出来再给答案,多步题就算对了。检索增强让它先去外部资料库查,再看着查到的资料回答,新事和冷门事也能答。

本页是 L10 六页中的第四页。上一页讲提示和示范,见 L10c。检索增强的完整流程在 L09a 已经一步步讲过,这里讲它为什么必要。

先认识这几个词

词 全称 / 读法 一句人话
思维链 Chain of Thought,CoT 让模型写出中间步骤再给答案
标准提示 standard prompting 示范里只写答案
零样本思维链 Zero-shot CoT 不给示范,只加一句「一步一步想」
幻觉 hallucination 模型一本正经地说出错的或编造的内容
长尾知识 long-tail knowledge 冷门、出现次数很少的知识
RA-LLM Retrieval-Augmented LLM,检索增强的大模型 先查资料再回答的大模型
外部知识库 external knowledge base 模型参数之外、可以随时更新的资料库

一个类比:打草稿和开卷考

小学生做应用题,老师总说「把算式写出来」。直接心算报答案,两步以上就容易错;一步一步写在草稿纸上,每一步都简单,错的机会就少。思维链就是逼模型打草稿。

考试分闭卷和开卷。闭卷只能靠脑子里记的,没背过的、考完书才出的新内容一概答不上。开卷可以翻书,书换了新版,答案跟着更新。不带检索的模型在考闭卷,检索增强把它改成开卷。

类比在哪里失效:

  • 学生写草稿是在帮自己想;模型写出的步骤也是生成出来的文字,步骤本身也可能写错。
  • 开卷考的书是老师给的可信教材;模型检索到的资料可能过时、可能被人故意投毒,这个风险在 L10f 讲。

从零讲起

1. 思维链:让模型把步骤写出来

它解决什么问题

大模型答多步推理题时,常常不经过中间步骤,直接写出一个看起来像答案的数。多步题的每一步都可能出错,跳步时错误就藏起来了。思维链用提示引导模型先写出逐步过程,再给最终答案。

从哪来(补充)

思维链提示出自论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》,第一作者 Jason Wei,2022 年 1 月提交到 arXiv。课件的标准提示与 CoT 对比图就来自这篇论文。

出处:arXiv: Chain-of-Thought Prompting

直觉

模型是一个词一个词往下写的。让它先写「23 − 20 = 3」,写下一步时它就能看到 3 这个中间结果,再写「3 + 6 = 9」。每一步只做一件简单的事,前一步的结果就摆在输入里。直接写答案,相当于要它在一个词里完成全部计算。

一步一步看

目标:同一道食堂苹果题,比较示范只给答案和示范写出步骤,看模型输出差在哪。

  1. 示范题都是网球题:Roger 有 5 个网球,又买了 2 罐、每罐 3 个,现在几个?答案 11。
  2. 标准提示:示范只写「答案是 11」。测试题是食堂有 23 个苹果,用掉 20 个,又买 6 个,模型输出 27,错。
  3. 思维链提示:示范写出「5 + 6 = 11,答案 11」。模型学着写步骤:23 − 20 = 3,3 + 6 = 9,对。

标准提示与思维链提示:左右两列,左列示范只给答案,模型对食堂苹果题输出 27 并打叉;右列示范写出步骤并青绿描边,模型输出 23 减 20 等于 3,3 加 6 等于 9 并打勾

怎么判断

拿到一个提示,判断它是不是思维链提示,看示范里的答案部分。

  • 只有最终数字:标准提示。
  • 写出了中间算式或推理句,最后才给数字:思维链提示。
  • 没有示范,但让模型「一步一步想」:零样本思维链,见下一节。

常见误解

以为思维链要重新训练模型

思维链只改提示:示范里多写几步推理,参数不动。它和上一页的少样本提示属于同一类做法。

以为写出步骤就保证答案对

步骤也是模型生成的,也会写错。课件的说法是写出步骤后最终答案「更准」,没有说一定对。

试一下

网球题按思维链的写法,示范里应该写出哪几步?

先写 2 罐每罐 3 个,2 × 3 = 6;再写 5 + 6 = 11;最后写答案 11。课件的 CoT 示范里写出的正是 5 + 6 = 11 这一步。

2. 零样本思维链:一句话就够

它解决什么问题

思维链提示要人手写带步骤的示范,每类题都要写,很麻烦。零样本思维链发现,不写任何示范,只在答案前加一句「Let’s think step by step」,也能把步骤引出来。

从哪来(补充)

这一招出自论文《Large Language Models are Zero-Shot Reasoners》,第一作者 Takeshi Kojima,2022 年 5 月提交到 arXiv。课件的四格对比图就来自这篇论文。

出处:arXiv: Large Language Models are Zero-Shot Reasoners

直觉

老师不给例题,只说一句「慢慢来,一步一步算」,学生也会自觉打草稿。模型读过大量「一步一步」后面跟着推理过程的文本,看到这句话,它往下接的自然就是步骤。

一步一步看

目标:用杂耍题把「有没有示范」和「要不要步骤」两个开关组合成四格,看哪几格答对。

  1. 题目:杂耍人有 16 个球,一半是高尔夫球,高尔夫球里一半是蓝色,蓝色高尔夫球有几个?
  2. (a) 少样本:给示范、只要答案,输出 8,错。
  3. (b) 少样本思维链:给带步骤的示范,输出 16 / 2 = 8,8 / 2 = 4,对。
  4. (c) 零样本:不给示范、直接要答案,输出 8,错。
  5. (d) 零样本思维链:不给示范,加一句「Let’s think step by step」,输出 4,对。

零样本思维链四格:二乘二表格,少样本输出 8 错,少样本思维链输出 4 对,零样本输出 8 错,零样本加一句 Let’s think step by step 输出 4 对,最后一格青绿描边

怎么判断

四格里,决定对错的是「要不要步骤」这个开关,有没有示范影响不大。答这类题时先看行列:同一行里,要步骤的那格都答对了。

常见误解

以为零样本思维链只是把题目问得更礼貌

那句话改变的是模型接下去写什么。它引出了中间步骤,答案才从 8 变成 4。

以为杂耍题错答 8 是因为模型不会除法

8 是只算了一次「一半」就停下的结果。两步都要做,跳过一步就错;写出步骤后两次除以 2 都做了。

试一下

一个提示没有任何示范,结尾写「Let's think step by step」。它属于四格里的哪一格?

(d) 零样本思维链:无示范,但要求一步一步想。

3. 检索增强:先查资料再回答

它解决什么问题

大模型的知识存在参数里,有几个绕不开的问题。课件列了 LLM 的四种风险:幻觉、缺领域知识、隐私、不一致。其中幻觉和缺知识来自同一个根:参数记不住全部知识,尤其是冷门的长尾知识;训练之后的新信息它也没见过。重新训练或微调代价又很大。检索增强的大模型(RA-LLM)换了一条路:把知识放进外部资料库,回答前先检索。

从哪来(补充)

检索增强生成(RAG)出自论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》,第一作者 Patrick Lewis,2020 年提交到 arXiv。

出处:arXiv: Retrieval-Augmented Generation

直觉

知识可以存在两个地方:模型的参数里,或者参数之外的检索系统里。参数里的知识是训练时一次性写进去的,固定、难改。检索系统里的资料可以随时增删,查到什么就用什么。

一步一步看

目标:用「谁赢了 2023 女足世界杯」这一问,比较没有检索和有检索的回答。

  1. 没有检索:问题直接进模型。模型的训练数据停在 2022 年 1 月,只能回答「截至我最后一次更新……无法提供」。

    没有检索:用户问 2023 女足世界杯冠军,问题直接进大模型,模型回答截至 2022 年 1 月无法回答,答案框灰色

  2. 有检索:问题先去外部知识库检索,查到的资料和问题一起交给模型。

  3. 模型依据查到的资料回答:西班牙赢了 2023 女足世界杯。

  4. 资料库更新了,下次回答跟着更新,模型不用重训。

    有检索:问题先去青绿描边的外部知识库检索,查到的资料和问题一起进大模型,输出西班牙赢了

怎么判断

遇到「为什么要做 RA-LLM」,按两边对比答。

训练数据(参数里) 外部知识库
质量 低 高
范围 通用 专门
规模 固定 可扩展
更新 难 易

一句话收:不带检索是闭卷考,带检索是开卷考。

常见误解

以为模型答不出新问题,只能重新训练

重训或微调代价大,而且训完又会过时。RA-LLM 把新知识放进外部库,模型不变,库更新即可。

以为有了检索,模型就不会幻觉了

检索能减少「不知道就编」,但查到的资料本身可能错或被篡改,模型也可能没用好资料。可信问题见 L10f。

试一下

一家医院想让大模型回答本院最新的排班和药品库存。该重训模型,还是做检索增强?为什么?

做检索增强。排班和库存是专门知识,又天天变。放进外部知识库可以随时更新;重训代价大,而且训完就过时。

把它们串起来

上一页的提示和示范让模型能接新任务,可遇到两类题还是会失手。

第一类是多步推理题。模型爱跳步,思维链让它把步骤写出来,每一步都简单,结果就准了。连示范都不想写时,加一句「Let’s think step by step」就是零样本思维链。

第二类是它不知道的事:冷门知识、训练之后的新事。参数里的知识固定难改,重训又贵。RA-LLM 先去外部知识库检索,再看着资料回答,闭卷考变成了开卷考。

这两招都只改模型收到的输入。把输入设计得更系统,就是下一页的提示工程、上下文工程和 harness 工程。

课件里的坑

  • [对照] CoT 那页和四格那页都用了杂耍题,答案都是 4;网球题的答案 11 是示范,食堂苹果题才是测试(p.67–p.69)
  • [读图提醒] 四格图里 (a)、(c) 都输出 8,要看清 8 错在只做了一次「一半」(p.69)
  • [读图提醒] RA-LLM 示例中无检索的回答原文是「As of my last update in January 2022, I can’t provide…」,2022 是训练截止时间,问题问的是 2023(p.72)
  • [交叉] RAG 五步流程图出现在 CoT 之前(p.66),讲 RA-LLM 时(p.72)才回头说为什么需要它;复习时两页一起看

课后 10 分钟:考点复习

这 10 分钟怎么用:先默写食堂苹果题,写出标准提示和 CoT 提示的输出;再画杂耍题的四格,标出哪两格答对;最后写训练数据和外部知识库的四组对比,用一句「闭卷 vs 开卷」收尾。

必背

  1. 思维链(CoT):引导模型写出逐步解题过程,多步推理的最终答案更准
  2. 标准提示的示范只给答案,CoT 的示范写出中间步骤;食堂苹果题标准提示答 27 ✗,CoT 答 23 − 20 = 3、3 + 6 = 9 ✓
  3. 零样本思维链:不给示范,只在答案前加「Let’s think step by step」,也能引出步骤
  4. LLM 的风险:幻觉、缺领域知识、隐私、不一致
  5. RA-LLM:参数记不住长尾和新知识,重训代价大,改为先检索外部知识库再生成
  6. 训练数据质量低、通用、固定、难更新;外部知识库质量高、专门、可扩展、易更新:闭卷考 vs 开卷考

课件例题

例 1(课件 p.67):杂耍人有 16 个球,一半是高尔夫球,高尔夫球里一半是蓝色。问蓝色高尔夫球有几个。普通提示和加「Let’s think step by step」的提示分别输出什么?

提示

数一数要取几次「一半」,再想直接报答案的模型最可能只做了几次。

解答

普通提示输出 8,错:只取了一次一半。加「Let’s think step by step」后模型写出 16 → 8 → 4,输出 4,对。

例 2(课件 p.68):示范是网球题(答案 11),测试是食堂有 23 个苹果,用掉 20 个,又买 6 个。写出标准提示和 CoT 提示下模型的输出。

提示

两种提示的区别只在示范的答案部分。

解答

标准提示:示范只给「答案是 11」,模型输出 27,错。CoT 提示:示范写出 5 + 6 = 11,模型学着写 23 − 20 = 3,3 + 6 = 9,输出 9,对。

例 3(课件 p.69):四格图 (a) 少样本、(b) 少样本思维链、(c) 零样本、(d) 零样本思维链,各输出什么?哪几格对?

提示

两个开关:有没有示范、要不要步骤。

解答

(a) 8 ✗;(b) 16 / 2 = 8,8 / 2 = 4 ✓;(c) 8 ✗;(d) 4 ✓。要步骤的 (b)、(d) 答对。

例 4(课件 p.72):问「Which country won the Women’s World Cup 2023?」,没有 RAG 和有 RAG 的模型各怎样回答?

提示

看模型的训练截止时间和问题问的年份。

解答

没有 RAG:「As of my last update in January 2022, I can’t provide…」,训练数据里没有这件事。有 RAG:检索到资料后回答「Spain won the Women’s World Cup 2023」。

完整例题

题面(改编自课件 p.68、p.72、p.73):说明思维链提示和标准提示的区别,用食堂苹果题举例;再说明为什么要用检索增强的大模型,而不是每次都重训。

解法:

  1. 区别:标准提示的示范只写答案;思维链提示的示范写出中间推理步骤,模型学着先写步骤再给答案。
  2. 举例:食堂苹果题,标准提示输出 27 ✗;思维链提示输出 23 − 20 = 3,3 + 6 = 9 ✓。
  3. RA-LLM 的动机:参数记不住全部知识,尤其长尾知识;缺领域知识和新信息,会幻觉或答不上。
  4. 为什么不重训:重训或微调代价大,训完又会过时。
  5. RA-LLM 的做法:先检索外部知识库,再连同问题交给模型;外部库质量高、专门、可扩展、易更新。

要点:思维链和检索增强都只改输入,不改参数。

答题格式:第一问写「区别一句 + 例子两行」;第二问写「问题 → 为什么不重训 → 怎么做」三句。

变式题(先自己做)

自编情境:

(1) 停车场有 40 辆车,开走 15 辆,又开进来 8 辆。写出思维链提示下模型应写出的步骤和答案。 (2) 一个提示给了三道带步骤的示范题,再出测试题。它属于四格里的哪一格? (3) 一家律所想让模型回答本所上周新签的合同条款。指出不带检索的模型会出什么问题,并说明 RA-LLM 怎么解决。

提示

(1) 两步,一减一加。(2) 有示范、要步骤。(3) 想想新信息和专门知识两点。

判分点与答案(非官方评分标准)

判分点:① (1) 写出两步算式和答案;② (2) 答对格子;③ (3) 说出问题和解决办法各一条。

(1) 40 − 15 = 25,25 + 8 = 33,答案 33。

(2) (b) 少样本思维链。

(3) 合同是上周新签的专门资料,模型参数里没有,会答不上或编造条款(幻觉)。RA-LLM 把合同放进外部知识库,回答前先检索,模型照着检索到的原文回答;以后新签合同,往库里加就行,不用重训。

闪卡自测

1. 思维链提示的关键思想是什么?

引导模型写出逐步解题过程,最终答案更准(p.67)。

2. 食堂苹果题,标准提示和 CoT 各输出什么?

标准提示 27 ✗;CoT 23 − 20 = 3,3 + 6 = 9 ✓(p.68)。

3. 零样本思维链加的是哪句话?

「Let’s think step by step」(p.69)。

4. LLM 的四种风险是什么?

幻觉、缺领域知识、隐私、不一致(p.70)。

5. 为什么需要 RA-LLM?

参数记不住长尾和新知识,会幻觉或答不上;重训代价大(p.72)。

6. 训练数据和外部知识库各有什么特点?

训练数据:质量低、通用、固定、难更新;外部知识库:质量高、专门、可扩展、易更新。闭卷考 vs 开卷考(p.73)。

下一讲

提示、检索都是在设计模型的输入。把「要它做什么」「给它看什么」「让它怎么跑、怎么查」分成三层来管,就是 L10e 的提示工程、上下文工程和 harness 工程。

下一讲 →
L10e L10e 提示、上下文与 Harness:大模型出了问题先查哪一层

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。