L10d 思维链与检索增强:让大模型算对多步题、答出它不知道的事
从零讲思维链提示为什么能让模型算对多步题,零样本思维链那一句「Let's think step by step」,以及检索增强的大模型怎样先查资料再回答,把闭卷考变成开卷考。
一句话版
大模型有两个常见毛病。多步的算术题,它爱跳过中间步骤直接报一个数,经常报错;训练之后才发生的事,它不知道,有时还会编一个。思维链让它先把步骤写出来再给答案,多步题就算对了。检索增强让它先去外部资料库查,再看着查到的资料回答,新事和冷门事也能答。
本页是 L10 六页中的第四页。上一页讲提示和示范,见 L10c。检索增强的完整流程在 L09a 已经一步步讲过,这里讲它为什么必要。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 思维链 | Chain of Thought,CoT | 让模型写出中间步骤再给答案 |
| 标准提示 | standard prompting | 示范里只写答案 |
| 零样本思维链 | Zero-shot CoT | 不给示范,只加一句「一步一步想」 |
| 幻觉 | hallucination | 模型一本正经地说出错的或编造的内容 |
| 长尾知识 | long-tail knowledge | 冷门、出现次数很少的知识 |
| RA-LLM | Retrieval-Augmented LLM,检索增强的大模型 | 先查资料再回答的大模型 |
| 外部知识库 | external knowledge base | 模型参数之外、可以随时更新的资料库 |
一个类比:打草稿和开卷考
小学生做应用题,老师总说「把算式写出来」。直接心算报答案,两步以上就容易错;一步一步写在草稿纸上,每一步都简单,错的机会就少。思维链就是逼模型打草稿。
考试分闭卷和开卷。闭卷只能靠脑子里记的,没背过的、考完书才出的新内容一概答不上。开卷可以翻书,书换了新版,答案跟着更新。不带检索的模型在考闭卷,检索增强把它改成开卷。
类比在哪里失效:
- 学生写草稿是在帮自己想;模型写出的步骤也是生成出来的文字,步骤本身也可能写错。
- 开卷考的书是老师给的可信教材;模型检索到的资料可能过时、可能被人故意投毒,这个风险在 L10f 讲。
从零讲起
1. 思维链:让模型把步骤写出来
它解决什么问题
大模型答多步推理题时,常常不经过中间步骤,直接写出一个看起来像答案的数。多步题的每一步都可能出错,跳步时错误就藏起来了。思维链用提示引导模型先写出逐步过程,再给最终答案。
从哪来(补充)
思维链提示出自论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》,第一作者 Jason Wei,2022 年 1 月提交到 arXiv。课件的标准提示与 CoT 对比图就来自这篇论文。
出处:arXiv: Chain-of-Thought Prompting
直觉
模型是一个词一个词往下写的。让它先写「23 − 20 = 3」,写下一步时它就能看到 3 这个中间结果,再写「3 + 6 = 9」。每一步只做一件简单的事,前一步的结果就摆在输入里。直接写答案,相当于要它在一个词里完成全部计算。
一步一步看
目标:同一道食堂苹果题,比较示范只给答案和示范写出步骤,看模型输出差在哪。
- 示范题都是网球题:Roger 有 5 个网球,又买了 2 罐、每罐 3 个,现在几个?答案 11。
- 标准提示:示范只写「答案是 11」。测试题是食堂有 23 个苹果,用掉 20 个,又买 6 个,模型输出 27,错。
- 思维链提示:示范写出「5 + 6 = 11,答案 11」。模型学着写步骤:23 − 20 = 3,3 + 6 = 9,对。
怎么判断
拿到一个提示,判断它是不是思维链提示,看示范里的答案部分。
- 只有最终数字:标准提示。
- 写出了中间算式或推理句,最后才给数字:思维链提示。
- 没有示范,但让模型「一步一步想」:零样本思维链,见下一节。
常见误解
以为思维链要重新训练模型
思维链只改提示:示范里多写几步推理,参数不动。它和上一页的少样本提示属于同一类做法。
以为写出步骤就保证答案对
步骤也是模型生成的,也会写错。课件的说法是写出步骤后最终答案「更准」,没有说一定对。
试一下
网球题按思维链的写法,示范里应该写出哪几步?
先写 2 罐每罐 3 个,2 × 3 = 6;再写 5 + 6 = 11;最后写答案 11。课件的 CoT 示范里写出的正是 5 + 6 = 11 这一步。
2. 零样本思维链:一句话就够
它解决什么问题
思维链提示要人手写带步骤的示范,每类题都要写,很麻烦。零样本思维链发现,不写任何示范,只在答案前加一句「Let’s think step by step」,也能把步骤引出来。
从哪来(补充)
这一招出自论文《Large Language Models are Zero-Shot Reasoners》,第一作者 Takeshi Kojima,2022 年 5 月提交到 arXiv。课件的四格对比图就来自这篇论文。
出处:arXiv: Large Language Models are Zero-Shot Reasoners
直觉
老师不给例题,只说一句「慢慢来,一步一步算」,学生也会自觉打草稿。模型读过大量「一步一步」后面跟着推理过程的文本,看到这句话,它往下接的自然就是步骤。
一步一步看
目标:用杂耍题把「有没有示范」和「要不要步骤」两个开关组合成四格,看哪几格答对。
- 题目:杂耍人有 16 个球,一半是高尔夫球,高尔夫球里一半是蓝色,蓝色高尔夫球有几个?
- (a) 少样本:给示范、只要答案,输出 8,错。
- (b) 少样本思维链:给带步骤的示范,输出 16 / 2 = 8,8 / 2 = 4,对。
- (c) 零样本:不给示范、直接要答案,输出 8,错。
- (d) 零样本思维链:不给示范,加一句「Let’s think step by step」,输出 4,对。
怎么判断
四格里,决定对错的是「要不要步骤」这个开关,有没有示范影响不大。答这类题时先看行列:同一行里,要步骤的那格都答对了。
常见误解
以为零样本思维链只是把题目问得更礼貌
那句话改变的是模型接下去写什么。它引出了中间步骤,答案才从 8 变成 4。
以为杂耍题错答 8 是因为模型不会除法
8 是只算了一次「一半」就停下的结果。两步都要做,跳过一步就错;写出步骤后两次除以 2 都做了。
试一下
一个提示没有任何示范,结尾写「Let's think step by step」。它属于四格里的哪一格?
(d) 零样本思维链:无示范,但要求一步一步想。
3. 检索增强:先查资料再回答
它解决什么问题
大模型的知识存在参数里,有几个绕不开的问题。课件列了 LLM 的四种风险:幻觉、缺领域知识、隐私、不一致。其中幻觉和缺知识来自同一个根:参数记不住全部知识,尤其是冷门的长尾知识;训练之后的新信息它也没见过。重新训练或微调代价又很大。检索增强的大模型(RA-LLM)换了一条路:把知识放进外部资料库,回答前先检索。
从哪来(补充)
检索增强生成(RAG)出自论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》,第一作者 Patrick Lewis,2020 年提交到 arXiv。
出处:arXiv: Retrieval-Augmented Generation
直觉
知识可以存在两个地方:模型的参数里,或者参数之外的检索系统里。参数里的知识是训练时一次性写进去的,固定、难改。检索系统里的资料可以随时增删,查到什么就用什么。
一步一步看
目标:用「谁赢了 2023 女足世界杯」这一问,比较没有检索和有检索的回答。
-
没有检索:问题直接进模型。模型的训练数据停在 2022 年 1 月,只能回答「截至我最后一次更新……无法提供」。
-
有检索:问题先去外部知识库检索,查到的资料和问题一起交给模型。
-
模型依据查到的资料回答:西班牙赢了 2023 女足世界杯。
-
资料库更新了,下次回答跟着更新,模型不用重训。
怎么判断
遇到「为什么要做 RA-LLM」,按两边对比答。
| 训练数据(参数里) | 外部知识库 | |
|---|---|---|
| 质量 | 低 | 高 |
| 范围 | 通用 | 专门 |
| 规模 | 固定 | 可扩展 |
| 更新 | 难 | 易 |
一句话收:不带检索是闭卷考,带检索是开卷考。
常见误解
以为模型答不出新问题,只能重新训练
重训或微调代价大,而且训完又会过时。RA-LLM 把新知识放进外部库,模型不变,库更新即可。
以为有了检索,模型就不会幻觉了
检索能减少「不知道就编」,但查到的资料本身可能错或被篡改,模型也可能没用好资料。可信问题见 L10f。
试一下
一家医院想让大模型回答本院最新的排班和药品库存。该重训模型,还是做检索增强?为什么?
做检索增强。排班和库存是专门知识,又天天变。放进外部知识库可以随时更新;重训代价大,而且训完就过时。
把它们串起来
上一页的提示和示范让模型能接新任务,可遇到两类题还是会失手。
第一类是多步推理题。模型爱跳步,思维链让它把步骤写出来,每一步都简单,结果就准了。连示范都不想写时,加一句「Let’s think step by step」就是零样本思维链。
第二类是它不知道的事:冷门知识、训练之后的新事。参数里的知识固定难改,重训又贵。RA-LLM 先去外部知识库检索,再看着资料回答,闭卷考变成了开卷考。
这两招都只改模型收到的输入。把输入设计得更系统,就是下一页的提示工程、上下文工程和 harness 工程。
课件里的坑
- [对照] CoT 那页和四格那页都用了杂耍题,答案都是 4;网球题的答案 11 是示范,食堂苹果题才是测试(p.67–p.69)
- [读图提醒] 四格图里 (a)、(c) 都输出 8,要看清 8 错在只做了一次「一半」(p.69)
- [读图提醒] RA-LLM 示例中无检索的回答原文是「As of my last update in January 2022, I can’t provide…」,2022 是训练截止时间,问题问的是 2023(p.72)
- [交叉] RAG 五步流程图出现在 CoT 之前(p.66),讲 RA-LLM 时(p.72)才回头说为什么需要它;复习时两页一起看
课后 10 分钟:考点复习
这 10 分钟怎么用:先默写食堂苹果题,写出标准提示和 CoT 提示的输出;再画杂耍题的四格,标出哪两格答对;最后写训练数据和外部知识库的四组对比,用一句「闭卷 vs 开卷」收尾。
必背
- 思维链(CoT):引导模型写出逐步解题过程,多步推理的最终答案更准
- 标准提示的示范只给答案,CoT 的示范写出中间步骤;食堂苹果题标准提示答 27 ✗,CoT 答 23 − 20 = 3、3 + 6 = 9 ✓
- 零样本思维链:不给示范,只在答案前加「Let’s think step by step」,也能引出步骤
- LLM 的风险:幻觉、缺领域知识、隐私、不一致
- RA-LLM:参数记不住长尾和新知识,重训代价大,改为先检索外部知识库再生成
- 训练数据质量低、通用、固定、难更新;外部知识库质量高、专门、可扩展、易更新:闭卷考 vs 开卷考
课件例题
例 1(课件 p.67):杂耍人有 16 个球,一半是高尔夫球,高尔夫球里一半是蓝色。问蓝色高尔夫球有几个。普通提示和加「Let’s think step by step」的提示分别输出什么?
提示
数一数要取几次「一半」,再想直接报答案的模型最可能只做了几次。
解答
普通提示输出 8,错:只取了一次一半。加「Let’s think step by step」后模型写出 16 → 8 → 4,输出 4,对。
例 2(课件 p.68):示范是网球题(答案 11),测试是食堂有 23 个苹果,用掉 20 个,又买 6 个。写出标准提示和 CoT 提示下模型的输出。
提示
两种提示的区别只在示范的答案部分。
解答
标准提示:示范只给「答案是 11」,模型输出 27,错。CoT 提示:示范写出 5 + 6 = 11,模型学着写 23 − 20 = 3,3 + 6 = 9,输出 9,对。
例 3(课件 p.69):四格图 (a) 少样本、(b) 少样本思维链、(c) 零样本、(d) 零样本思维链,各输出什么?哪几格对?
提示
两个开关:有没有示范、要不要步骤。
解答
(a) 8 ✗;(b) 16 / 2 = 8,8 / 2 = 4 ✓;(c) 8 ✗;(d) 4 ✓。要步骤的 (b)、(d) 答对。
例 4(课件 p.72):问「Which country won the Women’s World Cup 2023?」,没有 RAG 和有 RAG 的模型各怎样回答?
提示
看模型的训练截止时间和问题问的年份。
解答
没有 RAG:「As of my last update in January 2022, I can’t provide…」,训练数据里没有这件事。有 RAG:检索到资料后回答「Spain won the Women’s World Cup 2023」。
完整例题
题面(改编自课件 p.68、p.72、p.73):说明思维链提示和标准提示的区别,用食堂苹果题举例;再说明为什么要用检索增强的大模型,而不是每次都重训。
解法:
- 区别:标准提示的示范只写答案;思维链提示的示范写出中间推理步骤,模型学着先写步骤再给答案。
- 举例:食堂苹果题,标准提示输出 27 ✗;思维链提示输出 23 − 20 = 3,3 + 6 = 9 ✓。
- RA-LLM 的动机:参数记不住全部知识,尤其长尾知识;缺领域知识和新信息,会幻觉或答不上。
- 为什么不重训:重训或微调代价大,训完又会过时。
- RA-LLM 的做法:先检索外部知识库,再连同问题交给模型;外部库质量高、专门、可扩展、易更新。
要点:思维链和检索增强都只改输入,不改参数。
答题格式:第一问写「区别一句 + 例子两行」;第二问写「问题 → 为什么不重训 → 怎么做」三句。
变式题(先自己做)
自编情境:
(1) 停车场有 40 辆车,开走 15 辆,又开进来 8 辆。写出思维链提示下模型应写出的步骤和答案。 (2) 一个提示给了三道带步骤的示范题,再出测试题。它属于四格里的哪一格? (3) 一家律所想让模型回答本所上周新签的合同条款。指出不带检索的模型会出什么问题,并说明 RA-LLM 怎么解决。
提示
(1) 两步,一减一加。(2) 有示范、要步骤。(3) 想想新信息和专门知识两点。
判分点与答案(非官方评分标准)
判分点:① (1) 写出两步算式和答案;② (2) 答对格子;③ (3) 说出问题和解决办法各一条。
(1) 40 − 15 = 25,25 + 8 = 33,答案 33。
(2) (b) 少样本思维链。
(3) 合同是上周新签的专门资料,模型参数里没有,会答不上或编造条款(幻觉)。RA-LLM 把合同放进外部知识库,回答前先检索,模型照着检索到的原文回答;以后新签合同,往库里加就行,不用重训。
闪卡自测
1. 思维链提示的关键思想是什么?
引导模型写出逐步解题过程,最终答案更准(p.67)。
2. 食堂苹果题,标准提示和 CoT 各输出什么?
标准提示 27 ✗;CoT 23 − 20 = 3,3 + 6 = 9 ✓(p.68)。
3. 零样本思维链加的是哪句话?
「Let’s think step by step」(p.69)。
4. LLM 的四种风险是什么?
幻觉、缺领域知识、隐私、不一致(p.70)。
5. 为什么需要 RA-LLM?
参数记不住长尾和新知识,会幻觉或答不上;重训代价大(p.72)。
6. 训练数据和外部知识库各有什么特点?
训练数据:质量低、通用、固定、难更新;外部知识库:质量高、专门、可扩展、易更新。闭卷考 vs 开卷考(p.73)。
下一讲
提示、检索都是在设计模型的输入。把「要它做什么」「给它看什么」「让它怎么跑、怎么查」分成三层来管,就是 L10e 的提示工程、上下文工程和 harness 工程。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。