L09a 从大模型到 Agent:会答题的模型,怎样变成会动手的系统
从零讲大模型怎样一个字一个字地写,RAG 为什么要先查资料,Agent 在模型外面加了什么,以及 Think → Act → Observe 的 ReAct 循环怎样一轮一轮推进任务。
一句话版
大语言模型(LLM)只会做一件事:读进一段文字,一个字一个字地往下写。Agent 在它外面搭了一层系统,给它配上记忆和工具,让它能动手做事、看结果、再决定下一步。
这一讲是嘉宾讲座,分三页。这一页讲从模型到 Agent 的基本区分;Agent 的五个等级和多 Agent 怎样分工见 L09a-2;上下文、记忆和自进化见 L09a-3。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| LLM | Large Language Model,大语言模型 | 读一段字、接着往下写的模型 |
| token | 读「头肯」 | 模型一次读写的最小单位,中文大致是一个字或半个词 |
| 无状态 | stateless | 模型不记得上一次调用,每次只看这次给它的字 |
| RAG | Retrieval-Augmented Generation,检索增强生成 | 先去资料库查,再把查到的资料连同问题交给模型 |
| Agent | 智能体 | 围绕模型搭起来、能用工具对外做事的系统 |
| ReAct | Reason + Act | 想一步、做一步、看结果,再想下一步的循环 |
| Harness | 原意是马具、挽具 | 包在模型外面、约束和驱动它干活的整套系统 |
一个类比:一位只会口述的顾问
设想一位很懂行的顾问,被关在一间没有窗户的屋子里。你从门缝塞进一张纸条,他读完写一段回复塞出来。他不记得你上次问过什么,每张纸条都从零开始读。这就是 LLM。
想让他答得更准,你可以先去档案室把相关资料复印好,和问题一起塞进去。这是 RAG。
再进一步,你给屋子装上电话和电脑,配一个秘书替他记事。顾问说「查一下库存」,秘书就去查,把结果递回来,顾问再决定下一步。整间屋子加上秘书和设备,才是 Agent。
类比在哪里失效:
- 真人顾问多少会记得些事情。LLM 是彻底的无状态,一次调用结束,里面什么都不留。
- 秘书只是跑腿。Agent 外面那层系统还会决定给模型看什么、什么时候停、出错了怎么恢复,比秘书管得多。
从零讲起
1. 先补一块:大模型怎样一个字一个字地写(补充)
它解决什么问题
要分清 LLM 和 Agent,先得知道 LLM 本身到底在干什么。课件给它的定义很短:无状态的文本到文本转换器,自回归地预测 token。这一节把这句话拆开讲。
从哪来(补充)
今天的大语言模型几乎都建在 Transformer 结构上。这个结构出自 2017 年的论文《Attention Is All You Need》,作者是 Google 的八位研究者。课件第一张背景图右边画的就是它。
出处:Wikipedia: Attention Is All You Need
直觉
手机输入法会在你打字时猜下一个词。LLM 做的是同一件事,只是猜得准得多。它读进一串字,算出下一个字最可能是什么,吐出来。
吐出来的这个字马上被接到输入末尾,模型再读一遍整串,猜下一个。一直这样接下去,直到写完。这种「用自己刚写的字当下一步的输入」的写法,就叫自回归。
一步一步看
目标:用「我想喝」走三步续写,看模型每次只吐一个字再接回输入,写完也不记得写过什么。
用「我想喝」做开头,看模型怎样往下写。
-
模型读进「我想喝」,猜下一个字是「一」。
-
「一」被接到输入末尾。模型读「我想喝一」,猜出「杯」。
-
再接上「杯」,模型读「我想喝一杯」,猜出「水」。
-
写完以后,这次调用就结束了。下一次你再问它,它不会记得刚才写过「我想喝一杯水」。
怎么判断
判断一个说法对 LLM 是否成立,抓两点。
- 它只做文本到文本。输入是字,输出也是字。它自己不会去上网、不会改文件,它能做的只是写出「我想去上网」这几个字。
- 它无状态。每次调用只看这一次给它的输入。聊天软件里它「记得」你前面说过的话,是因为软件每一轮都把整段聊天记录重新塞给它。
所以,看到「模型记住了我的偏好」「模型自己查了资料」这类描述,要追问一句:是谁替它记的、谁替它查的?答案总是模型外面的那层系统。
常见误解
以为模型会把聊天内容存在自己身上,越聊越了解你
一次调用结束,模型内部什么也不留。它在同一个对话里能接上前文,是因为外层程序每一轮都把历史消息拼进输入。换一个新对话、不给历史,它就什么都不知道了。
以为模型是先想好整句话,再一次性写出来
它一次只吐一个 token。每吐一个,就把它接回输入、再算下一个。整句话是这样一步一步接出来的。
试一下
模型读进「今天天气」,前三步依次吐出「很」「好」「。」。第三步时,它读进的完整输入是什么?
是「今天天气很好」。前两步吐出的「很」和「好」都已经接回了输入末尾,第三步就在这串字后面猜出「。」。
一个聊天应用每轮只把用户最新的一句话发给模型,不发历史。用户说「我叫小林」,下一轮问「我叫什么」,模型能答对吗?
答不对。模型无状态,第二轮的输入里只有「我叫什么」,没有「我叫小林」。想让它答对,应用得把上一轮的对话一起发进去。
2. RAG:回答之前先去查资料
它解决什么问题
模型只知道训练时见过的东西。问它公司内部的规章、昨天的新闻,它要么不知道,要么编一个看似合理的答案。RAG 的办法是:回答之前先去资料库把相关内容找出来,和问题一起交给模型。
从哪来(补充)
RAG 这个名字出自 2020 年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》,第一作者 Patrick Lewis,发表在 NeurIPS 2020。论文的思路就是先检索、再生成。
出处:Wikipedia: Retrieval-augmented generation
直觉
开卷考试。闭卷时你只能凭记忆答;开卷时你先翻书找到相关的那几页,再照着写。模型还是那个模型,区别只在答题时手边多了几页对的资料。
一步一步看
目标:跟着「明天要带伞吗」走一遍 RAG,看它比纯 LLM 只多了检索这一步,到答案就结束。
用户问:「明天要带伞吗?」
-
问题先送去检索资料库,按问题找出相关资料,比如明天的天气预报。
-
检索到的资料和原来的问题拼在一起,组成一段更长的输入。
-
这段输入交给 LLM。LLM 读完,照常一个字一个字地续写。
-
输出答案「明天有雨,建议带伞」,流程结束。
怎么判断
拿到一个系统,问两个问题。
- 回答之前,有没有先去外部资料里查?有,就至少用了 RAG。
- 答完以后,有没有对外做事、再根据结果继续?没有,就停在 RAG,还算不上 Agent。
RAG 只改了「模型看到什么」,没有改「模型能做什么」。
常见误解
以为接了知识库的客服机器人就是 Agent
只检索、只回答,它是 RAG。Agent 还要能调用工具对外采取行动,并根据行动的结果决定下一步。客服机器人若能自己去订单系统改地址、再确认改成功,才往 Agent 那边靠。
试一下
一个问答系统收到问题后,先搜索公司文档,挑出三段最相关的放进提示,再让模型回答。它是 LLM、RAG 还是 Agent?
RAG。它多了检索这一步,但输出仍然只是一段回答,没有对外行动,也没有根据结果再来一轮。
3. Agent:围绕模型搭起来的系统
它解决什么问题
很多任务一次答不完。修一个程序报错,要先找原因、再改代码、再跑测试,每一步做什么取决于上一步看到了什么。只会续写的模型干不了这种活,需要外面有一层系统替它动手、替它记事、把结果喂回来。这层系统加上模型,就是 Agent。
直觉
模型是大脑。Agent 是给大脑配上手(工具)、笔记本(记忆)和一套做事的规矩,让它能真的把一件事办完。
把三条流程并排看,每往下一行多一样东西。LLM 一问一答;RAG 在输入里多塞了资料;Agent 让模型带着记忆和工具,把答案变成对外的行动,行动的结果再回到下一轮。
一步一步看
目标:拿替你整理邮件的任务逐条对上六个特征,看每个特征落在实际任务的哪个动作上。
课件给 Agent 列了六个特征。拿「替你整理一周邮件」这个任务,逐条对上。
- 自主行动:你不用一直盯着,它自己一封封读。遇到要删邮件这种大动作,可以设成先问你,这叫人在环里(human in the loop)。
- 记忆:它记得你上周说过「广告邮件直接归档」,这次照做。
- LLM 负责决策:每封邮件该回复、归档还是标重要,由模型判断。
- 感知环境:它能读到邮箱里的新邮件,知道哪封已经处理过。
- 使用工具:读邮件、移动邮件、写草稿,都是调用邮箱的接口。
- 协作:碰到要排会议的邮件,它把日程那部分交给另一个管日历的 Agent。
| 特征 | 在这个任务里对应什么 |
|---|---|
| 自主行动 | 自己逐封处理,删除前问你 |
| 记忆 | 记得「广告直接归档」 |
| LLM 决策 | 判断每封邮件怎么处理 |
| 感知环境 | 读到新邮件和处理状态 |
| 使用工具 | 调用邮箱接口 |
| 协作 | 把排会议交给日历 Agent |
怎么判断
它是不是 Agent:看三样有没有齐。一是能调用工具对外做事;二是能根据做事的结果决定下一步;三是有一层系统在管记忆和流程。只有第一样、做完就停,更像一个会调接口的脚本。
它的工程做在哪一层:课件把围绕模型的工程分成三层,一层包一层。
| 层 | 问的问题 | 改的是什么 |
|---|---|---|
| Prompt 工程 | 我该怎么问? | 指令本身:角色、示例、思维链 |
| Context 工程 | 模型该看到什么? | 输入窗口:RAG 和记忆、工具定义、对话历史 |
| Harness 工程 | 整个环境该怎么设计? | 模型周围的系统:架构约束、流程控制、出错恢复、评估 |
三层是包含关系,外层包住内层。上一节的 RAG 属于 Context 这一层。课件右下角那句 AGENT = MODEL + HARNESS 说的就是:Agent 等于模型加上外面这整套系统。
常见误解
以为 Agent 就该完全自主,有人插手就不算 Agent
课件写第一个特征时特意说明:Agent 可以自主行动,也可以让人留在环里保持控制,两者不冲突。高风险动作要求人工批准,恰恰是成熟 Agent 的常见设计。
以为把提示词写好,就是在做 Agent 工程
提示词只是最里面那一层。模型看到哪些资料、能用哪些工具、出错了怎么恢复、怎么评估做得好不好,属于 Context 和 Harness 两层,Agent 的大部分工程量在这两层。
试一下
一个系统能根据用户描述生成一段 SQL,但不会去执行,生成完就结束。按 Agent 的六个特征看,它最缺的是哪几项?
它不使用工具(不执行 SQL),也没有感知环境(看不到执行结果),因此谈不上根据结果继续。它更像 LLM 加一段固定提示,离 Agent 还差工具和行动、循环这几样。
给模型加一段「你是一位资深会计」的角色设定,和给它接上公司的报销数据库,分别属于哪一层工程?
角色设定属于 Prompt 工程,改的是怎么问。接数据库让模型能查到报销记录,改的是模型能看到什么,属于 Context 工程。
4. ReAct 循环:想一步、做一步、看一眼
它解决什么问题
Agent 能用工具了,接下来的问题是:先用哪个、用完怎么办?ReAct 给出一个固定的节奏:先思考(Think),再行动(Act),再观察结果(Observe),然后带着结果回去思考下一步,直到任务完成。
从哪来(补充)
ReAct 出自论文《ReAct: Synergizing Reasoning and Acting in Language Models》,作者是 Princeton 和 Google Research 的 Shunyu Yao 等人。论文 2022 年 10 月首次公开,发表在 ICLR 2023。做法就是让模型交替写出推理和动作,再读回观察结果。
出处:ICLR 2023 论文页;代码 GitHub: ysymyth/ReAct
直觉
医生看病:先根据症状猜可能的病因(想),开一项化验(做),拿到化验单(看)。化验结果排除了一种可能,医生再想下一步该查什么。每一步查什么,都取决于上一步的结果。
一步一步看
目标:跟着修报错走两轮 Think、Act、Observe,看每一步怎样依据上一步的观察来定,直到完成。
任务:「修好这个报错」。每一帧里,青绿粗框是这一步正在做的环节,灰底是做完的,黑框是排在后面的。
-
Think:报错说找不到文件,可能是路径写错了。决定先用搜索工具找这个文件。
-
Act:调用搜索工具,按文件名查找。这一步真的对外做了事。
-
Observe:搜索结果显示,文件存在,只是在另一层目录里。
-
回到 Think:带着这个结果开始第二轮。想「把路径改对」,做「改代码、跑测试」,看「测试通过」。
-
Done:观察到测试通过,判断任务完成,交付修好的代码。
怎么判断
看一个系统是不是在跑 ReAct 循环,问一句:下一步做什么,是谁定的?
- 如果步骤是人事先画好的,模型只在某些节点上生成内容,那是固定工作流。
- 如果每做完一步,模型都要看结果再决定下一步,就是 ReAct 循环。
第二点就是课件说的「从写死的工作流,变成由模型自主调用工具驱动的循环」。工具大致分三类:系统内置的(编辑文件、执行命令、搜索),经 MCP 协议接进来的外部服务,以及把一套做事方法打包好的 Skills。
常见误解
以为 ReAct 就是让模型调一次工具
调一次工具、拿到结果就结束,只走了半圈。ReAct 的要点在循环:结果回到思考,决定下一步,直到判断完成。
以为 Observe 这一步是人在看结果
Observe 是把工具返回的结果交回给模型读。人可以在旁边监督,但循环本身不需要人参与每一步。
试一下
一个 Agent 要订一张明天去北京的最便宜机票。写出它可能的前两轮 Think → Act → Observe。
第一轮:想「先查明天所有航班的价格」,做「调用航班搜索」,看「最便宜的是早上 7 点那班」。第二轮:想「确认这班还有余票,再下单」,做「调用订票接口」,看「下单成功」。看到下单成功,判断完成。具体航班是自编的,重点是每轮的动作都由上一轮的观察决定。
把它们串起来
LLM 只做一件事:读一串字,一个字一个字往下写,写完什么都不留。它的一切「能力」都要靠外面喂进去的字。
RAG 在这串字里多塞了一份查来的资料,模型答得更准,但仍然只是回答。
Agent 再往前走一步。外面那层系统替模型保存记忆、提供工具、把行动结果喂回来,模型在 Think → Act → Observe 的循环里一轮一轮推进,直到任务完成。课件把这层系统叫 Harness,所以 AGENT = MODEL + HARNESS。
从这里开始,问题变成:一个 Agent 能做到什么程度?多个 Agent 怎样一起干活?这是下一页的内容。
课件里的坑
- [读图提醒] LLM、RAG、Agent 三张手绘流程图要按「逐级加东西」读:RAG 多了检索的资料,Agent 多了记忆、工具、行动和循环(p.3)
- [措辞] 第一个特征写的是 Agent 可以自主,也可以有人在环里,两者不矛盾;「Agent 一定完全不需要人」是错的(p.4)
- [读图提醒] 三层工程那一页是纯图片页,三层是同心框,外层包住内层;AGENT = MODEL + HARNESS 是右下角的一行小字,容易漏看(p.5)
- [背景页] LLM 进化树那页只是背景,树上有哪些模型不是考点(p.2)
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先在纸上画出 LLM、RAG、Agent 三条流程,每条比上一条多画一样东西;再默写 Agent 六个特征;最后拿一个你用过的 AI 产品,说说它属于这三者里的哪一种。
必背
- LLM 是无状态的文本到文本转换器,自回归地预测 token;Agent 是围绕 LLM 的编排层,LLM 当推理引擎
- LLM 只回答;RAG 先检索资料再回答;Agent 还带记忆和工具,能行动并根据结果循环
- Agent 六特征:自主行动(可带人在环)、记忆、LLM 决策、感知环境、使用工具、协作
- ReAct 循环:Think → Act → Observe,模型看上一步结果决定下一步
- Prompt → Context → Harness 三层:我该怎么问、模型该看到什么、整个环境该怎么设计;外层包住内层
- 无状态指 LLM 每次调用只看这次的输入;Agent 的记忆由外层系统保存、再喂回给模型
课件例题
本讲课件没有例题。这是一场概念型嘉宾讲座,这一页的内容预计考概念辨析:区分 LLM、RAG、Agent,解释「无状态」,列出 Agent 的六个特征,说出三层工程各问什么问题。
完整例题
题面(改编自注解版自测题 1、2):用一句话说出 LLM 和 AI Agent 的区别,并解释为什么说 LLM 是无状态的。再说明 RAG 和 Agent 都会给模型额外信息,二者差在哪里。
解法:
- 先给定义:LLM 是文本进、文本出的模型,自回归地逐个预测 token;Agent 是围绕 LLM 搭起来的编排层,LLM 在里面当推理引擎。
- 解释无状态:LLM 每次调用只看这次的输入,调用结束什么都不保留。它在对话里能接上前文,是外层系统每轮把历史重新塞进输入。
- 比较 RAG 和 Agent 的共同点:两者都在模型之外补东西。RAG 补检索来的资料,Agent 补记忆、工具和流程控制。
- 找分界:RAG 的输出仍然只是一段回答;Agent 会调用工具对外采取行动,并根据行动结果继续下一轮。
- 一句话收束:分界在「能不能对外行动、并根据结果继续」。
要点:答「无状态」时要把「记忆从哪来」一起答出来,否则只答了一半。
答题格式:先写两个定义各一句,再用一句话写无状态的意思,最后用一句话写 RAG 与 Agent 的分界。
变式题(先自己做)
自编情境:
(1) 一个客服系统先从知识库检索相关条款,再让大模型据此回答用户,不做任何操作。它离 Agent 还差什么? (2) 一个编程助手的工作记录如下:读报错 → 搜索文件 → 发现路径错 → 改路径 → 跑测试 → 测试通过。把每一步标成 Think、Act 或 Observe。 (3) 给模型加一段「请一步一步思考」,和给它接上团队的历史对话记录,分别属于三层工程的哪一层?
提示
(1) 对照三条流程图,看缺了哪几样。(2) 对外调用工具的是 Act,读回结果的是 Observe,决定下一步的是 Think。(3) 一个改的是怎么问,一个改的是模型能看到什么。
判分点与答案(非官方评分标准)
判分点:① (1) 说出缺工具和行动、缺循环;② (2) 标对三类步骤;③ (3) 两个都分对层。
(1) 这是 RAG。它还缺工具调用和对外行动,也没有「看结果再决定下一步」的循环。
(2) 读报错是 Observe(读入环境信息),接着想「先搜文件」是 Think;搜索文件是 Act;发现路径错是 Observe;决定改路径是 Think,改路径是 Act;跑测试是 Act;测试通过是 Observe,之后 Think 判断完成。题目的记录把思考省略了,答出每个动作前都有一次思考即可。
(3) 「请一步一步思考」是思维链提示,属于 Prompt 工程。接上历史对话记录,改的是模型能看到什么,属于 Context 工程。
闪卡自测
1. 课件怎样定义 LLM 和 AI Agent?
LLM 是无状态的文本到文本转换器,给它 prompt,它自回归地逐个预测 token。Agent 是围绕一个或多个 LLM 的编排层,像控制系统,LLM 在里面当推理引擎(p.3)。
2. 「无状态」是什么意思?那 Agent 的记忆从哪来?
LLM 每次调用只看这次的输入,不记得上一次。Agent 的记忆由外层系统保存,需要时再喂回给模型(p.3)。
3. LLM、RAG、Agent 三张流程图逐级多了什么?
RAG 比 LLM 多了从资料库检索来的上下文;Agent 比 RAG 多了记忆、工具、对外行动和循环(p.3)。
4. Agent 的六个特征是什么?
自主行动(可带人在环)、记忆、LLM 负责决策、感知环境、使用工具、协作(p.4)。
5. 三层工程各问什么问题?
Prompt:我该怎么问;Context:模型该看到什么;Harness:整个环境该怎么设计。外层包住内层,AGENT = MODEL + HARNESS(p.5)。
6. ReAct 循环的三步是什么?L2 和 L3 的分界在哪?
Think → Act → Observe,循环到任务完成。L2 的步骤是人画好的,L3 的下一步由模型看了上一步结果后自己决定(p.10、p.11)。
7. 课件把 Agent 用的工具分成哪三类?
内置工具(编辑、执行命令、搜索)、MCP 工具(接入外部服务)、Agent Skills(打包好的做事方法)(p.11)。
下一讲
一个 Agent 能做到哪一步,课件用 L1 到 L5 五个等级来分;到了第四级,多个 Agent 开始像团队一样分工。见 L09a-2。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。