← COMP5511 全部讲次
L09a-3 · 第 9 周

L09a-3 上下文、记忆与自进化:让 Agent 能长期干活

从零讲 Agent 长时间工作要解决的三件事:上下文满了怎么卸载、记忆和上下文有什么不同、Skill 怎样根据出错信号自我改进,以及为什么自进化要有治理。

一句话版

Agent 一干就是很久,会遇到三个问题:塞给模型的内容越来越多,装不下;关掉对话后什么都记不住;同样的错一犯再犯。对应的三个办法是上下文卸载、外部记忆和自进化,而自进化必须能打分、审核、回滚。

这一页接着 L09a-2 往下讲。要先记得 L09a 里的一句话:LLM 是无状态的,每次只看这一次送进去的内容。

先认识这几个词

词 英文 一句人话
上下文 context 这一次调用时送进模型的全部文字
上下文卸载 context offloading 内容太多时,把不重要的部分压缩归档、只留索引
记忆 memory 存在模型外面、跨对话保留的信息
Skill skill 写成文档的做事方法,Agent 按它干活
自进化 self-evolution Agent 根据出错信号自己改进 Skill
治理 governance 给自动改动打分、审核、留版本,可撤回

一个类比:一张办公桌和一个档案柜

你在一张不大的办公桌上干活。桌面就是上下文:摆在上面的东西,你一眼就能看到、马上能用,但桌面就这么大。

文件堆满了,你会把暂时用不上的大文件收进抽屉,在桌角留一张便签写「合同在左边第二个抽屉」。这是上下文卸载。

下班以后桌面会清空。明天还要用的东西放进档案柜:客户的喜好、上周做过什么、行业常识。这是记忆。第二天需要时,你去柜子里翻出来再摆回桌上。

干久了你会总结经验,写进自己的工作手册。手册要是谁都能随手改,改错了也没人发现,就需要有人审核、留旧版。这是自进化和治理。

类比在哪里失效:

  • 人放进抽屉的文件原样还在。卸载时内容通常会被压缩,取回来的可能只是摘要。
  • 人去档案柜翻东西靠自己记得放哪了。Agent 靠检索系统按关键词、向量等方式去找,找回来的未必是最相关的那一条。

从零讲起

1. 上下文卸载:桌面满了就归档

它解决什么问题

模型一次能读的文字有上限,叫上下文窗口。Agent 长时间工作时,对话历史、工具返回的结果、读进来的文件会越积越多。

课件点名了 OpenClaw 的一个局限:它要带很多 .md 文件(soul、identity、memory),上下文越滚越大,token 消耗很快。内容一多,回答会变慢、变差,费用也会上去。

直觉

不是所有内容都同样重要。最近几轮对话和当前任务要留着;早先读过的大文件、很久以前的对话,可以压缩收起来,只留一行索引,真需要时再取回。

一步一步看

目标:看上下文越过阈值后怎样把旧内容归档到外部、只留索引,把空间腾给当前任务。

把上下文想成一根横条,从左到右依次放着:系统提示、早先读的大文件、旧对话、工具输出、最近几轮。右端有一条虚线,是阈值。

  1. 新内容不断加到右边,横条越来越长。

    上下文卸载第 1 步:一根横条从左到右依次是系统提示、早先的大文件、旧对话、工具输出,右端有一条标着阈值的虚线,横条还没碰到它;下方写新内容不断加进上下文

  2. 加入「最近几轮」以后,横条越过了阈值。系统检测到超限,触发卸载。

    上下文卸载第 2 步:横条末尾加了一段最近几轮,越过了阈值虚线,越线的那段青绿粗框;下方写超过阈值触发卸载

  3. 系统把「早先的大文件」和「旧对话」压缩归档到外部,原位置换成一小段索引,横条缩回阈值以内。

    上下文卸载第 3 步:原来大文件和旧对话的位置换成两段很短的索引,青绿粗框标出,下方多了一个外部归档框收着被移走的内容,横条回到阈值左边;下方写只留索引,空间腾给当前任务

怎么判断

课件给了三种触发条件,满足任意一种就卸载:

触发条件 管的是什么情况
消息条数阈值 对话来回太多轮
累计 token 阈值 所有内容加起来太长
超长单条消息阈值 某一条消息本身就特别长,比如贴进来一整份文件

意思是:系统同时盯着「几条」「总共多长」「单条多长」三个数,哪个先超就动手。

课件标题里说这样做 safeguarding your bills,意思是 token 少了,费用也少了。

常见误解

以为卸载就是把旧内容直接删掉

卸载会把内容压缩并归档到外部,在原位置留下索引。需要时可以按索引找回来,这和直接删掉不同。

以为窗口越大就用不着卸载

窗口再大也有上限,而且内容越多回答越慢、越贵。课件把卸载的价值总结为三条:解决窗口容量限制,防止回答变差变慢,保证长期稳定运行。

试一下

用户一次贴进来一篇很长的报告,对话才刚开始两轮。会触发哪一种阈值?

超长单条消息阈值。条数很少,但这一条本身就很长。累计 token 阈值也可能同时被触发,取决于报告有多长。

2. 记忆:存在外面、跨会话留下的东西

它解决什么问题

LLM 无状态,对话一关,桌面清空。用户上周说过「我只吃素」,这周再问菜谱,模型不会记得。Agent 需要一个存在模型外面的地方,跨会话地保存关键信息,下次用时再取回来。

直觉

上下文是桌面,记忆是档案柜。桌面只管眼下这一次;柜子里的东西一直在,需要时才拿出来放到桌面上。

左边一个方框标为上下文,写着这一次调用送进模型、有窗口上限;右边一个方框标为记忆,里面分三格用户画像、情景记忆、语义记忆;一条青绿箭头从记忆指向上下文,标着需要时检索回来

一步一步看

目标:按存什么、怎么存、怎么找排开记忆引擎的四个要点,看三类记忆各存的是什么。

课件讲的记忆引擎有四个要点,按「存什么 → 怎么存 → 怎么找」排开。

  1. 存什么:三类记忆。 用户画像(这个人是谁、偏好什么)、情景记忆(发生过什么,比如上次一起改过哪份报告)、语义记忆(知道什么,比如某个领域的常识)。
  2. 怎么存:三层结构。 USER.md 放用户信息,MEMORY.md 放积累的记忆,外加一份跨会话的永久日志。
  3. 怎么找:混合检索与重排。 同时按关键词、向量和图去检索,再用 AI 给结果重新排序,挑最相关的放进上下文。
  4. 复杂问题:图结构。 用图把信息连起来,提升需要多步推理的复杂任务的效果。
记忆类型 存的是 例子
用户画像 这个人是谁、偏好什么 只吃素、喜欢简短回答
情景记忆 发生过什么 上周一起做过一份销售分析
语义记忆 知道什么 某个行业的术语和常识

怎么判断

遇到一条信息,问它属于桌面还是档案柜:

  • 只跟这一次调用有关、有窗口上限、满了要压缩 → 上下文。
  • 存在外部、跨会话保留、需要时检索回来 → 记忆。

意思是:上下文按「这一次」划界,记忆按「以后还要用」划界。被卸载归档的内容也存在外面,它的目的是给当前任务腾地方;记忆的目的是跨会话积累经验、做个性化。

常见误解

以为上下文和记忆是一回事

上下文是单次调用送进 LLM 的内容,受窗口大小限制;记忆存在外部文件或数据库里,跨会话保留,用时才检索回来。回到无状态那句话:记忆是 Agent 这一层替模型补上的。

以为记得越多越好,全部塞进上下文

全塞进去会把窗口撑爆,又回到上下文膨胀的问题。记忆的做法是存在外面,靠检索只取当下用得上的那几条。

试一下

「用户三个月前说过自己对花生过敏」「这一轮对话里刚贴进来的表格」分别属于什么?如果属于记忆,是哪一类?

过敏信息属于记忆,类型是用户画像,要跨会话保留。刚贴进来的表格属于这一次的上下文。

3. 自进化:从错误里改进 Skill,并且要有治理

它解决什么问题

Agent 按 Skill 干活。Skill 写死以后,遇到新情况做错了,下次还会错。自进化让系统自己发现「这次做得不好」,再去改 Skill。这是 L5 的具体抓手。

直觉

一个新员工做错了事,有两种情况会让他意识到:事情本身出了故障,或者有人跟他说「不对」。他把教训记进工作手册。公司要是允许他随手改手册,改错了就会一直错下去,所以要有人审、要留旧版。

两行流程对比:上一行标直接改,依次是执行任务、发现信号、直接改 SKILL.md、下次直接用;下一行标带治理,依次是执行任务、收集轨迹并检测信号、改 Skill 并生成经验、评分审核可回滚,最后一格青绿粗框

一步一步看

目标:跟着带治理的路线走一轮自进化,再和直接改的路线对比,看治理多出了哪些环节。

以课件里的带治理路线为例,一轮自进化这样走:

  1. 执行任务,同时把每一步的轨迹记下来。
  2. 检测信号。系统盯两类信号:执行异常(工具调用超时、接口返回错误、代码执行异常中断),以及用户纠正(「不对」「错了」「应该换种做法」「你理解错了」)。
  3. 创建或改进 Skill,把这次的教训整理成一条经验。
  4. 治理:给经验打分,人可以审核、修改或删除,每次改动都有版本,改坏了可以回滚。
  5. 使用经验:下次遇到类似任务时用上新的 Skill。

课件拿两条路线做了对比:

直接改(Hermes-Agent) 带治理(JiuwenSwarm)
流程 执行 → 发现信号 → 直接改 SKILL.md → 下次直接用 执行 → 收集轨迹 → 检测信号 → 改 Skill → 生成经验 → 使用经验
触发 后台机制,默认超过 10 次工具调用 检测可复用模式和问题信号
治理 没有显式治理,Agent 自己决定 经验评分、人工审核、版本管理与回滚
特点 轻量、改了立刻生效 改动可追溯,经验可审核、可共享

怎么判断

判断一个自进化系统靠不靠得住,问三个问题:

  1. 它靠什么发现错误? 应该能说出执行异常和用户纠正两类信号。
  2. 改动谁来把关? 有评分和人工审核,改动才不会悄悄变坏。
  3. 改坏了能不能撤回? 有版本管理和回滚,才能追溯。

意思是:前者快、后者稳。课件想让人记住的通用思路是,自动改 Skill 的同时要能打分、审核和回滚。

课件还给了一个反面例子说明治理的必要:ClawHub 上的 Skill 已超过 42,000 个,课件称超过 30% 可用性差、超过 10% 有严重安全漏洞,还有一些是恶意 Skill。

常见误解

以为自进化越自动越好

完全自动意味着改坏了也没人发现。课件强调要能给改动打分、人工审核、版本回滚,宁可慢一点也要可追溯。

以为只有系统报错才算「做得不好」

还有一类信号来自用户:用户说「不对」「你理解错了」,即使程序没报错,也说明结果不符合要求。

试一下

Agent 调用天气接口,接口返回了错误码;另一次 Agent 写完邮件,用户回复「语气太生硬了,换种写法」。这两件事分别属于哪类信号?

前者是执行异常(接口返回错误),后者是用户纠正。两类都会触发自进化。

把它们串起来

三件事都在补 LLM 无状态留下的缺口,管的时间尺度不同。

上下文卸载管的是「这一次」:桌面满了,把不重要的大文件收起来、留索引,三种阈值任意一个超了就动手。记忆管的是「以后」:用户画像、情景、语义三类信息存在外面,下次靠混合检索取回。自进化管的是「越做越好」:靠执行异常和用户纠正两类信号改 Skill,再用评分、审核、回滚把关。

课件把这些设计都对准 OpenClaw 暴露的局限:上下文膨胀对应上下文卸载,Skill 质量差对应经验治理,没有多租户对应企业级部署。

课件里的坑

  • [读图提醒] 案例页把 Enterprise 拼成了 Enterpirse,是课件笔误(p.28)
  • [读图提醒] Design 模式那页标题把 canvas 拼成了 cavas,也是笔误(p.30)
  • [适用条件] Skill 超过 30% 可用性差、超过 10% 有严重漏洞,是课件自述,没给统计口径(p.14)
  • [适用条件] 「默认超过 10 次工具调用」是课件写的 Hermes-Agent 触发阈值,作为路线对比的背景读,不当通用标准(p.23)
  • [适用条件] 电网「数字医生」准确率超 90% 是客户案例自述,课件没给评测口径(p.29)

课后 10 分钟:考点复习

这 10 分钟怎么用:先用桌面和档案柜的类比,口头讲一遍上下文和记忆的区别;再默写三种卸载阈值和两类进化信号;最后做完整例题,练「给一条信息归类」。

必背

  1. 上下文超阈值就压缩归档、留索引;记忆存在外部、跨会话保留,分用户画像、情景、语义
  2. 上下文卸载的三种触发条件:消息条数阈值、累计 token 阈值、超长单条消息阈值
  3. 上下文是单次调用送进 LLM 的内容,有窗口上限;记忆存在外部,需要时检索回来
  4. 自进化的两类信号:执行异常(超时、接口报错、执行中断)和用户纠正(「不对」「错了」)
  5. 自进化要有治理:经验评分、人工审核、版本管理与回滚
  6. OpenClaw 的四个局限:没有多租户;长任务成功率、安全性和效率低;上下文膨胀;Skill 生态大但质量差

课件例题

本讲课件没有例题。这部分预计考辨析和简答:说出上下文和记忆的区别,列出卸载的触发条件,说出自进化的两类信号和为什么需要治理。

完整例题

题面(改编自注解版自测题 7、8):一个 Agent 帮用户长期管理日程。请回答:(a) 对话进行到第 200 轮时回答明显变慢,系统应该怎么处理?(b) 用户上个月说过「周五下午不排会」,这条信息应该放在哪?(c) Agent 排了一个周五下午的会,用户说「错了,我说过周五下午不排会」,系统接下来应该怎么做?

解法:

  1. (a) 消息条数超过了阈值,触发上下文卸载:把早先的旧对话压缩归档到外部,原位置只留索引,腾出空间给当前任务。
  2. (b) 这是跨会话要保留的用户偏好,放在记忆里,类型是用户画像。下次排会时检索回来放进上下文。
  3. (c) 这是用户纠正信号。系统把这次的教训整理成经验、更新排会的 Skill,经过评分和审核后生效,旧版本保留以便回滚。
  4. 再回头看 (c) 的根源:这条偏好本该从记忆里检索出来。所以除了改 Skill,也要检查检索有没有把它找回来。

要点:上下文管「这一次」,记忆管「以后」,自进化管「下次别再错」。

答题格式:每小问先写用的是哪种机制,再写一句理由,理由落到「阈值」「跨会话」「信号」这几个关键词上。

变式题(先自己做)

自编情境:

(1) 一个系统让 Agent 每次发现自己出错就直接改 SKILL.md,下一次立刻按新版本执行,没有任何记录。指出它最大的风险,并说出两种补救做法。 (2) 下面三条信息分别属于用户画像、情景记忆、语义记忆中的哪一类:「用户偏好英文回复」「上周二一起改过一份预算表」「增值税是按增值额征收的税」。 (3) 有人说「把上下文窗口做大,就不需要记忆了」。用一句话反驳。

提示

(1) 想想改坏了怎么办、谁来把关。(2) 三类分别回答「这个人是谁」「发生过什么」「知道什么」。(3) 无状态。

判分点与答案(非官方评分标准)

判分点:① (1) 说出风险并给两种治理做法;② (2) 三条全对;③ (3) 落到「跨会话」或「无状态」。

(1) 风险:改坏了没人知道,也无从追溯,错误会一直延续。补救:给改动打分、加人工审核,并做版本管理,可以回滚到旧版。

(2) 偏好英文回复 → 用户画像;上周二改预算表 → 情景记忆;增值税的定义 → 语义记忆。

(3) 窗口再大也只管这一次调用,对话结束就清空;跨会话的信息必须存在外部,这就是记忆。

闪卡自测

1. 上下文卸载的核心比喻是什么?

整理桌面:超过阈值时,把不太重要的大文件归档压缩,只留简短索引,把空间腾给当前任务(p.25)。

2. 卸载的三种触发条件是什么?

消息条数阈值、累计 token 阈值、超长单条消息阈值(p.25)。

3. 上下文卸载的核心价值是什么?

解决长对话中上下文窗口的容量限制,防止回答变差变慢,保证长期稳定运行;token 少了费用也少(p.25)。

4. 记忆引擎的三层结构是什么?

USER.md + MEMORY.md + 跨会话的永久日志(p.26)。

5. 记忆引擎按哪几类认知因素组织?怎么检索?

用户画像、情景记忆、语义记忆;多通道检索关键词、向量、图,再用 AI 重排(p.26)。

6. 自进化盯哪两类信号?

执行异常(工具超时、接口报错、执行中断)和用户纠正(「不对」「错了」「你理解错了」)(p.22)。

7. Hermes-Agent 和 JiuwenSwarm 的自进化路线差在哪?

前者发现信号后直接改 SKILL.md,没有显式治理,轻量、立刻生效;后者收集轨迹、生成经验,带评分、人工审核、版本回滚,改动可追溯(p.23)。

8. OpenClaw 的局限里,哪三条被后面的设计点名回应?

上下文膨胀 → 上下文卸载;Skill 质量差 → 经验治理;没有多租户 → 企业级部署(p.14、p.17、p.22–25)。

下一讲

本周的另一份材料是 WorkSwarm 实操演示,讲多个 Agent 怎样按依赖排工、人在哪些地方插手。见 L09b。

下一讲 →
L09b L09b 和 Agent 团队一起做项目:角色、任务图和人该在哪里出手

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。