← COMP5511 全部讲次
L09b-2 · 第 9 周

L09b-2 读懂 Agent 团队交来的结果:最大回撤、基准和独立测试

WorkSwarm 演示的后两个项目:从零讲最大回撤怎么算、为什么全年赚钱回撤也能很大,人怎样质疑资产池,结果为什么要和 60/40 基准比、样本内意味着什么,以及独立测试角色和验收清单。

一句话版

Agent 团队交来一个漂亮的数字,要用三把尺子去量:最大回撤看过程中最多亏多少,基准告诉你这个数算不算好,样本内提醒你结果可能偏乐观。输入不对要在计算前质疑,交付的东西要有独立的人按清单测。

这一页接着 L09b,讲复现项目的回测结果和组合项目的全过程。

先认识这几个词

词 英文 一句人话
回测 backtest 拿历史数据模拟一遍交易策略,看它当时会赚多少
净值 net asset value 把起点记作 1.00,之后每个时刻值多少
最大回撤 maximum drawdown 从之前的最高点算起,最多跌掉了多少
基准 baseline 拿来比较的简单方案,用来判断新方案到底好不好
样本内 in-sample 用来检验的数据,就是当初拿来做优化的那一批
验收清单 acceptance checklist 事先写好的检查项,逐项过

一个类比:坐过山车和看成绩单

坐一趟过山车,起点和终点高度差不多,你说「没什么」。可中间有一段从最高处直冲下去,那一下才是让人尖叫的地方。总收益只比较起点和终点;最大回撤量的是中间那一段最深的俯冲。

成绩单上写着八十五分,好不好?要看全班平均多少。基准就是那个「全班平均」。

要是这张卷子的题目你考前就见过,这个分数也说明不了下次考试怎样。样本内的成绩就是这种「见过题」的成绩。

类比在哪里失效:

  • 过山车每次的轨道都一样,策略的净值曲线换一段时间就完全不同。
  • 考试的平均分是现成的。投资里的基准要自己选,选法不同,结论也会变。

从零讲起

1. 最大回撤:从高点算起最多跌多少

它解决什么问题

复现项目存下了一次比特币均线策略的回测(BTC-USDT,2024 年,20 日 / 50 日均线):总收益 +26.44%,最大回撤 −38.33%,完成交易 5 笔。

只报 26.44%,读者会以为这一年稳稳赚钱。中途其实有一段从高点跌掉了三成多。真拿钱跟着这个策略的人,在那段时间很可能扛不住、割肉离场。最大回撤就是用来把这段风险摆出来的。

从哪来(补充)

回撤(drawdown)是净值从此前历史最高点往下跌的幅度,常写成百分比:(最高点 − 当前净值) / 最高点 × 100%。最大回撤(MDD)是一段时间里所有回撤中最大的那一个。出处:Wikipedia: Drawdown (economics)。

直觉

总收益只看两个点:起点和终点。回撤看的是一条线:每到一个时刻,都回头找此前最高的那个点,量一下现在比它低了多少。全年里量出来最大的那一次,就是最大回撤。

所以两者可以同时很大:先大涨,再大跌,年末又涨回来一部分。

一步一步看

目标:在一条净值曲线上分别找总收益和最大回撤要用的点,看回撤从此前高点量起,跌了约 38.33%。

拿一条自拟的净值曲线:1.00 → 1.50 → 0.925 → 1.10 → 1.2644。

  1. 总收益只看起点和终点:起点 1.00,终点 1.2644。

    净值曲线从年初 1.00 涨到 1.50,跌到 0.925,年末回到 1.2644;这一帧用青绿圆点只标出起点 1.00 和终点 1.2644,下方写总收益等于终点减起点除以起点,为 26.44%

  2. 找过程中的最高点:高点是 1.50。回撤从「此前的最高点」算起。

    同一条净值曲线,这一帧只用青绿圆点标出最高点 1.50,下方写回撤从此前的最高点算起,高点之前的涨跌不影响这一段回撤

  3. 找高点之后的最低点,量跌幅:高点之后最低到 0.925,跌掉 0.575。

    同一条净值曲线,高点 1.50 改成黑色圆点,高点之后的最低点 0.925 用青绿圆点标出,两点之间一条青绿双向竖线标着跌掉 0.575,下方写最大回撤约 38.33%

  4. 之后从 0.925 回升到 1.10、再到 1.2644,都没有超过 1.50,所以没有产生更大的回撤。

怎么算

两个公式:

  • 总收益 = (终点净值 − 起点净值) / 起点净值
  • 最大回撤 = (高点 − 高点之后的最低点) / 高点,在所有「高点 → 之后最低点」里取最大

意思是:总收益问「从头到尾赚了多少」,最大回撤问「中途从山顶最多摔下去多深」。分母是高点,因为跌幅要相对你当时手里最多的钱来算。

代入上面的曲线:

  • 总收益 = (1.2644 − 1.00) / 1.00 = 0.2644 = 26.44%
  • 最大回撤 = (1.50 − 0.925) / 1.50 = 0.575 / 1.50 ≈ 0.3833 ≈ 38.33%,记作 −38.33%

这组数和课件那次比特币回测的结果一致,只是用来说明两者可以并存。曲线本身是自拟的,课件没给。

常见误解

以为「全年赚钱」就说明中途没怎么亏

总收益只看起点和终点,回撤看的是中间从高点跌下来的幅度,两者可以同时很大。报告策略时两个数都要给。

以为回撤要从起点算

回撤从「此前的最高点」算起。上面的曲线如果从起点 1.00 算,跌幅 = (1.00 − 0.925) / 1.00 = 7.5%,会严重低估风险。

试一下

净值从 1.00 一路涨到 2.00,中途从没下跌过。最大回撤是多少?

0。每个时刻都是新高,没有任何从高点往下跌的过程。

2. 质疑输入:先问资产池对不对

它解决什么问题

组合项目假设有 $1,000,000,要计算资产权重、解释风险与收益、并和基准对比。系统最初提议的资产池是六只美股:AAPL、MSFT、GOOGL、AMZN、JPM、XOM。输入一旦定错,后面算得再准也是在错的范围里挑。

直觉

组合优化的作用是在不同资产之间搭配,用一种资产的涨去抵另一种的跌。六只全是股票,涨跌往往一起来,能搭配的空间就很小。演示者在计算之前问了一句:「这个资产池适合我们的组合优化题目吗?」

一步一步看

目标:跟着资产池从提议走到重算,看人在哪一步质疑、哪一步确认,改动怎样落进计划。

  1. 系统提议:六只美股,资产类别单一。
  2. 人质疑:追问这个资产池是否适合组合优化题目。
  3. 系统比较:WorkSwarm 比较了四个替代方案,推荐资产池 A。
  4. 人确认:「我同意资产池 A」。
  5. 写进计划:改动记进准备清单的 v1.1 版本,原来六只股票保留为对照组。
  6. 再计算:由优化器决定每个候选分配多少。
代码 类别
SPY、IWM、EEM 股票
TLT 美国国债
GLD 黄金
DBC 大宗商品

怎么判断

拿到一个输入,问它会不会限制项目的目的。演示底部的原话是:当一个输入可能限制项目目的时,就去质疑它。

人确认修改以后,再检查两件事:

  • 改动有没有真正落到计划文件里,并且有版本号。
  • 旧方案有没有留下来当对照组。

意思是:口头同意不算数,要能在计划里查到;旧方案不丢,才能比出新方案到底好在哪。

常见误解

以为质疑是在结果出来以后才做

这个项目的质疑发生在计算之前,资产池在计算前就改了。等结果出来再改,前面的计算就白做了。

试一下

人确认换成资产池 A 以后,团队做了哪两件事?

把改动记进准备清单 v1.1;原来六只股票保留为对照组。

3. 基准与样本内:这个数到底好不好

它解决什么问题

资产池 A 优化出的切点组合(Tangency,不允许做空)权重是 TLT 51.16%、IWM 34.11%、EEM 14.73%,其余三个候选为零。它的年化收益估计是 16.82%。单看这一个数,不知道好不好。

直觉

找一个简单、大家都知道的方案并排比。演示选的基准是 60% SPY + 40% TLT,也就是常说的 60/40 组合。新方案只有比它好,才说明优化有价值。

比完还要看比的是哪批数据。这次用的是做优化的那批数据,权重本来就是在它上面挑出来的,自然占便宜。

三组柱子并排比较 60/40 基准和切点组合:年化收益 13.91% 对 16.82%,年化波动率 16.45% 对 13.13%,最大回撤 −23.40% 对 −17.05%;底部一行青绿字注明这是样本内比较,权重就是在这批数据上挑出来的,不说明未来表现

一步一步看

目标:把切点组合和 60/40 基准逐项比再读脚注,看三项都更好为什么仍不能推断未来。

  1. 先列三项指标,每项各看两个方案:

    历史指标 60/40 基准 切点组合
    年化收益估计 13.91% 16.82%
    年化波动率 16.45% 13.13%
    最大回撤 −23.40% −17.05%
  2. 逐项判断方向:收益越高越好,切点组合更高;波动越低越好,切点组合更低;回撤越小越好,切点组合更小。

  3. 读脚注:样本区间 2021 年 8 月 16 日至 2026 年 8 月 12 日;这是样本内比较,用的就是做优化的那批数据;年化收益是历史均值的年化。

  4. 下结论:在这批数据上三项都优于基准,但不能据此推断未来。

怎么判断

读一个投资结果,问三个问题:

  1. 和什么比? 没有基准的单个数字没法判断好坏。
  2. 只看收益了吗? 收益、波动、回撤要一起看。
  3. 用的是哪批数据? 样本内的结果偏乐观,要换一段没参与优化的数据再比。

意思是:样本内比较天然偏向优化出来的组合,权重就是在这批数据上挑的。换一段数据,未必还能同时收益更高、波动更低、回撤更小。

常见误解

以为三项都赢了基准,以后也一定更好

课件写明这是样本内比较。权重本身在这批数据上挑出,结果偏乐观,不能把表里的数字当成未来表现。

以为这些数字可以拿来做投资决定

材料末页声明:演示用的是存档的历史产出,不构成投资建议。

试一下

为什么不能只报「年化收益 16.82%」?

单看一个数不知道好坏,要和基准并排比;还要同时报波动和回撤,并说明是样本内结果。

4. 独立测试角色:做的人和查的人分开

它解决什么问题

组合项目交付了一个能看图、能切换选项的结果页面。页面上的数字和图表对不对,做的人自己查容易看漏。演示者提出:下一轮给一个独立的测试 Agent,配一份清楚的验收清单。

直觉

这和苹果项目的质检关卡是同一个思路:做的人和查的人分开,查的标准事先写清楚。

一轮独立测试的循环:测试 Agent 按验收清单逐项查,发现问题写成问题报告,报告框青绿粗框写着预期、实际、复现步骤,发给开发 Agent 照报告修,修好后复测,还有问题就再来一轮

一步一步看

目标:跟着测试 Agent 查清单、写报告、开发修、再复测走一轮,看做的人和查的人怎样分开。

  1. 测试 Agent 按清单逐项查。清单有三项:

    检查项 内容
    界面行为 打开页面、切换选项、检查图表是否更新
    显示的数字 数值、标签、单位要和结果文件对得上
    复测 记录问题、发给开发、再重复检查
  2. 发现问题就写报告。给测试 Agent 的提示词原话是:Report expected and actual behavior, with steps to reproduce each issue.

  3. 开发 Agent 照报告修。

  4. 复测:按同一张清单再查,还有问题就再来一轮。

怎么判断

一份问题报告合不合格,看它有没有三样:

  • 预期:本来应该怎样。
  • 实际:现在是怎样。
  • 复现步骤:怎么操作能再看到这个问题。

意思是:开发拿到报告,要能照着步骤自己看到问题,再对照预期去修。缺了复现步骤,开发连问题在哪都找不到。

常见误解

以为写「图表有问题」就够了

这句话没有预期、没有实际、没有步骤,开发无从下手。合格的写法是:切换到某个选项后,图表应该更新为新数据(预期),实际仍显示旧数据(实际),操作步骤是先打开页面、再点那个选项(复现步骤)。

试一下

页面上显示切点组合的 TLT 权重是 51.2,结果文件里是 51.16%。按清单这属于哪一项要查的问题?

「显示的数字」:数值、标签、单位要和结果文件对得上。这里缺了百分号,小数位也和文件不一致,要写进问题报告。

把它们串起来

读一个 Agent 团队交来的结果,三把尺子一起用:最大回撤量过程中最深的一次下跌,基准判断这个数算不算好,样本内提醒你结果偏乐观。

比尺子更早的一步是输入。组合项目里,人在计算前质疑了资产池;系统比较替代方案,人确认后改动写进带版本号的计划,旧方案留作对照。

最后,交付的东西由独立的测试角色按清单查,问题报告写清预期、实际和复现步骤。这和苹果项目的质检关卡是同一个思路:做的人和查的人分开。

课件里的坑

  • [适用条件] 组合项目的三项指标都优于基准,但材料写明是样本内比较,用的是做优化的同一批数据(p.19)
  • [适用条件] 所有金融数字都是存档的历史演示产出,材料末页声明不构成投资建议(p.22)
  • [适用条件] 比特币回测的 +26.44% 指这一次存档运行,课件没说换一段时间会怎样(p.10)
  • [读图提醒] 切点组合在课件里没给定义,只给了权重和「不允许做空」这个条件(p.19)

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先在纸上随手画一条有涨有跌的净值曲线,算它的总收益和最大回撤;再说出组合项目里人做了哪一个关键干预;最后做变式题。

必背

  1. 最大回撤是从此前高点算起的最大跌幅,总收益为正时回撤也可能很大
  2. 输入可能限制项目目的时就质疑它
  3. 确认的改动写进带版本号的清单,旧方案留作对照组
  4. 和 60/40 基准对比;样本内比较不代表未来表现
  5. 独立测试角色配验收清单,问题报告写预期、实际和复现步骤

课件例题

例 2(课件 p.17):这个资产池适合组合优化吗?

题面:一个假设的 $1,000,000 组合优化项目,系统最初提议六只美股:AAPL、MSFT、GOOGL、AMZN、JPM、XOM。人追问这个资产池是否适合题目。

提示

看这六个标的属于几种资产类别。

解答

六只都是股票,类别单一,组合优化能发挥的空间有限。系统比较四个替代方案,推荐资产池 A:覆盖股票(SPY、IWM、EEM)、美国国债(TLT)、黄金(GLD)、大宗商品(DBC)的基金。人确认后改动记入清单 v1.1,原来六只股票保留为对照组。优化结果是 TLT 51.16%、IWM 34.11%、EEM 14.73%,其余三只为零。

例 1(课件 p.5)和例 3(课件 p.21)在上一页 L09b 的课件例题里。

完整例题

题面(自编情境,改编自课件 p.10):一个策略的净值从 1.00 涨到 1.50,跌到 0.925,年末回到 1.2644。求全年总收益和最大回撤,并说明二者为何能同时出现。

解法:

  1. 总收益只看起点和终点:(1.2644 − 1.00) / 1.00 = 26.44%。
  2. 找高点:回撤从此前的最高点算起,这里的高点是 1.50。
  3. 找高点之后的最低点:0.925。
  4. 最大回撤 = (1.50 − 0.925) / 1.50 = 0.575 / 1.50 ≈ 38.33%,记作 −38.33%。
  5. 解释:总收益只比较首尾,回撤描述过程中的最大跌幅,所以全年赚钱和中途大跌可以同时成立。

要点:这组数和课件那次比特币均线回测的结果一致(+26.44%、−38.33%)。报告策略时两个数都要给。

答题格式:先写公式,再代数,最后用一句话解释两个指标各看什么。

变式题(先自己做)

自编情境:

(a) 净值从 1.00 涨到 1.20,跌到 0.90,再涨到 1.30,又跌到 1.17。求总收益和最大回撤。 (b) 一个优化组合在样本内的年化收益比基准高 3 个百分点,能说它以后也会更好吗?

提示

(a) 有两段下跌,分别从各自之前的最高点算,取大的那个。(b) 想想权重是在哪批数据上挑出来的。

判分点与答案(非官方评分标准)

判分点:① 总收益只用首尾;② 两段回撤都算并取最大;③ (b) 说出样本内的含义。

(a) 总收益 = (1.17 − 1.00) / 1.00 = 17%。第一段回撤 (1.20 − 0.90) / 1.20 = 25%;第二段回撤 (1.30 − 1.17) / 1.30 = 10%。最大回撤为 −25%。

(b) 不能。样本内比较用的就是做优化的那批数据,权重本身在这批数据上挑出,结果偏乐观;要换一段没参与优化的数据再比。

闪卡自测

1. 复现项目存下的回测结果是什么?

BTC-USDT,2024 年,20 日 / 50 日均线策略:总收益 +26.44%,最大回撤 −38.33%,完成交易 5 笔(p.10)。

2. 回撤怎么定义?

从此前高点算起的最大跌幅(p.10)。

3. 组合项目里人做了哪一个关键干预?

质疑最初的六只美股是否适合组合优化题目(p.17)。

4. 人确认换资产池后,团队做了哪两件事?

把改动记进准备清单 v1.1;原来六只股票保留为对照组(p.18)。

5. 切点组合的权重是多少?基准是什么?

TLT 51.16%、IWM 34.11%、EEM 14.73%,其余三个为零;基准是 60% SPY + 40% TLT(p.19)。

6. 为什么不能把 p.19 的比较结果当成未来表现?

这是样本内比较,用的是做优化的同一批数据(p.19)。

7. 给独立测试 Agent 的验收清单包括哪三项?

界面行为、显示的数字、复测(p.20)。

8. 给测试 Agent 的提示词要求问题报告写什么?

预期行为、实际行为和每个问题的复现步骤(p.20)。

下一讲

下周是课堂期中考,第 11 周回到 Advanced AI techniques (II),正课讲生成式 AI 的基础与应用,从 L10a 开始。复习本周时,把 L09a 的五个等级和本页的三种人在环方式对照起来看。想亲手试一遍「让 agent 写代码、自己核对结果」,可以接着做 T06 Vibe Coding 上手课。

下一讲 →
L10a L10a 生成模型:GAN 和扩散模型怎样从一团噪声里造出图片

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。