← COMP5511 全部讲次
T06a · 第 11 周

T06a Vibe Coding 上手课(上):看懂循环、写清提示词、亲手核对数字

Exercise 0–2 走一遍 vibe coding 的前半段:选好工作区,核对两份真实 CSV 的行数和缺口,再用五要素提示词画六面板图,并从原始数据手算一个均值和样本标准差。

一句话版

这节课用五道小练习,把「让 agent 替你写代码」拆成几件可以检查的事,本页讲前三道。工作区决定 agent 能看到哪些文件,提示词决定它这一次做什么。每一件事最后都落到同一个动作:你自己打开文件,亲手算一个数来核对。后两道讲 AGENTS.md 和 skill,见 T06b。

先认识这几个词

读之前最好先看过 Agent 怎样在循环里调用工具,见 L09a。

词 全称 / 读法 一句人话
vibe coding 读作 vibe coding,直译「凭感觉编程」 用自然语言提需求,让 AI 生成代码并反复改
agent 智能体 能自己决定下一步、调用工具去读写文件和跑命令的模型程序
harness agent harness,直译「挽具」 把模型、工具和上下文接成循环的那层运行环境
工作区 workspace 你给 agent 选定的文件夹,它只能从这里拿项目文件
提示词 prompt 你交给 agent 的任务说明
seed 随机种子 同一个设置换不同种子各跑一次,每个 seed 算一次独立运行
样本标准差 sample SD,代码里写 ddof=1 几次运行的结果分散得多开,分母用 n − 1
矢量图 vector,常见 PDF、SVG 放大不会糊的图片格式

题目地图

顺序 题目 时长 考什么 主要失分点
0 Exercise 0:让 agent 下载课程材料 3 分钟 选工作区、用自然语言下任务 下载完不检查文件是否齐
1 Exercise 1:给两份 CSV 写结构报告 3 分钟 agent 循环、自己核对 只抄 agent 报的行数,没找出缺的那一条
2 Exercise 2:设计、运行、审核六面板图 8 分钟 五要素、样本 SD、缺失值 没手算一个均值和 SD 就说图对了

三道题是一条线。前两题熟悉工具,顺便把数据摸清楚。第三题练把要求写清楚、亲手验数。课件开头的路线表最后还列了一段 Intent debugging,正文没有对应的页和练习,见「课件里的坑」。

概念卡

1. 三种编程方式与 vibe coding

人话定义:课件按「主要输入是什么、AI 扮演什么、人做什么」把编程分成三种。传统编程是人自己写代码;AI 辅助是人写代码、AI 补全或建议;vibe coding 是人用自然语言说需求,AI 生成并反复迭代代码,人负责说清要求和检查结果。

例子:三种方式各有一个典型失败。传统方式是实现时写出 bug,或者根本不会写;AI 辅助是没检查就接受了建议;vibe coding 是隐藏的错误一层层累积。课件表格里人的工作从「设计和实现」变成「说清需求和检查结果」,检查这一项始终在人手里。

常见误解

以为 vibe coding 就是完全不看代码 → 这个词最早的说法确实接受很少检查代码,课件也把它列为原始含义。但整节课的练习都要求你打开源码和导出的图、亲手重算一个数。课件的态度是:可以少写代码,但不能少检查。

回讲义:L09a 从大模型到 Agent

2. agent harness 的循环

人话定义:harness 是包在模型外面的运行环境。模型负责决定下一步动作,工具负责读文件、改代码、跑命令,工具的结果和日志写回上下文,模型再根据新的上下文决定下一步。你的目标和工作区文件从外面进入上下文。

例子:Exercise 1 让 agent 报告两份 CSV 的列和行数。模型先决定打开 training_curves.csv,工具把文件读出来,读到的内容写回上下文。要找出缺了哪个组合,它会再调一次工具去数。

常见误解

以为模型自己能看到文件 → 模型只能看到上下文里的东西。文件要靠工具读进来,工作区没选对,它就读不到你想让它看的文件。

回讲义:L09a 从大模型到 Agent

3. 提示词五要素

人话定义:一个能让 agent 做对的请求要说清五件事。Goal 是程序要做什么,Context 是用哪些文件、什么环境。Constraints 是用什么方法、有什么限制。Deliverables 是要交出哪些文件,Acceptance 是你打算怎么验证它做对了。

例子:课件拿同一个作图任务写了两版提示词。Prompt A 只有一句「用两份 CSV 画一张好看的对比图」,几个面板、怎么聚合、单位和缺失值都没说。Prompt B 把五项逐条写出。比如 Constraints 写「跨 seed 取均值 ±1 样本 SD」,Acceptance 写「运行脚本,用原始行重算一个均值和 SD」。

常见误解

以为提示词越长越好 → 五要素管的是覆盖面,每一项一两句就够。Prompt A 的问题出在缺项,跟字数无关。

回讲义:L09a-3 上下文、记忆与自进化

4. 均值 ±1 样本 SD 与缺失值

人话定义:同一个设置用不同 seed 各跑一次,每次结果会有差别。把这几次的结果取平均画成线,再在线的上下各留出一个标准差的宽度,就是误差带。样本标准差的算法是:先算每个值离平均值多远,平方后加起来,除以 n − 1 再开方。代码里写成 ddof=1。

例子:Toy-A 数据集、Tiny 方法、第 100 个 epoch 有 5 个 seed 的结果。它们平均 79.2836%,样本 SD 是 0.4700 个百分点(pp)。Toy-C / Large 在第 100 个 epoch 少一条记录,只剩 4 个 seed,这一点的 n 就是 4。

常见误解

以为同一次训练的十几个 checkpoint 也能当成多次运行来算 SD → 它们来自同一个 seed,相邻 epoch 彼此不独立。课件要求只跨 seed 聚合。另一个常见错误是缺了数就补一个平滑值。课件规定不平滑、不插补、不编造,n 不足 2 时只画均值、不画误差带。

回讲义:学习曲线怎么读,见 L04c-3 学习曲线

逐题拆解

Exercise 0:让 agent 下载课程材料

三步:打开一个文件夹作为工作区,让 WorkBuddy 把课程仓库下载下来,再检查下载的文件。前两步都在说同一件事:agent 的活动范围就是你选的那个文件夹。第三步不能省,后面几题要用的材料都应该在下载结果里。

方法与验收

材料包里应有五个文件,逐个在文件树里找到。

  • training_curves.csv:学习曲线数据,记录每个 epoch 的验证准确率
  • benchmark_results.csv:每次运行的测试准确率和推理延迟
  • requirements.txt:作图依赖,课前装进 .venv
  • AGENTS.example.md:作图练习的项目规则,复制一份改名为 AGENTS.md 放进练习文件夹
  • README.md:材料说明,写明数据全是合成的课堂示例

课件开头还要求课前装好作图依赖和 CCFA-Skills。大的下载放在课前做,课上时间留给练习。

Exercise 1:给两份 CSV 写结构报告

任务是让 agent 报告 training_curves.csv 和 benchmark_results.csv 的列、行数、单位和唯一键,同时要求它不改任何文件。然后你自己打开两份文件比对,交一份简短的结构报告,并指出缺了哪一条测量。课件直接给了预期:训练数据 659 行,基准测试 60 行。

一步一步看

目标:跟着检查两份 CSV 的请求走一轮 agent 循环,看模型只做决定、工具真正读文件,最后由你核对。

每帧青绿框是这一步正在工作的那个部分,灰色是还没轮到的部分。

  1. 你的请求和工作区文件进入上下文。请求里写明「不要改文件」,这是一条 Constraint。

    Exercise 1 的 agent 循环第 1 步:左侧「你的目标和工作区文件」框用青绿标出,箭头指向 Harness runtime 里的 Context 框,底部说明请求是报告两份 CSV 的列、行数、单位和唯一键且不改文件

  2. 模型读上下文,决定先打开 training_curves.csv。它只决定动作,自己不碰文件。

    Exercise 1 的 agent 循环第 2 步:Model 框用青绿标出,Context 到 Model 的箭头点亮,底部说明模型判断要先打开 training_curves.csv,自己不碰文件

  3. harness 调用读取工具,依次把两份文件读出来。默认权限下,超出沙箱的操作会先问你。

    Exercise 1 的 agent 循环第 3 步:Tools 框用青绿标出,Model 到 Tools 的箭头点亮,底部说明读取工具依次打开两份 CSV,默认权限下沙箱外操作会先征求同意

  4. 读到的表头和数据行写回上下文,进入下一轮。要找出缺了哪个组合,模型会再调一次工具去数。

    Exercise 1 的 agent 循环第 4 步:Tool results 框用青绿标出,指回 Context 的箭头点亮,底部说明读到的表头和行写回上下文,要找缺失组合时模型会再调一次工具

  5. 循环外面还有一步:你自己打开两份 CSV 数行数、找缺口,和 agent 的回答对照。

    Exercise 1 的 agent 循环第 5 步:循环外的「你核对」框用青绿标出,从 Context 引出一条青绿箭头,底部写着应是 659 行和 60 行,缺 Toy-C、Large、seed 4、epoch 100 这一条

方法与验收

数行数时注意表头那一行不算,和 agent 的口径对齐再比。行数对上还不够,要说出少的是哪一个组合。

提示

先算预期应有多少个组合:数据集、方法、seed、epoch 各有几种取值,乘起来再和 659 比。唯一键就是能唯一确定一行的那几列,组合起来不会重复。

解答
training_curves.csv benchmark_results.csv
列 dataset, method, seed, epoch, val_accuracy dataset, method, seed, test_accuracy, latency_ms
行数(不含表头) 659 60
单位 val_accuracy 是 0 到 1 的小数;epoch 取 0, 10, …, 100 test_accuracy 是 0 到 1 的小数;latency_ms 单位是毫秒
唯一键 dataset + method + seed + epoch dataset + method + seed

缺的那一条:数据集 3 个(Toy-A、Toy-B、Toy-C),方法 4 种(Tiny、Base、Augment、Large),seed 5 个,epoch 11 个。乘起来应有 660 个组合,文件里只有 659 行。逐个组合对过去,缺的是 Toy-C / Large / seed 4 / epoch 100。基准测试一共 60 个组合,一条不缺。两份文件都没有重复键,也没有空值。

Exercise 2:设计、运行、审核六面板图

这道题做三件事。第一,用五要素和两份真实文件写一个提示词,写明六个面板、统计单位和能看见的成功条件。第二,在一个干净的任务文件夹里运行,打开 Python 源码和导出的图,直接从 CSV 重算一个均值和样本 SD。第三,用同一个模型、同样的文件分别跑 Prompt A 和 Prompt B,比较两份实际产出。

课件给的 Prompt B 分成几块,写自己的版本时可以照着对:

块 课件要求
环境与数据 .venv 里的 Python 3.11,用 pandas 和 matplotlib;先查 schema、重复和缺失;不改输入文件
上排 每个数据集一列,画各方法的验证准确率随 epoch 的变化;跨 seed 取均值 ±1 样本 SD(ddof=1)
下排 用 benchmark_results.csv 的平均测试准确率和平均推理延迟(毫秒);不能拿验证集最高分顶替测试结果
缺失值 不平滑、不插补、不编造;写出实际 seed 数;n < 2 时只画均值
版式 2 × 3,共用一个图例,每格有编号;方法的顺序、颜色、标记前后一致;同一排纵轴范围一致
单位与图注 准确率从小数换成百分比;只有延迟用对数轴;图注写样本数、SD 的含义、缺的那一条、数据是合成的
交付 可运行的 Python、figure.pdf 和 figure.svg,存进 constrained_output/;不加测试文件、文件哈希或缓存
验收 运行脚本;用原始行重算一个均值和 SD;检查六个面板、标签、单位和矢量导出;报告缺失

一步一步看

目标:从 Prompt A 那一句话出发逐项补齐五要素,看每一项补上的是 A 缺的哪条信息。

每帧青绿行是这一步补上的要素,右列问号是还没补的。

  1. 补 Goal:要画什么。Prompt A 只说画一张好看的对比图,几个面板、怎么分组都没说。

    Prompt A 改写第 1 步:五行表格中 Goal 行用青绿框标出,左列写 A 没说几个面板、怎么分组,右列补上 2 × 3、上排学习曲线、下排准确率对延迟,其余四行右列还是问号

  2. 补 Context:在什么环境里跑,动手前先查数据的哪些问题。

    Prompt A 改写第 2 步:Context 行用青绿框标出,右列补上 .venv 的 Python 3.11、先查 schema、重复和缺失,Goal 行已填好,后三行还是问号

  3. 补 Constraints:怎么聚合、缺值怎么办。这里写死跨 seed 取样本 SD,缺的不补。

    Prompt A 改写第 3 步:Constraints 行用青绿框标出,右列补上均值 ±1 样本 SD、ddof=1、不平滑不插补,Deliverables 和 Acceptance 还是问号

  4. 补 Deliverables:交哪几个文件,存到哪个文件夹。

    Prompt A 改写第 4 步:Deliverables 行用青绿框标出,右列补上脚本加 figure.pdf 和 figure.svg,存进 constrained_output 文件夹,只剩 Acceptance 一行是问号

  5. 补 Acceptance:怎么判断做对了。写成你能亲手执行的动作,比如手算一个均值和 SD。

    Prompt A 改写第 5 步:Acceptance 行用青绿框标出,右列补上跑脚本、手算一个均值和 SD、看六个面板,五行全部补齐

方法与验收

课件给了一张参考图。上排三格是三个数据集的学习曲线,纵轴是验证准确率(%),横轴是 epoch 0 到 100。下排三格是测试准确率对推理延迟,延迟用对数刻度。四种方法在六格里的颜色和标记都一样。课件旁注给了能直接对的数:Toy-A / Tiny / epoch 100 的均值 79.2836%、样本 SD 0.4700 pp。图注写明 n 都是 5,只有 Toy-C / Large / epoch 100 是 4。

提示

重算时先在 CSV 里筛出同一个数据集、同一种方法、同一个 epoch 的几行,每行来自一个 seed。准确率存的是小数,先乘 100 再算。算 SD 时分母用 n − 1。比较 A 和 B 时,按课件列的四个角度逐项看,不要只看哪张图好看。

解答

重算以 Toy-A / Tiny / epoch 100 为例。五个 seed 的验证准确率是 79.7233、78.9381、79.6126、78.6400、79.5038(%)。均值 79.2836%,样本 SD 0.4700 pp,和课件一致。如果脚本用了总体标准差(除以 n),会得到 0.4204,对不上,说明 ddof 设错了。完整手算过程见下方「完整例题」。

A 和 B 的对比:课件没有给 Prompt A 的产出,本页不替你编结论,要以你实际跑出来的图为准。课件列的四个角度逐项看:

  • 数据忠实:图上的点是不是 CSV 原值,有没有平滑、补值,有没有拿验证集最高分当测试结果。
  • 不确定性:有没有误差带,误差带是不是跨 seed 的样本 SD,图注有没有写清它不是置信区间。
  • 编码一致:同一种方法在六格里是不是同一个颜色和标记。
  • 可复现:有没有留下能重跑的 Python 源码,PDF 和 SVG 是不是都导出了。

Prompt A 一项都没要求,哪一项出问题都有可能;Prompt B 每一项都写了要求和检查方法。数据里有个现成的陷阱:Toy-A / Tiny 的验证均值在 epoch 90 最高,约 79.5826%,比测试均值 79.2464% 高。拿前者顶替测试结果,成绩就说高了。

课件里的坑

  • [读图提醒] 课件封面写的是 Tutorial 1,在本学期的 tutorial 材料里排第六份。本站记作 T06,拆成 T06a、T06b 两页,指的是同一份材料。
  • [读图提醒] 改版后课件共 45 页,本页覆盖 p.1–29。前 34 页右下角印的页码和实际页序一致,之后的页码乱了,本页引用的页码都按实际页序。
  • [课件留白] p.2 路线表最后一段是 Intent debugging(51–60 分钟,验证冻结特征的不变量),正文里没有对应的页和练习,旧版的调试一节也已删掉。课上是否讲这一段,以助教安排为准。
  • [读图提醒] p.18 截图把文件区标成 “Workplace Files”,前后几页都叫 Workspace。
  • [课件留白] p.25 说这个作图练习不加测试文件、文件哈希或缓存。p.28 注明这条只管本次作图练习,Tutorial 2 明确要求写测试,别把这条规矩带过去。
  • [课件留白] 工具介绍页和汇总表说法有出入:Claude Code 在 p.9 写终端和 IDE,p.13 表里多了 desktop;Cursor 在 p.10 写桌面或网页界面,p.13 表里写成带 agent 的编辑器。p.17 的模型列表带用量倍率,课件注明选项和倍率会变;练习时 Full access 保持关闭。
  • [补充] vibe coding 这个词出自 Andrej Karpathy 2025 年 2 月 2 日在 X 上的帖子。原帖说的是完全跟着感觉走、忘掉代码的存在,还写了总是点 Accept All、不再看 diff,并说这种做法用在用完即弃的周末小项目上还不错。原帖本身就把适用范围限在一次性小项目上。
  • [补充] pandas 的 std 默认 ddof=1,numpy 的 std 默认 ddof=0。同样五个数,换个库就可能从 0.4700 变成 0.4204,写脚本时要显式写出 ddof。

课后 10 分钟:考点复习

这 10 分钟怎么用:前 3 分钟读必背 6 条,重点是第 3 条和第 5 条;中间 4 分钟把完整例题手算一遍;最后 3 分钟做变式题,先自己写再展开对照。

必背

  1. vibe coding 用自然语言描述任务、由 agent 生成和迭代代码,人负责说清需求和检查结果,主要失败方式是隐藏错误不断累积
  2. agent harness 是模型、工具、上下文组成的循环:模型决定下一步动作,工具读文件、改代码、跑命令,工具结果写回上下文供下一轮使用
  3. 提示词五要素:Goal 程序要做什么、Context 用哪些文件和环境、Constraints 用什么方法和限制、Deliverables 交出哪些文件、Acceptance 怎么验证做对了
  4. agent 的回答要和你自己打开的文件对照:两份 CSV 应是 659 行和 60 行,缺 Toy-C / Large / seed 4 / epoch 100 这一条
  5. 误差带是跨 seed 的均值 ±1 样本 SD(ddof=1,除以 n − 1),同一 seed 的 checkpoint 不算独立运行;缺失值不插补,写明 n,n < 2 只画均值
  6. 测试结果用测试集的均值,不能拿验证集上的最高分顶替

完整例题

题面:training_curves.csv 里 Toy-A / Tiny / epoch 100 有 5 行,val_accuracy 依次是 0.797233、0.789381、0.796126、0.786400、0.795038。算出均值和样本 SD,单位用百分比,并和课件的审核值对照。

解法:

  1. 换单位:每个数乘 100,得 79.7233、78.9381、79.6126、78.6400、79.5038。
  2. 均值:五个数相加得 396.4178,除以 5 得 79.28356,约 79.2836%。
  3. 离差:每个值减去均值,得 0.43974、−0.34546、0.32904、−0.64356、0.22024。
  4. 平方和:0.193371 + 0.119343 + 0.108267 + 0.414169 + 0.048506,约 0.883656。
  5. 样本方差和 SD:除以 n − 1 = 4 得约 0.220914,开方得约 0.4700 pp。

自查:结果和课件旁注的 79.2836%、0.4700 pp 一致。算出 0.4204 说明除的是 5,用成了总体标准差。离差加起来应接近 0,不接近就是均值算错了。

答题格式:先写 n 和单位,再按均值、离差平方和、除以 n − 1、开方四步各写一行。最后一句写清 SD 是跨 seed 的样本标准差,不是置信区间。

变式题(先自己做)

改编自课件 p.20、p.22–25。

(a) Toy-C / Large / epoch 100 只有 4 行:0.914999、0.896307、0.915007、0.883087。算均值和样本 SD,并说明图上这一点要怎么标注。如果某一点只剩 1 行,又该怎么画?

(b) 下面这个提示词缺了哪个要素?「Use .venv/bin/python with pandas and matplotlib. Read training_curves.csv and benchmark_results.csv and check for missing values. Use mean ±1 sample SD across seeds and do not impute. Save the script, figure.pdf and figure.svg in constrained_output/. Run the script and recalculate one mean and SD.」

(c) 有同学把六面板图下排的「测试准确率」换成了各方法在验证集上的最高分,理由是「这样曲线和散点对得上」。这样做违反了 Prompt B 的哪一条?用 Toy-A / Tiny 说明会差多少。

提示

(a) 步骤和完整例题一样,只是 n 变成 4。再想想 n − 1 等于 0 时公式会怎样。(b) 五个要素一项项对过去,看哪一项找不到对应的句子。(c) 回到 Prompt B 讲下排的那一块,再去解答里找 Toy-A / Tiny 的两个数。

判分点与答案(非官方评分标准)

判分点:① (a) 均值和 SD 算对,并说出标注 n = 4、不补值;② (a) 说出 n < 2 时只画均值;③ (b) 说出缺的要素名;④ (c) 指出违反的规定并给出两个数。

(a) 换成百分比后相加 360.94,除以 4 得均值 90.235%。离差是 1.2649、−0.6043、1.2657、−1.9263,平方和约 7.2778,除以 n − 1 = 3 得约 2.4259,开方得样本 SD 约 1.5575 pp。图注写明这一点 n = 4,缺的那条不补。只剩 1 行时 n − 1 = 0,样本 SD 没有定义,按课件只画均值、不画误差带。

(b) 缺 Goal。Context(环境、两份文件、查缺失)、Constraints(均值 ±1 样本 SD、不插补)、Deliverables(脚本和两种格式的图)、Acceptance(运行并重算)都有,但没说要画几个面板、比较什么。

(c) 违反「Do not replace test results with peak validation scores」。Toy-A / Tiny 的验证均值最高约 79.5826%(epoch 90),测试均值是 79.2464%,换过去会把成绩说高约 0.34 个百分点。验证集用来挑模型,挑完再看测试集,两者不能混。

闪卡自测

1. 传统编程、AI 辅助、vibe coding 三种方式里,人的工作分别是什么?

传统:设计和实现;AI 辅助:实现和审查;vibe coding:说清需求和检查结果(p.5)。

2. 三种方式各自的主要失败方式是什么?

传统:实现出 bug,或不会写代码;AI 辅助:没检查就接受建议;vibe coding:隐藏错误不断累积(p.5)。

3. 画出 agent harness 的循环,说出每个盒子的作用。

Model 决定下一步动作 → Tools 读文件、改代码、跑命令 → Tool results and logs → Context(规则和 skill)→ 回到 Model。你的目标和文件从外面进入 Context。工具结果更新上下文,供下一轮使用(p.6)。

4. Exercise 1 的两份 CSV 应该各有多少行?缺了哪一条?

training_curves.csv 659 行,benchmark_results.csv 60 行。缺 Toy-C / Large / seed 4 / epoch 100(p.20)。

5. 默写提示词五要素,每项一句话。

Goal:程序要做什么;Context:用哪些文件、列和环境;Constraints:用什么方法、有什么限制;Deliverables:agent 要交出哪些文件;Acceptance:你怎么验证它做对了(p.22)。

6. 课件说 Prompt A 留下了哪四处没说清?

面板版式和数据集分组;seed 层面的聚合和不确定性;准确率的单位和延迟的刻度;缺失值和验收检查(p.23)。

7. 为什么同一个 seed 的各个 checkpoint 不能当作独立运行?

它们来自同一次训练,相邻 epoch 的结果彼此相关。独立的是不同 seed,误差带只能跨 seed 算(p.24)。

8. 缺失值和 n < 2 的情况,课件要求怎么处理?

不平滑、不插补、不编造,写出实际观测到的 seed 数;n < 2 时只画均值,不画 SD 带(p.24)。

9. Exercise 2 比较 Prompt A 和 B 的产出时,课件要求看哪四个角度?

数据忠实、不确定性、编码一致、可复现,而且要比较的是同一个模型、同样文件跑出来的实际产出(p.29)。

下一步

本页的三道题都落在同一个动作上:拿一个亲手算出来的数,去和 agent 的产出对。这节课的 79.2836% 和 0.4700 pp 就是这种证据。接着读 T06b,看哪些要求可以存进 AGENTS.md 或 skill 不必每次重写,又有哪些只能写在这一次的提示词里。想把这节课和讲义接上,回头读 L09a 的 Agent 循环和 L04c-3 的学习曲线。

下一讲 →
T06b T06b Vibe Coding 上手课(下):分清三层说明,检查并调用上游 skill

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。