← COMP5567 全部讲次
Lab1 · 第 6 周

Lab 1 把 2PC 跑起来:一个协调者、三个参与者、四个终端

按课件步骤在本地跑通课程仓库 5567-2PC:三个演示 case、两个超时练习,外加课件没演示的失败率 case。每一步都附实测输出,并把程序和 L06 理论不一致的地方逐条标出来。

一句话版

这次 Lab 把 L06 讲的两阶段提交(2PC)真正跑起来:一个协调者、三个参与者、四个终端,投票和确认全靠手敲命令。

先认识这几个词

读之前最好先懂 2PC 的两个阶段,见 L06a-2。

词 全称 / 读法 一句人话
2PC Two-Phase Commit,两阶段提交 让几台机器对同一笔交易「要么都做、要么都不做」的协议
协调者 coordinator 发起交易、收票、宣布结局的那个程序
参与者 participant,本 Lab 里叫 P1、P2、P3 真正执行交易的程序,先投票,再按结局执行
COMMIT / ABORT 提交 / 中止 协调者宣布的两种结局:大家都执行,或大家都撤销
ack acknowledgement,确认 参与者告诉协调者「结局我已经执行了」
超时 timeout 等了规定的时间还没收到消息,就按事先定好的规则处理
终端 terminal 敲命令的窗口,每个窗口跑一个程序
PREPARE 准备消息 第一阶段协调者发给每个参与者的「准备好了吗」询问

跑完三个演示场景和两个练习,你会亲眼看到三件事:一票否决、超时当 NO、崩溃后只能同步已结束的交易。程序有几处和 L06 不一样,考试按 L06 答。下一次 Lab 跑三阶段提交(3PC),见 Lab2。

题目地图

任务 在考什么 主要失分点
2PC 回顾 角色、两阶段、全体 YES 才提交 把第二阶段写成「再投一次 Yes/No」
程序结构与 socket 消息怎么在进程间走 以为只有协调者开端口
启动系统 命令表 不知道 ack commit/abort 和 crash/recover
Case 1 全员 YES 标准提交路径 对着截图的交易号找不同
Case 2 一票 NO 一票否决 以为 2/3 同意就能提交
Case 3 P1 崩溃 投票前崩溃 → 超时当 NO 把它和「投 YES 后等不到决定」混为一谈
两个练习 谁的超时先到期 以为是协调者的 60 秒先触发

表里的 socket 是程序之间收发消息的通道,进程就是一个正在运行的程序。Case 指一个测试场景。课件列了四个 case,第 4 个(失败率)没有演示,下面补了实测。

概念卡

1. 一票否决

人话定义:它保证一笔交易不会只在部分机器上生效。协调者要收齐全体 YES 才发 COMMIT,有一张 NO 就发 ABORT。

例子:Case 2 里 P1 投 NO、P2 和 P3 投 YES,协调者打印 Vote result: 2/3 agreement 后直接进入 ABORT 阶段。

常见误解

以为 2PC 是多数投票 → 2/3 同意也中止。原子提交(atomic commit,要么全做要么全不做)要求每个参与者都能执行。有一个说不能,整笔就不能做。

回讲义:L06a-2 2PC 协议流程:先问一圈,再敲一锤

2. 第二阶段的 ack

人话定义:它让协调者知道每个参与者都执行完了。按 L06,参与者在第一阶段投了 YES 就承诺服从最终决定,第二阶段只执行并回 ack。

例子:程序允许对 COMMIT 回 ack abort。实测三人全投 YES 后,P1 回 ack abort,P2 和 P3 回 ack commit。协调者照样记 COMMITTED(2/3 confirm),P1 的 data(它记下的已提交交易)却是空的,三个账本不一致。

常见误解

课件的回顾页把第二阶段写成「回 Yes 或 No」,于是以为参与者能拒绝提交 → 那是程序的简化,答题按 L06。

回讲义:L06a-2 2PC 协议流程:先问一圈,再敲一锤

3. 超时当 NO

人话定义:它防止协调者因为一个参与者失联就永远等下去。协调者还没做决定时,等不到某个参与者的票,就当它投了 NO。

例子:程序里参与者 30 秒不操作会自己投 NO,协调者最多等 60 秒。Practice 1 三人都不响应,30 秒左右三张自动 NO 就到了,协调者的 60 秒根本没用上。

常见误解

把它推广到「投了 YES 的参与者等不到决定也能自己中止」→ 不行。别人可能已经收到 COMMIT,它只能等或去问。这段只能干等的时间就是 2PC 的阻塞窗口(blocking),L06 专门讲过。

回讲义:L06a-3 2PC 失败与阻塞:协调者一倒,投了同意的人只能干等

4. 崩溃与恢复

人话定义:它用来模拟机器宕机再重启。程序里的崩溃只是把一个标志位(记录状态的真假开关)设成 true,进程和内存都还在;恢复时向协调者要历史记录。

例子:Case 3 中 P1 在等待 ack 的阶段恢复,只拿到 2 条历史。正在 ABORTING(中止进行中)的那笔不在其中。

常见误解

拿这个程序证明「2PC 崩溃后能靠日志恢复」→ 程序没有任何持久化(把数据写到硬盘上),进程退出就全部丢失。

回讲义:L06a-3 2PC 失败与阻塞:协调者一倒,投了同意的人只能干等

逐题拆解

准备:下载并启动

仓库只用 Python 标准库,不用装依赖。

git clone https://github.com/mzhao6320-dot/5567-2PC.git
cd 5567-2PC
python coordinator.py 5000          # 终端 1
python participant.py P1 6001       # 终端 2
python participant.py P2 6002       # 终端 3
python participant.py P3 6003       # 终端 4

命令里的 5000、6001 是端口号,相当于程序在本机上的门牌。macOS 上 5000 端口常被系统的隔空播放接收器占用,协调者会绑定失败。换成 5050 启动,参与者补第三个参数:python participant.py P1 6001 5050。启动后在协调者敲 list,看到 Registered participants (3) 才算连上。

两张命令表各漏了几条:协调者还有 crash、recover;参与者还有 ack commit、ack abort。fail 是交互式的,先敲 fail 回车,再在提示后输入 0.5 这样的小数。

Case 1:全员 YES

  1. 协调者 tx,输入 account=alice, amount=100。
  2. P1、P2、P3 各敲 vote yes。
  3. 协调者打印 Vote result: 3/3 agreement,进入 [Phase 2/2] COMMIT Phase。
  4. 三人各敲 ack commit,协调者打印 ✓ Transaction … submit successfully! (3/3 confirm)。
  5. 协调者 status、P1 status 和 data:历史一条 COMMITTED,P1 Committed 1,data 里有这笔 100 元。

课件截图里历史有两条、Aborted 计数为 1,那是 TA 在 Case 1 之前多跑了一笔;干净启动只有一条。

Case 2:一票 NO

输入 account=alice, amount=200,P1 vote no,P2、P3 vote yes。实测打印 Vote result: 2/3 agreement 后进入 [Phase 2/2] ABORT Phase。三人 ack abort,约 10 秒收齐,交易 aborted。被中止的交易不进 data。投过 NO 的 P1 也要 ack,协调者要知道每个人都回滚了。

一步一步看

目标:看一票 NO 时,协调者为什么即使有 2/3 同意也要全体 ABORT。

  1. 协调者发起交易,向 P1、P2、P3 各发一条 PREPARE。

    Case 2 第 1 步:协调者和 P1、P2、P3 四条竖直生命线,协调者向三人各发一条 PREPARE,三条箭头青绿标出

  2. P1 回 NO,P2、P3 回 YES。一张 NO 已经决定了结局。

    Case 2 第 2 步:P1 回 NO,P2、P3 回 YES,三张票的箭头青绿标出,底部状态写着各自投的票

  3. 协调者打印 2/3 agreement,决定 ABORT,向三人发 ABORT。2PC 要全体 YES,多数同意不够。

    Case 2 第 3 步:协调者记下 2/3 同意转 ABORT,再向三人发 ABORT,这几行青绿标出

  4. 三人都回 ack abort,协调者记交易 aborted。投过 NO 的 P1 也要回 ack。

    Case 2 第 4 步:P1、P2、P3 都回 ack abort,协调者记交易 aborted,青绿标出,三人状态都是已回滚

Case 3:P1 投票前崩溃

操作步骤:

  1. P1 敲 crash,提示符变成 CRASHED>。
  2. 协调者发起 account=alice, amount=200。P1 收到消息只打印 Crashed. Ignore the message。
  3. 约 30 秒,P2、P3 各自自动投 NO;60 秒,协调者判 P1 为 NO,Vote result: 0/3 agreement,发 ABORT。
  4. P1 敲 recover:重新注册并拉取历史。

实测 P1 只拿到 2 条历史,status 为 Committed 1、Aborted 1。正在 ABORTING 的那笔不在同步范围内。协调者要等 P1 ACK timeout 后才把它记为 ABORTED。

一步一步看

目标:看 P1 投票前崩溃时,超时怎样把它算成 NO,以及恢复后它拿到哪些历史。

  1. P1 敲 crash。程序里的崩溃只是一个标志位,进程还在。

    Case 3 第 1 步:P1 的生命线上出现崩溃标记,青绿标出,之后 P1 的线变成虚线

  2. 协调者向三人发 PREPARE,P1 只打印忽略,不回复。

    Case 3 第 2 步:协调者向 P1、P2、P3 各发一条 PREPARE,青绿标出,已崩溃的 P1 状态是忽略消息

  3. 约 30 秒,P2、P3 没有人工投票,各自自动投 NO。

    Case 3 第 3 步:P2、P3 约 30 秒各自自动回 NO,两张票青绿标出,P1 仍无响应

  4. 60 秒到,协调者把 P1 记作 NO,Vote result: 0/3 agreement,向三人发 ABORT。P1 又忽略了一次。

    Case 3 第 4 步:协调者记下 60 秒 0/3,向三人发 ABORT,青绿标出,P1 的状态是忽略 ABORT

  5. P1 recover,只拿到 2 条历史。协调者等到 P1 ACK timeout 后才把这笔记为 ABORTED。

    Case 3 第 5 步:P1 恢复并拉取 2 条历史,青绿标出,状态为 Committed 1、Aborted 1,协调者还在等 P1 的 ack

Case 4:失败率(课件列出、没有演示)

P1 fail 设 0.5,P2、P3 设 0.2,发起 amount=300。实测 P1 收到 PREPARE(第一阶段的「准备好了吗」询问)就打印 Automatic Voting NO,协调者显示 ✗ VOTE_NO (Immediately)。P2、P3 投 YES,2/3 同意仍中止。读代码可知每条 PREPARE 过两次失败检查。P1 能进入手动投票的概率是 0.25,P2、P3 各 0.64,三人都能手动投票的概率只有 0.1024。

Practice 1:全员不响应

只发起交易,三人都不动。实测约 30 秒三张自动 NO 到齐,Receive 3/3 votes (30s),发 ABORT。再过约 30 秒三人自动 ACK ABORT,全程约 60 秒。

Practice 2:YES、NO、不响应

P1 vote yes、P2 vote no、P3 不动。实测 P3 约 30 秒自动投 NO,Vote result: 1/3 agreement,ABORT。P2 的 NO 一到结局就注定了,程序仍要等 P3 的票或超时才进入第二阶段。L06 允许协调者收到第一张 NO 就决定中止。

想一次复现所有 case,可以写一个小脚本,按时间表往四个进程的标准输入(stdin,也就是终端里敲命令的入口)写命令。

课件里的坑

  • [课件有误] p.5 把第二阶段写成参与者「回 Yes 或 No」。L06 里参与者只执行决定并回 ack,答题按 L06(p.5)。
  • [课件有误] p.4 的「zero fault tolerance」说的是提交需要全体正常且全体 YES,不能读成「2PC 不处理故障」,L06 p.23–24 专门讲了崩溃恢复(p.4)。
  • [课件留白] 命令表漏了协调者的 crash、recover 和参与者的 ack commit、ack abort,后两条在 p.23、p.29 就要用(p.15–16)。
  • [课件留白] p.6 指向 L06 p.10–26,2PC 部分实际到 p.27,复习时带上 p.27(p.6)。
  • [读图提醒] p.20 和 p.21–25 的交易号不同,截图来自不同次运行;p.25、p.34 的历史条数包含 TA 多跑的交易,自己跑的数字会更少(p.20、p.25、p.34)。
  • [补充] 拼写错误:Termial、dictionary(应为 directory)、Coordiantor、Downward(应为 Download)。

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写两阶段的消息顺序和两条超时规则;再做下面的完整例题,每一行先写预期再看答案;最后用闪卡自测查漏,重点是「投票前超时」和「投 YES 后超时」那一对。

必背

  1. 2PC 提交需要全体参与者投 YES,2/3 同意也要中止,它不是多数投票
  2. 按 L06,参与者在第二阶段只执行协调者的决定并回 ack,程序允许的 ack abort 是简化,不能当作合法分支
  3. 参与者投票前崩溃或超时,协调者按 NO 处理并中止,这是安全的中止分支
  4. 参与者投了 YES 之后等不到决定,不能凭本地超时自行中止,这就是 2PC 的阻塞窗口
  5. 程序的超时规则:参与者 30 秒不操作就自动投 NO 或自动 ACK,协调者最多等 60 秒,未投票者按 NO 计
  6. 程序没有持久化,崩溃只是内存标志位,恢复只同步已结束的交易,不能当作 WAL 恢复的证据

完整例题

Practice 2 的时间线:交易发出后第 4 秒 P1 敲 vote yes,第 6 秒 P2 敲 vote no,P3 一直不动,之后三人都不敲 ack。写出每个时刻协调者看到的东西。

时刻 发生了什么 协调者输出
约 4–6 秒 P1 的 YES、P2 的 NO 先后到达 Received a delayed vote 两行
约 30 秒 P3 自己的 30 秒计时到期,自动投 NO Receive 3/3 votes (30s)、Vote result: 1/3 agreement
约 30 秒 协调者发 ABORT 给三人 [Phase 2/2] ABORT Phase
约 60 秒 三人各自 30 秒自动 ACK ABORT Receive 3/3 ACK (30s),交易 aborted

逐步说明:

  1. P2 的 NO 到达时结局已定,程序还是要等第三张票,所以第一阶段拖到 30 秒。
  2. 协调者的 60 秒上限没有生效,先到期的是参与者自己的 30 秒。
  3. P1 投了 YES,是唯一可能「等决定」的人;ABORT 在第 30 秒左右就到了,P1 没有经历阻塞。

变式题

(1) 三人都在交易发出前已启动,P1、P2 vote yes,P3 在交易发出前先敲了 crash,之后谁都不再操作。协调者大约第几秒决定、决定是什么、这笔交易大约第几秒才记入历史?(2) 同样条件下,假设 P1 投 YES 后协调者也崩溃了,P1 等了 5 分钟仍没有消息,按 L06 它能不能自行 ABORT?

提示

第 (1) 问分两段算:第一阶段谁的超时先到期(崩溃的 P3 不会自动投票),第二阶段崩溃的 P3 会不会 ack。第 (2) 问回到概念卡 3 的「常见误解」。

参考答案与自检(非官方评分标准)

自检要点:① 第一阶段由协调者的 60 秒超时收尾;② 第二阶段要再等 60 秒 ACK 超时;③ 投 YES 后不能凭本地超时中止。

(1) 约 60 秒判 P3 为 NO,Vote result: 2/3 agreement,决定 ABORT。P1、P2 不敲 ack,30 秒后自动 ACK ABORT;崩溃的 P3 不回 ACK,协调者再等满 60 秒报 P3 ACK timeout,大约第 120 秒才记为 ABORTED。

(2) 不能。P1 投了 YES,协调者崩溃前可能已经向别人发出 COMMIT。P1 只能继续等或去问其他参与者,这是 2PC 的阻塞窗口。

闪卡自测

P1 YES、P2 YES、P3 NO,协调者第二阶段发什么?ABORT。2PC 要求全体 YES,一张 NO 就否定提交前提。
Practice 1 三人都不响应,是谁的超时先触发的?参与者自己的 30 秒自动 NO,早于协调者的 60 秒。
Case 3 中 P1 恢复后为什么拿不到正在中止的那笔交易?协调者只把已结束的交易作为历史发出,那笔交易此时还在 ABORTING;P1 崩溃期间 ABORT 消息又被忽略了。
P1 失败率 0.5,它收到 PREPARE 后能进入手动投票的概率是多少?0.25。PREPARE 要过两次失败检查,每次通过的概率 0.5。
对 COMMIT 回 ack abort,程序里会发生什么?协调者照样记 COMMITTED,回 ack abort 的那个参与者 data 为空,账本不一致。按 L06 这不是合法分支。
能用这个程序证明 2PC 崩溃后可以靠日志恢复吗?不能。程序没有持久化,崩溃只是内存标志位,恢复是向协调者要已结束的历史。

下一步

先照 p.38、p.39 自己跑一遍,每一步先在纸上写下预期输出和秒数,再对照屏幕。跑熟以后试课件没演示的协调者 crash / recover:三人投完 YES 后让协调者崩溃再恢复,观察它会不会向参与者重发决定,这个情形注解版也没有实测。然后回看 L06a-3 p.23–27 的崩溃分类,把三个 case 一一对上。下一次 Lab 是 3PC,同一套程序多一个 PreCommit 阶段,带着一个问题去:多出的这一轮在程序里是确认,还是又一次投票?

下一讲 →
L07a L07a 两将军与拜占庭将军:信道会丢,人会撒谎

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。