← COMP5565 全部讲次
L04a-2 · 第 4 周

L04a-2 存储、通信、命名:DApp 剩下三块怎么去中心化

数据放链下、哈希留链上;IPFS 按内容找文件;P2P 通信去掉中间人;ENS 用合约给地址起名字。

一句话版

DApp 的后端交给了合约,剩下的存储、通信、命名三块也各有去中心化的做法:大文件放 IPFS、链上只留哈希;消息走点对点网络;名字交给 ENS 合约来解析。

上一页 L04a-1 讲了五块怎么拆,这一页把其中三块逐个展开。

先认识这几个词

词 全称 / 读法 一句人话
哈希 hash 把任意内容压成一串定长的指纹,内容改一个字指纹全变
链下存储 off-chain storage 不放在区块链上的存储,便宜,能放大文件
IPFS InterPlanetary File System,星际文件系统 按内容找文件的点对点存储网络
内容寻址 content addressing 地址由内容算出来,内容不同地址就不同
pin 读“拼”,钉住 承诺一直保存某个文件,不让它被清理掉
peer 对等节点 点对点网络里的一个参与者
ENS Ethereum Name Service,以太坊名字服务 把好记的名字翻译成地址的合约

一个类比:寄存处、对讲机和门牌

链上的空间像银行保险箱,又贵又小,只适合放一张纸条。于是你把大件行李寄存在外面,保险箱里只放一张写着行李指纹的纸条。取回行李时核对指纹,对得上就说明没人动过。

通信像对讲机,大家直接对话,不经过一个总机。总机能偷听、能掐线,对讲机没有这个环节。

命名像门牌。门牌号由一个公开的登记簿维护,登记簿本身也放在链上,谁也不能偷偷把你家门牌挂到别人门口。

类比在哪里失效:

  • 寄存处会一直替你保管。IPFS 不会,没人 pin 住的文件过一阵就被清掉。
  • 对讲机的信号谁都能听见。P2P 通信靠加密保护隐私,不靠“别人听不到”。

从零讲起

1. 链上存哈希,链下存数据

它解决什么问题

区块链不适合存大数据。每个全节点都要保存全部状态,链上多存一个字节,全世界的节点都要多存一个字节,所以链上存储极贵。图片、文档、视频这类东西放不上去,又要和合约挂钩,就得想个办法。

直觉

文件放到链下,只把它的哈希写进合约。哈希很短,存得起。

这串哈希同时干两件事:一是当路标,拿着它去链下把文件找回来;二是当防伪章,取回的文件重新算一遍哈希,和链上那串比对。

一步一步看

目标:跟着一张图片存到链下、把哈希写进合约再取回核对,看链上只存一个哈希怎样证明文件没被改过。

  1. 你有一张图片,先把它上传到 IPFS 或云存储。

  2. 对图片算哈希,得到一串定长的指纹 h,写进合约。

  3. 之后有人要用这张图,先从合约里读出 h。

  4. 拿 h 去链下把图片取回来,再对取回的图片重新算一遍哈希,记为 h′。

    链上链下两栏流程图:链下存储里放着文件,算出哈希 h 记到链上合约;之后拿 h 去链下取回文件,重新算出 h′;最下方青绿色框比较 h′ 和 h,相等说明没被改过,不等说明被篡改

  5. 比较 h′ 和 h。相等,文件没被改过;不等,文件被人动过。

怎么判断

看一个方案是不是“链上存哈希”的做法,问两句:链上存的是文件本身,还是一串指纹?取回文件后,有没有用链上的指纹做核对?两句都对上,就是这个模式。

NFT 是最常见的例子。合约里只有一个 tokenURI,指向链下的元数据和图片。

常见误解

哈希存在链上,文件就安全地永远在了

链上的哈希只能证明“取回来的文件有没有被改过”。链下文件要是丢了,哈希还在,文件却取不回来。完整性和可用性是两件事。

试一下

一个 NFT 的合约里存着图片哈希 h。有人把服务器上的图片换成了另一张。买家怎样发现?

买家取回图片后重新算哈希,得到 h′。图片换了,h′ 就和合约里的 h 对不上,说明图片被替换过。

2. IPFS 与内容寻址

它解决什么问题

普通网址告诉你文件“放在哪台服务器的哪个路径”。服务器关了,文件就没了;文件被偷偷换了,网址也不变,你察觉不到。IPFS 换了一种找文件的办法,让文件不依赖某一台服务器,换了内容也藏不住。

从哪来(补充)

IPFS 由 Juan Benet 发起。他在 2014 年 5 月创立 Protocol Labs,IPFS 的 alpha 版在 2015 年 2 月发布。

它的核心设计从一开始就是:网络里每个文件都用它内容的哈希来唯一标识。

出处:Wikipedia: InterPlanetary File System

直觉

IPFS 按“长什么样”找文件,不按“在哪儿”找。文件的地址就是它内容的哈希,叫 CID。

谁手里有这份内容,都能把它发给你。你拿到后自己算一遍哈希,就知道对不对。

一步一步看

目标:对照普通网址和 IPFS 在内容被改时地址怎么变,看内容寻址为什么藏不住替换,又只能放静态内容。

  1. 普通网址:地址写的是服务器和路径。服务器上的内容 A 被换成 B,地址不变,你察觉不到。

  2. IPFS:先对内容 A 算哈希,这串哈希就是它的地址。

  3. 把内容改一个字变成 A′,重新算哈希,得到的地址整串都变了。

    上下两段对比图:上段是按位置找,某服务器某路径指向内容 A,被换成内容 B 后地址不变;下段是按内容找,内容 A 的地址等于哈希 A,内容改一个字变成 A′ 后地址变成哈希 A′;右侧注明好处、代价和无人 pin 的文件会被清掉

  4. 好处:拿到的东西一定对得上地址。

  5. 代价:同一个地址没法返回“会变的内容”,所以 IPFS 只能放静态内容。要做可变内容得加一层 IPNS 或 DNSLink,在一个可变的名字后面指向不断更新的 CID。

怎么判断

问一个应用的数据能不能放 IPFS,看它会不会变。头像、合约元数据、发布后的文档,放得了。实时价格、聊天记录、每秒都在刷新的页面,放不了。

常见误解

文件上了 IPFS 就永久保存了

IPFS 不保证永久保存。没有节点主动 pin 住的文件,会被垃圾回收掉。Pinata 这类 pinning 服务存在,就是替你一直 pin 着。

IPFS 不能放动态内容,是因为速度太慢

和速度无关。地址由内容算出,内容一变地址就变,所以一个固定地址天生只能对应一份不变的内容。

试一下

一个 DApp 想把每天更新的排行榜放到 IPFS 上,并让用户一直用同一个链接访问。直接放行不行?要怎么改?

直接放不行,排行榜每天变,CID 每天都变,链接就失效了。可以用 IPNS 或 DNSLink,固定一个可变的名字,每天把它指向新的 CID。

3. P2P 通信

它解决什么问题

世界上大多数在线通信由中心化服务商提供。这带来两个问题:一是单点故障,服务商一停全体失联,它也是单一的攻击目标;二是审查和隐私,你被迫相信它不审查、不泄露、不利用你的数据。

从哪来(补充)

P2P 网络的定义是:每个参与者既提供资源,也请求资源。1999 年发布的 Napster 让 P2P 文件共享第一次被大众用起来。

出处:Wikipedia: Peer-to-peer

直觉

P2P 通信让人和设备直接互相发消息。网络由很多节点组成,大家运行同一套通信协议。最关键的一点:每个 peer 同时是客户端和服务器。

一步一步看

目标:把客户端/服务器和 P2P 两种结构并排看,看少了中间的服务商,也就少了单点故障和一个必须信任的对象。

  1. 左边是客户端/服务器结构:所有用户连到一个服务商,消息都从它那里过。

  2. 服务商一停,所有人都联系不上;它也看得见、拦得住所有消息。

    左右两张网络图:左边六个用户都连到中间一个服务商,服务商标着单点故障;右边六个 peer 互相连线,没有中心,下方写每个 peer 既是客户端也是服务器,直接互相通信

  3. 右边是 P2P:peer 之间直接连线,谁都既发也收。

  4. 少了中间那家,也就少了一个必须信任的对象。

  5. 以太坊生态里的去中心化通信协议,最早是 Whisper,现在已弃用,由 Waku 接棒。

怎么判断

判断一个通信方案是不是 P2P,看消息有没有经过一个所有人都必须依赖的中心。再看每个参与者是不是同时承担收和发两种角色。两条都满足,就是 P2P。

常见误解

Whisper 被弃用,是因为点对点通信这个思路行不通

思路没错,是它的隐私模型扩展不了:所有消息广播给所有人,每个人靠尝试解密来判断是不是发给自己的。Waku 由 Status 团队接手重做,把消息分片、加了中继节点分层。

试一下

一个聊天应用把消息存在自家服务器上,但用了端到端加密。它是 P2P 通信吗?

不是。加密解决了偷看的问题,可消息仍然经过一家服务器,服务器一停大家就联系不上,它也能拦下消息,单点故障和审查的问题都还在。

4. ENS:链上的名字服务

它解决什么问题

一个完整的 DApp 不该依赖传统的 DNS 域名。域名可以被注册商收走,也可能被要求解析到别处。以太坊地址又是一长串十六进制,人记不住。

直觉

ENS 用智能合约实现名字服务,把 vitalik.eth 这样的名字解析成一个以太坊地址,或者一个 IPFS 内容哈希。登记簿在链上,谁也不能偷偷改。

一步一步看

目标:跟着钱包把 vitalik.eth 解析成地址,看 ENS 为什么本身就是一个服务其他 DApp 的 DApp。

  1. 用户在钱包里输入 vitalik.eth。

  2. 钱包去查 ENS 合约这本链上登记簿。

  3. 登记簿返回对应的 0x… 地址,或一个 IPFS 哈希。

    ENS 解析流程图:左边是人记得住的名字 vitalik.eth,经查询到中间青绿色的 ENS 合约,再返回右边的以太坊地址或 IPFS 内容哈希;下方钱包、交易应用和别的 DApp 都有箭头指向 ENS 合约

  4. 钱包、交易应用、别的 DApp 都直接调这个合约,不需要谈合作、不需要申请 API key。

  5. 所以 ENS 本身就是一个 DApp,而且是服务于其他 DApp 的 DApp。

怎么判断

一个名字服务算不算去中心化,看名字和地址的对应关系由谁维护。写在合约里、规则公开,算去中心化。由一家注册商的数据库说了算,就是中心化。

常见误解

ENS 只是一个方便记地址的小工具,和 DApp 架构关系不大

课件特意强调它是“服务于其他 DApp 的 DApp”。别的 DApp 可以直接把它嵌进来,这体现了可组合性(composability):所有合约在同一个状态机里,互相调用没有门槛。

试一下

一个 DApp 的前端放在 IPFS 上,CID 很长。怎样让用户用一个好记的名字访问?

在 ENS 里注册一个名字,把它的内容哈希记录指向这个 CID。用户访问这个 ENS 名字,就能解析到 IPFS 上的前端。

把它们串起来

四个概念各管一块,问的都是同一句话:这一块能不能不依赖某一家?存储靠“链上哈希加链下文件”,IPFS 让链下文件也不依赖某台服务器。通信靠 P2P,去掉中间的服务商。命名靠 ENS,把登记簿写进合约。

每一块都有代价。IPFS 只能放静态内容,还得有人 pin;P2P 通信要处理加密和扩展;ENS 名字也要续费维护。真实 DApp 在这三块上常常选省事的中心化方案,这和上一页“多数 DApp 只做到部分维度”是同一件事。

课件里的坑

  • p.9 的小标题写的是 Frontend,讲的却是数据存储。按 p.6 的五格归类答题。
  • p.10 说 IPFS “没有动态内容”,没给原因。原因是内容寻址,答题时写出来能拿分。课件也没提 IPFS 不保证永久保存,那张截图右下角的 Pinata 链接就是为这件事准备的。
  • p.11 说合约“可以被删除,如果写了可访问的 SELFDESTRUCT”。按当前以太坊已不成立:EIP-6780(2024-03-13 Dencun 升级)之后,只有同一笔交易里创建的合约才会真正删除代码和存储。
  • p.12 已经把 Whisper 标为 deprecated,考点通常只到“Whisper 已弃用,Waku 是继任者”这一层。

课后 10 分钟

这 10 分钟怎么用:合上页面,画出“链上哈希、链下文件、重算比对”三步,再说出 IPFS 只能放静态内容的原因,最后对着必背和闪卡查漏。

必背

  1. 区块链不适合存大文件,通行做法是数据放链下、哈希存链上;链上的哈希既是取文件的链接,也是完整性证明
  2. IPFS 即 InterPlanetary File System,P2P 分发、可用性高,只能承载静态内容,因为它按内容寻址,内容一变地址就变
  3. IPFS 不保证永久保存,没人 pin 住的文件会被垃圾回收,Pinata 这类 pinning 服务因此存在;Swarm 是同类方案
  4. P2P 通信的核心定义:每个 peer 同时是客户端和服务器;中心化通信的问题是单点故障加审查与隐私;Whisper 已弃用,Waku 接棒
  5. ENS 是用合约实现的去中心化名字服务,把 vitalik.eth 这样的名字解析成以太坊地址或 IPFS 哈希;它本身就是 DApp,是服务于其他 DApp 的 DApp,体现可组合性

课件例题

本讲课件没有例题落在这一页的主题上,p.9–p.15 都是概念页。

完整例题

题面(自编):一个 NFT 项目把图片放在 IPFS,合约里存图片的 CID。(a) 链上存的这串 CID 起什么作用?(b) 项目方想“以后可以换图”,直接改 IPFS 上的文件行不行?(c) 项目方解散、所有节点都不再 pin 这张图,会怎样?

  1. (a) CID 是图片内容的哈希,有两个作用。第一是链接:拿 CID 去 IPFS 网络把图取回来。第二是完整性证明:取回的图重新算哈希,和 CID 对上才是原图。
  2. (b) 不行。IPFS 按内容寻址,换一张图就会得到一个新的 CID,原来的 CID 仍然指向旧图。
  3. 要换图只能改合约里存的那串 CID。合约要是不允许改,图就永远是那一张,这正是买家想要的保证。
  4. (c) IPFS 不保证永久保存。没有任何节点 pin 住,这张图会被垃圾回收,用户拿着 CID 也取不回来。
  5. 合约里的 CID 还在,只能证明“原图长什么样的指纹”,证明不了图还在。

要点:分清完整性和可用性。CID 管前者,pin 管后者。

变式题(先自己做)

自编情境:(1) 一个投票 DApp 想把候选人介绍放在链上合约的一个字符串里,每份约几千字。这个设计有什么问题,该怎么改?(2) 改完以后,如果有人把链下的介绍文件偷偷改了,选民怎样发现?

提示

第一问想想链上存储为什么贵。第二问回到“链上哈希的第二个作用”。

判分点与答案(非官方评分标准)

判分点:① 指出链上存大数据成本极高;② 给出“链下存文件、链上存哈希”的改法;③ 第二问写出“重算哈希比对”。

(1) 每个全节点都要保存全部状态,几千字的字符串写进合约,gas 成本很高。改成把介绍放 IPFS 或云存储,合约里只存它的哈希。

(2) 选民取回介绍文件后重新算哈希,和合约里那串比较。文件被改过,哈希就对不上。

闪卡自测

1. 链上的那串哈希起哪两个作用?

一是链接,拿它去链下取回数据;二是完整性证明,重算哈希对不上就是被篡改了(p.9)。

2. IPFS 的全称是什么?它为什么只能放静态内容?

InterPlanetary File System。它按内容寻址,地址是内容的哈希,内容一变地址就变(p.10)。

3. Pinata 这类服务解决的是什么问题?

IPFS 不保证永久保存,没人 pin 的文件会被回收。pinning 服务替你一直保存(p.10)。

4. Whisper 和 Waku 是什么关系?

Whisper 是以太坊原来的去中心化通信方案,已弃用;Waku 是它的继任者(p.12)。

5. P2P 和客户端/服务器架构最根本的区别是哪一条?

P2P 里每个 peer 同时是客户端和服务器(p.14)。

6. 为什么说 ENS 是"服务于其他 DApp 的 DApp"?

它本身是用合约实现的 DApp,又被嵌进别的 DApp 里、被更多 DApp 依赖,体现了可组合性(p.15)。

下一讲

把这些部件拼成一个完整应用,看众筹为什么非去中心化不可,见 L04a-3 众筹合约:去掉中间人。

下一讲 →
L04a-3 L04a-3 众筹合约:把托管资金的中间人换成代码

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。