← COMP5565 全部讲次
L08d · 第 12 周

L08d 链上加密和链下存储:敏感数据和大数据怎么放

链上数据对参与者公开,公链谁都能加入,联盟链加入后通常也能看全部历史;敏感数据先用共享的对称密钥加密再上链;大数据放链下,链上只记哈希和指向它的 URI。

一句话版

链上的数据,所有参与者都看得见。不想让所有人看的,先加密再上链,钥匙只发给该看的人。数据太大放不上链的,放在链下,链上只记一个哈希,以后拿哈希一对就知道原文件改没改过。

上一页讲链和外界怎么互通,这一页讲数据本身该放在链上还是链下、放上去以后谁能看。

先认识这几个词

词 读法 / 全称 一句人话
privacy 隐私 数据只给该看的人看
symmetric encryption 对称加密 加密和解密用同一把钥匙
secret key 密钥,课件记作 K 那把共享的钥匙
key exchange 密钥交换 把钥匙安全地交给其他人
plaintext / ciphertext 明文 / 密文 加密前能看懂的 / 加密后看不懂的
hash 哈希值 一份数据算出来的固定长度「指纹」
URI Uniform Resource Identifier 指向一份数据在哪里的地址
metadata 元数据 描述数据的小信息,比如它存在哪

一个类比:小区公告栏

链像小区门口的公告栏。贴上去的东西撕不掉也改不了,谁路过都能看。

几户人家想在公告栏上商量私事,就约好一套暗号,写成只有他们看得懂的纸条再贴。别人看得到纸条,读不懂。暗号本身得先私下告诉这几户,这就是链上加密。

装修图纸太大,公告栏贴不下。那就把图纸放在物业办公室,公告栏上只贴一张小卡片,写着「图纸在物业 3 号柜,图纸的指纹是某某」。以后有人怀疑图纸被换了,取出来重算指纹,和卡片上的一对就知道。这就是链下存储。

类比在哪里失效:

  • 公告栏上的暗号纸条可以被人慢慢破解,链上加密的安全性取决于加密算法和密钥有没有泄露,类比里没体现
  • 物业的柜子可能丢、可能锁门,链下数据也可能取不到,链上的哈希只能证明没被改,证明不了还在
  • 公告栏谁路过都能看,联盟链上要先过访问控制才能加入,加入以后才看得到

从零讲起

1. 链上的数据谁看得到

它解决什么问题

商业上敏感的数据,只应该给特定的几个参与者看。可区块链的设计让链上信息对参与者公开,这和隐私需求是冲突的。

直觉

隐私是区块链的主要限制之一。链上的信息对所有参与者公开,通常没有一个能单独看或单独管的特权用户。

两种链只在「谁能加入」上不同。公链上任何人都能自由加入,加入就能读。私有链或联盟链上,参与要过联盟协议和网络访问控制,可一旦加入,参与者通常仍能看到完整的历史。

一步一步看

目标:对比公链和联盟链,看「谁能加入」和「加入后能看到什么」分别是什么情况。

公链和联盟链上谁能看到数据:左边公链任何人都能加入、加入就能读全部历史;右边联盟链加入要过联盟协议和访问控制,但加入以后通常仍能看到完整历史

  1. 公链,以 Ethereum 为例:任何人都能加入,加入后能读全部数据
  2. 联盟链,以 Hyperledger Fabric 为例:加入受联盟协议和访问控制限制
  3. 联盟链的参与者加入以后,通常仍能看到完整历史
  4. 两种链都没有一个默认的「只给某几方看」的机制

怎么判断

问两句:谁能加入?加入后能看到多少?联盟链只收紧了第一句,第二句通常还是全部

意思是:选联盟链能挡住外人,挡不住联盟里的其他成员。要对联盟成员保密,还得另想办法,比如下面的加密。

常见误解

误解:用了联盟链,数据就只有相关方能看

联盟链限制的是谁能加入。加入以后,参与者通常仍能看到完整历史,联盟里的其他成员一样看得见。

试一下

五家公司组成联盟链,其中两家之间的报价不想让另外三家看到,只靠联盟链的访问控制够吗?

不够。另外三家也是参与者,通常能看到完整历史。需要对这部分数据另外加密。

2. 链上加密

它解决什么问题

数据必须上链,又只能给其中几个参与者看。办法是让链上存的是看不懂的密文,只有拿到钥匙的人能解开。

直觉

用的是对称加密:加密和解密用同一把密钥 K。所以 K 必须先交到所有被允许的人手里,之后谁上链新数据都用 K 加密,谁要读都用 K 解密。

链上每个人都能读到密文,没有 K 就看不懂。

一步一步看

目标:按顺序走一遍链上加密的四步,再用对称加密的式子看每一步用到了什么。

链上加密四步:参与者 A 生成对称密钥 K,通过密钥交换发给 B 和 C,上链前用 K 加密,持有 K 的人解密;链上只有一份密文,没有 K 的外人读得到但看不懂

  1. 其中一个参与者生成一把密钥
  2. 在初始的密钥交换中,把密钥分发给其他被允许的参与者
  3. 有参与者要上链新数据时,先用这把密钥做对称加密,再把密文上链
  4. 只有拿到密钥的参与者能解密读出内容
课件原图:Encrypting On-Chain Data,左边 On-chain 的 Blockchain 里三个文档,中间那个带锁;右边 Off-chain 三个参与者,Key generation 框把钥匙给中间参与者,中间参与者经 Key exchange 发给另外两人;三个参与者都和带锁文档之间有带钥匙的箭头;右上方有一个 Key management 框
图片来源:COMP5565 Lecture 8.pdf, p.31

对称加密的流程,按课件的经典密码图:

环节 写法
明文输入 X
加密 密文 Y = E(K, X)
传输 发送的是 Y
解密(加密算法的逆) X = D(K, Y)
钥匙 K,发送方和接收方共享

怎么算

Y = E(K, X),X = D(K, Y)

意思是:同一把 K 既用来加密也用来解密。所以 K 交给谁,谁就能读;交换 K 的那一步决定了谁是被允许的人。

常见误解

误解:加密以后数据就不在链上了

数据还在链上,存的是密文。所有参与者都读得到这份密文,只是没有 K 的人看不懂。

试一下

A、B、C 共享 K,后来新来的 D 也要能读历史数据,需要做什么?

把 K 交给 D。对称加密只用一把 K,D 拿到 K 就能解密链上所有用它加密的数据。

3. 链下存储加哈希

它解决什么问题

有些应用想用区块链保证一大份数据的完整性。可区块链每个节点都存一份完整副本,存储能力有限;区块大小也有限,大数据可能根本放不进一笔交易。数据不上链,又得不到链上那份不可变和完整性的保证。

直觉

把大数据换成一个小的代表放上链,就是它的哈希,再加一点小元数据,比如指向原数据的 URI。

哈希不可变地记在交易里,哈希本身的完整性有保证。原数据一旦被改,重算出来的哈希就对不上,所以原数据的完整性也跟着有了保证。

一步一步看

目标:走一遍「存」和「验」两段,看链上那个哈希在哪一步起作用。

链下存储加哈希上链:左边链下存着原始大文件,对它算哈希;右边链上一笔交易只记哈希值和指向原文件的 URI;以后取回文件重算哈希和链上比对

存:

  1. 原始大数据放在链下
  2. 对原始数据算哈希
  3. 把哈希和指向数据的 URI 写进一笔交易,上链

验:

  1. 按 URI 取回原始数据
  2. 重新算一次哈希
  3. 和链上的哈希比,一样说明没被改过
课件原图:Off-Chain Data Storage,右边 Off-chain 两个 Raw data 文件,各用虚线经 Calculate hash value 连到左边 On-chain 框里的两个哈希图标,框底标 Hash value
图片来源:COMP5565 Lecture 8.pdf, p.34

怎么判断

重算的哈希 = 链上的哈希 → 原数据没被改过;不等 → 被改过

意思是:链上那个哈希改不了,所以它能当裁判。链下的数据可以被换,换了就过不了这一关。

常见误解

误解:链上存了哈希,原数据就丢不了

哈希只能证明数据有没有被改,不负责保管数据。链下存储丢了文件,链上的哈希还在,但原文件找不回来。

试一下

有人把链下的报告改了一个字,又把链上的哈希改成新报告的哈希,能做到吗?

做不到后一半。哈希不可变地记在交易里,改不了。他只能改链下的报告,重算一比就会露馅。

把它们串起来

数据上链之前,先问两件事。

第一件,谁能看。链上信息对参与者公开。公链谁都能加入;联盟链加入受限,加入以后通常也能看全部历史。只想给其中几方看,就用链上加密:一方生成对称密钥,交换给被允许的人,上链前加密,持钥者解密。

第二件,放不放得下。区块链全量复制、区块大小有限,大数据放不进去。那就放在链下,链上只记哈希和 URI,验证时重算哈希比一比。

两个模式各管一件事。加密管谁看得懂,哈希管有没有被改。

课件里的坑

  • [读图提醒] 加密图右上方有一个 Key management 框,图里没有任何箭头连到它,课件正文也没解释它做什么(p.31)
  • [读图提醒] 链下存储那页,右侧的图盖住了左侧正文的行尾,「smaller size」显示成「smaller siz」,「hash was」一行也被截断,按上下文读(p.34)

课后 10 分钟

这 10 分钟怎么用:先说清公链和联盟链在「谁能看」上差在哪;再把链上加密四步默写一遍,写出 E 和 D 的式子;最后口述链下存储的存和验两段。

必背

  1. 隐私是区块链的主要限制之一:链上信息对参与者公开,通常没有特权用户;联盟链(如 Hyperledger Fabric)参与受联盟协议和访问控制限制,但参与者通常仍能看到完整历史;公链(如 Ethereum)新参与者可以自由加入
  2. 链上加密:一个参与者生成密钥,在初始密钥交换中分发给其他参与者;有人要上链新数据时,先用该密钥对称加密;只有拿到密钥的被允许参与者能解密
  3. 对称加密:发送方和接收方共享同一把密钥 K,密文 Y = E(K, X),解密 X = D(K, Y),解密算法是加密算法的逆
  4. 链下存储的问题:区块链全量复制、存储有限,区块大小有限,大数据可能放不进交易;数据不上链又得不到链上的不可变和完整性保证
  5. 链下存储的方案:链上只存原始数据的哈希加小元数据(如指向数据的 URI);哈希不可变地记在交易里,既保证哈希本身的完整性,也保证原始数据的完整性

课件例题

例 1(课件 p.32):经典对称密码的流程

提示

按图从左往右:明文、加密、密文、解密、明文。

解答

明文 X 进加密算法,得到发送的密文 Y = E(K, X);接收方用解密算法(加密算法的逆)还原 X = D(K, Y)。两个算法用的是发送方和接收方共享的同一把密钥 K。

完整例题

题面:一家药厂和两家医院用联盟链记录临床试验。联盟里还有一家监管机构和两家别的药厂。要求:(1) 每位受试者的检测结果只给药厂和这两家医院看;(2) 每次检测都附带一份很大的影像文件,要能证明它没被改过。请设计数据怎么放,并说明为什么只靠联盟链做不到要求 (1)。

解法:

  1. 只靠联盟链不够:联盟链限制的是谁能加入,监管机构和另外两家药厂也是参与者,通常能看到完整历史
  2. 要求 (1) 用链上加密:药厂生成一把对称密钥 K
  3. 通过初始密钥交换,把 K 只发给两家医院
  4. 每条检测结果上链前用 K 加密,链上存的是密文 Y = E(K, X)
  5. 药厂和两家医院用 K 解密;其他参与者读得到 Y,看不懂
  6. 要求 (2) 用链下存储:影像文件放在链下,对它算哈希
  7. 把哈希和指向影像的 URI 写进交易上链
  8. 要验证时按 URI 取回影像,重算哈希和链上的比,一样就是没被改过

要点:加密解决谁看得懂,哈希解决有没有被改,两件事分开设计。

变式题

1. 上面例题里,后来其中一家医院退出了试验。只靠课件讲的这套加密方案,它还能读到退出前上链的数据吗?(改编自课件 p.31)

提示

它手里还有什么?链上的密文还在不在?

判分点与答案(非官方评分标准)

能。它手里还有 K,链上的旧密文改不了也删不掉,用 K 照样能解密。课件的方案只讲了生成、交换、加密、解密,没讲撤销密钥。自检:答出「能」,并说出原因是 K 还在、旧密文不可改即算对。

2. 有人建议把影像文件的哈希也用 K 加密后再上链,这样监管机构就看不到哈希了。这样做对完整性验证有什么影响?(改编自课件 p.34)

提示

监管机构还能不能自己做「重算哈希再比对」?

判分点与答案(非官方评分标准)

持有 K 的人仍能解密出哈希来比对,完整性对他们照样成立。没有 K 的监管机构读不出哈希,就没法自己验证影像有没有被改。自检:答出「持钥者能验、无钥者不能验」即算对。

闪卡自测

1. 为什么说隐私是区块链的主要限制之一?

链上信息对参与者公开,通常没有特权用户(p.30)。

2. 联盟链加入以后,参与者通常能看到什么?

完整的历史(p.30)。

3. 公链上新参与者能自由加入吗?

能,课件以 Ethereum 为例(p.30)。

4. 链上加密的密钥由谁生成?怎么分发?

其中一个参与者生成,在初始密钥交换中分发给其他参与者(p.31)。

5. 上链前用什么方式加密?

用那把密钥做对称加密(p.31)。

6. 密文和解密的式子怎么写?

Y = E(K, X),X = D(K, Y)(p.32)。

7. 为什么大数据不直接放上链?

区块链全量复制、存储有限,区块大小也有限,大数据可能放不进交易(p.33)。

8. 链下存储时链上存什么?

原始数据的哈希,加上指向数据的 URI 这类小元数据(p.34)。

9. 链上的哈希保证了哪两样东西的完整性?

哈希本身,以及由它推出的原始数据(p.34)。

下一讲

L08e Registry 升级、Embedded Permission 和 Review 题:合约部署后改不了代码,怎么升级;谁都能调合约,怎么限权;最后用一道 Fabric 读写集验证题收尾。

下一讲 →
L08e L08e Registry 升级、Embedded Permission 和 Fabric 验证 Review 题

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。