L08d 链上加密和链下存储:敏感数据和大数据怎么放
链上数据对参与者公开,公链谁都能加入,联盟链加入后通常也能看全部历史;敏感数据先用共享的对称密钥加密再上链;大数据放链下,链上只记哈希和指向它的 URI。
一句话版
链上的数据,所有参与者都看得见。不想让所有人看的,先加密再上链,钥匙只发给该看的人。数据太大放不上链的,放在链下,链上只记一个哈希,以后拿哈希一对就知道原文件改没改过。
上一页讲链和外界怎么互通,这一页讲数据本身该放在链上还是链下、放上去以后谁能看。
先认识这几个词
| 词 | 读法 / 全称 | 一句人话 |
|---|---|---|
| privacy | 隐私 | 数据只给该看的人看 |
| symmetric encryption | 对称加密 | 加密和解密用同一把钥匙 |
| secret key | 密钥,课件记作 K | 那把共享的钥匙 |
| key exchange | 密钥交换 | 把钥匙安全地交给其他人 |
| plaintext / ciphertext | 明文 / 密文 | 加密前能看懂的 / 加密后看不懂的 |
| hash | 哈希值 | 一份数据算出来的固定长度「指纹」 |
| URI | Uniform Resource Identifier | 指向一份数据在哪里的地址 |
| metadata | 元数据 | 描述数据的小信息,比如它存在哪 |
一个类比:小区公告栏
链像小区门口的公告栏。贴上去的东西撕不掉也改不了,谁路过都能看。
几户人家想在公告栏上商量私事,就约好一套暗号,写成只有他们看得懂的纸条再贴。别人看得到纸条,读不懂。暗号本身得先私下告诉这几户,这就是链上加密。
装修图纸太大,公告栏贴不下。那就把图纸放在物业办公室,公告栏上只贴一张小卡片,写着「图纸在物业 3 号柜,图纸的指纹是某某」。以后有人怀疑图纸被换了,取出来重算指纹,和卡片上的一对就知道。这就是链下存储。
类比在哪里失效:
- 公告栏上的暗号纸条可以被人慢慢破解,链上加密的安全性取决于加密算法和密钥有没有泄露,类比里没体现
- 物业的柜子可能丢、可能锁门,链下数据也可能取不到,链上的哈希只能证明没被改,证明不了还在
- 公告栏谁路过都能看,联盟链上要先过访问控制才能加入,加入以后才看得到
从零讲起
1. 链上的数据谁看得到
它解决什么问题
商业上敏感的数据,只应该给特定的几个参与者看。可区块链的设计让链上信息对参与者公开,这和隐私需求是冲突的。
直觉
隐私是区块链的主要限制之一。链上的信息对所有参与者公开,通常没有一个能单独看或单独管的特权用户。
两种链只在「谁能加入」上不同。公链上任何人都能自由加入,加入就能读。私有链或联盟链上,参与要过联盟协议和网络访问控制,可一旦加入,参与者通常仍能看到完整的历史。
一步一步看
目标:对比公链和联盟链,看「谁能加入」和「加入后能看到什么」分别是什么情况。
- 公链,以 Ethereum 为例:任何人都能加入,加入后能读全部数据
- 联盟链,以 Hyperledger Fabric 为例:加入受联盟协议和访问控制限制
- 联盟链的参与者加入以后,通常仍能看到完整历史
- 两种链都没有一个默认的「只给某几方看」的机制
怎么判断
问两句:谁能加入?加入后能看到多少?联盟链只收紧了第一句,第二句通常还是全部
意思是:选联盟链能挡住外人,挡不住联盟里的其他成员。要对联盟成员保密,还得另想办法,比如下面的加密。
常见误解
误解:用了联盟链,数据就只有相关方能看
联盟链限制的是谁能加入。加入以后,参与者通常仍能看到完整历史,联盟里的其他成员一样看得见。
试一下
五家公司组成联盟链,其中两家之间的报价不想让另外三家看到,只靠联盟链的访问控制够吗?
不够。另外三家也是参与者,通常能看到完整历史。需要对这部分数据另外加密。
2. 链上加密
它解决什么问题
数据必须上链,又只能给其中几个参与者看。办法是让链上存的是看不懂的密文,只有拿到钥匙的人能解开。
直觉
用的是对称加密:加密和解密用同一把密钥 K。所以 K 必须先交到所有被允许的人手里,之后谁上链新数据都用 K 加密,谁要读都用 K 解密。
链上每个人都能读到密文,没有 K 就看不懂。
一步一步看
目标:按顺序走一遍链上加密的四步,再用对称加密的式子看每一步用到了什么。
- 其中一个参与者生成一把密钥
- 在初始的密钥交换中,把密钥分发给其他被允许的参与者
- 有参与者要上链新数据时,先用这把密钥做对称加密,再把密文上链
- 只有拿到密钥的参与者能解密读出内容
对称加密的流程,按课件的经典密码图:
| 环节 | 写法 |
|---|---|
| 明文输入 | X |
| 加密 | 密文 Y = E(K, X) |
| 传输 | 发送的是 Y |
| 解密(加密算法的逆) | X = D(K, Y) |
| 钥匙 | K,发送方和接收方共享 |
怎么算
Y = E(K, X),X = D(K, Y)
意思是:同一把 K 既用来加密也用来解密。所以 K 交给谁,谁就能读;交换 K 的那一步决定了谁是被允许的人。
常见误解
误解:加密以后数据就不在链上了
数据还在链上,存的是密文。所有参与者都读得到这份密文,只是没有 K 的人看不懂。
试一下
A、B、C 共享 K,后来新来的 D 也要能读历史数据,需要做什么?
把 K 交给 D。对称加密只用一把 K,D 拿到 K 就能解密链上所有用它加密的数据。
3. 链下存储加哈希
它解决什么问题
有些应用想用区块链保证一大份数据的完整性。可区块链每个节点都存一份完整副本,存储能力有限;区块大小也有限,大数据可能根本放不进一笔交易。数据不上链,又得不到链上那份不可变和完整性的保证。
直觉
把大数据换成一个小的代表放上链,就是它的哈希,再加一点小元数据,比如指向原数据的 URI。
哈希不可变地记在交易里,哈希本身的完整性有保证。原数据一旦被改,重算出来的哈希就对不上,所以原数据的完整性也跟着有了保证。
一步一步看
目标:走一遍「存」和「验」两段,看链上那个哈希在哪一步起作用。
存:
- 原始大数据放在链下
- 对原始数据算哈希
- 把哈希和指向数据的 URI 写进一笔交易,上链
验:
- 按 URI 取回原始数据
- 重新算一次哈希
- 和链上的哈希比,一样说明没被改过
怎么判断
重算的哈希 = 链上的哈希 → 原数据没被改过;不等 → 被改过
意思是:链上那个哈希改不了,所以它能当裁判。链下的数据可以被换,换了就过不了这一关。
常见误解
误解:链上存了哈希,原数据就丢不了
哈希只能证明数据有没有被改,不负责保管数据。链下存储丢了文件,链上的哈希还在,但原文件找不回来。
试一下
有人把链下的报告改了一个字,又把链上的哈希改成新报告的哈希,能做到吗?
做不到后一半。哈希不可变地记在交易里,改不了。他只能改链下的报告,重算一比就会露馅。
把它们串起来
数据上链之前,先问两件事。
第一件,谁能看。链上信息对参与者公开。公链谁都能加入;联盟链加入受限,加入以后通常也能看全部历史。只想给其中几方看,就用链上加密:一方生成对称密钥,交换给被允许的人,上链前加密,持钥者解密。
第二件,放不放得下。区块链全量复制、区块大小有限,大数据放不进去。那就放在链下,链上只记哈希和 URI,验证时重算哈希比一比。
两个模式各管一件事。加密管谁看得懂,哈希管有没有被改。
课件里的坑
- [读图提醒] 加密图右上方有一个 Key management 框,图里没有任何箭头连到它,课件正文也没解释它做什么(p.31)
- [读图提醒] 链下存储那页,右侧的图盖住了左侧正文的行尾,「smaller size」显示成「smaller siz」,「hash was」一行也被截断,按上下文读(p.34)
课后 10 分钟
这 10 分钟怎么用:先说清公链和联盟链在「谁能看」上差在哪;再把链上加密四步默写一遍,写出 E 和 D 的式子;最后口述链下存储的存和验两段。
必背
- 隐私是区块链的主要限制之一:链上信息对参与者公开,通常没有特权用户;联盟链(如 Hyperledger Fabric)参与受联盟协议和访问控制限制,但参与者通常仍能看到完整历史;公链(如 Ethereum)新参与者可以自由加入
- 链上加密:一个参与者生成密钥,在初始密钥交换中分发给其他参与者;有人要上链新数据时,先用该密钥对称加密;只有拿到密钥的被允许参与者能解密
- 对称加密:发送方和接收方共享同一把密钥 K,密文 Y = E(K, X),解密 X = D(K, Y),解密算法是加密算法的逆
- 链下存储的问题:区块链全量复制、存储有限,区块大小有限,大数据可能放不进交易;数据不上链又得不到链上的不可变和完整性保证
- 链下存储的方案:链上只存原始数据的哈希加小元数据(如指向数据的 URI);哈希不可变地记在交易里,既保证哈希本身的完整性,也保证原始数据的完整性
课件例题
例 1(课件 p.32):经典对称密码的流程
提示
按图从左往右:明文、加密、密文、解密、明文。
解答
明文 X 进加密算法,得到发送的密文 Y = E(K, X);接收方用解密算法(加密算法的逆)还原 X = D(K, Y)。两个算法用的是发送方和接收方共享的同一把密钥 K。
完整例题
题面:一家药厂和两家医院用联盟链记录临床试验。联盟里还有一家监管机构和两家别的药厂。要求:(1) 每位受试者的检测结果只给药厂和这两家医院看;(2) 每次检测都附带一份很大的影像文件,要能证明它没被改过。请设计数据怎么放,并说明为什么只靠联盟链做不到要求 (1)。
解法:
- 只靠联盟链不够:联盟链限制的是谁能加入,监管机构和另外两家药厂也是参与者,通常能看到完整历史
- 要求 (1) 用链上加密:药厂生成一把对称密钥 K
- 通过初始密钥交换,把 K 只发给两家医院
- 每条检测结果上链前用 K 加密,链上存的是密文 Y = E(K, X)
- 药厂和两家医院用 K 解密;其他参与者读得到 Y,看不懂
- 要求 (2) 用链下存储:影像文件放在链下,对它算哈希
- 把哈希和指向影像的 URI 写进交易上链
- 要验证时按 URI 取回影像,重算哈希和链上的比,一样就是没被改过
要点:加密解决谁看得懂,哈希解决有没有被改,两件事分开设计。
变式题
1. 上面例题里,后来其中一家医院退出了试验。只靠课件讲的这套加密方案,它还能读到退出前上链的数据吗?(改编自课件 p.31)
提示
它手里还有什么?链上的密文还在不在?
判分点与答案(非官方评分标准)
能。它手里还有 K,链上的旧密文改不了也删不掉,用 K 照样能解密。课件的方案只讲了生成、交换、加密、解密,没讲撤销密钥。自检:答出「能」,并说出原因是 K 还在、旧密文不可改即算对。
2. 有人建议把影像文件的哈希也用 K 加密后再上链,这样监管机构就看不到哈希了。这样做对完整性验证有什么影响?(改编自课件 p.34)
提示
监管机构还能不能自己做「重算哈希再比对」?
判分点与答案(非官方评分标准)
持有 K 的人仍能解密出哈希来比对,完整性对他们照样成立。没有 K 的监管机构读不出哈希,就没法自己验证影像有没有被改。自检:答出「持钥者能验、无钥者不能验」即算对。
闪卡自测
1. 为什么说隐私是区块链的主要限制之一?
链上信息对参与者公开,通常没有特权用户(p.30)。
2. 联盟链加入以后,参与者通常能看到什么?
完整的历史(p.30)。
3. 公链上新参与者能自由加入吗?
能,课件以 Ethereum 为例(p.30)。
4. 链上加密的密钥由谁生成?怎么分发?
其中一个参与者生成,在初始密钥交换中分发给其他参与者(p.31)。
5. 上链前用什么方式加密?
用那把密钥做对称加密(p.31)。
6. 密文和解密的式子怎么写?
Y = E(K, X),X = D(K, Y)(p.32)。
7. 为什么大数据不直接放上链?
区块链全量复制、存储有限,区块大小也有限,大数据可能放不进交易(p.33)。
8. 链下存储时链上存什么?
原始数据的哈希,加上指向数据的 URI 这类小元数据(p.34)。
9. 链上的哈希保证了哪两样东西的完整性?
哈希本身,以及由它推出的原始数据(p.34)。
下一讲
L08e Registry 升级、Embedded Permission 和 Review 题:合约部署后改不了代码,怎么升级;谁都能调合约,怎么限权;最后用一道 Fabric 读写集验证题收尾。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。