L04a-2 第一道门 CLEAN:洗干净不等于有权用,公开可见不等于可以复用
清洗为什么也是伦理决定;知情同意的 KNOW、ACTION、DECISION 三个条件;重新利用、合并、富化、越界暴露四类越界动作;以及公开数据为什么要先过 RIGHTS、PRIVACY、PURPOSE 三条设计约束。
一句话版
数据洗得再干净,也不会因此变得可以随便用;网上看得到的数据,也不会因此变得可以随便用。许可有没有效,看的是数据现在能推断出关于人的什么。
这一页把第一道门 CLEAN 拆成四件事:清洗为什么也是伦理决定;知情同意要哪三个条件;哪四类动作会悄悄越过许可边界;公开数据进流水线前要过哪三条约束。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 知情同意 | informed consent | 当事人知道数据拿去干什么,并且自愿同意 |
| 重新利用 | repurpose | 把数据拿去做当初没说过的新用途 |
| 合并 | merge | 把两份数据按同一个人或同一件事拼到一起 |
| 富化 | enrichment | 往数据里补进外部来源或推断出来的新字段 |
| 重识别 | re-identification | 匿名数据被交叉比对后,重新指认出具体的人 |
| 设计约束 | design constraint | 动手之前就限定能做什么的条件 |
一个类比:借来的钥匙
邻居出门旅行,把家门钥匙交给你,说好每天进去喂一次猫。
你进门后顺手把屋子打扫得一尘不染,这是好事,可打扫干净不会让你多出一项权利:你仍然只被允许喂猫。这对应「洗干净不等于有权用」。
你把钥匙拿去配了一把,交给朋友,让他也能来喂猫。猫照样有人喂,可邻居同意的只是你一个人进门。这对应越界暴露。
你在屋里看到邻居的信件,把上面的地址和你手上的快递单对了一下,推断出他在哪里上班。你没有拿走任何东西,可你知道了他没打算告诉你的事。这对应合并和富化,四类越界动作里最隐蔽的两类。
邻居家的窗户临街,路过的人都能看到客厅。看得到客厅,不等于可以对着客厅拍照发到网上。这对应「公开可见不等于可以复用」。
类比在哪里失效:
- 邻居知道钥匙在你手里,数据里的人常常不知道自己的记录在谁手里。
- 推断邻居的工作地点要你自己动脑,数据合并只要写一行代码,越界成本低得多。
从零讲起
1. 洗干净不等于有权用
它解决什么问题
清洗通常被当成纯技术活:去重、修格式、补缺失。这个概念要你看到清洗里还有另一半工作:确认这份数据还能不能这样用。课件用一个大大的 ≠ 把两半分开。
直觉
左边一列是技术质量,Clean the record:去重、删掉损坏记录;修正格式与标注错误;替换不准确的值。右边一列是整合性边界,Respect the use:检查隐私条件与数据权利;确认知情同意仍然覆盖当前用途;检验对预期用途的适配性。
中间一句是 QUALITY DOES NOT CREATE PERMISSION,质量不产生许可。
为什么值得单独强调?数据处理得越仔细,越容易生出「我对这份数据负责了」的感觉。这种尽责感会悄悄顶替掉另一个问题:我有资格用它吗?
一步一步看
目标:把医院预约系统的清洗工单逐行分进两列,看哪几行看似普通却没人问过许可。
拿一个医院预约系统的清洗工单,逐行分到两列里。
-
第一行「删掉重复的预约记录」:只改数据的整洁程度,归技术质量。
-
第二行「统一日期格式」:同上,归技术质量。
-
第三行「用邮编补全缺失的住址」:补进了新信息,要问许可是否覆盖,归整合性边界。
-
第四行「和药房购药记录按身份证号拼表」:改变了数据能推断出什么,归整合性边界。
-
最后检查工单:四行里只有前两行被审过,后两行在工单上看起来一样普通,却没有人问许可。
工单行 归哪一列 要问的问题 删重复记录 技术质量 删对了吗 统一日期格式 技术质量 格式统一了吗 用邮编补全住址 整合性边界 同意覆盖补全住址吗 和购药记录拼表 整合性边界 拼完能推出什么,同意覆盖吗
怎么判断
对清洗工单里的每一行,问一句:这一步只让数据更整洁,还是让数据能说出更多关于人的事?
- 只让数据更整洁:归技术质量,按技术标准查。
- 让数据能说出更多:归整合性边界,要先查许可、隐私和用途。
课件给的做法是 Professional Rule:建一份可重复的清洗模板,把技术变更和许可检查记在同一份记录里。两个关键词是 repeatable 和 both。
常见误解
以为清洗做得越仔细,用这份数据就越站得住
仔细只说明技术质量好。许可是另一列的问题,处理得再仔细也生不出许可。课件那句 QUALITY DOES NOT CREATE PERMISSION 针对的就是这种错觉。
以为让清洗环节的伦理检查不流于形式,靠的是「提高意识」
课件的答案是写进模板:可重复,并且技术变更和许可检查记在同一份记录里。靠意识的检查,赶工时第一个被跳过。
试一下
一个团队清洗用户问卷:① 删掉空白问卷;② 把「年收入」一栏的文字统一成数字;③ 用填写的学校名称推断用户的大致年龄段,存成新字段。哪几步归整合性边界?
① 和 ② 只让数据更整洁,归技术质量。③ 推断出了问卷没直接问的信息,是富化,归整合性边界,要先查同意是否覆盖。
2. 知情同意的三个条件
它解决什么问题
「用户同意了」常被当成一张万能通行证。这个概念告诉你同意要三个条件同时成立,而且它是一个跟着数据走的状态,采集那一刻打一个勾远远不够。课件标题就是 Consent is active—not a one-time checkbox。
直觉
三个条件:
- KNOW(Be informed):当事人理解这项活动和数据的预期用途
- ACTION(Give freely):许可是自愿给出的,不能当成参与或获得服务的价码
- DECISION(Keep agency):当事人有一条撤回同意的通道
三条缺一条,同意就不成立。更要紧的是第二层:数据每经历一次变换,都要重新过一遍这三条。
一步一步看
目标:拿学习 app 的注册弹窗逐条套三个条件,看哪条站不住、数据合并后为何要重新过一遍。
拿一个学习 app 的注册弹窗,逐条套三个条件。
-
看 KNOW:弹窗写「我们会使用您的数据改进服务」。用途写得太泛,用户读完不知道数据会被拿去做什么,KNOW 站不住。
-
看 ACTION:弹窗只有「同意并继续」一个按钮,不同意就不能注册。同意成了用服务的价码,ACTION 站不住。
-
看 DECISION:设置里找不到撤回同意的入口。DECISION 站不住。
-
再看变换:半年后团队把学习记录和广告平台的数据合并。即使注册时三条都成立,这次合并也要重新过一遍。
条件 弹窗的做法 成立吗 KNOW 「改进服务」一句带过 不成立 ACTION 不同意就不能注册 不成立 DECISION 没有撤回入口 不成立 合并之后 没有重新征求 要重新过一遍
怎么判断
判断一份同意还成不成立,按顺序问:
- 当事人知道现在这个用途吗?
- 拒绝之后,他还能正常获得服务吗?
- 他有没有地方撤回?
- 从当初同意到现在,数据经历过重新利用、合并、富化或越界暴露吗?有,就回到第 1 问重来。
课件的 Professional Rule 是:在每一次变换旁边跟踪同意与隐私,不只在最初采集的那一刻。
常见误解
以为用户勾过一次「同意」,之后怎么用都行
同意覆盖的是当初说明的用途。数据被重新利用、合并、富化之后,原来的同意不一定还有意义。课件的说法是同意要跟着每一次变换走。
以为「不同意就不能用服务」只是商业条款,和同意是否有效无关
ACTION 一条写明许可不能当成参与或获得服务的价码。被逼着点的同意,不算自愿给出。
试一下
某校园 app 注册时写明「定位只用于校车到站提醒」,提供关闭定位的开关。一年后学校想用这些定位数据统计学生去图书馆的频率。三个条件还成立吗?
注册时三条都成立:用途写清了(KNOW),有开关、不强制(ACTION),能关闭(DECISION)。可统计图书馆频率是新用途,属于重新利用,KNOW 对新用途不成立,要重新告知并征得同意。
3. 四类越界动作
它解决什么问题
数据离开许可边界,往往没有哪一刻像「违规」。这个概念把常见的越界方式列成四类,告诉你哪两类最容易漏审。课件给这张清单的标题是 THE DATA-CLEANING BOUNDARY。
直觉
四类动作按隐蔽程度递增:
- 重新利用(repurpose):为新目标使用数据,最容易被发现
- 合并(merge):与其他来源拼在一起
- 富化(enrich to infer more):补进字段,推断出关于人的更多信息
- 越界暴露(expose beyond agreed access):放到约定的访问范围之外
越界暴露听起来最严重,却是最有明文规章管的一类。真正危险的是中间两条。它们在工单上只是两行普通的数据操作,不触发审批,却改变了这份数据能揭示什么。
课件原话是 Each change can alter what the data reveals and whether the original permission remains meaningful。
一步一步看
目标:跟着一份外卖订单数据走过四类越界动作,看哪两类最少触发审批、却让数据多说了话。
拿一个外卖平台的订单数据,看同一份数据怎样一步步走出许可边界。
-
原用途:订单记录用于配送和售后。
-
重新利用:拿订单记录训练「用户价值」模型。用途变了,最容易被发现。
-
合并:按手机号和会员积分系统拼表。工单上只是一次 join。
-
富化:从下单时间和地址推断用户的上班地点,存成新字段。工单上只是加一列。
-
越界暴露:把整理好的表发给合作的保险公司。有合同、有审批,最容易被拦下。
动作 工单上的样子 会不会触发审批 数据多说了什么 重新利用 新项目立项 常会 用途变了 合并 一次 join 很少 消费习惯 富化 新增一列 很少 上班地点 越界暴露 对外发数据 通常会 更多人能看到
怎么判断
拿到一串数据操作,逐条问:
- 它属于四类里的哪一类?
- 这一步之后,数据能推断出哪些原来推断不出的事?
- 原来的同意覆盖这些新推断吗?
第 2 问答得出新东西,第 3 问答不出「覆盖」,这一步就越界了。合并和富化要格外留意,因为它们最不像「做了什么大事」。
常见误解
以为四类里越界暴露最危险
越界暴露后果最直观,可也最有规章管,通常会触发合同和审批。合并和富化在技术上只是普通的数据工程,没有人会为一次 join 开评审会,所以最容易漏掉。
以为没有删改原始数据,就没有越界
许可有没有效,看的是数据现在能推断出什么。合并和富化一个字都没改原始记录,却让数据能说出更多关于人的事。
试一下
一个研究组把学生的选课记录和宿舍门禁记录按学号拼在一起,再推断每个学生的作息类型(早睡型、夜猫型)。这里有几类越界动作?
两类。按学号拼表是合并;推断作息类型并存成新字段是富化。两步在工单上都很普通,却让数据能说出学生的生活习惯,要先查同意是否覆盖。
4. 公开可见与可以复用
它解决什么问题
「网上公开的数据,爬下来就能用」是很常见的想法。这个概念把「能不能拿到」和「该不该这么用」分开,并给出数据进流水线前必须先过的三条约束。
从哪来(补充)
「合并会暴露什么」最有名的例子来自 Netflix Prize。这项竞赛 2006 年开始,公开了一批去掉姓名的用户影片评分。2007 年,研究者 Arvind Narayanan 与 Vitaly Shmatikov 把它和 IMDb 上的公开影评对照,识别出了个别用户。出处:Wikipedia: Netflix Prize。
直觉
两句原话值得背:Technical access answers “Can I obtain it?” Integrity asks the harder question: “Should I use it this way?” 前一句的答案永远不构成后一句的答案。
三条约束在动手前就要过:
- RIGHTS(Check Policies):所有者权利、数据库条款、复用条件允不允许
- PRIVACY(Check what joining reveals):清洗和合并之后,能推断出关于人的什么
- PURPOSE(Check fitness for use):数据拿得到,对这个预测或决策合不合适
课件特意叫它们 design constraints,设计约束。设计约束在动手前就限定能做什么,和做完再过的审查是两回事。
第二条说的就是重识别。匿名性取决于对方手上还有什么别的数据,而能拿来交叉比对的公开数据只会越来越多,所以匿名性会随时间变差。
一步一步看
目标:拿公开的二手房挂牌数据逐条过三条约束,看「拿得到」为何回答不了「该不该这样用」。
拿一份公开的二手房挂牌数据,按三条约束逐步判断。
-
先停一下:挂牌页人人都能看,这只回答了「能不能拿到」。
-
RIGHTS:查网站条款,看是否允许爬取和复用。题面没说,写成追问。
-
PRIVACY:按电话号码对上一份公开的商户名录,就是合并。合并后能推出房东的职业和店铺地址,匿名挂牌人被重新指认。
-
PURPOSE:挂牌页是为卖房写的,拿来判断「议价倾向」,数据撑不撑得起这个问题,要追问。
怎么判断
拿到一份公开数据,按顺序过三条:
- RIGHTS:条款允许这样拿、这样用吗?
- PRIVACY:我打算和它合并的数据有哪些?合并之后能指认出具体的人吗?
- PURPOSE:这份数据当初为什么写?它撑得起我要做的判断吗?
三条都要在复制、合并、清洗、建模之前回答。答不上来的写成追问,别直接动手。
常见误解
以为爬得到、没署真名,就等于可以用
爬得到只回答了 Can I obtain it。没署真名也不等于匿名:和别的公开数据一对,可能唯一指向具体的人。
以为一份数据只要匿名过一次,就永远是匿名的
匿名性取决于对方手上还有什么数据。今天没有可以对照的数据,明天可能就有了,所以匿名性会随时间变差。
试一下
一个团队爬取某公开招聘网站的职位描述,打算统计各行业要求的技能。职位描述里没有个人信息,也不和别的数据合并。三条约束各怎么答?
RIGHTS:要查网站条款是否允许爬取和用于统计,题面没说。PRIVACY:职位描述不含个人信息,也不合并,重识别风险很低。PURPOSE:职位描述就是写给求职者看的技能要求,用来统计技能需求是合适的。主要待查的是 RIGHTS。
把它们串起来
这一页全在第一道门里。四个概念回答同一个问题:数据进流水线之前,许可、隐私、用途有没有先查清。
清洗被劈成两列,技术质量和整合性边界各管一半,质量不产生许可。许可本身靠知情同意的三个条件,而且每次变换后要重新过一遍。四类越界动作告诉你哪些变换最容易被漏审。最后,公开数据也要先过 RIGHTS、PRIVACY、PURPOSE 三条设计约束。
四个概念合起来,就是上一页那句 Permission before cleaning 的展开。数据这一关过了,下一页接着讲模型要预测什么、上线后谁会受影响。
课件里的坑
- [课件留白] p.8 的 PRIVACY 一条只给了「合并会暴露更多」的机制,没有给案例。正文里的 Netflix Prize 重识别是补充的背景,答题以机制为主
- [补充] 底稿把 Netflix 重识别论文记为 2008 年;维基条目写研究者在 2007 年完成识别。本页按维基条目写 2007,引用时写清依据的是哪个来源
- [补充] p.7 的「重新定义用途需要重新取得依据」,和后面隐私法规里的目的限制原则是同一件事,那一讲会正面讲
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写知情同意的三个条件,再按顺序默写四类越界动作,最后默写三条设计约束。然后读完整例题,做变式题,回查最容易错的地方:以为越界暴露最危险。
这门课没有期末考试,两份评估都是场景式伦理分析。下面是押题,课件没给题型说明:第一道门最适合出「给一串数据操作,判断哪一步越界」,p.6、p.8 那两个 ≠ 是判断题的好素材。
必背
- 把数据洗干净不等于取得使用许可;四类越界动作按隐蔽程度递增是重新利用、合并、富化、越界暴露,中间两条最危险
- 知情同意三条件 KNOW、ACTION、DECISION,许可要跟着每一次变换走,不只在首次采集那一刻
- 公开可见不等于可以复用:能不能拿到是技术问题,该不该这么用是伦理问题
- 清洗环节的 Professional Rule:建一份可重复的清洗模板,把技术变更和许可、隐私检查记在同一份记录里
- RIGHTS、PRIVACY、PURPOSE 是设计约束,在复制、合并、清洗、建模之前就限定能做什么
- 匿名性取决于对方手上还有什么数据,两份各自匿名的数据合并后可能唯一指向具体的人,这叫重识别
课件例题
本讲课件没有例题。第一道门这几页只给清单和对照,没有配案例;下面的完整例题和变式题都是按「判断哪一步越界」这个题型自编的。
完整例题
自编情境,依据 p.6–p.7 设计,非课件原题:某运动 app 收集用户步数,用途写明是「健康提醒」。数据团队计划做四件事:① 用步数训练一个保险定价模型;② 把步数和外部购物记录按手机号拼在一起;③ 从步数的作息规律推断用户的工作班次,存成新字段;④ 把整理好的数据集发给合作公司。
① 归类。按四类越界动作:① 换了用途,是重新利用;② 是合并;③ 推断出原数据没有的信息,是富化;④ 超出约定的访问范围,是越界暴露。
② 哪两步最容易漏审。② 和 ③。它们在工单上只是一次拼表、一次加字段,不触发审批,却让这份数据能推断出用户的消费习惯和作息。许可还有没有效,看的是数据现在能推断出什么。
③ 同意还成立吗。原同意只覆盖「健康提醒」。按 KNOW,用户不知道保险定价这个用途;若 app 规定「不同意就不能用」,还违反 ACTION;DECISION 要求有撤回通道。四件事都要重新取得依据。
④ 结论:四步都越过了原许可边界,不能直接做。最小改动是先停下 ② 和 ③,把每一次变换和对应的许可检查写进同一份清洗记录,再就新用途重新征得同意。
答题格式:先给每一步归类,再点出最隐蔽的两步,然后逐条对三个同意条件,最后给出改法。
变式题(先自己做)
自编情境:一个研究小组从某公开论坛爬取了十万条帖子,帖子都没有署真名。他们打算训练一个模型识别「有心理困扰倾向」的发帖人,还想把用户名和另一个公开社交平台上的同名账号对上,补充年龄和城市。
用三条设计约束各过一遍:哪些问题已由题面证实,哪些还需追问?给出可操作的改进。
提示
先分清三件事:论坛条款允不允许爬取和复用(RIGHTS);两边账号对上之后能推出什么(PRIVACY);论坛帖子撑不撑得起「心理困扰」这个判断(PURPOSE)。题面没说的写成追问,别写成断言。
判分点与答案(非官方评分标准)
判分点:① 三条约束各给出具体追问;② 点出「公开可见」不构成许可;③ 认出跨平台对号是合并加富化,带来重识别风险;④ 给出改进措施而不只是批评。
RIGHTS:题面没说论坛条款,要先查是否允许爬取和用于研究,不宜断言违规。
PRIVACY:没署真名不等于匿名。和另一平台同名账号对上,就是合并加富化,补进年龄和城市后,可能唯一指向具体的人,这正是重识别。
PURPOSE:帖子是为交流写的,拿来判断心理状态,标签从哪来、准不准都要追问。
改进:先核查条款;去掉跨平台对号这一步;在动手前把权利、隐私、用途写成设计约束,而不是等结果出来再审。
闪卡自测
1. QUALITY DOES NOT CREATE PERMISSION 针对的是什么心理错觉?
数据处理得越仔细,越容易生出「我对这份数据负责了」的感觉,这种尽责感会顶替掉「我有资格用它吗」。对策是把许可检查写进可重复的清洗模板(p.6)。
2. 知情同意的三个条件是什么?哪一条排除了「不同意就不给服务」?
KNOW(被告知)、ACTION(自愿给出)、DECISION(可撤回)。第二条写明许可不能作为参与或获得服务的价码(p.7)。
3. 四类越界动作是哪四类?为什么中间两条最危险?
重新利用、合并、富化、越界暴露,按隐蔽程度递增。合并与富化在技术上只是普通的数据工程操作,不触发审批,却改变了数据能推断出关于人的什么(p.7)。
4. p.7 的 Professional Rule 里,考点在哪两个短语的对立?
every transformation 和 not just the first collection event。同意要跟着每一次变换走,不是采集时的一次性事件(p.7)。
5. 数据进流水线之前要当成设计约束处理的三件事是什么?
RIGHTS 查权利与条款、PRIVACY 查合并后会暴露什么、PURPOSE 查对预期用途适不适配。称其为设计约束是因为它在动手前就限定解空间(p.8)。
6. 什么是重识别?为什么说匿名性会随时间变差?
两份各自匿名的数据合并后可能唯一指向具体的人。匿名性取决于对方手上还有什么数据,而可交叉比对的公开数据只会越来越多(p.8)。
7. p.8 底部那组对照问句是什么?
Technical access answers “Can I obtain it?” Integrity asks the harder question: “Should I use it this way?” 前者是技术问题,后者是伦理问题(p.8)。
下一讲
数据这一关过了,下一页讲后两道门:MODEL 阶段的目标变量和基准测试,DEPLOY 阶段的四条职责和纵深防御,最后把三道门收成一张必背表:L04a-3。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。