← DSAI5T09 全部讲次
L05a-2 · 第 6 周

L05a-2 捏造与篡改:凭空造和在真数据上动手脚,怎么分

捏造是从无到有造数据,篡改是在真材料上操纵到记录失真;改数据不一定算篡改。用三个案例一步步判断,含课件调查问卷和选择性删除两道题,以及合规排除数据的修复四条。

一句话版

捏造是把从没发生过的东西写进记录,篡改是把真东西改到让人误读;两者都毁掉证据,修法却不一样。

上一页立了 Boundary Test 三问和四根柱子,见 L05a。这一页讲第二、第三根。

先认识这几个词

词 英文 一句人话
捏造 Fabrication 凭空造出从没测过的数据或结果
篡改 Falsification 在真材料上动手脚,让记录失真
离群点 outlier 明显偏离整体趋势的数据点
排除规则 exclusion rule 事先写好的、决定哪些数据不进分析的标准
原始记录 raw record 采集时的数据原样,没经过任何处理
假象 false impression 读者从结果里得到的、和真实情况不符的印象

一个类比:修照片

拍一张风景照,有三种处理方式。

第一种,拿别处的山峰拼进画面,假装那天拍到了。这对应捏造,画面里有从没发生过的东西。

第二种,把画面里的电线杆修掉,再调亮天空,拿去当「真实记录」参赛,不说修过。这对应篡改,每个像素都来自真实拍摄,读者看到的却是一个不存在的场景。

第三种,按比赛规则只做了曝光和裁剪,并在说明里写明,原片也附上。这和第二种都动了照片,但观众知道动了什么,记录仍然如实。

类比的失效处在于,修照片的规则由比赛定,科研数据的排除规则要由研究者自己在分析之前写好。

从零讲起

1. 捏造:凭空造数据

它解决什么问题

实验做不完、问卷收不齐、机器坏了,结果表还有空格。这时最省事的念头是「按预期填几个合理的数」。捏造这个概念,就是要把这种念头明确标成失范。

直觉

课件的说法是数据或结果被完全发明出来,研究者造出从未发生过的观察,只为填缺口或迎合预期。

捏造最危险的地方,在于造出来的东西常常看起来很合理。查重软件扫不出来,只有拿去对照原始记录才能抓到。所以 Boundary Test 里卡住的是第二问:别人照着做,根本得不到你写下的那些数。

一步一步看

目标:拿机器坏了、结果表还差三组数的情形逐问一遍,看照预期补数为何就是捏造。

案例:实验跑到一半机器坏了,结果表还差三组数,作业明天就要交。

  1. 问要填进表的数测过吗。没有,这三组从没跑过。

    判断帧第 1 步:案例是机器坏了结果表还差三组数;第一行问要填的数测过吗被高亮,答案是没有,这三组从没跑过

  2. 问照预期填进去,记录会变成什么样。记录里出现了从未发生的观察,这就是捏造。

    判断帧第 2 步:第一行已答,第二行问照预期填进去记录会怎样被高亮,答案是记录里出现从未发生的观察,命中 Fabrication

  3. 问该怎么办。停下来重新设计:如实写已跑完的部分,说明缺口在哪。

    判断帧第 3 步:前两行已答,第三行问该怎么办被高亮,答案是停下重新设计,如实写已跑完的部分并说明缺口

  4. 下结论:凭空补数就是捏造;样本不够要承认,不能造。

    判断帧第 4 步:三行答案全部列出,底部结论框写着凭空补数就是捏造,样本不够要承认不能造

怎么判断

问一句:这个数据点,背后有没有一次真实发生过的测量或观察?

情况 有没有真实观察 判断
按预期填进空格 没有 捏造
照着别的组的数改一改 没有 捏造
测了,但录入时打错一位,事后更正 有 更正错误,不算捏造

意思是:捏造的判据只有一条,记录里有没有从没发生过的东西。

常见误解

以为「只造几个合理的数」问题不大

课件特意用了 plausible 这个词:看起来合理正是捏造的危险之处。数量多少都一样,记录里有一个从没测过的数,整张表就不能当证据用。

以为捏造的对策是「造得更像一点」

课件给的对策是 Stop and redesign instead:停下来重新设计采集方案,承认样本不够。

试一下

问卷收回来二十份,其中两份有一题空着。同学 A 按这两人其他题的倾向,替他们把空题补上了。算不算捏造?

算。那两题的答案从没被受访者给出过,是 A 推出来的。正确做法是把空题标成缺失值,在报告里说明怎么处理缺失。

2. 篡改:在真材料上动手脚

它解决什么问题

数据全是真测的,就一定没问题吗?不一定。把真数据里「碍事」的点删掉、把坐标轴调窄藏住波动,读者看到的趋势就变了。篡改这个概念,管的就是这种「每个数都是真的、整体却在骗人」的情况。

从哪来(补充)

美国联邦科研诚信办公室(ORI)的定义写得比课件更细:操纵研究材料、设备或流程,或改动、略去数据或结果,使研究记录不能准确反映研究。它明确把「略去」也算进去。出处:ORI: Definition of Research Misconduct。

直觉

课件给篡改的定义是操纵材料、流程或数据,使记录失真(so the record is inaccurate)。在讲选择性删除那页,它又说篡改是对真实研究材料或记录的操纵,目的是造成假象(create a false impression)。

两处都把重点放在后半句。动了数据不要紧,要紧的是读者有没有因此被误导。

一步一步看

目标:拿删掉三个下跌点、调窄纵轴的曲线逐问一遍,看数据全是真的为何仍算篡改。

案例:模型准确率曲线上有三个点往下掉,作者删掉它们,又把纵轴范围调窄,报告里一句没提。

  1. 问数据是不是测出来的。是,三个点都是真实结果。

    判断帧第 1 步:案例是准确率曲线删三点并调窄纵轴且未提;第一行问数据是测出来的吗被高亮,答案是是,三个点都是真实结果

  2. 问有没有动过已有的记录。动过:删了点,又调轴把波动藏起来。

    判断帧第 2 步:第一行已答,第二行问动过已有的记录吗被高亮,答案是动过,删了点又调轴把波动藏起来

  3. 问读者看到的是全貌吗。不是,图让人以为曲线一直平稳。

    判断帧第 3 步:前两行已答,第三行问读者看到的是全貌吗被高亮,答案是图让人以为曲线一直平稳

  4. 下结论:数据是真的也算篡改,因为它给读者造成了假象。

    判断帧第 4 步:三行答案全部列出,底部结论框写着数据是真的也算 Falsification,它给读者造成了假象

怎么判断

篡改和捏造放在一起比:

问题 捏造 篡改
数据有真实来源吗 没有,从无到有造 有,是真测的
动了什么 往记录里加了不存在的东西 删、改、略去真东西,或调整呈现方式
判据 记录里有没发生过的观察 读者是否被误导

意思是:先问数据真不真,真的就再问读者看到的是不是全貌。

课件页脚的对照条写得最短:FALSIFICATION ≠ MAKING UP DATA,它操纵的是已有的材料、流程或数据。

常见误解

以为数据都是真的,就不可能是篡改

课件主句是:删掉破坏趋势的行、调坐标轴藏方差是篡改,即使数据本身是真的。真数据是篡改的前提,捏造才是数据本身就假。

以为只要动过数据就是篡改

判据是读者有没有被误导。按事先写好的规则清洗、披露变换、保留原始,改了数据也不算。下一个概念专门讲怎么做。

试一下

同学 B 发现柱状图纵轴从 0 开始时各组差别看不出来,于是把纵轴起点改高,并在图注里写明纵轴起点和原因,附了从 0 开始的版本。算不算篡改?

不算。调轴本身是一种呈现选择,B 写明了调整,又附了原版,读者知道自己在看什么,没有被误导。

3. 合规地排除数据:修复四条

它解决什么问题

现实里的数据总有问题:仪器读数超量程、传感器出故障、录入打错。这些数确实该排除。那么排除和篡改的界线在哪?课件用修复四条回答这个问题。

直觉

课件的修复四条(INTEGRITY REPAIR)是:

  • 保留未编辑的原始记录(Preserve the raw, unedited record)
  • 分析之前先定排除规则(Define exclusion rules before analysis)
  • 披露全部数据变换(Disclose all data transformations)
  • 诚实报告局限(Report the limitations honestly)

四条一起做,读者就能看到你排除了什么、按什么规则、排除前后差多少。记录虽然改过,仍然是如实的。

一步一步看

目标:拿超出量程的传感器读数逐条过修复四条,看怎样排除数据又不算篡改。

案例:一批传感器数据里,有几个读数超出了仪器量程,想把它们排除再分析。逐条过修复四条。

  1. 原始记录留着吗?留着,原始文件不改,处理后的另存一份。

    判断帧第 1 步:案例是传感器读数超出量程想排除;第一行问原始记录留着吗被高亮,答案是留着,原始文件不改,处理后的另存一份

  2. 排除规则是事先定的吗?分析前就写好:超出量程才排除。

    判断帧第 2 步:第一行已答,第二行问排除规则是事先定的吗被高亮,答案是分析前就写好,超出量程才排除

  3. 披露了吗?报告写明规则和排除了哪几条,两种结果并排给。

    判断帧第 3 步:前两行已答,第三行问披露了吗被高亮,答案是报告写明规则和排除了哪几条,两种结果并排给

  4. 写局限了吗?写明处理后的趋势建立在排除之上。

    判断帧第 4 步:前三行已答,第四行问写局限了吗被高亮,答案是写明处理后的趋势建立在排除之上

  5. 下结论:四条都做到,改了数据,记录仍然如实,不算篡改。

    判断帧第 5 步:四行答案全部列出,底部结论框写着四条都做到,改了数据记录仍然如实,不算篡改

怎么判断

判断一次排除是否合规,对照两列:

合规排除 篡改
规则在分析前写好,客观、可复现 看完结果才决定删哪些
原始记录原样保留 原始记录被覆盖,或留着但不提
报告写明规则、排了哪些,并排给两种结果 只给删过的图,不说明
写明结论依赖排除 把处理后的趋势当成全貌

意思是:删离群点本身不一定违规,违规的是不披露、不预先定规则、只为好看而删。

常见误解

以为原始数据还在仓库里,就算披露了

课件强调四条要一起做。原始文件还留着,报告却只给删过的图且不说明,读者仍然被误导。披露要写进读者会读的地方。

以为合规的做法是永远不排除

修复四条的前提就是允许排除。超出仪器量程、质量标记有问题的数据,按事先写好的规则排除,是正常的数据处理。

试一下

同学 C 跑完分析发现结果不显著,回头翻数据,找到五个「看起来可疑」的样本删掉,结果变显著了。他在报告里如实写了删了哪五个、为什么可疑。这样算合规吗?

不算合规。规则是看完结果之后才定的,第二条「分析前先定排除规则」没做到。即使披露了,读者也会合理怀疑这是为了结果显著才删的。至少要把删与不删两种结果并排给,并承认排除是事后决定的。

把它们串起来

捏造和篡改都毁掉证据,区别在数据有没有真实来源。

捏造是从无到有造,判据是记录里有没有从没发生过的观察,对策是停下来重新设计。篡改是在真数据上动手脚,判据是读者有没有被误导,所以它可以发生在每一个数都是真的的情况下。

改数据本身不违规。修复四条划出了界线:原始留着、规则事先定、变换全披露、局限写清楚。四条一起做,排除就是正常的数据处理。

下一页讲第四根柱子:代码盗用,以及怎样合规地引用数据和代码。

课件里的坑

  • [场景名错位] p.6 场景名印成 THE RENAME-AND-SUBMIT,本页讲的却是凭空造调查数据;「改名后提交」其实是 p.8 代码盗用漫画的情节。判断按本页定义与底部引语,不按场景名
  • [读题提醒] 篡改的定义在 p.4、p.7、p.10 各说了一遍:so the record is inaccurate、to create a false impression、altered to mislead。三处的共同点在后半句,答题时要写出「使记录失真」或「造成假象」,只写「改了数据」不得分
  • [读题提醒] p.7 第三格的排除规则示范是「超出仪器量程或 data quality flag = 1 才排除」,这是规则的样子,不是唯一正确的规则

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写捏造和篡改的定义、修复四条;再做课件例题和变式题;最后回查一个易错点:改数据不一定是篡改。

必背

  1. Fabrication 是完全捏造数据或结果:造出从未发生的观察,只为填缺口或迎合预期
  2. Falsification 是操纵材料、流程或数据,使记录失真;判据是造成假象(create a false impression)
  3. 删掉破坏趋势的行、调坐标轴藏方差是篡改,即使数据本身是真的
  4. 改数据不一定是 Falsification:按事先定好的规则清洗、保留原始、披露变换,记录仍然如实
  5. 修复四条:保留未编辑的原始记录、分析前先定排除规则、披露全部数据变换、诚实报告局限

课件例题

例 1(课件 p.6):「测试太慢,我造十份看起来合理的问卷」

题面:课件引语是 “Testing is slow, so I will create ten plausible survey responses to complete the chart.” 这属于哪根支柱?课件给的对策是什么?

提示

问一句:这十份问卷背后有没有真实的受访者?再注意 plausible 这个词。

解答

Fabrication:造出从未发生的观察,只为填缺口或迎合预期。关键词是 plausible,造出来的东西像真的,查重扫不出,只有对照原始记录才能抓。

课件的对策是 Stop and redesign instead:停下来重新设计采集方案,承认样本不够。

例 2(课件 p.7):选择性删除,那几个「碍事」的数据点

见下方完整例题。

完整例题

课件 p.7 原题:研究者画剂量反应(Dose–Response)散点图,发现几个品红色离群点,心想 These don’t fit the trend。他删掉这些「有问题的行」,又调了坐标轴,图看起来很完美,但不是全貌。数据本身都是真的。请判断这属于哪根支柱、为什么不是捏造,并给出修复做法。

① 定性。这是 Falsification。课件主句是:删掉破坏趋势的行、调坐标轴藏方差,即使数据本身是真的,也是篡改。

② 和捏造的分界。Fabrication 是从无到有造数据;这里数据是真实测得的,问题出在对已有记录的操纵,造成了假象(create a false impression)。

③ 修复四条。保留未编辑的原始记录;分析之前先定排除规则;披露全部数据变换;诚实报告局限。四条要一起做:原始数据还留着、报告却只给删过的图且不说明,读者仍被误导。

④ 能不能排除离群点。能,前提是规则事先写好、客观、可复现。课件第三格的示范是:超出仪器量程或 data quality flag = 1 才排除,本例命中 ID 4、6、8;原始与处理后的结果并排给看,并写明处理后的趋势建立在排除之上。

⑤ 结论。改数据不等于篡改,判据是记录是否仍被如实呈现。为好看而删、事后才定规则、又不披露,才构成篡改。

变式题(先自己做)

自编情境:小组项目里,同学 B 发现验证集曲线不好看,删掉约 12% 的「异常」样本,报告里没提。同学 E 的问卷少收了两份,他用另外两位同学的答案稍作修改补上。请给 B、E 各贴一根柱子,并写出各自的修复做法。

提示

B 的样本是真的,问读者有没有被误导;E 补上的两份背后有没有真实受访者。

判分点与答案

判分点:① B 判为 Falsification 并说出判据;② E 判为 Fabrication 并说出判据;③ 两人各给一条可操作的修法。

B:样本是真的,删了又不披露,读者看到的曲线不是全貌,属于 Falsification。如果事先没有排除规则、只为好看才删,就更明确。修法:恢复原始数据,补写排除规则;若规则只能事后定,就把删与不删两种结果并排给,写明局限。

E:补上的两份背后没有真实受访者,是从别人的答案改出来的,属于 Fabrication。修法:删掉这两份,按实际收回的份数分析,在报告里说明样本少了两份。

闪卡自测

1. Fabrication 和 Falsification 一句话怎么分?

凭空造 = Fabrication;在真材料上操纵、以致记录失真 = Falsification(p.4、p.6、p.7)。

2. 篡改的判据落在哪几个英文短语上?

so the record is inaccurate(p.4)、to create a false impression(p.7)、altered to mislead(p.10)。

3. p.6 引语里哪个词最关键?课件的对策是什么?

plausible,造出来的东西像真的;对策是 Stop and redesign instead(p.6)。

4. 修复四条是什么?

保留原始记录;分析前先定排除规则;披露全部变换;诚实报告局限(p.7)。

5. 改了数据就一定是 Falsification 吗?

不一定。按事先定好的规则清洗、披露变换、保留原始,记录仍如实;为好看删点、改轴藏方差又不说明,才算(p.7)。

6. 捏造和篡改的长期后果各是什么?

捏造:研究作废、资源浪费、严厉处分;篡改:勘误、撤稿、名誉损害(p.10)。

下一讲

下一页 L05a-3 讲第四根柱子:代码盗用,以及引用数据和代码的四件套。

下一讲 →
L05a-3 L05a-3 代码盗用与引用:公开的代码也有主人

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。