← DSAI5T09 全部讲次
L10c · 第 12 周

L10c 四类风险与署名:AI 让老毛病变快,签名只能留给人

从零讲清生成式 AI 在研究里的四类风险:幻觉是填好的答案,微剽窃欠的是想法,偏见是继承来的,捏造在一杯咖啡的时间里就能完成;再讲为什么 AI 不能当作者,以及不知道工具做了什么为什么不构成辩护。

一句话版

生成式 AI 让幻觉、微剽窃、偏见和捏造变得又快又多又体面,所以论文上的签名只能是能被追责的人。

上一页 L10b 讲了 AI 的好用法:语言辅导、副导师式用法、编辑部质控,以及粘贴进去的数据去了哪里。这一页转到它出错的地方。

先认识这几个词

词 英文 一句人话
幻觉 hallucination 模型一本正经地给出错误内容,连引用都像真的
微剽窃 micro-plagiarism 把别人的片段拆开、换词、重排,拼成看似原创的文字
偏见 bias 训练材料本身偏斜,模型把偏斜原样继承下来
捏造 fabrication 编出从来不存在的数据或引用
署名 authorship 论文作者栏里的名字,代表谁对这篇论文负责
问责 accountability 出了问题能被追问、被处罚的那个人

一个类比:一台会写作业的复印机

想象一台机器,能在几分钟内交出一份字迹工整、格式漂亮的作业。它有时抄错数字,有时把几本书的段落拼在一起,有时编出一本不存在的参考书,而且写错的地方和写对的地方字迹一模一样。

作业交上去以后,老师只会找在作业上签名的学生。机器没法被叫到办公室,也没法被扣分。

所以学生要么逐条核对,要么别交。

类比在哪里失效:

  1. 复印机只会照搬,生成式 AI 会按最顺的方式续写,错误是现编的。
  2. 作业错了只影响一个分数,论文错了会被别人引用、写进综述。
  3. 学生交作业通常不用说明用了什么工具,研究者用了 AI 往往要披露,下一页细讲。

从零讲起

1. 四类风险:老毛病,新速度

它解决什么问题

生成式 AI 写得流畅,能加快好的研究工作。课件提醒:同样的流畅也让捏造和篡改变得毫不费力。

这一节先把风险分成四类,后面各节逐个拆开。

直觉

四类风险都很老:编数据、抄别人、带偏见的结论、写错的论断,在没有 AI 的年代都有。

变化在三处。速度:以前编一篇论文要花很久,现在很快。规模:一个人能一次产出很多。包装:成品读起来专业、整齐,看不出破绽。

课件用一组六格连环画演示了速度:一杯咖啡的时间,从空白页走到一篇能投稿的论文。

一步一步看

目标:先认四类风险,再跟着六格连环画,看出「速度、规模、包装」分别落在哪一格。

  1. 认出四类风险,并记住课件的结论句:它们都不是新问题。

    四类风险总览:幻觉是一本正经的胡说,微剽窃是借来的片段重排到刚好认不出,偏见是偏斜的训练数据打磨成整齐的结论,捏造是从来不存在的数据或引用;底部用青绿色标出「新的是速度、规模和包装」

  2. 跟着六格走一遍:空白页、提示词、倾泻、参考文献、打印、掌声。

    咖啡时间写论文的六格流程:空白页、提示词(题目、方法、目标期刊)、倾泻(引言、方法、结果、讨论)、参考文献(看似合理、格式规范、却是编的,青绿色标出)、打印、掌声(先佩服后不安),底部注明约 15 分钟是课件给出的数字,顺序是示意

  3. 把三个「新」对上格子。

    新在哪 落在哪一格 说明
    速度 从空白页到打印 课件给出的数字是约 15 分钟
    规模 倾泻 引言、方法、结果、讨论一次出齐
    包装 参考文献、打印 格式规范、读起来可信,可以直接投
  4. 看最后一格:全场先是佩服,然后不安。不安的来源是参考文献那一格,它们是编的。

怎么判断

判断口诀:遇到一个 AI 风险,先问它属于四类里的哪一类,再问 AI 让它在速度、规模、包装哪一处变严重了。

情形 归类
模型给出一个带引用的错误结论 幻觉
换词重排别人的段落,查重没报警 微剽窃
某些地区的研究在结论里一直缺席 偏见
数据表或参考文献是编出来的 捏造

意思是:分类帮你找到对应的检查方法,三个「新」帮你解释为什么现在要更警惕。

常见误解

误解:这些风险是 AI 带来的新问题

课件原话是四类风险都不是新的。新的是速度、规模和包装。

误解:六格演示说明 AI 一定会编参考文献

演示没有出处,课件自己注明顺序是示意,要说明的是速度。它展示的是有这种可能,以及有多快。

试一下

有人用 AI 一个下午写出十篇格式整齐的综述投给不同期刊。这件事主要体现了三个「新」里的哪两个?

答案

规模(一个人一次产出很多)和速度(一个下午)。如果稿件读起来很专业,也体现了包装。

2. 幻觉:一个填好的答案

它解决什么问题

人们直觉上以为,模型不知道答案时会留空或说不知道。课件指出:幻觉会以一个完整答案的样子出现。

直觉

幻觉是一个填满了的答案,带着一条看起来很真的引用,语气和正确的内容一模一样。

模型自己分不出哪句对、哪句错。人分得出,前提是真的去看。

课件给了一条经验法则:一条说法如果没有你能打开的来源,就当传言处理。

课件还举了一个例子。一篇用 AI 生成的论文,其他地方都很可信,观众却发现了作者没发现的问题:有一条参考文献的年份还没到。

一步一步看

目标:用三道关检查一条 AI 给的说法,看出「未来年份」这种破绽卡在哪一关。

核查 AI 说法的三道关:第一关问有没有能打开的来源,没有就当传言处理,这一出口用青绿色标出;第二关打开原文核对内容,对不上就丢掉;第三关看年份、作者、期刊等细节是否合理,年份还没到是捏造信号;三关都过才当来源用

  1. 第一关,问有没有能打开的来源。这是课件的经验法则:没有,就当传言。

  2. 第二关,打开来源,看原文是不是真这么说。打不开的、说的是别的事的,都丢掉。

  3. 第三关,看细节是否合理。参考文献的年份比今天还晚,这条引用不可能存在。

  4. 回到例子:那篇论文其他地方都可信,单看语气和格式过不了关的只有这一处细节。作者没有逐条打开参考文献,所以没发现。

后两关是把经验法则和「未来年份」这个例子推开的做法,课件本身只给了第一关那句话。

怎么判断

判断口诀:语气和格式不算证据,能打开、对得上、细节合理才算。

说法的状态 怎么处理
没有来源 当传言,不写进论文
有来源但打不开或查无此文 当捏造信号,丢掉
能打开但内容对不上 丢掉,或改成原文真正说的内容
能打开、对得上、细节合理 可以当来源用

意思是:模型分不出对错,核对这一步只能由人来做。

常见误解

误解:引用格式规范、期刊名真实,这条引用就靠得住

课件说幻觉带着看起来很真的引用。格式规范正是包装的一部分,要打开原文才算数。

误解:模型不确定的时候会提醒你

课件说幻觉和正确内容是同一个语气,模型自己分不出差别。

试一下

AI 告诉你「某某理论已被多项研究证实」,没附任何来源。按课件的经验法则怎么处理?

答案

当传言处理。要么自己找到能打开、能核对的来源,要么不写进论文。

3. 微剽窃:署名欠的是想法

它解决什么问题

常规的查重工具比对的是句子。有一种剽窃把句子拆碎了再拼,单句比对抓不到。课件把它叫微剽窃。

直觉

模型读过大量文献。它写出来的东西里,可能混着别人的短语、从句结构,甚至句子节奏。

这些片段被换词、调语序以后,没有哪一句和原文像到能触发简单的查重。

读起来像原创,其实想法是别人的。课件的立场很直接:微剽窃仍然是剽窃,署名欠的是想法,不只是一字不差的那串词。

一步一步看

目标:跟着截取、重组、发表三步,看出每一步怎样让查重更难抓。

微剽窃三步:截取,从吸收过的来源拿走短语、从句结构和句子节奏;重组,换词调语序,没有哪一句像到能触发简单查重;发表,读起来像原创,只有模式级比对或懂行的人能发现,这一步用青绿色标出;底部写微剽窃仍是剽窃,署名欠的是想法

  1. 截取(Cut):模型从吸收过的来源里拿走短语、从句结构和句子节奏。

  2. 重组(Reassemble):换掉词、调换顺序。没有哪一句和原文像到能触发简单查重。

  3. 发表(Publish):成品读起来像原创文字。只有模式级的比对,或熟悉这个领域的人,才能发现。

  4. 结论:查重没报警,不代表没欠署名。想法来自谁,就要注明谁。

怎么判断

判断口诀:问「这个想法从哪来」,不只问「这句话和谁重复」。

情形 是否算剽窃
逐字照抄一段,没有引用 算
换词重排一段,没有引用,查重没报警 算,这就是微剽窃
用自己的话转述别人的观点,并注明出处 不算

意思是:判断看想法的来源,查重分数只是辅助。

常见误解

误解:查重率低就说明没有剽窃

课件说重组后的文字触发不了简单查重。查重只比对字串,署名欠的是想法。

误解:是模型拼的,不是我抄的,所以不算我剽窃

成品署的是你的名字。下文会讲:署名是责任声明,不知道工具做了什么不构成辩护。

试一下

一段 AI 生成的文献综述查重率很低,但领域内的老师读出它的框架和某篇经典综述几乎一样。这算不算剽窃?

答案

算,这正是微剽窃的情形:单句查重抓不到,懂行的人能看出来。想法来自那篇综述,就要注明它。

4. 偏见:继承来的,只能争论

它解决什么问题

一个结论写得整齐、有理有据,容易让人以为它是中立的。课件提醒:模型的结论可能只是在复述训练材料的偏斜。

直觉

模型用一批偏斜的文献训练,就会把偏斜复制出来,而且复制得很流畅。

研究得少的群体、地区和问题,在模型的回答里继续被研究得少。区别是现在还附上了一套体面的理由。

课件说偏见没法像 bug 一样打补丁修掉。它是继承来的,只能和它争论。

一步一步看

目标:用课件的提问顺序,看出为什么要先问训练材料、后问结论。

  1. 拿到模型的一个结论,先别评价它本身。

  2. 问模型是用什么训练的。

    先问的 为什么
    训练材料覆盖了哪些群体、地区、问题 没覆盖到的,结论里也会缺席
    训练材料里哪些声音占多数 多数声音会被当成「常识」复述
  3. 再看结论:缺席的群体、地区、问题,是不是在结论里也缺席了。

  4. 结论:偏斜会被流畅地包装起来,所以要主动去争论它,不能等它自己暴露。

怎么判断

判断口诀:先问模型用什么训练,再问它得出什么结论。

意思是:结论再整齐,也只能反映它学过的材料;材料偏了,结论就带着同样的偏。

常见误解

误解:偏见是模型的一个 bug,等新版本修好就行

课件说偏见没法当 bug 修掉,它是继承来的,要和它争论。

误解:模型给的理由很充分,所以结论没有偏见

课件说偏斜会附上一套体面的理由一起出现。理由充分属于包装,不能证明没有偏见。

试一下

你让模型总结某个领域的主要研究发现,它给的例子几乎都来自少数几个国家。按课件的思路,你第一步该问什么?

答案

先问模型用什么训练、训练材料覆盖了哪些地区。被研究得少的地区在回答里继续缺席,是偏见的典型样子。

5. AI 为什么不能当作者

它解决什么问题

既然 AI 能写出整篇论文,有人会问:为什么不能把它列为作者?课件的回答落在署名的含义上。

从哪来(补充)

期刊和出版伦理机构已经写出正式立场,结论都是 AI 不能署名。

  • Nature 在 2023 年 1 月 24 日的社论里定下两条规则。第一条:大语言模型工具不会被接受为研究论文的署名作者,理由是任何署名都带着对工作的问责,AI 工具承担不了。第二条:用了这类工具要在方法或致谢部分说明。出处:Nature 社论。
  • COPE(出版伦理委员会)的立场声明 Authorship and AI tools 页面标注最近审阅于 2023 年 2 月 13 日。它说 AI 工具不能为提交的工作负责,所以不满足作者要求。它还说,AI 不是法律主体,不能声明有无利益冲突,也不能处理版权和许可协议。出处:COPE position。
  • ICMJE(国际医学期刊编辑委员会)建议里关于作者使用 AI 的条款写道:聊天机器人等 AI 辅助工具不应列为作者,因为它们无法为工作的准确性、完整性和原创性负责。该条款页面没有标注日期。出处:ICMJE Recommendations。

直觉

署名不是一行致谢。课件说它是一份责任声明,签名的人在说三句话:这是我的工作,我能为它辩护,我能为它被追究责任。

模型一句都接不住:它不能被质询,不能被处罚,也不能表示同意。它没法为这篇论文负责,所以签名栏只能是人。

课件引了一句没标说话人的话:这有点像养孩子,孩子做的事你有时不知道、常常不理解,但作为家长你仍然负责。

课件接着说:不知道工具做了什么,不能拿来辩护,这本身就是过错。

一步一步看

目标:把署名拆成三句声明,逐句看模型能不能接住。

署名是一份责任声明:左栏签名的人在说这是我的、我能为它辩护、我能被追究责任;右栏模型做不到的对应项是不能表示同意、不能被质询、不能被处罚;底部青绿色标出没有问责就没有署名

  1. 第一句「这是我的」:要求署名者同意把名字放上去。模型不能表示同意。

  2. 第二句「我能为它辩护」:审稿人、读者会追问。模型不能被质询。

  3. 第三句「我能被追究责任」:出了问题有人承担后果。模型不能被处罚。

  4. 三句都接不住,结论是课件那句:没有问责,就没有署名。这条规矩比 AI 更老,现在依然成立。

图里左右并排是为了对照,课件列出三个「不能」时没有逐一配对。

怎么判断

判断口诀:能列为作者的,必须能被质询、能被处罚、能表示同意。

情形 判断
把 AI 列为共同作者 不可以,它不能为论文负责
作者说「那段是 AI 写的,我也不清楚」 不构成辩护,不知道本身就是过错
作者用了 AI,核对过并能为每句话辩护 署作者自己的名字,用法另行披露

意思是:用不用 AI 是另一个问题,签名的人要为全文负责这一点不变。

常见误解

误解:AI 写了大部分内容,按贡献就该给它署名

课件说署名不是一行致谢,是责任声明。贡献大小不是标准,能不能被追责才是。

误解:AI 出的错不该算在作者头上

课件的家长比喻和那句话说得很清楚:不知道工具做了什么不构成辩护,这本身就是过错。

试一下

一位研究者想在论文作者栏里写「ChatGPT」,理由是「它写了一半的讨论部分」。用课件的三个「不能」回应他。

答案

署名是责任声明,模型不能被质询、不能被处罚、不能表示同意,没法为论文负责。没有问责就没有署名,讨论部分写得再多也不能署名。

把它们串起来

生成式 AI 的四类风险都不新。幻觉、微剽窃、偏见、捏造,以前都有;AI 带来的是速度、规模和包装。

每一类风险都有一个人来把关的动作。幻觉要打开来源核对;微剽窃要问想法从哪来;偏见要先问训练材料;捏造要逐条检查参考文献,连年份也要看。

这些动作只有人能做,所以签名只能是人。署名是责任声明,模型不能被质询、处罚,也不能表示同意。不知道工具做了什么,不能当作辩护。

下一页讲守则怎样跟上,以及用了 AI 要怎么披露。

课件里的坑

  • [无出处] p.21 的「约 15 分钟写出一篇完整论文」和 p.22 的「参考文献年份还没到」,课件都没给这场演示的出处;p.21 自己注明 Sequence illustrative,所以 15 分钟只能写成「课件给出的数字」,不当作已核实的实验结果
  • [无出处] p.24 的家长比喻引语,课件没标说话人,引用时写「课件引语」
  • [读图提醒] p.22 配图里放大镜下的字是装饰性乱码,不是那条参考文献的原文,别从图里读信息

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写四类风险和三个「新」;再说出幻觉的经验法则和微剽窃三步;最后用三个「不能」解释为什么 AI 不能当作者。

必背

  1. 四类风险是幻觉、微剽窃、偏见、捏造;它们都不是新问题,新的是速度、规模和包装
  2. 幻觉是填好的答案:带着像真的引用,和正确内容同一个语气;拿不出能打开的来源的说法,当传言处理
  3. 微剽窃三步是截取、重组、发表;单句查重抓不到,只有模式级比对或懂行的人能发现;它仍是剽窃,署名欠的是想法,不只是原文字句
  4. 偏见是继承来的:用偏斜文献训练的模型会流畅地复制偏斜,没法当 bug 修掉,只能和它争论;先问模型用什么训练,再问它得出什么结论
  5. 课件演示:约 15 分钟生成一篇可信的完整论文,参考文献看似合理、格式规范却是编的;观众发现一条参考文献的年份还没到
  6. AI 不能当作者:署名是责任声明(这是我的、我能辩护、我能被追责);模型不能被质询、不能被处罚、不能表示同意,没有问责就没有署名
  7. 不知道工具做了什么不构成辩护,这本身就是过错;用工具的人像家长一样仍要负责

课件例题

例 1(课件 p.21):一杯咖啡的时间写出一篇论文

题面:课件用六格连环画演示:空白页(研究者打开新文档)→ 提示词(题目、方法、目标期刊)→ 倾泻(引言、方法、结果、讨论)→ 参考文献(看似合理、格式规范、却是编的)→ 打印(一份可以直接投的稿件)→ 掌声(全场先佩服、后不安)。课件说约 15 分钟就能写出一篇可信的论文。这场演示要说明什么?哪一格最该让人不安?

提示

课件底部那句话里有 the point is 什么;再看六格里哪一格对应四类风险中的捏造。

解答

演示要说明的是速度:可信的论文能在很短时间里批量产出,课件注明顺序是示意。最该让人不安的是参考文献那一格,它们看似合理、格式规范,却是编的,属于捏造。15 分钟是课件给出的数字,演示没有出处。

例 2(课件 p.22):来自未来的参考文献

题面:上例那篇论文在其他地方都很可信,观众却发现了作者没发现的问题:一条参考文献的年份还没到。这说明了什么?作者本来应该怎么做?

提示

想想幻觉的经验法则,以及「模型分不出差别,人能分出,前提是去看」。

解答

说明这条参考文献是编的,整篇论文读起来可信不代表每条引用都存在。模型分不出对错,作者没去看就没发现。作者应该逐条打开参考文献核对,没有能打开的来源就当传言,不写进论文。

完整例题

题目(自编情境):一名研究生用 AI 一个晚上写完一篇投稿论文。作者栏写「研究生、ChatGPT」。审稿人发现:一条参考文献查无此文;讨论部分有两段和一篇已发表论文的论证结构几乎相同,但查重率很低;结论只引用了少数几个国家的研究。研究生回复:「这些都是 AI 写的,我不清楚。」请按本页内容逐条指出问题。

① 查无此文的参考文献。这是捏造,也是幻觉的典型样子:带着像真的引用。没有能打开的来源,就该当传言,不写进论文。

② 结构几乎相同的两段。这是微剽窃:换词重组后单句查重抓不到,懂行的人能看出来。署名欠的是想法,要注明那篇论文。

③ 只引少数国家的研究。这可能是偏见:训练材料偏斜,结论跟着偏。先问模型用什么训练,再评价结论。

④ 作者栏写 ChatGPT。不可以。署名是责任声明,模型不能被质询、处罚,也不能表示同意。

⑤「AI 写的,我不清楚」。不构成辩护,不知道工具做了什么本身就是过错。签名的人要为全文负责。

变式题(先自己做)

变式 1(改编自课件 p.18):同学让 AI 写文献综述,AI 给出一句「已有研究证实该方法在所有场景下都有效」,后面附了一条格式完整的引用。同学说:「有引用,可以直接用。」按课件的经验法则,你怎么回应?

提示

格式完整属于包装,关键是能不能打开、对不对得上。

判分点与答案(非官方评分标准)

回应:幻觉会带着看起来很真的引用,语气和正确内容一样。要打开那条引用,确认它存在、原文真这么说,年份等细节也合理。打不开就当传言。

判分点:指出格式完整不等于来源可靠;说出课件的经验法则;给出打开核对的动作。

变式 2(改编自课件 p.23–24):一个三人课题组用 AI 跑了一部分数据分析。论文被质疑后,组长说:「分析是 AI 做的,我们不知道它具体怎么算的,责任不在我们。」请用课件的观点反驳,并说明 AI 能不能列入作者。

提示

家长比喻,以及署名的三句责任声明。

判分点与答案(非官方评分标准)

反驳:课件说不知道工具做了什么不构成辩护,这本身就是过错;就像家长不理解孩子做的事,仍要负责。

署名:AI 不能列入作者。署名是责任声明,模型不能被质询、不能被处罚、不能表示同意,没有问责就没有署名。

判分点:引出「不知道不是辩护」;说出三个「不能」;结论是责任在署名的三个人。

闪卡自测

1. 四类风险是哪四类?

幻觉、微剽窃、偏见、捏造(p.17)。

2. 课件说四类风险里什么是新的?

都不是新问题,新的是速度、规模和包装(p.17)。

3. 幻觉和「答不出来」有什么区别?

幻觉是一个填好的答案,带着像真的引用,语气和正确内容一样(p.18)。

4. 幻觉的经验法则?

一条说法如果没有能打开的来源,就当传言处理(p.18)。

5. 微剽窃的三步?

截取(Cut)、重组(Reassemble)、发表(Publish)(p.19)。

6. 谁能发现微剽窃?

模式级的比对,或熟悉这个领域的人;简单的单句查重抓不到(p.19)。

7. 署名欠的是什么?

想法,不只是一字不差的那串词(p.19)。

8. 面对模型的结论,课件要求先问什么?

先问模型用什么训练,再问它得出什么结论(p.20)。

9. 咖啡时间演示里,论文花了多久?

课件给出的数字是约 15 分钟,并注明顺序是示意(p.21)。

10. 观众在那篇论文里发现了什么?

一条参考文献的年份还没到(p.22)。

11. 模型不能做的三件事?

不能被质询、不能被处罚、不能表示同意,所以不能当作者(p.23)。

12. 「不知道工具做了什么」算不算辩护?

不算,这本身就是过错(p.24)。

下一讲

下一页 L10d 讲守则为什么追不上技术、为什么要写成活指南,以及用了 AI 后披露的何时、写什么、写在哪。回到 课程目录 可以按讲次复习。

下一讲 →
L10d L10d 活的守则与披露:规则要能改,用了 AI 要写清楚

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。