L10a 生成模型:GAN 和扩散模型怎样从一团噪声里造出图片
从零讲生成式 AI 的起点:为什么要从随机噪声出发,GAN 里生成器和判别器怎样互相较劲,扩散模型怎样先加噪再一步步去噪。
一句话版
生成式 AI 要做的事是「造出新东西」:一张没见过的人脸、一段没说过的话。这一页讲造图的两种经典办法。GAN 让两个网络互相较劲,一个造假,一个识假;扩散模型先把图片一点点弄成雪花噪声,再学会一步步把噪声擦回图片。
这一讲内容多,分六页。本页讲生成模型;语言模型从 RNN 到大模型见 L10b;微调和提示见 L10c;思维链和检索增强见 L10d;Prompt、Context、Harness 三层见 L10e;应用和可信 AI 见 L10f。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 生成式 AI | Generative AI | 能造出新内容(图、文、声音)的 AI |
| 分布 | distribution | 一堆数据「通常长什么样」的整体规律 |
| 噪声 z | noise | 随手掷骰子得到的一串随机数 |
| GAN | Generative Adversarial Network,生成对抗网络 | 造假的和识假的两个网络互相较劲 |
| 生成器 G | Generator | 把噪声变成样本的那个网络 |
| 判别器 D | Discriminator | 判断一张图是真是假的那个网络 |
| 扩散模型 | Diffusion Model | 学会把噪声一步步擦回图片的模型 |
一个类比:造假画的人和鉴定师
一个学徒想学画名家风格的画,却没有老师逐笔纠正。他找来一位鉴定师:学徒画一张,鉴定师把它和真迹混在一起看,说出哪张是假的。学徒根据「哪里露了馅」改进,鉴定师也越看越精。等到鉴定师再也分不出来,学徒就出师了。这是 GAN。
扩散模型像修复老照片。先拿一张好照片,故意一层层撒灰,记下每层撒了什么;修复师照着这些记录学「怎样把一层灰擦掉」。学会以后,给他一张满是灰的纸,他一层层擦,就擦出一张新照片。
类比在哪里失效:
- 学徒画的是一张张具体的画;生成器学的是一个变换,任何一团噪声送进去都会出一张图。
- 真鉴定师的眼光不会被学徒带着变;判别器和生成器是一起训练、同时变强的。
- 修复老照片要还原原图;扩散模型从随机噪声出发,擦出来的是一张新图。
从零讲起
1. 生成模型要解决的难题:从噪声出发
它解决什么问题
想让电脑画人脸,最直接的想法是「照着人脸的规律随机抽一张」。可人脸图片有几十万个像素,它们之间的规律复杂得没法写下来,也就没法直接抽。生成模型换了个思路:先抽一样好抽的东西,再学一个变换把它变成人脸。
直觉
掷骰子很容易,掷出一串随机数也很容易。如果有一台机器,任意一串随机数进去,出来都是一张像样的人脸,那么「抽一张人脸」就变成了「掷一串骰子再送进机器」。这台机器就是生成器。
先回顾一下背景。课件开头画了语言模型的四代:统计语言模型、神经语言模型、预训练语言模型、大语言模型。能力从只帮一个专门任务,走到什么任务都能接。今天的生成式 AI 就站在最后一代上。
一步一步看
目标:看清生成器的输入和输出各是什么,以及它为什么需要一个裁判。
-
从简单分布里采一串随机数 z。这一步不用学,随手就能做。
-
把 z 送进生成器 G,得到一个样本 x = G(z)。G 是要学习的部分。
-
问题来了:训练集只有一堆真图,没有「这串 z 应该变成哪张图」的配对。没有标准答案,就没法逐张对比来学。
-
解决办法是另请一个裁判来判断「像不像真的」,用它的判断来指导生成器。这就引出 GAN。
怎么判断
判断一个模型算不算这一类生成模型,看两点。
- 输入有没有随机性:每次给不同的随机数,出来的是不同的新样本。
- 输出是不是新造的:它造出的是训练集里没有的图,从库里挑一张已有的图不算。
常见误解
以为生成器是把训练集里的图片拼贴起来
生成器学的是一个从随机数到图片的变换。训练结束后,训练集可以扔掉,生成器单凭一串新的随机数就能造图。
以为可以直接让生成器把每张输出和某张真图比像素来学
做不到。不知道哪串随机数该对应哪张真图,就没有可比的标准答案。课件说的「不能靠重建来学」指的就是这件事。
试一下
同一个训练好的生成器,先后送进两串不同的随机数,会得到什么?
两张不同的新图。随机数决定了这一次造出哪张,生成器决定了造出来的图像像不像真的。
2. GAN:造假的和识假的一起变强
它解决什么问题
上一节卡在「没有标准答案」。GAN 的办法是再训练一个判别器当裁判:它负责区分真图和假图,它的判断变成生成器的学习信号。
从哪来(补充)
GAN 出自论文《Generative Adversarial Networks》,第一作者是 Ian Goodfellow,2014 年 6 月提交到 arXiv。课件的 GAN 一节就从这篇论文的首页讲起。
出处:arXiv: Generative Adversarial Networks
直觉
两个网络在玩一场二人游戏。生成器想骗过判别器,判别器想不被骗。判别器越精,生成器就得造得越像;生成器造得越像,判别器又得看得更细。两边你追我赶,假图就越来越像真图。
一步一步看
目标:按一轮训练的顺序,看清假图怎样产生、怎样被判、两路信号各自改了谁。
-
生成器拿一串噪声 z,造出一张假图 x = G(z)。
-
判别器同时拿到假图和训练集里的真图,对每张输出 D(x),也就是「这张是真的」的概率。
-
判别结果分两路用:判别器自己改进,争取下次分得更准;结果也传回生成器,告诉它怎样改才更容易被判成真。
-
重复很多轮。到判别器对真图假图都只能瞎猜时,生成器造出的图就和真图分不出来了。
怎么算
课件给的两个式子是:
- 判别器:p(真|x) = D(x)
- 生成器:x = G(z)
意思是:判别器读进一张图 x,吐出一个 0 到 1 之间的数,表示它认为这张图是真的可能性;生成器读进一串噪声 z,吐出一张图 x。判别器想让真图的 D(x) 接近 1、假图的接近 0;生成器想让自己造的图 D(G(z)) 也接近 1。
常见误解
以为判别器越强越好,最后要把判别器拿去用
训练完通常只留生成器。判别器是陪练,作用是给生成器提供学习信号。理想的终点是判别器分不出真假,这恰恰说明生成器学好了。
以为两个网络是先后训练的:先训好判别器,再训生成器
两个网络交替训练、一起变强。判别器一开始也很弱,它是随着生成器造的假图越来越像,才被逼着越看越细。
试一下
训练到某一轮,判别器给真图和假图的打分都在 0.5 附近。这说明什么?
判别器已经分不出真假,只能猜。按课件的说法,这时生成器很好地拟合了真实数据的分布,也就是训练到了理想状态。
如果判别器太弱,一直把所有图都判成真,生成器会怎样?
生成器得不到「哪里不像」的信号,随便造什么都能过关,学不到东西。所以两个网络要旗鼓相当地一起练。
3. 扩散模型:先学会擦掉噪声
它解决什么问题
GAN 两个网络互相较劲,训练起来容易失衡(补充,出处:arXiv 1701.04862)。扩散模型换了一条路:不请裁判,而是把「造图」拆成很多个「擦掉一点噪声」的小步骤,每一步都有现成的标准答案可学。课件后面展示的扩散模型生成的人脸,质量已经非常高。
从哪来(补充)
今天常用的扩散模型,起点是 Jonathan Ho 等人 2020 年 6 月提交到 arXiv 的论文《Denoising Diffusion Probabilistic Models》,简称 DDPM。
出处:arXiv: Denoising Diffusion Probabilistic Models
直觉
往一杯清水里一滴一滴加墨,水会慢慢变黑,这个过程谁都会做。难的是反过来:从一杯黑水里一点一点把墨取出来。扩散模型专门学这个「反过来」的本事。学会了以后,随便给它一杯「黑水」,也就是一团随机噪声,它就能一步步还原出一张清楚的图。
一步一步看
目标:分开看前向加噪和反向去噪两个过程,找出哪一步要学、为什么学得到。
-
前向过程:从原图 x0 出发,每一步加一点随机噪声,得到 x1、x2……走 T 步后,xT 是纯噪声。这一步不用学,随手就能做。
-
训练:拿前向过程造出的某一步带噪图 xt 当题目。加进去的噪声是我们自己撒的,答案已知,网络 ε_θ(x_t, t) 就学着估计这团噪声。
-
反向过程:生成时,从一团纯噪声 xT 出发,让网络估计其中的噪声并减掉,得到 xT-1;重复下去,最后得到 x0,一张新图。
怎么判断
分清扩散模型的两个过程,问一句「这一步要不要学」。
- 前向(加噪):不用学。噪声是随机采来、自己加进去的。
- 反向(去噪):要学。网络 ε_θ(x_t, t) 读进带噪图 xt 和步数 t,估计里面混了多少噪声。
生成新图只用到反向过程;前向过程的作用是给训练造题目。
常见误解
以为扩散模型生成时也要先有一张原图
生成时直接从随机噪声开始,一步步去噪。原图只在训练时用,用来造「带噪图 + 已知噪声」这样的题目。
以为去噪是一步完成的
去噪分很多步走,每一步只擦掉一点。这也是扩散模型生成比 GAN 慢的原因:GAN 一次前向就出图,扩散模型要走很多步(补充,出处:arXiv 2010.02502)。
试一下
网络 ε_θ(x_t, t) 为什么要把步数 t 也作为输入?
不同步数的图里,噪声多少差很多:靠近 xT 的几乎全是噪声,靠近 x0 的只有一点。告诉网络现在是第几步,它才知道该估计多大的噪声。
把它们串起来
生成模型都从同一个想法出发:真实数据的规律太复杂,没法直接抽样,那就从好抽的随机噪声出发,学一个变换。
GAN 用对抗来学这个变换。生成器造假,判别器识假,判别器的判断就是生成器的学习信号;判别器分不出真假时,训练就到了终点。
扩散模型把变换拆成很多小步。前向随手加噪,给训练造出有标准答案的题目;反向一步步去噪,从纯噪声走回一张新图。
这些模型除了画图,还被用来生成语音、分子、视频,甚至机器人的动作。下一页转到语言:生成一段话,和生成一张图有什么不同。
课件里的坑
- [编号] 课件文件名写 Lecture 9,是讲者自己的编号;它是第 11 周的课,网站按顺序编为 L10
- [读图提醒] GAN 结构图里有两条反馈:红色的 Discriminator learning signal 和蓝色的 Generator learning signal,分别改两个网络(p.30)
- [读图提醒] 扩散图上方箭头向右是加噪,下方箭头向左是去噪;节点下方的 ε_θ(x_t, t) 是要学的网络(p.31)
- [背景页] 高考成绩、MBA 考试、ICLR 关键词这些页是引入,具体分数不是考点(p.10–13、p.21–24)
- [背景页] p.15 的「学习惩罚」图:同一批学生相隔六个月,作业成绩升 18%,考试成绩降 20%,出处是 2026 年 6 月的一篇预印本,可当讨论题背景
课后 10 分钟:考点复习
这 10 分钟怎么用:先在纸上画出 GAN 的结构图,标出两条学习信号各改哪个网络;再画一条 x0 到 xT 的链,标出哪个方向要学;最后默写语言模型四代的名字和年份。
必背
- 语言模型四代:统计 LM(1990s)→ 神经 LM(2013)→ 预训练 LM(2018)→ LLM(2020),从专门任务助手走向通用任务求解器
- 生成模型的思路:从简单分布采随机噪声 z,学一个变换把它变成像训练数据的样本
- GAN 判别器 D(x) = p(真|x) 区分真图假图;生成器 x = G(z) 造假图骗判别器
- GAN 训练好的标志:判别器分不出真假时,生成器就拟合了真实数据分布
- 扩散模型:前向过程逐步加噪直到纯噪声;反向过程用网络 ε_θ(x_t, t) 估计噪声、逐步去噪生成
- GAN 不能靠重建来学,因为不知道哪个 z 对应哪张图,所以请判别器当裁判
课件例题
例 1(课件 p.41):DeepFakes 一页问「Which image is real?」,把一张用户拍的照片和几张模型生成的图放在一起,让人猜哪张是真的。原图上直接标着答案,这里不放图,只练思路。
提示
想一想生成模型训练好的标志是什么,再想这件事对看图的人意味着什么。
解答
课件的用意是展示:生成模型训练好以后,造出的图和真图人眼已经难以区分。这正是 GAN 的训练目标,判别器分不出真假,人也分不出。这一页由此引出 Part 4 的可信 AI 问题:假图可以以假乱真,就会被拿去造谣、冒充身份。
完整例题
题面(改编自课件 p.30、p.31):说明 GAN 中生成器和判别器各自的输入、输出和目标,并说明什么时候训练到了理想状态。再说明扩散模型的前向过程和反向过程哪个需要学习,生成新图时用哪个。
解法:
- 生成器:输入随机噪声 z,输出假图 x = G(z);目标是让判别器把假图判成真。
- 判别器:输入一张图 x,输出 D(x) = p(真|x);目标是真图判真、假图判假。
- 理想状态:判别器分不出真假,对两类图只能猜,这时生成器拟合了真实数据分布。
- 扩散前向:逐步加随机噪声,不需要学习,作用是给训练造题目。
- 扩散反向:网络 ε_θ(x_t, t) 估计每一步的噪声并减掉,需要学习;生成新图时从纯噪声出发,只用反向过程。
要点:GAN 的两个网络目标相反,一起训练;扩散模型只有一个要学的网络。
答题格式:GAN 部分按「网络 / 输入 / 输出 / 目标」四栏写两行,再一句写终点;扩散部分各用一句话写两个过程。
变式题(先自己做)
自编情境:
(1) 一个 GAN 训练了很久,判别器对真图的打分接近 1,对假图接近 0,一直如此。生成器学得好吗? (2) 有人说「扩散模型生成一张图只需要前向过程」。指出错在哪里。 (3) 为什么不能直接让生成器的输出和训练集里某张真图比像素来训练?
提示
(1) 回想 GAN 训练好的标志。(2) 分清哪个方向要学、哪个方向用来生成。(3) 想想噪声和真图之间有没有配对。
判分点与答案(非官方评分标准)
判分点:① (1) 判断生成器没学好并给出理由;② (2) 指出生成靠反向去噪;③ (3) 说出没有配对、无法重建。
(1) 没学好。判别器能轻松分出真假,说明假图还很容易被识破。理想状态是判别器分不出,打分都在 0.5 附近。
(2) 前向过程只是加噪,是给训练造题目的。生成新图要从纯噪声出发,走反向去噪过程。
(3) 训练集里没有「哪串噪声对应哪张真图」的配对,没有可比的标准答案。所以 GAN 改用判别器的真假判断当学习信号。
闪卡自测
1. 语言模型的四代分别叫什么、各在哪一年前后?
统计 LM(1990s)、神经 LM(2013)、预训练 LM(2018)、LLM(2020)(p.4)。
2. GAN 的判别器和生成器各写成什么式子?
判别器 p(true|x) = D(x);生成器 x = G(z)(p.30)。
3. GAN 什么时候算训练到了理想状态?
判别器分不出真图和生成图时,生成器就很好地拟合了真实数据分布(p.30)。
4. 为什么 GAN 不能靠重建来学?
不知道哪个随机噪声 z 对应哪张图,没有配对就没法重建,所以引入判别器(p.27–29)。
5. 扩散模型的两个过程各做什么?
前向过程逐步加噪直到纯噪声;反向过程用网络估计噪声、逐步去噪,生成新图(p.31)。
下一讲
生成图片是从噪声出发,生成文字则是一个字一个字往下接。语言模型怎样从 RNN 走到 Transformer,又为什么越做越大,见 L10b。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。