L03a-2 交叉熵的梯度:三段相乘,约成「误差 × 输入」
从链式法则讲起,推出 sigmoid 的导数 y(1−y),再把交叉熵对 w 的导数拆成三段相乘,看分母怎么被整个约掉,最后套进梯度下降四步。
一句话版
梯度下降要知道「w 动一点,损失 L 变多少」。L 和 w 之间隔着 t 和 y 两层,链式法则把这个导数拆成三段相乘;三段乘完,分母正好约掉,只剩「预测误差 × 输入」。
模型和交叉熵是什么,见上一页 L03a。这一页只推梯度。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 导数 | derivative,写作 dL/dw | 自变量动一点点,因变量跟着动多少倍 |
| 链式法则 | chain rule | 隔了几层的导数,等于每一层的导数相乘 |
| 梯度 | gradient | 损失对每个参数的导数排在一起,指向上坡最陡的方向 |
| 学习率 η | learning rate,读「伊塔」 | 每一步沿下坡方向走多远 |
| 饱和区 | saturation | sigmoid 两端几乎是平的那一段,导数接近 0 |
| ȳ | 读「y 拔」 | 训练数据给的标准答案,0 或 1 |
一个类比:传话游戏
三个人排成一排传话。第一个人说话的音量每大一分,第二个人就跟着大两分;第二个人每大一分,第三个人跟着大三分。第一个人大一分,第三个人大几分?
两倍再三倍,六分。每一环把变化放大或缩小一次,最后的放大倍数就是每一环的倍数相乘。
w 影响 L 也是这样传过去的:w 先变成 t,t 再变成 y,y 最后变成 L。每一环有自己的倍数(导数),乘起来就是 dL/dw。
类比在哪里失效:
- 传话游戏里每一环的倍数是固定的。这里每一环的倍数随当前的值变化,比如 sigmoid 那一环在中间大、在两头小,所以要在当前点上算。
- 传话只有一条线。等到下一讲的多层网络,一个参数会沿好几条线影响 L,要把每条线的乘积再加起来。
从零讲起
1. 先补一块:导数与链式法则(补充)
它解决什么问题
梯度下降每一步要问:w 往上调一点,损失是变大还是变小、变多少?这个「变化的倍数」就是导数。L 不是 w 的直接函数,中间隔着两层,需要一个办法把隔层的导数算出来。
从哪来(补充)
链式法则最早由 Gottfried Wilhelm Leibniz 使用,最早的记录是他 1676 年的一份手稿,里面还有一处符号错误。dL/dw 这种分数一样的写法也来自 Leibniz,它让「约掉中间变量」看起来就像约分。
直觉
导数是一个放大倍数。y = 3x,x 加 0.01,y 就加 0.03,导数是 3。
两层叠起来:u = 3x,v = 2u。x 加 0.01,u 加 0.03,v 加 0.06。v 对 x 的导数是 3 × 2 = 6。每一层的倍数相乘,这就是链式法则。
一步一步看
目标:跟着一个样本从 w 经 t、y 走到 L,看 dL/dw 怎样由三段倍数相乘得到。
拿逻辑回归的一个样本来走一遍,看 w 的变化怎么一层层传到 L。
-
w 先变成 t:t = wx + b。w 加一点,t 跟着加 x 倍,所以 dt/dw = x。
-
t 再变成 y:y = σ(t)。t 加一点,y 跟着加多少,取决于 sigmoid 在这一点有多陡,记作 dy/dt。
-
y 最后变成 L:L = −ȳ ln y − (1 − ȳ) ln(1 − y)。y 加一点,L 跟着变 dL/dy 倍。
-
三段倍数相乘,就是 w 对 L 的总倍数 dL/dw。下面两个概念分别算出第 2 段和第 3 段。
怎么算
dL/dw = dL/dy · dy/dt · dt/dw
意思是:L 对 y 敏感多少,乘 y 对 t 敏感多少,再乘 t 对 w 敏感多少。从右往左读,正好是 w 一路传到 L 的顺序。
对 b 也一样,只是最后一段换成 dt/db。t = wx + b 里 b 前面的系数是 1,所以 dt/db = 1:
dL/db = dL/dy · dy/dt · 1
意思是:b 和 w 共用前两段,只有最后一段不同。算出前两段以后,w 和 b 的梯度一次就都有了。
常见误解
以为链式法则是把导数相加
一条线上的各段是相乘。相加只出现在「一个参数沿好几条不同的路影响结果」的时候,那是下一讲多层网络的事。
以为 dL/dy 和 dy/dt 里的 dy 真能像分数一样约掉,所以不用算
约分的写法只是帮你记住相乘的顺序。每一段都要单独求出来,再乘在一起;考试按段给分。
试一下
u = 4x,v = u²。x = 1 时,v 对 x 的导数是多少?
du/dx = 4,dv/du = 2u。x = 1 时 u = 4,dv/du = 8。dv/dx = 8 × 4 = 32。验证:v = 16x²,导数 32x,x = 1 时正好 32。
2. sigmoid 的导数:y(1 − y)
它解决什么问题
链式法则的第二段要 sigmoid 的导数 dy/dt。它决定了 t 动一点 y 动多少,也决定了梯度在哪里会消失。
直觉
回到 S 形曲线。中间那段最陡,t 动一点 y 就动不少;两头越来越平,t 动很多 y 也几乎不动。导数就是曲线在每一点的陡度,所以它是一个中间高、两头低的小山包。
山顶在 t = 0。两头几乎为 0 的那段叫饱和区:y 已经贴着 0 或 1,再推也推不动。
一步一步看
目标:在 t = 0、2、5 处算 sigmoid 的陡度 y(1 − y),看它在 0 处最大、往两边迅速变平。
-
在 t = 0 处,y = 0.5,y(1 − y) = 0.5 × 0.5 = 0.25。这是山顶,sigmoid 最陡的地方。
-
在 t = 2 处,y ≈ 0.88,y(1 − y) ≈ 0.88 × 0.12 ≈ 0.105。陡度掉到不到一半。
-
在 t = 5 处,y ≈ 0.993,y(1 − y) ≈ 0.0066。几乎是平的,进入饱和区。
-
t 取负数时左右对称:t = −2 处同样约 0.105。
怎么算
y = σ(t) = (1 + e^(−t))^(−1)。按「外层幂函数 × 内层」求导:
- 外层:(·)^(−1) 的导数是 −(·)^(−2),得到 −(1 + e^(−t))^(−2)
- 内层:1 + e^(−t) 对 t 的导数是 −e^(−t)
- 相乘:dy/dt = e^(−t) / (1 + e^(−t))²
再拆成两个因子:
dy/dt = [1 / (1 + e^(−t))] · [e^(−t) / (1 + e^(−t))] = y · (1 − y)
第二个因子等于 1 − y,因为 1 − 1/(1 + e^(−t)) = e^(−t)/(1 + e^(−t))。
意思是:sigmoid 的导数只用它自己的输出就能算,σ’ = σ(1 − σ)。前向算出 y 以后,导数不用再算 e 的幂,直接 y 乘 (1 − y)。
y(1 − y) 的最大值:两个数加起来恒为 1,乘积在两者相等时最大,y = 0.5 时为 0.25。
常见误解
以为 y(1 − y) 里的 y 是标准答案
这里的 y 是模型输出 σ(t),和标准答案 ȳ 无关。ȳ 只在下一个概念的 dL/dy 里出现。
以为 sigmoid 的导数最大能到 1
最大 0.25,在 t = 0 处。这个上限下一讲还会碰到:多层 sigmoid 相乘时,每层最多乘 0.25,梯度会越传越小。
试一下
某个样本前向算出 y = 0.7。不用再算 e 的幂,dy/dt 是多少?
dy/dt = 0.7 × 0.3 = 0.21。
3. 三段相乘,约成 (y − ȳ)x
它解决什么问题
前两个概念准备好了零件,这里把三段拼起来,得到交叉熵对 w 和 b 的梯度。这是这一讲最可能出计算题的地方。
直觉
第三段 dL/dy 的分母里有一个 y(1 − y),第二段 dy/dt 正好等于 y(1 − y)。一个在分母,一个在分子,乘起来一笔勾销。
勾销掉的那个 y(1 − y) 就是 sigmoid 在饱和区会变成 0 的陡度。它被约掉了,梯度就不会因为 sigmoid 变平而消失。
一步一步看
目标:把三段导数依次写出再相乘,看 y(1 − y) 怎样上下约掉,只剩 (y − ȳ)x。
-
第三段,L 对 y 求导。ln y 的导数是 1/y,ln(1 − y) 的导数是 −1/(1 − y):dL/dy = −ȳ/y + (1 − ȳ)/(1 − y)。
-
通分到 y(1 − y):分子是 −ȳ(1 − y) + (1 − ȳ)y = −ȳ + ȳy + y − ȳy = y − ȳ。所以 dL/dy = (y − ȳ) / [y(1 − y)]。
-
第二段 dy/dt = y(1 − y),第一段 dt/dw = x。
-
三段相乘,y(1 − y) 上下约掉,剩下 (y − ȳ)x。
怎么算
dL/dw = (y − ȳ)/[y(1 − y)] · y(1 − y) · x = (y − ȳ)x
dL/db = (y − ȳ)/[y(1 − y)] · y(1 − y) · 1 = y − ȳ
意思是:w 的梯度等于预测误差乘输入,b 的梯度就是预测误差本身。y 是模型的预测,ȳ 是训练数据给的答案。
这个结果有三点值得记:
- 形式极简,梯度只看「差了多少」和「输入多大」
- 分母约得干干净净,sigmoid 变平也不影响梯度大小,这是交叉熵被选中的根本原因
- 和线性回归配平方差的梯度同一个样子,也是误差乘输入;下一讲的反向传播里,这个式子还会出现
常见误解
以为记住 (y − ȳ)x 就够了
计算题考过程。三段每一段都要能默写,尤其是第三段的通分和第二段的 sigmoid 导数。只写结果拿不到过程分。
把 y − ȳ 写成 ȳ − y
顺序反了,梯度方向就反了,更新会往上坡走。记法:dL/dy 第一项是 −ȳ/y,通分后分子是 y − ȳ,预测在前。
试一下
一个样本 x = 2、ȳ = 1,当前模型给出 y = 0.3。dL/dw 和 dL/db 各是多少?w 下一步该往大调还是往小调?
dL/dw = (0.3 − 1) × 2 = −1.4,dL/db = −0.7。梯度是负的,更新 w¹ = w⁰ − η × (−1.4) 会让 w 变大,t 跟着变大,y 往 1 靠,方向对。
4. 梯度下降四步:和线性回归一字不差
它解决什么问题
有了梯度公式,还要知道怎么用它一步步把 w、b 调好。这一步的流程上一讲已经学过,这里确认哪些照搬、哪一处换了。
直觉
蒙着眼下山。先随便站一个地方,摸一下脚下哪边低,往低的那边迈一步,再摸,再迈,直到脚下几乎平了。
梯度告诉你哪边是上坡,所以要往梯度的反方向走。η 决定一步迈多大。
一步一步看
目标:把逻辑回归梯度下降的四步和线性回归逐步对照,看真正换掉的只有损失和梯度公式。
课件用的数据是四个一维样本。下表是四步流程,第三步要算的正是上一个概念的结果。
-
随机取初值 w = w⁰、b = b⁰。
-
算 L(w, b)。若 L(w, b) < ε 就停,否则继续。
-
算导数 dL/dw 和 dL/db,两个合起来就是梯度。
-
更新:w¹ = w⁰ − η·dL/dw,b¹ = b⁰ − η·dL/db,然后回到第 2 步。
步 做什么 和线性回归比 1 随机取初值 相同 2 算损失、判停 相同,只是 L 换成交叉熵 3 算梯度 公式变成 (y − ȳ)x 和 y − ȳ 4 沿负梯度更新 相同
怎么算
w¹ = w⁰ − η · (y − ȳ)x,b¹ = b⁰ − η · (y − ȳ)
意思是:预测比答案大(y > ȳ),就把 w、b 往减小 t 的方向挪;预测比答案小,就往增大 t 的方向挪。挪多远由误差、输入和学习率共同决定。
N 个样本时,把每个样本的梯度加起来除以 N,再更新一次:
dL/dw = (1/N) Σ (yⁿ − ȳⁿ) xⁿ
意思是:每个样本各投一票,按误差大小投,平均之后再迈一步。
常见误解
以为逻辑回归换了模型,求解方法也得换
四步一字不改,唯一变的是第三步算的那个 L。课件把这一页排得和上一讲几乎一样,就是要你看出这一点。
以为加号减号无所谓,反正会收敛
更新必须是减去 η 乘梯度。写成加号就是沿上坡走,损失会越来越大。
试一下
当前 w = 0、b = 0,学习率 η = 1。只用一个样本 x = 1、ȳ = 1 更新一步,新的 w、b 是多少?
t = 0,y = σ(0) = 0.5。dL/dw = (0.5 − 1) × 1 = −0.5,dL/db = −0.5。w¹ = 0 − 1 × (−0.5) = 0.5,b¹ = 0.5。
把它们串起来
梯度下降要的是 dL/dw。L 隔着两层才碰到 w,链式法则把它拆成三段:dL/dy、dy/dt、dt/dw。
中间那段是 sigmoid 的导数 y(1 − y)。它中间高两头低,在饱和区几乎为 0,单独看是个麻烦。
最后一段 dL/dy 化简出来恰好带着分母 y(1 − y),两者一乘就消掉了。剩下的 (y − ȳ)x 干净到只看误差和输入,sigmoid 平不平都不影响它。
把这个梯度塞进上一讲的四步流程,逻辑回归就能训练了。下一页做反面实验:损失换回平方差,分母不在了,y(1 − y) 留在梯度里,会发生什么。
课件里的坑
- [读图提醒] p.16 和 p.15 内容相同,但答案区被一块黑色矩形盖住,右下角还留着问号。那是课堂上先让大家想、再点掉遮罩揭晓用的,导出成 PDF 后变成实心黑块。完整推导看 p.15。
- [读图提醒] p.15 第一段写成 −ȳ/y − (1 − ȳ)[1/(1−y) · (−1)],中间用省略号跳过了通分。考试要你写出来,通分过程见上面第 3 个概念(p.15)。
- [对照提醒] p.14 的四步流程和上一讲一字不差,右下角大问号指向 gradient,答案在下一页 p.15(p.14)。
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,在纸上默写三段链式,每段写出来再相乘;然后推一遍 sigmoid 的导数;最后做完整例题和变式题,各算一步更新。
必背
- 交叉熵梯度三步链式:dL/dy = (y − ȳ)/[y(1−y)],dy/dt = y(1−y),dt/dw = x,化简得 dL/dw = (y − ȳ)x、dL/db = y − ȳ。
- sigmoid 的导数 σ’ = σ(1 − σ),即 dy/dt = y(1 − y):t = 0 时最大为 0.25,往两端的饱和区趋于 0。
- 交叉熵的分母 y(1 − y) 正好和 sigmoid 的导数约掉,这是选交叉熵的根本原因;梯度是「预测误差 × 输入」,和线性回归同形。
- 梯度下降四步和线性回归一字不差:随机取初值、算 L 判停、算导数、按 w¹ = w⁰ − η·dL/dw 更新后回到第二步;唯一变的是 L 换成了交叉熵。
- 三段链式要能逐段默写,计算题考过程,只记 (y − ȳ)x 不够。
课件例题
例 1(课件 p.14–15):一维数据 x = −1.2, −0.9, 0.8, 1.1,标签 ȳ = 0, 0, 1, 1。写出梯度下降四步,并用链式法则推出交叉熵对 w、b 的梯度。
提示
四步照搬上一讲。梯度拆成 dL/dy · dy/dt · dt/dw 三段,第一段要通分到 y(1 − y)。
解答
四步:① 随机取初值 w⁰、b⁰;② 算 L(w, b),小于 ε 就停;③ 算 dL/dw、dL/db;④ w¹ = w⁰ − η·dL/dw,b¹ = b⁰ − η·dL/db,回到 ②。梯度:dL/dy = −ȳ/y + (1 − ȳ)/(1 − y) = (y − ȳ)/[y(1 − y)];dy/dt = y(1 − y);dt/dw = x。相乘得 dL/dw = (y − ȳ)x,同理 dL/db = y − ȳ。代数值的过程见下方完整例题。
完整例题
题面(改编自课件 p.14–15):课件只推到公式,没有代数值。取其中 x = 0.8、ȳ = 1 这一个样本,初值 w = 0.5、b = 0,学习率 η = 0.5(这三个数是自设的)。求当前损失和梯度,更新一步,再回算损失。
约定:保留六位小数;只用这一个样本更新。
解法:
- 前向:t = 0.5 × 0.8 + 0 = 0.4,y = σ(0.4) = 1/(1 + e^(−0.4)) ≈ 0.598688。
- 损失:ȳ = 1,只剩 −ln y,L ≈ −ln 0.598688 ≈ 0.513015。
- 梯度:dL/dw = (y − ȳ)x = (0.598688 − 1) × 0.8 ≈ −0.321050;dL/db = y − ȳ ≈ −0.401312。
- 更新:w₁ = 0.5 − 0.5 × (−0.321050) ≈ 0.660525;b₁ = 0 − 0.5 × (−0.401312) ≈ 0.200656。
- 回算:t₁ = 0.660525 × 0.8 + 0.200656 ≈ 0.729076,y₁ ≈ 0.674603,L₁ ≈ 0.393632。
要点:两个梯度都是负的,更新让 w、b 都变大,y 从 0.599 升到 0.675,往标准答案 1 靠,损失从 0.513 降到 0.394。
答题格式:按「前向 → 损失 → 梯度 → 更新 → 回算」五行写,每行先写公式再代数。
变式题(先自己做)
改编自课件 p.14–15,换课件数据里的另一个点:x = −1.2、ȳ = 0,当前 w = 0.5、b = 0,η = 0.5。求当前损失和梯度,更新一步,再回算损失。
提示
ȳ = 0 时交叉熵只剩 −ln(1 − y)。梯度公式不分标签值,照样是 (y − ȳ)x,注意 x 为负会让 w 的梯度换号。
判分点与答案(非官方评分标准)
判分点:① 损失只保留 −ln(1 − y);② w 的梯度符号跟着 x 翻;③ 回算后损失下降。
- t = 0.5 × (−1.2) + 0 = −0.6,y = σ(−0.6) ≈ 0.354344。
- L = −ln(1 − 0.354344) = −ln 0.645656 ≈ 0.437488。
- dL/dw = 0.354344 × (−1.2) ≈ −0.425212;dL/db ≈ 0.354344。两个分量符号相反。
- w₁ = 0.5 − 0.5 × (−0.425212) ≈ 0.712606;b₁ = 0 − 0.5 × 0.354344 ≈ −0.177172。
- t₁ ≈ −1.032299,y₁ ≈ 0.262639,L₁ ≈ 0.304677,损失从 0.4375 降到 0.3047。y 往标准答案 0 靠了。
闪卡自测
1. 写出交叉熵对 w 求导的三段链式。
dL/dw = dL/dy · dy/dt · dt/dw(p.15)。
2. dL/dy 化简后是什么?
(y − ȳ) / [y(1 − y)](p.15)。
3. sigmoid 的导数是什么?最大值在哪、是多少?
σ’ = σ(1 − σ),即 y(1 − y);t = 0 时最大,为 0.25(p.15)。
4. 三段里哪两项约掉了?
dL/dy 的分母 y(1 − y) 和 sigmoid 的导数 y(1 − y)(p.15)。
5. dL/dw 和 dL/db 的最终结果是什么?
dL/dw = (y − ȳ)x,dL/db = y − ȳ(p.15)。
6. 为什么说这个约分是选交叉熵的根本原因?
sigmoid 在饱和区导数趋于 0,约不掉 y(1 − y) 的损失函数梯度会在那里消失;交叉熵正好约掉(p.15)。
7. 逻辑回归的梯度下降四步和线性回归比,哪一步变了?
只有第三步要算的 L 换成了交叉熵,流程一字不差(p.14)。
8. p.16 那块黑色矩形下面是什么?
和 p.15 一样的推导,是课堂揭晓用的遮罩,看 p.15 即可(p.16)。
下一讲
同样的三段链式,损失换回平方差会怎样?分母没了,y(1 − y) 约不掉,梯度在错得最离谱的地方反而归零:L03a-3 为什么非得是交叉熵。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。