L04a 隐藏层:一条直线分不开 XOR,就先造新特征
从一个神经元讲起,看线性回归和逻辑回归为什么都学不会 XOR,再一帧一帧看隐藏层怎么先造出 OR、AND 两个新特征,让一条直线重新够用。
一句话版
一个神经元只能画一条直线。XOR 的四个点用一条直线分不开,所以线性回归和逻辑回归都学不会它。办法是在输入和输出之间加一层带非线性激活的神经元(隐藏层),先把原来的点搬到一个新平面上,在新平面里一条直线就够用了。
这一页从零讲隐藏层为什么必要。下一页 L04b 讲网络怎么加宽加深、激活函数和输出层怎么选。读之前最好先懂逻辑回归和交叉熵。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 神经元 | neuron | 一个小计算单元:先加权求和,再过一个激活函数 |
| 激活函数 | activation function | 加权和后面接的弯曲函数,例如 sigmoid |
| σ | 读「西格玛」,sigmoid | 把任意实数压进 0 到 1 之间的 S 形函数 |
| XOR | exclusive OR,异或 | 两个输入恰好一个是 1 时输出 1,否则输出 0 |
| 线性可分 | linearly separable | 能用一条直线(高维是一个平面)把两类点分开 |
| 隐藏层 | hidden layer | 夹在输入和输出之间的层,负责造新特征 |
| 特征 | feature | 喂给模型的那几个数;隐藏层的输出也是特征 |
一个类比:切一刀分不开,就先把桌布折一下
桌布上画了四个点。左上和右下是红点,左下和右上是蓝点。规定只能拿刀沿直线切一刀,把红蓝分开。
你横着切、竖着切、斜着切,总有一个点站错边。红点在对角,蓝点也在对角,一刀切不出这种格局。
换个思路:先把桌布沿对角线折一下,让两个红点叠到同一处。折完以后再看,红点挤在一起,两个蓝点在两头,一刀就能切开。
隐藏层干的就是「折桌布」。它把原来的点挪到新位置,挪完以后,输出层那一刀才切得开。
类比在哪里失效:
- 折桌布是你亲手决定怎么折。隐藏层怎么「折」是训练出来的,由权重决定,换一组权重折法就变了。
- 桌布只能整块折。隐藏层的每个神经元各自做一次弯曲,几个神经元合起来才得到最后的形状。
从零讲起
1. 先补一块:神经元(补充)
它解决什么问题
前两讲的线性回归和逻辑回归,都可以画成同一种小单元:几个输入进来,各乘一个权重,加起来,再决定要不要过一个函数。这个小单元就叫神经元。把它看成积木,后面才能谈「多摆几块」「叠几层」。
从哪来(补充)
1943 年,Warren McCulloch 和 Walter Pitts 发表论文,最早提出人工神经元的数学模型。1957 年,Frank Rosenblatt 在 Cornell 航空实验室提出感知机,1959 年造出了硬件 Mark I Perceptron。课件开头的历史表也从这里讲起。
出处:Wikipedia: Artificial neuron、Wikipedia: Perceptron
直觉
神经元像一个打分员。每个输入是一项指标,权重是这项指标的分量,偏置是基础分。打分员先算总分,再用激活函数把总分换成最后的判断。
激活函数决定了这块积木是什么。不接激活,输出就是总分本身,这是线性回归。接上 sigmoid,总分被压进 0 到 1,可以当概率读,这是逻辑回归。
一步一步看
目标:顺着输入、加权求和、激活走一遍神经元,看换掉激活函数后同一结构就成了另一种模型。
-
两个输入 x₁、x₂ 进来,另外还有一个永远等于 1 的输入,它的权重就是偏置 b。
-
每个输入乘自己的权重,在 Σ 处加起来,得到加权和 s。
-
s 进激活函数 σ,出来的就是这个神经元的输出 y。
-
换一个激活函数,或者干脆不要激活,同一个结构就变成另一种模型。
怎么算
一个两输入神经元的完整写法:
- 加权和:s = w₁x₁ + w₂x₂ + b
- 输出:y = σ(s) = 1 / (1 + e⁻ˢ)
意思是:先算一个总分 s,再把 s 放进 S 形曲线,读出一个 0 到 1 之间的数。s 越大,y 越接近 1;s 越小,y 越接近 0;s = 0 时 y 正好是 0.5。
判定的时候,y > 0.5 判成 1,y < 0.5 判成 0。y = 0.5 的那条分界,对应的是 s = 0,也就是 w₁x₁ + w₂x₂ + b = 0。这是一条直线。后面的麻烦全从这里来。
常见误解
以为加了 sigmoid,判定边界就弯了
sigmoid 是单调的,它只把 s 换了个刻度,s 的正负没变。y > 0.5 和 s > 0 是同一件事,所以分界线还是 s = 0 这条直线。逻辑回归是线性分类器。
以为神经元越复杂越好
一个神经元里能做的就是加权求和加一个激活函数,复杂度不靠单个神经元堆。网络的本事来自很多神经元连在一起,这是下一个概念要讲的。
试一下
一个神经元 w₁ = 2、w₂ = −1、b = 0,激活用 sigmoid。输入 (1, 2) 时输出大约多少?判成几?
s = 2×1 − 1×2 + 0 = 0,y = σ(0) = 0.5,正好落在分界线上。这个点就在直线 2x₁ − x₂ = 0 上。
2. XOR:一条直线分不开
它解决什么问题
它给出一个最小的反例,说明一个神经元不够。XOR 只有四个点、两个输入,简单到可以手算,可线性回归和逻辑回归都学不会它。看清它为什么学不会,就知道该往哪里加东西。
从哪来(补充)
1969 年,Marvin Minsky 和 Seymour Papert 出版《Perceptrons》一书,证明单层感知机学不会 XOR。两位作者当时已经知道多层网络能表示 XOR,但这本书仍被认为促成了此后神经网络研究经费的减少。
出处:Wikipedia: Perceptrons (book)
直觉
把四个点画在平面上。(1,0) 和 (0,1) 输出 1,在一条对角线上;(0,0) 和 (1,1) 输出 0,在另一条对角线上。两类点交叉摆放,任何一条直线都只能把平面切成两半,总会把某个点切到错的那一半。
一步一步看
目标:对 XOR 的四个点试三条直线再列线性方程,看一条直线分不开,线性拟合只能全输出 0.5。
-
先把四个点画出来:实心点输出 1,空心点输出 0。两类点各占一条对角线。
-
试三条直线:横着切、竖着切、斜着切。每一条都至少有一个点落在错的一边。
-
用线性回归 y = w₁x₁ + w₂x₂ + w₃ 去拟合,四个点代进去列方程:
点 方程 (0,0) → 0 w₃ = 0 (1,0) → 1 w₁ + w₃ = 1 (0,1) → 1 w₂ + w₃ = 1 (1,1) → 0 w₁ + w₂ + w₃ = 0 -
前三行推出 w₁ = 1、w₂ = 1、w₃ = 0,代进第四行得 1 + 1 = 0,矛盾。
-
方程没有精确解,梯度下降只能找误差最小的那组:w = (0, 0, 0.5),四个点都输出 0.5。
怎么算
线性回归的误差:
- 每个点的预测都是 0.5,真实值是 0 或 1,误差平方都是 (0.5)² = 0.25
- 平均下来 MSE = (0.25 + 0.25 + 0.25 + 0.25) / 4 = 0.25
意思是:模型对每个点都说「一半一半」,等于什么都没学到。课件打印的 error 正是 0.25。
逻辑回归的损失:
- 权重全为 0 时,每个点输出 σ(0) = 0.5
- 交叉熵每点 −ln 0.5 = ln 2 ≈ 0.693,平均还是 ln 2
意思是:二分类训练时损失停在 0.693 附近不动,多半是模型对所有样本都在猜 0.5。课件打印的 0.6931471805599453 就是 ln 2。
常见误解
以为多训练几轮、换个学习率就能学会
学不会的原因在模型本身。线性回归和逻辑回归的边界都是直线,XOR 要的边界是弯的或者分成两段。训练再久,也只能在直线里挑一条误差最小的。
以为逻辑回归的 0.693 和线性回归的 0.25 是两种不同的失败
两个数背后是同一件事:模型对所有点都输出 0.5。只是一个用 MSE 量,一个用交叉熵量。
试一下
把 XOR 换成 OR(只有 (0,0) 输出 0,其余输出 1)。能不能用一条直线分开?给一条。
能。直线 x₁ + x₂ = 0.5 把 (0,0) 和另外三个点分开。OR 和 AND 都线性可分,XOR 不行。
3. 隐藏层先造新特征
它解决什么问题
一条直线不够,那就先把点挪一挪。隐藏层用几个神经元把原来的 (x₁, x₂) 算成新的 (h₁, h₂),挪到新平面上以后,输出层的一条直线就能分开两类点。
直觉
两个隐藏神经元各学一个容易的逻辑。h₁ 学 OR:有一个输入是 1 就亮。h₂ 学 AND:两个都是 1 才亮。
XOR 等于「OR 亮了,而且 AND 没亮」。在 (h₁, h₂) 平面上,这件事就是「h₁ 大、h₂ 小」,一条斜线就能圈出来。
关键是隐藏神经元要带 sigmoid 这类弯曲的激活函数。去掉它,h₁、h₂ 都只是 x 的线性组合,挪完以后的点还是那个交叉格局。
一步一步看
目标:用课件参数逐个算 h₁、h₂,看四个 XOR 点挪到新平面后,一条直线就能分开。
下面用课件分类模型的第一组参数,一帧一帧看四个点怎么被挪走。青绿色标的是这一步算出来的东西。
-
先算 h₁ = σ(7.9x₁ + 7.9x₂ − 3.7)。(1,0) 和 (0,1) 括号里都是 4.2,h₁ ≈ 0.985;(1,1) 括号里是 12.1,h₁ ≈ 1;(0,0) 是 −3.7,h₁ ≈ 0。
-
再算 h₂ = σ(6.2x₁ + 6.2x₂ − 9.4)。(1,0) 和 (0,1) 括号里是 −3.2,h₂ ≈ 0.039;只有 (1,1) 括号里是 3.0,h₂ ≈ 0.953。
-
把每个点画到 (h₁, h₂) 平面上:(0,0) 去了左下角,(1,1) 去了右上角,(1,0) 和 (0,1) 叠在右下角同一处。输出层的直线 15h₁ − 15.7h₂ − 7 = 0 把右下角的实心点和另两个空心点分开。
-
输出 y = σ(15h₁ − 15.7h₂ − 7),四个点算出来约 0.0013、0.9992、0.9992、0.0010,判成 0、1、1、0,正好是 XOR。
怎么算
整个分类模型写成一行:
y = σ(w₇·σ(w₁x₁ + w₂x₂ + w₃) + w₈·σ(w₄x₁ + w₅x₂ + w₆) + w₉)
意思是:里面两个 σ 是隐藏层,各自把 x 算成一个新特征;外面一个 σ 是输出层,对新特征再做一次逻辑回归。
拿 (1,0) 走一遍:
- h₁ = σ(7.9 − 3.7) = σ(4.2) ≈ 0.985
- h₂ = σ(6.2 − 9.4) = σ(−3.2) ≈ 0.039
- 输出层括号 = 15 × 0.985 − 15.7 × 0.039 − 7 ≈ 7.16
- y = σ(7.16) ≈ 0.999,判 1
参数一共 9 个:两个隐藏神经元各 3 个(两个权重加一个偏置),输出神经元 3 个。
常见误解
以为只要多加几层,不加激活也行
不行。线性函数套线性函数还是线性函数:w₇(ax₁ + bx₂ + c) + w₈(dx₁ + ex₂ + f) + w₉ 展开以后仍是 αx₁ + βx₂ + γ 的样子,边界还是一条直线。隐藏层的本事全在非线性激活上。
以为 XOR 的解是唯一的
课件的回归模型和分类模型各给了两组参数,彼此完全不同,都能拟合 XOR。损失曲面上有好几个谷底,梯度下降从不同起点出发会落到不同的谷底。
试一下
用同一组 h₁、h₂,算 (1,1) 这个点的输出,看它为什么判 0。
h₁ = σ(7.9 + 7.9 − 3.7) = σ(12.1) ≈ 1,h₂ = σ(6.2 + 6.2 − 9.4) = σ(3.0) ≈ 0.9526。输出层括号 = 15 × 1 − 15.7 × 0.9526 − 7 ≈ −6.955,y = σ(−6.955) ≈ 0.0010,判 0。AND 亮了,所以被「而且不是 AND」挡掉。
把它们串起来
一个神经元就是加权求和加激活函数。线性回归和逻辑回归都是一个神经元,它们的判定边界都是一条直线。
XOR 的两类点交叉摆放,一条直线永远分不开,所以这两个模型在 XOR 上分别卡在「全输出 0.5」和「损失 ln 2」。
解法是加一层隐藏神经元。它们带着非线性激活,把原来的点搬到新平面:一个学 OR,一个学 AND。搬完以后,输出层只要再画一条直线。
整件事里不能省的是非线性。没有它,叠多少层都等于一层。下一页接着问:既然能叠,宽度和深度怎么定、要多少参数、激活函数和输出层该选哪个。
课件里的坑
- [录入错误] p.16 回归模型的橙框里,w₉ 印成 −3.7(放大 4 倍核对)。按 −3.7 代入,四个点输出约 −7.47、−6.46、−6.46、−7.47,和旁边标注对不上;改成 +3.7 后得 −0.068、0.936、0.939、−0.067,与标注一致(p.16)
- [读图提醒] p.16 黄框参数代回后输出约 0.085、1.066、1.081、0.069,和标注差约 0.08,可能是参数只保留了一两位小数。照这组参数手算,得数不会是整齐的 0.0 和 0.99(p.16)
- [没给答案] p.14 到 p.17 都列了测试点 [0.9,1],课件没给它的预测值。按 p.17 第一组参数算约 0.0017,按第二组约 0.0022,都判 0(p.17)
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先在纸上画出 XOR 的四个点,试着画一条直线分开它们,确认画不出来;再写出 h₁ 像 OR、h₂ 像 AND 那两个式子,自己代一遍 (1,0);然后过四道课件例题;最后回查一个最容易错的地方:sigmoid 不会让逻辑回归的边界变弯。
必背
- 单个神经元 = 先加权求和、再过激活函数;去掉激活就是线性回归,激活用 sigmoid 就是逻辑回归。
- XOR 线性不可分:线性回归最好只能全输出 0.5,逻辑回归卡在 ln 2 ≈ 0.693。
- 逻辑回归的判定边界仍是一条直线,sigmoid 只把分数压进 (0,1),改变不了边界的形状。
- 隐藏层必须有非线性激活,否则多层叠起来仍是线性模型。
- 课件第一组分类参数里 h₁ 相当于 OR、h₂ 相当于 AND,输出「OR 而且不是 AND」就是 XOR。
- 同一个网络结构可以有多组好解,损失的谷底不止一个。
课件例题
例 1(课件 p.14):XOR 用线性回归,为什么失败
题面:XOR 四个训练点 [0,0]→0、[1,0]→1、[0,1]→1、[1,1]→0,测试点 [0.9,1]。模型 y = w₁x₁ + w₂x₂ + w₃。课件给出梯度下降的结果是 error 0.25、w₁ = 0.00、w₂ = −0.00、w₃ = 0.50。
提示
把四个点逐个代进模型,列出四个方程,看三个未知数能不能同时满足。
解答
- 代入 [0,0] 得 w₃ = 0;代入 [1,0] 得 w₁ = 1;代入 [0,1] 得 w₂ = 1。
- 代入 [1,1] 要求 w₁ + w₂ + w₃ = 0,即 1 + 1 = 0,矛盾。四个方程三个未知数,没有精确解。
- 最小二乘的最好结果是 w = (0, 0, 0.5),四个点都预测 0.5,每点误差平方 0.25,平均也是 0.25,和课件一致。线性模型等于什么都没学到。
例 2(课件 p.15):XOR 用逻辑回归,为什么失败
题面:模型换成 y = σ(w₁x₁ + w₂x₂ + w₃),损失用交叉熵。课件打印的结果是 loss 0.6931471805599453,权重全为 0。
提示
σ 输出 0 要求括号趋于负无穷,输出 1 要求趋于正无穷。对四个点各写一条要求,看能不能同时成立。
解答
- [0,0]→0 要求 w₃ → −∞。
- [1,0]→1 要求 w₁ + w₃ → +∞,所以 w₁ 要比 w₃ 更快地趋于 +∞;同理 w₂。
- [1,1]→0 要求 w₁ + w₂ + w₃ → −∞,可前三条推出 (w₁ + w₃) + w₂ → +∞,矛盾。几何上就是一条直线分不开 XOR 的两类点。
- 权重全 0 时每个点输出 σ(0) = 0.5,交叉熵每点 −ln 0.5 = ln 2 ≈ 0.693,正是课件打印的那个数。
例 3(课件 p.16):加一个隐藏层做回归
题面:模型 y = w₇·σ(w₁x₁ + w₂x₂ + w₃) + w₈·σ(w₄x₁ + w₅x₂ + w₆) + w₉,共 9 个参数,损失 MSE。课件给两组解。橙框 w₁…w₉ = −2.6, 2.4, 1.5, 3.3, −3, 1.8, −2.3, −2.2, −3.7,标注四点输出 −0.07 / 0.94 / 0.94 / −0.07。黄框 −1.6, −1.6, 2.1, −3.5, −3.4, 0.48, 3.1, −3.2, −0.7,标注 0.0 / 0.99 / 0.99 / 0.0。验算橙框在 [0,0] 处的输出。
提示
[0,0] 时两个隐藏单元的输入只剩偏置 w₃ 和 w₆。先算 σ(1.5) 和 σ(1.8),再代进输出层。
解答
- [0,0] 时两个隐藏单元只剩偏置:σ(1.5) ≈ 0.818,σ(1.8) ≈ 0.858。
- 照课件 w₉ = −3.7 算,输出约 −7.47,和标注对不上。w₉ 应为 +3.7,课件的负号是录入错误。
- 改正后:−2.3 × 0.818 − 2.2 × 0.858 + 3.7 ≈ −0.07,与标注一致。
- 两组参数完全不同,都能拟合 XOR:同一个结构可以有多组好解,损失的谷底不止一个。
例 4(课件 p.17):加一个隐藏层做分类
题面:输出层再套一个 σ,损失换成交叉熵:y = σ(w₇·σ(w₁x₁ + w₂x₂ + w₃) + w₈·σ(w₄x₁ + w₅x₂ + w₆) + w₉)。第一组参数 7.9, 7.9, −3.7, 6.2, 6.2, −9.4, 15, −15.7, −7。验算 [1,0] 的输出,并判断测试点 [0.9,1]。
提示
先分别看 h₁、h₂ 在四个点上什么时候接近 1,认出它们各像哪个逻辑运算,再把 [1,0] 代进去。
解答
- h₁ = σ(7.9x₁ + 7.9x₂ − 3.7):有一个输入为 1 就接近 1,相当于 OR。h₂ = σ(6.2x₁ + 6.2x₂ − 9.4):两个都为 1 才接近 1,相当于 AND。
- [1,0]:h₁ = σ(4.2) ≈ 0.985,h₂ = σ(−3.2) ≈ 0.039;括号内约 7.16,σ(7.16) ≈ 0.999,判 1。
- 四个点的输出约 0.0013、0.9992、0.9992、0.0010,和标注一致。输出层算的是「OR 而且不是 AND」,正好是 XOR。
- 测试点 [0.9,1] 课件没给答案。按第一组算约 0.0017,按第二组约 0.0022,都判 0。
完整例题
题面(课件 p.17):用第一组参数 w₁…w₉ = 7.9, 7.9, −3.7, 6.2, 6.2, −9.4, 15, −15.7, −7,把 XOR 的四个点和测试点 [0.9,1] 全部算一遍:写出 h₁、h₂、输出层括号里的值和最终输出,判成 0 还是 1。
约定:σ(z) = 1 / (1 + e⁻ᶻ),结果保留四位小数,输出大于 0.5 判 1。
解法:
- 列出三个式子:h₁ = σ(7.9x₁ + 7.9x₂ − 3.7),h₂ = σ(6.2x₁ + 6.2x₂ − 9.4),z = 15h₁ − 15.7h₂ − 7,y = σ(z)。
- [0,0]:h₁ = σ(−3.7) = 0.0241,h₂ = σ(−9.4) = 0.0001,z = 15 × 0.0241 − 15.7 × 0.0001 − 7 = −6.639,y = 0.0013,判 0。
- [1,0]:h₁ = σ(4.2) = 0.9852,h₂ = σ(−3.2) = 0.0392,z = 15 × 0.9852 − 15.7 × 0.0392 − 7 = 7.163,y = 0.9992,判 1。
- [0,1]:两个输入的权重相同,结果和 [1,0] 一样,y = 0.9992,判 1。
- [1,1]:h₁ = σ(12.1) ≈ 1.0000,h₂ = σ(3.0) = 0.9526,z = 15 − 15.7 × 0.9526 − 7 = −6.955,y = 0.0010,判 0。
- 测试点 [0.9,1]:h₁ = σ(11.31) ≈ 1.0000,h₂ = σ(2.38) = 0.9153,z = 15 − 15.7 × 0.9153 − 7 = −6.37,y = 0.0017,判 0。
要点:h₁ 在三个「至少一个是 1」的点上都接近 1,h₂ 只在 [1,1] 接近 1。输出层的权重一正一负,算的是「h₁ 大而且 h₂ 小」。
答题格式:画一张表「点 / h₁ / h₂ / z / y / 判」,每行一个点,最后一句话说明 h₁、h₂ 分别像什么逻辑。
变式题(先自己做)
改编自课件 p.17。隐藏层参数不变,把输出层改成 y = σ(−15h₁ + 15.7h₂ + 7),也就是三个输出层参数全部取反。四个点的输出各是多少?这个网络实现的是什么逻辑?
提示
h₁、h₂ 不用重算,直接用完整例题里的值。输出层括号正好是原来 z 的相反数,σ(−z) = 1 − σ(z)。
判分点与答案(非官方)
判分点:① 看出 h₁、h₂ 与原题相同可直接复用;② 输出层括号取反;③ 写出四个输出;④ 认出新逻辑是 XNOR(同或)。
- [0,0]:括号 = 6.639,y = 0.9987,判 1。
- [1,0] 和 [0,1]:括号 = −7.163,y = 0.0008,判 0。
- [1,1]:括号 = 6.955,y = 0.9990,判 1。
- 输出 1、0、0、1:两个输入相同时输出 1,这是 XNOR(同或),正好是 XOR 取反。
闪卡自测
1. 一个神经元由哪两步组成?
先加权求和(含偏置),再过激活函数。
2. 逻辑回归的判定边界是直线还是曲线?
直线。y > 0.5 等价于加权和 s > 0,分界线是 s = 0。
3. 为什么线性回归在 XOR 上最多只能做到 MSE 0.25?
四个方程三个未知数互相矛盾,最小二乘解是 w = (0, 0, 0.5),四个点都输出 0.5,每点误差平方 0.25(p.14)。
4. 二分类训练时 loss 一直停在 0.693 附近,说明什么?
0.693 ≈ ln 2,通常说明模型对每个样本都输出 0.5,什么都没学到(p.15)。
5. p.17 第一组参数里两个隐藏单元各相当于什么逻辑运算?
h₁ 相当于 OR,h₂ 相当于 AND,输出是「OR 而且不是 AND」,即 XOR(p.17)。
6. 去掉隐藏层的激活函数,XOR 还能学会吗?
学不会。线性函数套线性函数仍是线性函数,整个网络退化成一个线性模型。
7. p.16 橙框的哪个参数印错了?
w₉,印成 −3.7,应为 +3.7(p.16)。
8. p.16 回归模型一共几个参数?
9 个:两个隐藏神经元各 3 个,输出层 3 个(p.16)。
9. 判断:XOR 只有一组能拟合它的参数。
错。课件回归和分类各给了两组完全不同的好解(p.16、p.17)。
下一讲
本讲下一页讲网络怎么加宽、加深、数参数,以及激活函数和输出层怎么选:L04b。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。