L03a-4 决策边界与 softmax:逻辑回归画的是一条直线
y = 0.5 等价于 w'x + b = 0,逻辑回归在空间里找的是一个线性超平面;二分类推广到多类时 sigmoid 换成 softmax,交叉熵化简成 −ln(正确类的概率),边界仍是直线。
一句话版
逻辑回归最后输出一个 0 到 1 之间的概率,拿 0.5 当阈值切开。y = 0.5 正好对应 w’x + b = 0,这是空间里的一个平面(二维时是一条直线),所以逻辑回归做的事就是找一个平面把两类点分开。类别多于两个时,把 sigmoid 换成 softmax,边界变成几条直线,仍然是直的。
模型、损失和梯度见前面三页,从 L03a 读起。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 决策边界 | decision boundary | 模型判 0 和判 1 的分界线 |
| 超平面 | hyperplane | 直线在高维空间里的推广:二维是线,三维是平面 |
| 线性可分 | linearly separable | 能用一个超平面把两类点完全分开 |
| 异或 | XOR | 两个输入相同判 0、不同判 1,经典的线性不可分例子 |
| softmax | 读「软-max」 | 把一组任意实数变成一组正数,加起来等于 1 |
| 分数 | score,也叫 logit | 每个类别各自的 w_c’x + b_c,还没经过 softmax |
一个类比:划地界
一块地上住着两户人家,要在中间拉一根绳子当地界。逻辑回归只准拉直绳,不准拐弯。训练就是挪这根绳子的位置和角度,让两家的房子尽量各在一边。
离绳子越远,越确定是哪一家;正好压在绳子上的那栋,两边各一半,这就是 y = 0.5。
三户人家时,从地中间某个点向外拉三根直绳,把地切成三块。
类比在哪里失效:
- 地界是一刀切死的,逻辑回归给的是概率:离边界近的点概率接近 0.5,模型自己也拿不准。
- 两家的房子如果交错着排(异或那种排法),任何一根直绳都分不开。类比里可以拐弯绕过去,逻辑回归不行,要等下一讲加隐藏层。
从零讲起
1. 决策边界:w’x + b = 0
它解决什么问题
前几页把模型训练好了,可它到底在空间里干了什么?知道这一点,才能判断一份数据适不适合用逻辑回归,以及它的局限在哪。
直觉
sigmoid 是单调递增的,并且 σ(0) = 0.5。所以 y 大于 0.5 和 t 大于 0 是一回事,y 小于 0.5 和 t 小于 0 是一回事。
t = w’x + b 对 x 是线性的,「t = 0」就是一个线性方程,在二维平面上画出来是一条直线。sigmoid 只把实数轴压进 (0, 1),不改变这条线是直的。
一步一步看
目标:用 w = (1, 1)、b = −3 判三个点,看 t 的正负决定类别,t = 0 的点连成决策边界。
取二维输入,w = (1, 1)、b = −3,于是 t = x₁ + x₂ − 3。
-
点 (1, 1):t = 1 + 1 − 3 = −1,小于 0,y = σ(−1) < 0.5,判 0。
-
点 (4, 2):t = 4 + 2 − 3 = 3,大于 0,y = σ(3) > 0.5,判 1。
-
点 (1.5, 1.5):t = 1.5 + 1.5 − 3 = 0,y = 0.5,正好落在线上。
-
所有满足 x₁ + x₂ = 3 的点连起来,就是这条决策边界。
怎么判断
y = 0.5 ⇔ σ(t) = 0.5 ⇔ t = 0 ⇔ w'x + b = 0
意思是:概率等于一半、分数等于零、点落在超平面上,三种说法是同一件事。分类阈值默认取 0.5,就是在用这个超平面切。
判断一个点归哪类,只看 w’x + b 的正负:
- w’x + b > 0:在超平面一侧,判 1
- w’x + b < 0:在另一侧,判 0
- w’x + b = 0:正好在超平面上
意思是:逻辑回归本质上是找一个线性超平面把训练点分开。训练调 w 是在转这个面的朝向,调 b 是在平移它。
由此推出它的局限:决策边界只能是线性的。异或数据四个点 (0,0)、(1,1) 判 0,(0,1)、(1,0) 判 1,对角站开,任何一条直线都分不开,单层逻辑回归做不了。
常见误解
以为套了 sigmoid 这个弯曲的函数,边界就是弯的
sigmoid 只作用在 t 上,把一个数压进 (0, 1)。边界由 t = 0 决定,t 对 x 是线性的,边界就是直的。
以为逻辑回归的输出只有 0 和 1
输出是 (0, 1) 之间的概率,拿 0.5 当阈值才得到 0 或 1。离边界越远,概率越接近 0 或 1。
试一下
w = (2, −1)、b = 1。点 (1, 4) 判几?边界和 x₂ 轴交在哪?
t = 2 × 1 − 4 + 1 = −1 < 0,判 0。边界 2x₁ − x₂ + 1 = 0,令 x₁ = 0 得 x₂ = 1,交点 (0, 1)。
2. softmax:把一组分数变成一组概率
它解决什么问题
sigmoid 只能输出一个概率,管两类。手写数字有十类、图片分类有上千类,需要模型一次给出一整组概率,每类一个,加起来等于 1。
从哪来(补充)
同一个式子在统计力学里叫 Boltzmann 分布,出现在 Ludwig Boltzmann 1868 年的论文里,Josiah Willard Gibbs 在 1902 年的教科书里把它形式化。softmax 这个名字来自 John S. Bridle 1989 年的两篇会议论文。logistic 函数是它在两类时的特例。
出处:Wikipedia: Softmax function
直觉
每个类别各配一套参数 w_c、b_c,各算一个分数。分数可以是任意实数,可正可负,没法直接当概率。
两步把它变成概率。先取 exp,所有数都变成正的,大的仍然大。再各除以总和,加起来就是 1。分数最高的那一类拿到最大的份额,「max」的意思在这里;其他类也分到一点,「soft」的意思在这里。
一步一步看
目标:把分数 2、1、0.1 依次取 exp、求和、相除,看 softmax 怎样得出一组加起来为 1 的概率。
三个类别,算出来的分数是 2、1、0.1。
-
分数 z = w_c’x + b_c:类 1 是 2,类 2 是 1,类 3 是 0.1。
-
每个分数取 exp:e² ≈ 7.389,e¹ ≈ 2.718,e^0.1 ≈ 1.105。全是正数,谁大谁小的次序没变。
-
求和 7.389 + 2.718 + 1.105 ≈ 11.213,各除以总和:约 0.659、0.242、0.099。
-
三个数都在 0 和 1 之间,加起来等于 1,模型判类 1。
怎么算
p(y = c) = exp(w_c'x + b_c) / Σ_{c'=1}^{C} exp(w_{c'}'x + b_{c'})
意思是:第 c 类的概率等于它自己的 exp 分数,除以全部 C 类的 exp 分数之和。分子的 exp 保证每一项为正,分母的求和保证所有输出加起来等于 1,这两条合起来,输出才有资格叫概率分布。
整个模型写成:
y = softmax(W'x + b)
意思是:W 把每个类别的 w_c 排成一张表,一次算出所有类的分数,softmax 再把它们变成概率。
C = 2 时,两类分数记作 z₁、z₂,类 1 的概率:
p₁ = e^{z₁} / (e^{z₁} + e^{z₂}) = 1 / (1 + e^{−(z₁ − z₂)}) = σ(z₁ − z₂)
意思是:分子分母同除以 e^{z₁} 就得到 sigmoid。两类时 softmax 退化成 sigmoid,sigmoid 是 softmax 在 C = 2 时的特例。
常见误解
以为 softmax 就是把分数除以分数之和
不取 exp 直接除,负分数会得到负「概率」,总和为 0 时还除不了。exp 这一步保证每项为正。
以为 softmax 只把最大那一类设成 1、其余设成 0
那是 max(hard max)。softmax 让最大那类拿最大份额,其余类也有份额,处处可导,才能用梯度下降训练。
试一下
三类分数都是 5,softmax 输出是什么?都换成 −5 呢?
三项 exp 相等,各占三分之一,都约为 0.333。换成 −5 也一样。softmax 只看分数之间的差,所有分数同加一个数,输出不变。
3. 多分类的交叉熵与决策区域
它解决什么问题
有了一组概率,还要一个损失来衡量它和 one-hot 标准答案差多远;再看看多分类时空间被切成了什么样子。
直觉
标准答案是 one-hot,正确类那一位是 1,其余是 0。交叉熵对每一位算 ȳᵢ ln yᵢ 再求和,其余位乘的都是 0,只剩正确类那一项。所以多分类的交叉熵只盯一件事:正确类拿到了多大的概率。
边界方面,两类之间的分界是「两个分数相等」的地方。每个分数对 x 都是线性的,两个线性式子相等还是线性方程,所以每条分界都是直线。
一步一步看
目标:用同一组概率换三个正确答案算交叉熵,看正确类概率越低罚得越重,再看平面怎样切成三块。
沿用上一个概念的三个概率 0.659、0.242、0.099。
-
若正确答案是类 1,ȳ = [1, 0, 0],交叉熵 = −ln 0.659 ≈ 0.417。
-
若正确答案是类 2,ȳ = [0, 1, 0],交叉熵 = −ln 0.242 ≈ 1.417。
-
若正确答案是类 3,ȳ = [0, 0, 1],交叉熵 = −ln 0.099 ≈ 2.317,正确类概率越低罚得越重。
-
换到空间里看:每两类之间的交界都是一条直线,三条直线交于一点,把平面切成三块区域。
怎么算
L = −Σᵢ ȳᵢ ln(yᵢ)
意思是:对每个类别,标准答案的那一位乘上模型概率的对数,全部加起来取负。
ȳ 是 one-hot,只有正确类 k 那一位是 1:
L = −ln(y_k)
意思是:多分类的交叉熵只看模型给正确类的概率,越接近 1 损失越接近 0。
两类时它就是前面的二分类交叉熵:ȳ = [ȳ, 1 − ȳ]、y = [y, 1 − y],代进去得 −ȳ ln y − (1 − ȳ) ln(1 − y)。
类 1 和类 2 的交界:
w₁'x + b₁ = w₂'x + b₂
意思是:两个类的分数相等时 softmax 给它们的概率也相等,这就是边界。移项后是 (w₁ − w₂)’x + (b₁ − b₂) = 0,又是一个超平面。softmax 分类器的决策边界依然是线性的,只是从一个超平面变成了几个,把空间切成多块。
常见误解
以为多分类交叉熵要把三个类的误差都算一遍
式子里每一项都写着,可 one-hot 让错误类那几项乘 0,实际只算正确类一项。错误类的概率通过分母间接影响结果。
以为类别一多,边界就会变弯
每条分界都是两个线性分数相等,仍是线性方程。类别多了,直线条数变多,每条都还是直的。
试一下
四分类,模型给正确类的概率是 0.25。交叉熵约是多少?如果模型对四类完全没头绪、平均分配,交叉熵又是多少?
−ln 0.25 ≈ 1.386。平均分配时每类都是 0.25,正好也是 1.386。这个值可以当作四分类「瞎猜」的基准线,训练后的损失应该比它低。
把它们串起来
逻辑回归输出概率,拿一半当阈值。sigmoid 在 0 处取一半,所以阈值对应 t = 0,也就是 w’x + b = 0,一个超平面。训练逻辑回归,就是转动和平移这个超平面,让两类点各在一边。
超平面是直的,这既是它的简洁之处,也是它的天花板:异或那种交错排布的数据分不开。
类别多于两个时,每类各算一个分数,softmax 先取 exp 再归一化,得到一组概率;两类时它退回 sigmoid。交叉熵碰上 one-hot 标准答案,只剩下 −ln(正确类的概率)。
多分类时,每两类的分界都是一个线性方程,空间被几条直线切成几块。直线这条限制没有变,下一讲用多层神经网络把它打破。本讲后半段先换一条完全不同的路:朴素贝叶斯。
课件里的坑
- [下标缺失] p.23 的交叉熵写成 −Σᵢ³ ȳ·ln(yᵢ),ȳ 的下标 i 漏掉了,按定义应是 ȳᵢ(p.23)。
- [读图提醒] p.22 右下角数轴画的是三类点经 sigmoid 后的落点:平面上的绿点落在 y = 0.5,两侧的点分别靠近 0 和 1。它说的是阈值和超平面的对应,不是三分类(p.22)。
- [对照提醒] p.22 把两条求解路线并排写成 Cross-entropy Loss + Gradient Descent 和 Maximum Likelihood + Gradient Descent,后半截相同,和最大似然那一页的结论一致(p.22)。
- [读图提醒] p.23 右侧 2D data example 的红、紫、绿三块区域边界全是直线,交于一点,是 p.22 结论的多分类版本(p.23)。
课后 10 分钟:考点复习
这 10 分钟怎么用:先写出「y = 0.5 ⇔ t = 0 ⇔ w’x + b = 0」并画一张二维示意图;再默写 softmax 公式,说出分子分母各保证什么;最后手算一遍完整例题。
必背
- 逻辑回归本质上是找一个线性超平面把训练点分开:w’x + b = 0 是决策边界,大于 0 和小于 0 的点分在两侧。
- y = 0.5 ⇔ σ(t) = 0.5 ⇔ t = 0 ⇔ w’x + b = 0,三种说法是同一件事,所以分类阈值默认取 0.5。
- 决策边界只能是线性的,异或(XOR)这类线性不可分的数据单层逻辑回归做不了,这是下一讲引入多层神经网络的直接动机。
- 多分类模型 y = softmax(W’x + b),p(y = c) = exp(w_c’x + b_c) / Σ_{c’} exp(w_{c’}‘x + b_{c’}):分子 exp 保证为正,分母求和保证加起来等于 1;sigmoid 是 softmax 在 C = 2 时的特例。
- 多分类交叉熵 −Σᵢ ȳᵢ ln(yᵢ),ȳ 是 one-hot,只有正确类别那一项非零,退化为 −ln(y_正确类)。
- softmax 分类器的决策边界依然是线性的:三分类时平面被若干条直线切成三块,三条直线交于一点。
课件例题
例 1(课件 p.22):逻辑回归 y = σ(w’x + b) 本质上在做什么?w’x + b = 0、> 0、< 0 各对应什么?
提示
从 σ(0) = 0.5 出发,把阈值翻译成关于 t 的条件。
解答
逻辑回归本质上是找一个线性超平面把训练点分开。w’x + b = 0 的点落在超平面上,sigmoid 输出 0.5;w’x + b > 0 或 < 0 的点落在超平面两侧,输出分别靠近 1 和 0。所以 y = 0.5 等价于 t = 0 等价于 w’x + b = 0,阈值取 0.5。局限:边界只能是线性的,XOR 这类线性不可分的数据做不了。
例 2(课件 p.23):二分类推广到 C 类,模型和损失怎么写?softmax 的分子分母各保证什么?
提示
每类一套 w_c、b_c;分子取 exp,分母对全部类求和。损失用多分类交叉熵,注意 ȳ 是 one-hot。
解答
y = softmax(W’x + b),p(y = c) = exp(w_c’x + b_c) / Σ_{c’=1}^{C} exp(w_{c’}‘x + b_{c’})。分子 exp 保证每项为正,分母求和保证全部输出加起来等于 1。三分类时 x 经三组参数得到三个分数,送进 softmax 得到 y₁、y₂、y₃,和 ȳ₁、ȳ₂、ȳ₃ 用交叉熵 −Σᵢ ȳᵢ ln(yᵢ) 比对;ȳ 是 one-hot,实际只剩 −ln(y_正确类)。决策区域的边界都是直线。
完整例题
题面(改编自课件 p.23):三分类,某样本算出的分数为 z = (2, 1, 0.1),正确答案是类 1(这组数是自设的)。求 softmax 输出、预测类别和交叉熵。
约定:保留三位小数,ln 取自然对数。
解法:
- 取 exp:e² ≈ 7.389,e¹ ≈ 2.718,e^0.1 ≈ 1.105。
- 求和:7.389 + 2.718 + 1.105 ≈ 11.213。
- 归一化:7.389 ÷ 11.213 ≈ 0.659,2.718 ÷ 11.213 ≈ 0.242,1.105 ÷ 11.213 ≈ 0.099。
- 预测:类 1 的概率最大,判类 1,判对。
- 交叉熵:ȳ = [1, 0, 0],L = −ln 0.659 ≈ 0.417。
要点:softmax 的次序和分数次序一致,所以预测类别只看分数最大即可;要报损失才需要算完整的概率。
答题格式:exp → 求和 → 归一化 → 预测 → 损失,五行,每行写公式再代数。
变式题(先自己做)
改编自课件 p.23:① 同一个样本,分数改为 z = (1, 0, −1),求 softmax 输出和交叉熵(正确类仍是类 1),说明和原题比为什么概率几乎没变。② 证明 C = 2 时 softmax 给类 1 的概率等于 σ(z₁ − z₂)。
提示
① 新分数是原分数各减了多少?不完全一样,但差值很接近。② 分子分母同除以 e^{z₁}。
判分点与答案(非官方评分标准)
判分点:① 三个概率加起来等于 1;② 说出 softmax 只看分数差;③ 化简出 sigmoid 形式。
- e¹ ≈ 2.718,e⁰ = 1,e⁻¹ ≈ 0.368,和 ≈ 4.086。概率约 0.665、0.245、0.090。交叉熵 −ln 0.665 ≈ 0.408。
- 原分数两两之差是 1 和 0.9,新分数是 1 和 1,差值几乎一样,softmax 只看差,所以概率几乎不变。
- p₁ = e^{z₁}/(e^{z₁} + e^{z₂}),同除以 e^{z₁} 得 1/(1 + e^{−(z₁ − z₂)}) = σ(z₁ − z₂)。
闪卡自测
1. 逻辑回归的决策边界是什么?
w’x + b = 0 这个线性超平面(p.22)。
2. 为什么分类阈值默认取 0.5?
y = 0.5 ⇔ t = 0 ⇔ w’x + b = 0,阈值 0.5 就是用这个超平面切(p.22)。
3. 逻辑回归最重要的局限是什么?
决策边界只能是线性的,XOR 这类线性不可分的数据做不了(p.22)。
4. 写出 softmax 的公式。
p(y = c) = exp(w_c’x + b_c) / Σ_{c’=1}^{C} exp(w_{c’}‘x + b_{c’})(p.23)。
5. softmax 分子分母各保证什么?
分子 exp 保证为正,分母求和保证加起来等于 1(p.23)。
6. sigmoid 和 softmax 是什么关系?
sigmoid 是 softmax 在 C = 2 时的特例(p.23)。
7. ȳ 是 one-hot 时多分类交叉熵化简成什么?
−ln(y_正确类)(p.23)。
8. softmax 分类器的决策边界是直的还是弯的?
直的;三分类时三条直线交于一点,把平面切成三块(p.23)。
下一讲
逻辑回归直接建 P(y|x)。另一条路先学「每一类长什么样」,再用贝叶斯法则倒推:L03b 朴素贝叶斯分类器。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。