L01c KNN 回归与局限:取平均、统一尺度、四问
从零讲清类别标签和连续标签的区别、KNN 回归怎么算、为什么要先归一化,以及 KNN 的假设、优点和局限。
一句话版
KNN 做回归,只把最后一步的「数票」换成「取平均」。要让「最近」靠得住,得先把各个特征缩放到同一量级。
上一页 L01b 讲了距离和 KNN 分类的四步,这一页接着往下讲。
先认识这几个词
| 词 | 全称 / 读法 | 一句人话 |
|---|---|---|
| 回归 | regression | 输出一个连续数值,比如房价、体重 |
| 类别标签 | categorical label | cat、dog 这种只能说「一样 / 不一样」的答案 |
| 连续标签 | continuous label | 房价这种能比大小、能算差多少的答案 |
| 加权平均 | weighted mean | 离得近的邻居说话分量重一点,再取平均 |
| 归一化 | normalization | 把各个特征缩放到同一量级,免得大数字的那一维说了算 |
| 维度灾难 | curse of dimensionality | 特征一多,所有点之间的距离都差不多,「最近」失去意义 |
一个类比:问邻居物业费
上一页靠问最近的三户邻居挑早餐店,那是分类:三户各说一家店,只能数票。
想知道这里物业费大概多少,也问最近的三户。这次每户报的是一个数字,可以直接取平均。离你最近的那户和你同一栋楼,你也可以让他的数字多占点分量。
「最近」怎么量也有讲究。假设你按「楼层差 + 门牌号差」来算远近,门牌号动辄几百,楼层只有十几,算出来的远近几乎全由门牌号决定,楼层形同虚设。把两样都换算成同一量级再比,才公平。
类比在哪里失效:
- 物业费有标准,问邻居只是近似。KNN 回归的标签就是数据本身,没有一个藏起来的标准答案可对。
- 人知道楼层和门牌号哪个更要紧,会自己掂量。算法只会按公式算,量级不统一它也照算。
- 小区里邻居就那么几户。真实数据集动辄上万条,每次预测都要全部比一遍,这个代价类比体现不出来。
从零讲起
1. 类别标签和连续标签
它解决什么问题
KNN 分类最后一步数票,回归最后一步取平均。为什么分类不能也取平均?答案在标签本身:有的标签能算远近,有的不能。
直觉
1 和 5 差 4,1 和 10 差 9,前者更近,这句话成立。car 离 dog 近还是离 chair 近,这句话没有意义。
数字之间有大小、有距离,可以取平均。类别之间只有「相同」和「不同」两种关系,平均不出东西来。
一步一步看
目标:拿三个类别和三个数字各问哪个离得更近,看出连续标签能比远近,类别标签只分相同和不同。
-
左边放三个类别,右边放三个数字,各自问一句「哪个离得更近」。
-
右边能比:|1 − 5| = 4,|1 − 10| = 9,前者小。
-
左边比不了:distance A 和 distance B 都没有定义。
-
把两类标签能做的事摆在一起:
类别标签 连续标签 能比远近吗 不能,只有相同 / 不同 能 KNN 第 4 步 投票 取均值或加权均值 错误怎么算 错就是错 有大小之分,差得越多错得越多
怎么判断
拿到一个标签,问一句:两个标签相减,结果有没有意义?
- 有意义(房价、体重、温度):连续标签,做回归,第 4 步取平均。
- 没意义(cat、dog、car):类别标签,做分类,第 4 步投票。
常见误解
把类别编成 0、1、2 就以为能平均
编号只是名字。平均出 1 不代表「介于 car 和 chair 之间的 dog」。分类除了投票,也可以统计 K 个邻居里各类所占的比例当概率,但仍然不能平均编号。
试一下
预测明天的气温,标签是摄氏度;预测明天下不下雨,标签是「下 / 不下」。各属于哪一类?
气温是连续标签,两个气温相减有意义,做回归。下不下雨是类别标签,做分类。
2. KNN 回归
它解决什么问题
标签是一个数,比如房价。来了一套新房子,想估它的价格。KNN 的做法和分类几乎一样,只改最后一步。
从哪来(补充)
取平均时,常给离得近的邻居更大的权重,权重取距离的倒数 1/d(d 为距离);KNN 回归可以用这种按距离倒数加权的平均。出处:Wikipedia: k-nearest neighbors algorithm。
直觉
估一套房的价格,看面积最接近的几套卖了多少,取个平均。离得最近的那套最像,让它的价格多占一点分量,更合理。
一步一步看
目标:用六套房子给面积 5.4 的新房找最近 3 套,看 KNN 回归怎样把投票换成取价格平均。
六套房子按面积排在一条轴上,每套标着成交价。新房子面积 5.4,取 K = 3。
-
把训练数据和新房子放到同一条轴上。
-
量距离、排序、取最近的 3 套:面积 5 差 0.4,面积 6 差 0.6,面积 3 差 2.4。面积 8 差 2.6,排第 4,不取。
-
把三套的价格取平均,就是预测价格。
怎么算
普通平均:
ŷ = (y₁ + y₂ + … + y_K) / K
意思是:把 K 个邻居的标签加起来,除以 K。上面的例子里:
ŷ = (50 + 53 + 35) / 3 = 138 / 3 = 46(万)
加权平均:
ŷ = (w₁y₁ + w₂y₂ + … + w_Ky_K) / (w₁ + w₂ + … + w_K),其中 wᵢ = 1 / dᵢ
意思是:每个邻居先乘自己的权重再加起来,最后除以权重之和。距离越小,1/d 越大,说话分量越重。同一个例子逐项算:
- 面积 5:w = 1 / 0.4 = 2.5
- 面积 6:w = 1 / 0.6 ≈ 1.667
- 面积 3:w = 1 / 2.4 ≈ 0.417
- 分子 = 2.5 × 50 + 1.667 × 53 + 0.417 × 35 ≈ 125 + 88.33 + 14.58 = 227.91
- 分母 = 2.5 + 1.667 + 0.417 = 4.584
- ŷ = 227.91 / 4.584 ≈ 49.7(万)
加权以后的预测比普通平均高一些:最近的两套把它往上拉,远处那套便宜房子的影响变小了。
常见误解
以为回归版 KNN 是另一个算法
四步里前三步完全相同:算距离、排序、取前 K 个。区别只在第 4 步的汇总方式。
以为加权平均一定更准
加权让近处的邻居说话分量更重,多数时候更合理。课件只说可以用 mean 或 weighted mean,没说哪个一定更好,要看数据。
试一下
同样六套房子,新房子面积 8.6,K = 2,普通平均预测多少?
最近的是面积 9(差 0.4)和面积 8(差 0.6),价格 76 万和 70 万。预测 (76 + 70) / 2 = 73 万。
3. 特征尺度与归一化
它解决什么问题
一个样本往往有好几个特征,每个特征的单位和量级不一样。年龄几十,月收入几万。直接拿来算距离,大数字的那一维会把小数字的那一维完全淹没。
从哪来(补充)
如果某个特征的取值范围很宽,距离就会被这个特征主导,所以要先做特征缩放。最常见的是最小-最大归一化:x′ = (x − min) / (max − min),把每一维压到 0 到 1 之间。出处:Wikipedia: Feature scaling。
直觉
比较两个人像不像,年龄差 30 岁是天差地别,月收入差 1000 元几乎一样。直接相加,1000 远大于 30,算法会认为「收入差 1000」比「年龄差 30」更不像,正好弄反了。
把两维都换算成「占自己全程的几成」,再比较,才公平。
一步一步看
目标:同一组人先直接算距离、再归一化后算,看收入怎样淹没年龄,归一化后最近邻居换了人。
-
设一维是年龄(0–100),另一维是月收入(0–1000000)。画在同一张图上,两点连线几乎是竖的。
-
举个小例子。测试的人 30 岁、月收入 20000;A 是 32 岁、月收入 50000;B 是 60 岁、月收入 21000。直接算欧氏距离:
年龄差 收入差 距离 到 A 2 30000 约 30000 到 B 30 1000 约 1000.45 B 更近。年龄差 30 岁几乎没起作用。
-
用最小-最大归一化,年龄除以 100,收入除以 1000000,两维都落到 0 到 1:
年龄差 收入差 距离 到 A 0.02 0.03 约 0.036 到 B 0.30 0.001 约 0.300 -
现在 A 更近。最近邻居换了人,预测结果也可能跟着换。
怎么算
最小-最大归一化:
x′ = (x − min) / (max − min)
意思是:先减掉这一维的最小值,让它从 0 起步;再除以这一维的全程(最大值减最小值),让它最多到 1。结果是「这个值走到了全程的几成」。
上面的例子里年龄的 min = 0、max = 100,所以 30 岁变成 x′ = (30 − 0) / (100 − 0) = 0.30。收入的 min = 0、max = 1000000,所以 20000 变成 x′ = 20000 / 1000000 = 0.02。
归一化用的 min 和 max 来自训练集。测试点也要用同一组 min 和 max 换算,不能自己另算一套。
常见误解
以为「KNN 不对数据分布做假设」就是没有假设
相邻点性质相似这条假设一直在,它还隐含要求各维度尺度可比。尺度不统一,最近的邻居就不再是真正最像的那个,假设当场失效。
以为归一化只影响距离的数值,不影响结果
上面的例子里,归一化前最近的是 B,归一化后变成 A。邻居换了,预测就可能换。
试一下
身高的训练集最小值 1.60、最大值 1.75。一个身高 1.72 的人归一化后是多少?
x′ = (1.72 − 1.60) / (1.75 − 1.60) = 0.12 / 0.15 = 0.8。
4. KNN 的假设、关键步骤、优点和局限
它解决什么问题
课件用四个问题收尾:Assumption? Key step? Advantages? Limitations? 只给题面不给答案。这四问把 KNN 什么时候好用、什么时候失灵一次讲清,辨析题直接从这里出。
从哪来(补充)
「维度灾难」这个说法由 Richard E. Bellman 在研究动态规划问题时提出。高维空间里任意两点之间的距离差别很小,这会给最近邻搜索带来困难。出处:Wikipedia: Curse of dimensionality。
直觉
KNN 的优点和缺点来自同一件事:它不训练,只把数据存下来,每次预测都现查。
不训练,所以简单、训练快、新数据随时能加。每次现查,所以预测慢、要存全部数据。整套方法靠「距离近 = 性质像」撑着,凡是让距离失真的情况,都会让它失灵。
一步一步看
目标:把 KNN 的假设、关键步骤、优点和局限填成表,看每条局限都能追回到现查和尺度问题上。
-
先答假设:特征空间里离得近的点性质相似。
-
再答关键步骤:距离度量的选择,由使用者定义。
-
优点和局限各从「不训练、现查」推出来,填成一张表:
问题 答案 Assumption 特征空间里相邻的点有相似的标签;隐含要求各维尺度可比 Key step 距离度量的选择,决定谁算邻居;K 的取值是第二个关键选择 Advantages 简单;训练开销几乎为零;不对数据分布做假设,天然支持多分类;新数据随时加入不用重训 Limitations 预测慢;存储大;对特征尺度和无关特征敏感;维度灾难;类别不平衡时投票偏向多数类 -
局限里的每一条都能回指到前面:预测慢、存储大来自「现查」,尺度敏感来自上一节,维度灾难来自距离在高维失真。
怎么判断
拿到一个数据集,问三句,判断 KNN 合不合适:
- 各个特征量级差得多不多?差得多就先归一化。
- 特征维度高不高?很高的话,距离区分不开远近,KNN 容易失灵。
- 数据量大不大、预测要不要快?数据多又要求实时,朴素 KNN 每次全量比较会太慢。
常见误解
把「不对数据分布做假设」读成「没有假设」
KNN 不假设数据服从某种分布,但它假设近的点性质相似。这是两件事。
以为维度灾难只是「算得慢」
维度高了计算确实更慢,但更要命的是距离本身失去区分力:所有点离你都差不多远,挑出来的「最近邻居」和随便挑的差不多。
试一下
一个数据集有 1000 个特征,其中只有 5 个和标签有关,其余都是噪声。直接用 KNN 会怎样?
距离被大量无关特征主导,有用的 5 维淹没在噪声里,挑出来的邻居不再是真正像的样本。这同时踩中「对无关特征敏感」和「维度灾难」两条局限。
把它们串起来
KNN 分类和回归共用前三步:算距离、排序、取前 K 个。分岔在第 4 步,原因在标签:类别之间没有远近,只能投票;数值之间有大小,可以取平均,还可以按距离加权。
前三步全靠距离。距离要可信,先得让各个特征站在同一量级上,所以 KNN 之前通常要做归一化。
课件最后的四问都能从这条链推出来。假设是近的点性质相似,关键步骤是定义距离。不训练、只存数据,带来简单和训练快,也带来预测慢和存储大。尺度不统一、维度太高,都会让距离失真,KNN 跟着失灵。
课件里的坑
- [课件留白] p.52 的 Assumption / Key step / Advantages / Limitations 四问只有题面没有答案,这是课堂讨论题,课件没标重点
- [课件留白] p.50 的回归例子给了数据表,但距离公式只写「You define it!」,没有给出算好的答案,要自己定距离再算
- [补充] p.50 的数据里年龄差动辄十几二十,身高差最多零点一几,不归一化时距离几乎全由年龄决定。课件没点出这一点,正好是本页第 3 节的现成例子
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写三样:类别标签和连续标签的区别、KNN 回归的普通平均和加权平均公式、最小-最大归一化公式。再盖住答案把「完整例题」算一遍,做「变式题」。最后用一句话各答一遍 KNN 四问。
必背
- 类别标签之间没有距离与序,连续标签有,这是分类与回归的本质区别。
- 本例类别标签是无序类别,不能直接平均其编号;KNN 回归可取数值均值,分类可投票或汇总类别概率。
- KNN 回归前三步和分类相同,第 4 步取 K 个邻居标签的均值或加权均值;加权常用距离的倒数 1/d,越近权重越大。
- 某一维取值范围远大于其他维时,距离几乎全由它决定,所以 KNN 之前要先做特征归一化,例如最小-最大归一化 x′ = (x − min) / (max − min)。
- KNN 的关键步骤是距离度量的选择,它由使用者定义;四大局限是预测慢、存储大、对特征尺度敏感必须归一化、维度灾难。
课件例题
例 1(课件 p.50):用 KNN 回归估计体重
见下方完整例题。
例 2(课件 p.51):类别标签和连续标签的本质区别
题面:课件给出两组对照。左边是 |car − dog| 记作 distance A、|car − chair| 记作 distance B;右边是 |1 − 5| 记作 distance C、|1 − 10| 记作 distance D。问:categorical 标签和 continuous 标签的本质区别是什么?
提示
先试着比较 C 和 D 的大小,再试着比较 A 和 B 的大小,看哪一边比得出来。
解答
- 右边能比:|1 − 5| < |1 − 10|,5 比 10 离 1 更近,C < D 成立。
- 左边比不了:说不出 car 离 dog 更近还是离 chair 更近,A 和 B 无法比较。
- 结论:连续标签所在的空间有度量与序,类别标签只有「相同 / 不同」的等价关系。
- 后果:回归能取均值、能用平方误差,分类只能投票;回归的误差有大小之分,分类的错就是错。
例 3(课件 p.52):KNN 的四问
题面:课件只列四个问题,Assumption? Key step? Advantages? Limitations? 请为 KNN 作答。
提示
从「不训练、每次预测都现查」和「靠距离判断像不像」两件事出发,优点和局限都能推出来。
解答
- Assumption:特征空间里相邻的点有相似的标签。它隐含要求各维尺度可比,否则要先归一化。
- Key step:距离度量的选择。其余三步是机械的,距离决定谁算邻居。K 的取值是第二个关键选择,K 太小对噪声敏感,K 太大会把远处不相关的点拉进来。
- Advantages:简单;训练开销几乎为零;不对数据分布做任何假设,天然支持多分类;新数据随时加入不用重训。
- Limitations:预测慢,每次遍历全部 N 个样本;存储大;对特征尺度和无关特征敏感;维度灾难;类别不平衡时投票偏向多数类;结果高度依赖 K 和距离度量。
完整例题
题面(课件 p.50):训练集四个人,特征是性别、身高(米)、年龄,标签是体重(kg):
| 人 | 性别 | 身高 | 年龄 | 体重 |
|---|---|---|---|---|
| p1 | Male | 1.75 | 20 | 68 |
| p2 | Female | 1.64 | 25 | 65 |
| p3 | Female | 1.72 | 40 | 55 |
| p4 | Male | 1.60 | 42 | 50 |
测试点是一位 Male、身高 1.73、年龄 42 的人,体重未知。课件写的是 Distance Metric (person A, person B); You define it!,第 4 步提示用 mean 或 weighted mean。请自己定义距离,用 K = 2 预测体重。
约定:只用身高和年龄两维,取欧氏距离。性别是类别特征,先不放进去。
解法:
- 到 p1:身高差 0.02,年龄差 22,距离约 22。
- 到 p2:身高差 0.09,年龄差 17,距离约 17。
- 到 p3:身高差 0.01,年龄差 2,距离约 2。
- 到 p4:身高差 0.13,年龄差 0,距离 0.13。
- 排序后最近两个是 p4(50 kg)和 p3(55 kg)。K = 2,回归取均值:(50 + 55) / 2 = 52.5 kg。
- 回头看第 1 到 4 步:距离几乎全由年龄决定,身高差最多 0.13,年龄差动辄十几二十。这就是尺度问题。
- 用训练集的 min 和 max 做最小-最大归一化:身高 min 1.60、max 1.75,年龄 min 20、max 42。测试点变成身高 0.867、年龄 1。
- 归一化后再算:到 p3 约 0.113,到 p4 约 0.867,到 p2 约 0.978,到 p1 约 1.009。最近两人仍是 p3 和 p4,预测仍是 52.5 kg,但两人的先后顺序换了。
要点:想把性别也算进去,可以定义「性别相同记 0、不同记 1」再加进距离。这正是「距离由你定义」的意思:定法不同,邻居可能不同,答案也可能不同。
答题格式:先写出你定义的距离,再列四个距离和排序,最后写取到的 K 个邻居和平均值。
变式题(先自己做)
改编自课件 p.50。同样四个人,测试点换成一位 Female、身高 1.66、年龄 24 的人。
(1) 只用身高和年龄,不归一化,K = 2 普通平均预测体重。 (2) 同样 K = 2,改用 1/d 加权平均,结果会偏向谁?
提示
先算四个距离,年龄差仍然是大头。第二问不用精确算,看两个邻居谁的距离小得多。
判分点与答案(非官方评分标准)
判分点:① 写出四个距离并排序;② 第一问给出均值;③ 第二问说出权重偏向距离更近的那个人。
- 到 p1:身高差 0.09,年龄差 4,距离约 4.001。
- 到 p2:身高差 0.02,年龄差 1,距离约 1.0002。
- 到 p3:身高差 0.06,年龄差 16,距离约 16.0001。
- 到 p4:身高差 0.06,年龄差 18,距离约 18.0001。
- 最近两个是 p2(65 kg)和 p1(68 kg)。普通平均:(65 + 68) / 2 = 66.5 kg。
- 加权:p2 的权重约 1 / 1 = 1,p1 约 1 / 4 = 0.25。加权平均 = (1 × 65 + 0.25 × 68) / 1.25 = 82 / 1.25 = 65.6 kg,偏向更近的 p2。
闪卡自测
1. 为什么可以对回归的标签取均值,却不能对分类的标签取均值?
连续标签所在的空间有度量与序,|1−5| < |1−10| 成立;类别标签之间只有等价关系,car 离 dog 更近还是离 chair 更近这句话本身没有意义,对 car 和 dog 求平均自然也没有意义(p.51)。
2. KNN 做回归时,哪一步要改,改成什么?
只改第 4 步,从投票换成取 K 个邻居标签的均值或加权均值,前三步不变(p.50)。
3. 加权平均的权重常怎么取?
取距离的倒数 1/d。离得越近,权重越大,说话分量越重。这是课件之外的通行做法,课件只写了 weighted mean。
4. KNN 的核心假设对特征提出了什么隐含要求?
假设是特征空间里离得近的点性质相似(p.48)。隐含要求是各维度尺度可比:一维年龄 0–100、另一维收入 0–1000000 时,欧氏距离被收入完全主导,假设立刻失效,所以必须先做特征归一化(p.52)。
5. 写出最小-最大归一化的公式,并说出它的作用。
x′ = (x − min) / (max − min)。把每一维压到 0 到 1,让各维对距离的贡献可比。min 和 max 取自训练集,测试点用同一组换算。
6. 为什么 KNN 在高维数据上会失效?
维度灾难:维度一高,所有点之间的距离趋于相等,「最近」这个概念失去区分力,靠距离挑邻居也就失去意义(p.52)。
7. KNN 的优点和局限各说三条。
优点:简单;训练开销几乎为零;不对数据分布做假设,新数据随时加入不用重训。局限:预测慢;存储大;对特征尺度敏感必须归一化;维度灾难(p.52)。
下一讲
下一讲 L02a 线性模型 走到参数模型那一侧:f 被固定成一条直线,本事从整份训练集压缩成几个系数,训练和预测的开销跟着调个个儿。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。