← COMP5541 全部讲次
L01a · 第 1 周

L01a 机器学习的地图:学习、推断、参数与非参数

从零讲清机器学习的两个阶段、三层坐标,以及参数模型和非参数模型的分界。

一句话版

机器学习让程序自己从带答案的例子里总结规则。总结出来的东西要么压成几个数字,要么干脆就是那堆例子本身。

这一页是整门课的地图。后面的 KNN 讲在 L01b 和 L01c。

先认识这几个词

词 全称 / 读法 一句人话
机器学习 Machine Learning,缩写 ML 不手写规则,让程序从带答案的例子里自己总结规则
标签 label 一条数据的标准答案,比如「这张图是 cat」
模型 model 学完之后留下来、能拿去做预测的那个程序
学习 / 推断 Learning / Inferring 先看数据攒本事,再拿本事回答没见过的新问题
范式 paradigm 按「数据带着什么样的答案」给方法分的大类
参数 parameter 模型里靠数据学出来的那几个数,比如直线的斜率和截距
N 一个字母 训练样本的总条数

一个类比:两家卖二手房的中介

小区门口开着两家中介。

A 家的老板信公式。成交记录他全看过,看完只留下一张纸条:单价约等于 a×地段分 + b×面积 + c×楼龄。客户来问价,他量三个指标,代入,报数。原始记录早扔了。

B 家的老板信记录。每一笔成交都抄进一本厚簿子,一条不删。客户来问,他把簿子里的记录逐条和眼前这套比一遍「像不像」,挑出最像的三套,取成交价的平均数报出去。他从不总结规律,全部本事就是这本簿子。

两家都在做机器学习。看记录、攒本事的那段时间叫学习(Learning)。客户上门、当场报价的那一下叫推断(Inferring)。两家的区别只在本事存在哪里:A 存在三个系数里,B 存在整本簿子里。

顺着这个场景还能看清两件事。A 的纸条上永远是三个系数,喂多少条记录都一样,这叫参数模型(parametric)。B 的簿子越记越厚,模型大小跟着数据量涨,这叫非参数模型(non-parametric)。另外,A 报价快、B 报价慢,因为 B 每接一单都要把整本簿子翻一遍。

类比在哪里失效:

  1. 真中介翻簿子会先按小区缩小范围。最基础的 KNN 不走捷径,每次预测都和全部 N 条记录各比一次。
  2. 两个中介都有成交价可看,所以都属于有标准答案的那一类学习。地图上还有没有答案、只有奖励的学习,这个场景装不下。
  3. A 的纸条形式是老板自己先定的,换个形式就是换了模型。真实的参数模型也一样,函数的形状由人选,数据只负责把系数填上。

从零讲起

1. 学习与推断:学的是一个函数

它解决什么问题

写程序的老办法是人把规则一条条写死。认猫这种事,规则写不出来:猫有各种颜色、姿势和角度,没人能列全。

机器学习换了个做法。人只负责准备一堆带答案的例子,程序自己从例子里总结规则,再拿规则去回答新问题。这里要分清两个阶段,否则后面每一讲都会把「训练」和「预测」混在一起。

从哪来(补充)

「机器学习」这个词出现得很早。1959 年,IBM 的员工 Arthur Samuel 提出了 machine learning 这个说法。出处:Wikipedia: Machine learning。

直觉

学习阶段像备考:把带答案的练习题做一遍,总结出解题方法。推断阶段像上考场:拿到一道没见过的题,用总结出的方法作答。

总结出来的方法就是模型。它本质上是一个函数:塞进去一张图,吐出来一个词。课件写的是 f(图片) = “Cat”、g(音频) = “Hello”。

一步一步看

目标:用房价例子走一遍学习和推断,看出学完只留下 w 和 b,推断只靠这条直线。

拿最简单的例子走一遍:用房子的面积预测成交价,模型是一条直线。

  1. 学习之前,手里只有四套带标签的房子。横坐标是特征(面积),纵坐标是标签(成交价)。

    第 1 帧坐标图:横轴面积、纵轴成交价,画着四个空心圆点,代表四套已经成交、带着价格标签的房子,右侧注释说这一步还没有模型

  2. 学习:先选定「模型是一条直线」,再在所有直线里挑最贴近这四个点的那一条。灰线是没被选中的候选,青绿线是选中的。

    第 2 帧:同一张坐标图上画了几条灰色候选直线和一条青绿色直线,青绿线标着 y = w·x + b,它最贴近四个点;右侧注释说学完只留下 w 和 b,四个点可以扔掉

  3. 推断:来了一套没见过的房子,量出面积,在直线上读出对应的价格,就是预测。

    第 3 帧:四个训练点淡去,只剩青绿直线;横轴上标出一套新房子的面积,从它向上画到直线,再向左读出预测成交价,右侧注释说推断只用到直线本身

课件用的是图片分类的版本,结构完全一样:

课件的机器学习回路:左边四张分别带 dog、dog、cat、cat 标签的训练照片,经 Learning 箭头喂进中间的 Program(模型),模型再经 Inferring 箭头指向右边一张没见过的照片,输出它的预测标签。
图片来源:COMP5541 L01 Intro+KNN, p.40
阶段 输入 输出 别名
Learning 带标签的训练数据 一个模型 training、fitting
Inferring 没见过的样本 预测标签 inference、prediction、testing

怎么算

上面那条直线写成公式:

y = w·x + b

意思是:拿到面积 x,先乘一个系数 w,再加一个常数 b,得到的 y 就是预测价格。w 管「面积每多一点,价格涨多少」,b 管整体抬高或压低多少。

两个阶段在公式上的分工:

  • 学习阶段:x 和 y 都是已知的(训练数据),未知的是 w 和 b,要从数据里求出来。
  • 推断阶段:w 和 b 已经求好、固定不动,只有新的 x 是新给的,代入就得到 y。

同一个公式,两个阶段里「谁已知、谁未知」正好倒过来。后面每一讲换的只是 f 的形状:线性回归里是直线,神经网络里是一层套一层的计算。

常见误解

拿训练集上的准确率当成绩

模型见过这些数据,答对不说明它学会了规律,可能只是背下来了。评估泛化能力,要用没参与训练、也没参与挑选模型的数据。

以为 testing 和 inference 是一回事

课件把 testing 列成 Inferring 的别名。更严格的说法是:inference 指运行模型产生预测,用在训练数据上也可以;testing 指拿预测结果去打分的评估环节。

试一下

手机相册自动把照片按人脸分组,你给其中一组标上「妈妈」,之后新拍的照片也自动认出妈妈。哪一步是学习,哪一步是推断?

根据已有的照片(加上你给的名字)调整识别模型,是学习。新照片拍完、模型判断「这是妈妈」,是推断。推断时模型本身不变。

2. 三层坐标:范式、任务、算法

它解决什么问题

机器学习的方法名目很多。第一次看到一个新方法,很难说清它和别的方法是什么关系。课件给了一张三层地图,任何方法都能在上面找到位置,以后学到新算法就往格子里放。

从哪来(补充)

三种范式在教科书里有标准说法。监督学习是「老师」给出示例输入和期望输出;无监督学习不给标签,让算法自己在输入里找结构;强化学习是程序和一个动态环境交互,按得到的奖励调整行为。出处:Wikipedia: Machine learning。

直觉

三层各问一个问题。

  • 范式(Paradigm)问:你拿到的数据带着什么样的答案?
  • 任务(Tasks)问:你要输出什么?类别、数值,还是分组?
  • 算法(Algorithms)问:你用什么工具去做?

三层互相独立。同一个工具可以出现在不同范式里,就像同一把螺丝刀能修桌子也能修椅子。

一步一步看

目标:按范式、任务、算法三层依次给问题定位,看出算法这一层不决定范式。

  1. 看数据带的答案,先定范式。判断只看一个问题:监督信号是什么形式。

    分叉图:顶部青绿框写着「监督信号是什么形式」,向下分成四支:标签齐全是监督学习,部分样本有标签是半监督,完全没有标签是无监督,只有延迟奖励是强化学习

  2. 再看要输出什么,定任务。输出类别是分类,输出连续数值是回归,没有答案只想分组是聚类。

  3. 最后选工具,定算法。课件把三层填成下面这张表:

    Paradigm Tasks Algorithms
    Supervised Learning Classification、Regression KNN, linear models, DNNs …
    Semi/Unsupervised Learning Clustering、Semi-sup Learning、Generative Model K-means, PCA, DNNs …
    Reinforcement Learning 课件留空,L12 展开
  4. 注意 DNNs(深度神经网络)在监督和无监督两栏里都出现了。算法这一层不决定范式。

怎么判断

拿到一个场景,按顺序问三句:

  1. 数据有没有答案?答案全不全?是标签还是奖励?这一句定范式。
  2. 要的输出是类别、数值,还是分组?这一句定任务。
  3. 用的是什么方法?这一句定算法,它和前两句无关。

常见误解

按算法难度或数据量划分范式

范式只看监督信号的形式。标签齐全是监督,没有标签是无监督,部分有标签是半监督,只有延迟奖励是强化学习。数据多少、算法多复杂,都不改变范式。

以为神经网络只能做监督学习

同一个神经网络配上标签就是监督学习,配上「把输入原样还原」的目标就是自编码器(autoencoder),属于无监督。算法和范式是两个独立维度。

试一下

一个下棋程序自己和自己下,只在每盘结束时知道输赢。它属于哪个范式?

强化学习。它没有每一步的正确答案,只有一盘下完才拿到的输赢信号,这是延迟奖励。

3. 参数模型与非参数模型

它解决什么问题

数据变多时,模型要不要跟着变大?这个问题决定了训练要花多少力气、预测要花多少时间、要存多少东西。课件用它把模型分成两类:参数模型(Parametric)和非参数模型(Non-parametric)。

从哪来(补充)

统计学里对非参数模型的定义是:模型的结构不事先指定,由数据决定;参数个数是灵活的,模型规模通常随数据增长。k-NN 就是常举的例子。出处:Wikipedia: Nonparametric statistics。

直觉

回到两家中介。A 家只留一张纸条,纸条上永远是三个系数,这是参数模型。B 家留整本簿子,成交越多簿子越厚,这是非参数模型。

课件说非参数模型有「无限个参数」。这句话的意思是参数个数没有上限,会随数据一起涨,不是真的有无穷多个数。

一步一步看

目标:给两类模型各喂小数据和大数据,看参数模型的参数个数不变,非参数模型存的东西跟着变多。

  1. 给两类模型各喂一份小数据,再各喂一份大数据,看模型框的大小。

    喂 100 条和喂 100 万条数据的对照。左栏 Parametric(Linear Regression、PCA、NN)两次要学的都是 w 和 b 那几个数,模型框大小不变,参数个数在看到数据之前就定死了;右栏 Non-parametric(KNN、Gaussian Processes)把整个训练集背下来当模型本身,数据越多模型框越大

  2. 参数模型那一栏:数据多了,w 和 b 的值学得更准,个数不变。

  3. 非参数模型那一栏:数据多了,存下来的东西直接变多。

  4. 把两类模型的代价摆在一起(线性模型对朴素 KNN):

    Parametric Non-parametric
    训练开销 大,要做优化 约等于零,只是存下来
    预测开销 小,代入公式 大,要和全部训练点比距离
    存储 只存参数 存整个训练集
    假设强度 强,先设定了函数形态 弱,不预设形态

怎么判断

问一句:把训练数据翻一倍,模型要存的东西会不会跟着变多?

  • 不会,个数在看到数据之前就定死了:参数模型。课件的例子是 Linear Regression、PCA(主成分分析,一种压缩数据维度的方法)、NN(神经网络)。
  • 会,模型规模随数据涨:非参数模型。课件的例子是 KNN、Gaussian Processes(高斯过程)。

常见误解

以为 K 就是 KNN 的参数

K 是超参数,由人选定,不从数据里学。KNN 真正的「模型」是那份被完整存下来的训练集。

把代价表推广到所有非参数方法

上面的表只是线性模型和朴素 KNN 的对比。高斯过程也是非参数模型,它就有不小的训练开销。

试一下

一个模型把每个类别所有训练样本的平均值存下来,预测时看新样本离哪个平均值最近。类别个数固定为 3。它更像参数模型还是非参数模型?

更像参数模型。不管训练数据有多少条,它只存 3 个平均值,存的东西不随数据量增长。

把它们串起来

这一页只做一件事:给出机器学习的坐标系,再把「训练到底在训练什么」讲清楚。

起点是两个阶段。学习阶段把数据变成模型,推断阶段用模型回答新问题,模型就是一个函数。后面所有内容都在回答同一个问题:这个函数长什么样、怎么从数据里得到它。

坐标系是三层加一刀。横着看是范式、任务、算法三层:范式看监督信号,任务看输出,算法是工具。竖着再切一刀,分成参数模型和非参数模型。参数模型先定好函数的形状,训练只是把几个系数调准;非参数模型不定形状,数据本身就是模型。

KNN 在这张地图上位置特殊:它是全课唯一一个非参数模型,后面讲的几乎全是参数模型。线性回归在调 w 和 b,KNN 只是把数据存下来。下一页就从 KNN 开始。

课件里的坑

本讲这部分课件未发现错误。有几处是有意留白,需要自己补上:

  • [课件留白] p.42 的 Reinforcement Learning 一行 Tasks 与 Algorithms 两栏都是空的,留到 L12 展开
  • [课件留白] p.43 只给了 finite / infinite set of parameters 这个定义,没解释 infinite 指什么,答题时要翻译成「模型复杂度随数据量增长」
  • [补充] p.40 的表把 testing 列成 Inferring 的别名。严格说 inference 是运行模型产生预测,也可以用在训练数据上;testing 是评估过程,评估泛化时才要求用没参与训练的数据

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写三样:Learning 与 Inferring 的输入输出、Paradigm / Tasks / Algorithms 三层坐标、参数与非参数的代价对照表。再把下面的「变式题」做一遍。最后回查两个最容易错的地方:以为 K 是 KNN 的参数、按算法难度划分范式。

必背

  1. Learning 的输入是带标签的训练数据、输出是一个模型,别名 training / fitting;Inferring 的输入是没见过的样本、输出是预测标签,别名 testing / prediction。
  2. ML 的三层坐标是 Paradigm(范式)/ Tasks(任务)/ Algorithms(算法);三个范式是 Supervised、Semi/Unsupervised、Reinforcement。
  3. 划分范式的依据是监督信号的形式,不按算法难度也不按数据量;同一个 DNN 在监督与无监督两栏里都出现。
  4. Parametric 是有限个参数(Linear Regression、PCA、NN),Non-parametric 是参数集合无界(KNN、Gaussian Processes),实质区别是模型复杂度是否随数据量增长。
  5. 参数模型的参数维数预先固定;非参数模型的复杂度可随数据增长,KNN 保留训练数据;KNN 训练开销约等于零,预测时要和全部 N 个训练点各算一次距离(课件给的朴素实现)。

课件例题

本讲课件没有例题出现在这一部分:p.40–43 只有回路图、地图表和参数 / 非参数的定义表。本讲的例题都在 KNN 部分(p.49–55),见 L01b 和 L01c。这部分一般出概念选择题和判断题,典型问法是「下面哪个是非参数模型」「划分监督与无监督的依据是什么」「DNN 只能用于监督学习,对还是错」,下面的完整例题就是这种题型。

完整例题

题面(自编情境,按本部分课件的考法出):判断下面四个说法的对错,错的改正。

(a) 只要训练数据量足够大,任何问题都应该归为监督学习。 (b) 线性回归喂 100 万条数据时,要学的参数比喂 100 条时多。 (c) KNN 里的 K 是它从数据里学出来的参数。 (d) 同一个深度神经网络既可以用在监督学习里,也可以用在无监督学习里。

解法:

  1. 先找每一句考的是哪张表。(a) 考范式的划分依据,(b)(c) 考参数与非参数,(d) 考算法和范式的关系。
  2. (a) 错。划分范式只看监督信号的形式:数据有没有标签、标签全不全、是不是只有奖励。数据量多少不改变范式。改正:数据带完整标签才是监督学习。
  3. (b) 错。线性回归是参数模型,参数个数在看到数据之前就定死了,一维时就是 w 和 b 两个。数据多了,参数的值会学得更准,个数不变。
  4. (c) 错。K 是超参数,由使用者选定。KNN 没有训练出来的参数,它的模型就是存下来的整个训练集,所以它是非参数模型。
  5. (d) 对。算法和范式是两个独立维度,课件地图上 DNNs 同时出现在监督和无监督两栏。配上标签是监督学习,配上重构输入的目标是自编码器。

要点:四句里只要出现「数据量」「算法难度」这类词来定范式,基本就是错的;出现「参数个数随数据变」,先问它是参数模型还是非参数模型。

答题格式:每句先写对或错,错的写一句理由,再写改正后的说法。

变式题(先自己做)

自编情境。给下面三个场景各判断:属于哪个范式、哪个任务,用到的模型是参数模型还是非参数模型。

(1) 用一万张带「猫 / 狗」标签的照片训练神经网络做识别。 (2) 一堆没有标签的客户消费记录,用 K-means 分成几组。 (3) 用 KNN 根据面积和楼龄估计二手房价格。

提示

先看数据带不带答案定范式,再看输出是类别、数值还是分组定任务,最后问「数据翻倍时模型要不要变大」定参数与否。K-means 学的是几个组中心的位置。

判分点与答案(非官方评分标准)

判分点:① 三个场景都要给出范式、任务、参数类型三项;② 范式的理由必须落在「有没有标签」;③ KNN 那一问要说出模型就是训练集。

  1. 监督学习,分类任务,神经网络是参数模型。
  2. 无监督学习,聚类任务。K-means 要学的是 K 个组中心,个数事先定好,按地图归在参数一侧。课件没有直接给 K-means 定性,这里按「参数个数是否随数据增长」的定义推断。
  3. 监督学习,回归任务,KNN 是非参数模型,数据越多它存的东西越多。

闪卡自测

1. Learning 和 Inferring 的输入输出分别是什么?为什么训练集上的准确率不能拿来评价模型?

Learning:输入训练数据(图 + 标签),输出一个程序 / 模型,别名 training、fitting。Inferring:输入一个没见过的样本,输出预测标签,常称 inference、prediction;testing 另指评估环节。inference 指运行模型生成预测,也可用于训练样本;评估泛化时才必须使用未参与训练和选择的数据(p.40)。

2. 课件说机器学习要学的是什么?

一个函数 f,比如 f(图片) = “Cat”、g(音频) = “Hello”。后面每一讲换的只是 f 的形态,学习就是在一个函数族里挑出最合适的那一个(p.41)。

3. 三层坐标是哪三层?为什么 DNNs 会同时出现在监督和无监督两栏里?

Paradigm(拿到什么数据)/ Tasks(要输出什么)/ Algorithms(用什么工具)。算法和范式是两个独立维度,同一个神经网络配上标签就是监督学习,配上重构目标就是自编码器(p.42)。

4. 划分监督 / 半监督 / 无监督 / 强化学习的依据是什么?

监督信号的形式:标签齐全是监督,部分有标签是半监督,没有标签是无监督,只有延迟的奖励信号是强化学习。不按算法难度、也不按数据量分(p.42)。

5. 地图上监督学习对应哪两个任务?无监督一栏列了哪几个任务?

监督:Classification、Regression。Semi/Unsupervised:Clustering、Semi-sup Learning、Generative Model。强化学习一行课件留空(p.42)。

6. 「非参数模型有无限个参数」该怎么理解?KNN 的「参数」到底是什么?

实际含义是模型复杂度不固定、随训练数据量增长。KNN 没有训练出来的参数,它把整个训练集背下来当模型本身,数据越多模型越大,所以参数集合无界(p.43)。

7. 各举两个 Parametric 和 Non-parametric 的例子。

Parametric:Linear Regression、PCA、NN。Non-parametric:KNN、Gaussian Processes(p.43)。

8. 参数模型和朴素 KNN 在训练开销、预测开销、存储、假设强度四项上怎么对照?

参数模型训练大、预测小、只存参数、假设强;朴素 KNN 训练约等于零、预测要和全部训练点比距离、存整个训练集、假设弱。这个对照不能推广到所有非参数方法,例如高斯过程也有训练开销(p.43)。

下一讲

下一页 L01b KNN 分类:地图上那个把整本簿子当模型的算法,先讲距离怎么算,再讲四步怎么走。

下一讲 →
L01b L01b KNN 分类:量距离,问最近的几个邻居

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。