L01 Introduction to AI:三个同心圆,最外圈叫 AI,最里面才是深度学习
划清 AI、机器学习、深度学习的边界,再把机器学习切成三类。
一句话版
这一讲划清 AI、机器学习、深度学习三个词的边界,再把机器学习切成监督、无监督、强化三类。
一个类比:教一个新来的店员
店里来了个新人,你有两种教法。
第一种是写手册:什么时候补货、遇到退货怎么办、哪类客人要多问一句,一条一条写清楚,他照着执行。手册的好处是出了错能翻回去看是哪一条写坏了,改也只改那一条。麻烦在于世界永远比手册长——碰上手册没写的情况,他就站在原地。这就是课件 p.32 讲的专家系统,它的死穴有个正式名字叫 knowledge acquisition bottleneck。
第二种是把过去一整年的销售记录扔给他,让他自己摸出规律。你不告诉他”周五下午冰饮卖得好”,他从数据里看出来。这是 p.33 的机器学习。代价是你问他为什么这么补货,他答不上来,只能说”数据是这么显示的”。
三类学习也在这家店里:给他一沓带标准答案的练习册,每道题都标了对错,是监督学习;只给一堆客户资料让他自己分堆,分完每堆代表什么还得你来解释,是无监督学习;谁也不告诉他每一步对不对,月底看提成,是强化学习(p.69–71、p.80)。至于深度学习,是这个店员不再需要你提示”看客人的鞋和表”,他自己从原始观察里一层层提炼出该看什么(p.48)。
类比在哪里失效:店员有常识,能把上一份工作的经验搬过来;模型换个任务通常从训练数据中学习。店员被问”你为什么这么判断”多少答得出,深度模型的可解释性是公认的低(p.33)。手册和数据在现实里从来不是二选一,这门课前半教手册那套、后半教数据那套,两边都要(p.81)。还有一点类比装不下——AI 寒冬那种”投资方按通用智能的期待投钱、拿到的却是窄领域工具”的落差,店里没有对应物(p.50)。
概念卡
1. 三层包含关系(AI ⊃ Machine Learning ⊃ Deep Learning)
人话定义:AI 是让机器表现出智能的整门学科,机器学习是其中”从数据里学规则”的那一支,深度学习又是机器学习里用多层神经网络的那一支。
例子:课件 p.30 给的定义句是 John McCarthy 的 the science and engineering of making intelligent machines,他也是 1956 年 Dartmouth 会议上造出 Artificial Intelligence 这个词的人(p.30、p.50)。
三个词的关系画出来是三层嵌套:
常见误解
把 AI 和深度学习当同义词 → p.81 那页把搜索、逻辑、概率图和各类模型一起列出来,深度学习只占其中一格。这门课前半讲的搜索和逻辑推理里一个神经网络都没有。
2. 两条路线(Expert Systems vs Machine Learning)
人话定义:知识从哪来——人手工编码,还是从数据中自动学习。
例子:课件 p.32–33 把两者并排。专家系统可解释性高、能追溯到具体规则,更新靠改规则,瓶颈在知识获取;机器学习可解释性低(尤其深度模型),更新靠喂新数据重训,瓶颈在数据的质量与数量。
常见误解
以为专家系统已经被淘汰 → 它是这门课第 8 周的正式内容。p.50 的时间线显示这是一个钟摆:1980–88 专家系统繁荣、1988–93 寒冬、1990 年后统计方法崛起、2012 年起深度学习爆发。符号主义和连接主义交替占上风,课程编排也照着这条线走。
3. 机器学习的定义:<T, P, E>
人话定义:Mitchell 1998 的说法——程序在任务 T 上、由指标 P 度量的表现,随着经验 E 增加而提升,就说它在学习。
例子:课件 p.38 用垃圾邮件过滤套这个三元组:T = 判断邮件是否为垃圾邮件,P = 分类准确率,E = 已标注的历史邮件。Samuel 1959 那句更口语,落点在 without being explicitly programmed。
常见误解
把 P 写成”模型本身”、把 E 写成”训练时间” → P 必须是一个能算出数值的度量,E 必须是数据或与环境的交互经历。给场景指认三元组是这一页最标准的考法,套路固定,练两三个场景就够。
4. 深度学习的”深”
人话定义:用多层非线性信息处理做特征提取与变换(Deng & Yu, 2013),“深”指隐藏层的数量。
例子:课件 p.48 那条链——原始像素 → 边缘 → 局部形状 → 物体部件 → 完整物体。每一层比前一层抽象一点,这叫层级特征学习,也是深度学习相对传统机器学习的核心优势:传统方法要人工设计特征,深度模型自己学出特征层级。
把这条链摆到网络结构上:
常见误解
答”深”是参数多或数据多 → 那是结果,p.47 说的是隐藏层数量。另外”非线性”三个字不能丢:纯线性的多层网络叠起来等价于单层,深度就没有意义了(p.40)。
5. 三分类的判据
人话定义:只看一条——标签有没有、从哪来。
例子:课件 p.69–71。监督学习数据形态是 (x, y),学 x → y 的映射,算法有线性回归、决策树、SVM、CNN;无监督只有 x,目标是发现内在结构,算法有 k-means、层次聚类、PCA;本讲在线强化学习靠与环境交互;补充:离线强化学习也可用固定经验集,算法有 Q-learning、DQN。强化学习的标准词表是 agent / environment / state / action / reward(p.80)。
三条分界线摆在一张图上:
常见误解
把 k-means 的分组当成分类 → 分类的类别是人事先定义好的,k-means 的分组是算出来的,算完每组代表什么还得人去解释,而且 k 值要人预先指定,这是它最大的实践难点(p.78)。
把它们串起来
这一讲是整门课的地图,没有一个要动笔的公式,但它决定了后面每一讲该往哪个抽屉里放。
主线从边界开始:先划出 AI 的范围(p.30),再把它切成手工规则和数据驱动两条路(p.32–33)。这一刀切下去,整门课的编排就解释得通了——前半周教搜索、逻辑、专家系统,是规则那条路;后半周教神经网络和深度学习,是数据那条路。
第二条线回答”为什么是现在”。神经网络 1980 年代就有,缺的是数据和算力,p.34–35 的数据增长图和 p.50 的时间线合起来就是这个因果:2012 年之后深度学习才爆发。大数据 4V 是这条线上唯一要背的名词表。
时间线和钟摆放一起看:
第三条线是三分类(p.69–71),它是后半门课的骨架。监督学习内部再按输出分成回归和分类(p.76),而所有监督模型共用一个骨架:模型 → 损失函数 → 优化(p.72–75)。后面学神经网络时,变的只是第一步的形状。
课件里的坑
本讲课件未发现错误。
课后 10 分钟:考点复习
这 10 分钟怎么用:合上页面,先默写三条——<T, P, E> 三个位置各放什么、机器学习三分类的判据、AI ⊃ 机器学习 ⊃ 深度学习的包含关系;再把下面的「变式题」做一遍;最后回查两个最容易错的地方——把 P 写成模型本身、把 k-means 的分组当成分类。三步做完再往下看答案。
必背
- AI ⊃ 机器学习 ⊃ 深度学习;AI 定义句 the science and engineering of making intelligent machines 出自 John McCarthy,学科诞生于 1956 年 Dartmouth 会议。
- 两条路线:专家系统手工编码规则,可解释但卡在 knowledge acquisition bottleneck;机器学习从数据学规则,性能强但难解释。
- Mitchell 1998 的
<T, P, E>:程序在任务 T 上由指标 P 度量的表现随经验 E 提升;Samuel 1959 强调 without being explicitly programmed。 - 深度学习 = 多层非线性信息处理,「深」指隐藏层的数量,核心优势是自动学习层级特征。
- 大数据 4V:Volume / Velocity / Variety / Veracity,最容易漏掉的是 Veracity。
- 机器学习三分类的判据是标签的有无与来源:有标准答案是监督,只有数据是无监督,环境给奖励是强化。
- 监督学习按输出再分:回归输出数值常用 MSE,分类预测类别常用交叉熵;通用骨架是模型 → 损失函数 → 优化。
- 历史三锚点:1950 图灵测试 / 1956 达特茅斯会议 / 1988–93 AI 寒冬。
完整例题
这一讲全是概念,没有数可算,换成一道两问的对比题——它们正好卡在最容易混的两条边界上。
(1) 用历史「下雨 / 不下雨」标签训练,预测明天降雨概率,属于回归还是分类?
- 先看输出类型。回归输出连续值(房价、气温、股价),分类输出离散类别(是否垃圾邮件、手写数字)(p.76)。
- 降雨概率是 0 到 1 之间的数,看形状像连续值。
- 本题标签是”下雨 / 不下雨”两个类别,所以在做概率分类;类别概率可以就是最终输出,不必再取硬标签。
- 看建模目标与标签语义,不只看输出格式 → 本题以类别标签训练,所以是概率分类。
- 对照组:把题面换成”预测明天的气温”就是回归,因为要的就是那个数值本身。两者都属于监督学习,差别只在输出是连续的还是离散的。
(2) 用 <T, P, E> 描述”手写数字识别”。
- T(task):把一张手写数字图片判成 0–9 中的一个类别。
- P(performance measure):分类准确率。
- E(experience):带标签的手写数字样本。
- 顺手判一下它的位置:有现成的标准答案 → 监督学习;输出是离散类别 → 分类;常用损失是交叉熵,评价指标除准确率外还有精确率、召回率、F1(p.38、p.76)。
变式题(先自己做)
(1) 「预测一位用户下个月在平台上的消费金额」属于回归还是分类?
(2) 用 <T, P, E> 描述「垃圾邮件过滤」。
提示
第 (1) 问别看输出长什么样,看任务最终要交付的是一个数值还是一个类别。第 (2) 问按顺序填三格:要做的事、拿什么打分、用什么经验练。
参考答案与自检(非官方评分标准)
自检要点:① 第 (1) 问写出判据与依据,不只给结论;② 第 (2) 问的 E 要明确为带标签的数据,「大量邮件」不足以说明监督信号。
(1) 回归。要交付的就是那个金额数值本身,没有一张离散的类别表。和完整例题里的降雨概率正好相反:那题以「下雨 / 不下雨」类别标签训练,所以是概率分类;仅凭输出在 0–1 之间不能判断任务类别(p.76)。
(2) T = 把一封邮件判成垃圾 / 非垃圾;P = 分类准确率(或精确率、召回率、F1);E = 带「垃圾 / 非垃圾」标签的历史邮件。位置是监督学习 + 二分类(p.38、p.76)。
闪卡自测
1. 写出 AI 的定义句,说出提出者、学科诞生的会议与年份。
The science and engineering of making intelligent machines,John McCarthy 提出;学科诞生于 1956 年的 Dartmouth 会议,“Artificial Intelligence” 这个词也是他在那次会议上造的(p.30、p.50)。
2. 专家系统和机器学习的知识来源各是什么?专家系统的核心瓶颈叫什么?
专家系统靠人手工编码规则,机器学习从数据中自动学习。专家系统的瓶颈是 knowledge acquisition bottleneck——规则要人一条条写,写不完也没法自动适应新情况(p.32、p.33)。
3. 大数据的 4V 是哪四个?哪一个最容易被漏掉?
Volume(量大)、Velocity(产生和处理快)、Variety(类型多样)、Veracity(真实性参差)。前三个讲”多快杂”,第四个讲”准不准”,Veracity 最容易漏——有些教材只讲 3V(p.36)。
4. "深度学习"里的"深"指什么?为什么"多层线性变换"不算深度学习?
“深”指隐藏层的数量(p.47)。定义要求的是多层非线性处理:纯线性的多层网络叠起来等价于单层,加层数不增加表达能力,深度就失去意义(p.40)。
5. 深度学习相对传统机器学习的核心优势是什么?
自动学习层级特征,省掉人工特征工程。p.48 的例子是原始像素 → 边缘 → 局部形状 → 物体部件 → 完整物体,这一串抽象层级是模型自己从数据里学出来的。
6. 监督、无监督、强化学习的划分依据是什么?各举一个算法。
依据是标签的有无与来源:有现成标准答案是监督(线性回归、决策树、SVM、CNN),没有标准答案只有数据是无监督(k-means、层次聚类、PCA),没有标准答案但环境给奖励是强化(Q-learning、DQN)(p.69–71)。
7. 描述 k-means 的四个步骤。它的分组和分类的类别有什么本质区别?
随机选 k 个中心点 → 把每个样本分给最近的中心 → 重新计算每组的中心(取组内均值)→ 重复分配样本与更新质心两步(不重复随机初始化)直到中心不再移动。分类的类别是人事先定义好的,k-means 的分组是算出来的,每组代表什么含义要人事后解释,且 k 要人预先指定(p.78)。
8. 监督学习模型的通用骨架是哪三步?
模型(假设 y = wx + b,w、b 待定)→ 损失函数(回归常用均方误差 MSE)→ 优化(调参数使损失最小,常用梯度下降)。后面学神经网络时只有第一步的形状在变(p.72–75)。
9. 强化学习的五个标准名词是什么?它和监督学习最本质的区别在哪?
agent / environment / state / action / reward。监督学习每一步都有人给正确答案,强化学习以奖励为反馈,奖励可以即时或延迟、密集或稀疏(下完一整盘棋才知道输赢),所以要解决信用分配问题——这盘赢了,功劳记在哪一步上(p.80)。
10. AI 寒冬发生在哪个时期?成因是什么?
1988–93。专家系统能在窄领域表现出色,但规则手工编写成本极高、无法泛化到新情况、维护困难,一超出预设范围就崩溃;投资方按”通用智能”的期待投钱,拿到的是脆弱的窄领域工具,落差导致资金撤离(p.50)。
11. Deep Blue 和 AlphaGo 各走哪条技术路线?
Deep Blue(1997 年重赛战胜 Kasparov)用搜索加人工评估函数,即 Minimax 与 αβ 剪枝,知识来自国际象棋大师手工调参,属符号主义;AlphaGo 用深度神经网络加蒙特卡洛树搜索加强化学习,知识来自棋谱学习和自我对弈,属连接主义(p.60–61)。
下一讲
下一讲把 AI 问题改写成”从起点找到终点”,BFS、DFS、爬山法和 A* 是这门课第一块要动笔算的内容。
个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。