← COMP5511 全部讲次
L08b · 第 8 周

L08b 推荐系统与协同过滤:从海量物品里挑出你会要的那几个

推荐系统为什么是信息过滤、输出为什么是排序用的分数;五种范式怎样按额外输入区分;协同过滤的基本假设;以及怎样把用户–电影的二部图改写成一张满是问号的评分矩阵。

一句话版

推荐系统是一个过滤器。物品太多,人看不过来,它按每个人的偏好给每个物品估一个分数,再按分数排出一张短名单。

协同过滤是最主流的做法:不看物品本身是什么,只看「和你口味相似的人喜欢什么」。上一页 L08a 的专家系统靠人写规则,这一页起知识从数据里来。

先认识这几个词

词 全称 / 读法 一句人话
推荐系统 recommender system 从海量物品里挑出你可能想要的那几个
信息过载 information overload 东西太多,人选不过来
物品 item 被推荐的东西:商品、视频、新闻,甚至别的用户
范式 paradigm 推荐系统的大类,按用了什么输入来分
协同过滤 collaborative filtering,CF 靠和你口味相似的人来推荐
二部图 bipartite graph 点分两排,只有两排之间有连线的图
评分矩阵 rating matrix R 行是用户、列是物品、格子里是评分的表

一个类比:书店店员

走进一家大书店,书架上几万本书,你不可能一本本翻。好在有个店员,他问你最近读了什么、喜欢什么,然后从书架上抽出五本递给你。这五本书是按他觉得你会喜欢的程度排好的。

店员怎么知道你会喜欢?一种办法是记性好:上周有位客人和你买过一样的三本书,那位客人还买了第四本,他就把第四本递给你。这就是协同过滤。他没读过那本书也没关系,他只是信「口味像的人会喜欢同样的书」。

类比在哪里失效:

  • 店员能听你描述需求,协同过滤只看行为记录:谁买过、谁打了几分。
  • 店员一次只服务一个人。推荐系统同时面对成千上万的用户和物品,靠的是从所有人的记录里一起学出规律。

从零讲起

1. 推荐系统要解决什么

它解决什么问题

网上的商品、视频、新闻多到看不完,这叫信息过载。推荐系统替每个人先筛一遍,只把相关的少数几个摆到面前。

课件给的英文定义值得会写:推荐系统是信息过滤系统(information filtering systems),按每个用户自己的需求和偏好(needs and preferences)挑出相关物品,用来解决信息过载(information overload)。

从哪来(补充)

第一个推荐系统通常认为是 Elaine Rich 在 1979 年做的 Grundy,用来荐书。它先问用户一些问题,按回答把人归到不同的「刻板类型」(stereotype),再按类型推荐。

出处:Wikipedia: Recommender system

直觉

推荐系统像一个漏斗。上面倒进去的是全部物品,下面流出来的是一张排好序的短名单。漏斗里面做的事,是给每个物品估一个「和你有多相关」的分数。

分数本身不交给用户,用户看到的只是顺序。

一步一步看

目标:跟着推荐组件给三个物品打分、排序、交出列表,看推荐就是按相关性分数做信息过滤。

  1. 给定:用户模型(评分、偏好、年龄等人口统计信息、所处情境),以及一堆物品(可以带描述,也可以不带)。

  2. 推荐组件给每个物品估一个相关性分数(relevance score)。课件示意图里 i1 是 0.9、i2 是 1、i3 是 0.3。

  3. 按分数从高到低排。i2 排第一,i1 第二,i3 第三。

  4. 把排好的列表交给用户。

    推荐系统做信息过滤:左边一大片小方块代表海量物品,进入中间的推荐组件,它估计每个物品和用户的相关性;右边输出排好序的列表,第 1 名 i2 分数 1,第 2 名 i1 分数 0.9,第 3 名 i3 分数 0.3,第 1 名描成青绿

推荐的地方到处都是。课件分三类:电子商务推荐商品(Amazon、淘宝),内容分享推荐视频和新闻(YouTube、TikTok),社交网络推荐好友(Facebook、LinkedIn)。好友推荐里,被推荐的「物品」是别的用户。

怎么判断

判断一个系统算不算推荐系统,看三点:它是不是在从很多候选里筛;筛的依据是不是每个人自己的偏好;最后给出的是不是一个排了序的结果。

好处也分两边记。对用户:省时间、做更好的决定。对商家:提高收入和销量、提升客户体验,还能做促销和精准定位。

常见误解

以为推荐系统的输出就是一个分数

分数只是中间产物。课件写的是「求相关性分数,用于排序」,最终交付的是排好序的列表。这一点后面会变得很重要:既然只要顺序对,训练时也可以只学顺序。

以为「物品」只能是商品

物品可以是任何被推荐的东西。新闻、视频、图片都行,好友推荐里的物品甚至是其他用户。

试一下

推荐组件给三个物品打分:A 0.4、B 0.8、C 0.6。用户看到的列表顺序是什么?

B、C、A。按分数从高到低排,用户只看到顺序。

2. 五种范式

它解决什么问题

推荐系统有很多做法,需要一个分类办法。课件按「除了用户自己,还用了什么输入」把它们分成五种范式。记住这一条,选择题基本不会错。

直觉

所有范式都有用户档案这一项输入。区别在于额外加了什么:加别人的数据、加物品的描述、加领域知识,或者全加。

每种范式课件都配了一句口号:协同过滤是「告诉我同伴中流行什么」,基于内容是「给我更多和我喜欢过的相似的」,基于知识是「告诉我什么符合我的需求」。

一步一步看

目标:逐个看五种范式在用户档案之外各多用了哪类输入,看它们的区别出在数据来源上。

  1. 个性化推荐(Personalized):只用用户档案和情境参数。

  2. 协同过滤(Collaborative):用户档案加社区数据,也就是别的用户的行为。

  3. 基于内容(Content-based):用户档案加物品特征,例如片名、类型、演员。

  4. 基于知识(Knowledge-based):用户档案加知识模型,也就是领域规则和约束。

  5. 混合(Hybrid):把多种输入或多种机制组合起来。

    五种范式的输入表:五行是个性化、协同过滤、基于内容、基于知识、混合,四列是用户档案与情境、社区数据、物品特征、知识模型;每行都用用户档案;协同过滤多用社区数据,基于内容多用物品特征,基于知识多用知识模型,这三个额外输入画成青绿圈;混合四列全用

怎么判断

读题时找「额外输入」这个关键词:

题目里出现 范式
别的用户买了 / 看了 / 评了什么 协同过滤
物品的类型、演员、关键词、描述 基于内容
规则、约束、需求条件(如预算、尺寸) 基于知识
只有你自己的档案和当前情境 个性化
同时用了上面几种 混合

基于知识的推荐和上一页的专家系统一脉相承,都靠领域规则。

常见误解

以为基于内容的推荐也要看别人的评分

不需要。它只比较你喜欢过的物品和候选物品的特征。反过来,协同过滤用别人的数据,但不需要物品的内容描述。这两条是判断题的常见陷阱。

以为混合推荐是一种新算法

混合指的是组合:多种输入的组合,和/或多种机制的组合。它本身不是一个具体算法。

试一下

一个电影网站只根据「你看过的片都是科幻、主演相同」来推荐。这是哪种范式?如果改成「和你看片记录相似的用户还看了什么」呢?

前者是基于内容,用的是物品特征。后者是协同过滤,用的是社区数据。

3. 协同过滤的基本假设

它解决什么问题

协同过滤不知道物品是什么,也不问用户想要什么,凭什么能推荐?它靠一条假设撑着。这条假设讲清了,后面的矩阵分解为什么有效也就清楚了。

直觉

课件给了两条假设,建议能用英文复述:

  • 用户会给物品打分。分数可以是显式的(用户主动打星),也可以是隐式的(点击、购买这类顺手留下的行为)。
  • Customers who had similar tastes in the past, will have similar tastes in the future:过去口味相似的人,将来口味也相似。

这叫「群体智慧」(wisdom of the crowd):单个人的记录很少,许多人的记录拼在一起就能看出规律。

一步一步看

目标:用三个人的电影打分填一个空格,看口味相似的人的评分为什么更值得参考。

用一个自拟的小例子,看「找口味相似的人」怎么帮你填一个空格。

  1. 你看过电影 A、B、D,打分 5、4、1。电影 C 没看过,是个问号。

  2. 小王也看过 A、B、D,打分 5、5、1,和你几乎一样。小李打分 1、2、5,和你正相反。

  3. 小王给 C 打了 5 分。按协同过滤的假设,你大概也会喜欢 C。

  4. 小李的记录参考价值低,因为他的口味和你对不上。

    协同过滤直觉:三行用户你、小王、小李,四列电影 A 到 D;你的打分 5、4、问号、1;小王 5、5、5、1,和你相似;小李 1、2、1、5,和你相反,画成灰色;小王对 C 的 5 分和你那格的问号描成青绿,表示据此猜你也会喜欢 C

课件接着说,协同过滤的关键是学习用户和物品的表示(representations)。逐个比较用户太慢,下一页会给每个用户、每个物品学一个向量,口味相似就体现为向量相近。

怎么判断

一个方法算不算协同过滤,看它的依据是不是「别的用户的历史交互」。只要推荐理由能说成「和你相似的人喜欢它」,就是协同过滤。

协同过滤很主流:大型电商在用,研究得很充分,有很多算法变体,适用于书、电影等很多领域。

常见误解

以为协同过滤只能用打星评分

课件的第一条假设就说了,打分可以是隐式的。点击、观看、购买都算,而且现实里隐式数据多得多。这一点在后面讲 BPR 时会展开。

以为协同过滤要理解物品的内容

完全不需要。它只看谁和谁交互过、打了多少分。电影是科幻还是喜剧,它不知道也不关心。

试一下

你和小张在五本书上的打分几乎一样。小张刚给一本新书打了 1 分,你没读过。按协同过滤,系统会怎样对待这本书?

预测你也不太喜欢它,不会把它排在你的推荐列表前面。

4. 二部图与评分矩阵

它解决什么问题

协同过滤的数据是「谁对什么打了几分」。这种数据要变成能计算的形式,课件给了两种等价的画法:二部图和评分矩阵。后面所有公式都在矩阵上写,所以要会在两者之间来回换。

从哪来(补充)

课件这组 Netflix 例子和那场比赛有关。Netflix 在 2006 年 10 月 2 日开始悬赏,大奖 100 万美元,数据集有超过 1 亿条电影评分,评判指标是 RMSE。2009 年 9 月 18 日宣布 BellKor’s Pragmatic Chaos 队获胜。

出处:Wikipedia: Netflix Prize

直觉

二部图把点分成两排:上排是电影,下排是用户。只有用户和电影之间有连线,线上的数字是评分。同一排的点之间不连线。

把它改写成表:每个用户一行,每部电影一列。有连线的地方填评分,没连线的地方填问号。一条边就是一个有数的格子。

一步一步看

目标:把 Netflix 例子的 8 条边填进评分矩阵,看剩下的 12 个问号就是推荐要预测的格子。

用课件的 Netflix 例子:4 个用户,5 部电影,8 条边。

  1. 先抄二部图上的边:Lily 给 Spider Man 5 分、Captain America 4 分;Peter 给 Toy Story 5 分。

  2. David 给 Spider Man 5 分、Iron Man 5 分、Minions 1 分;Lala 给 Iron Man 2 分、Minions 5 分。

  3. 每条边填进对应的格子,共 8 个已知格子。

  4. 剩下的格子全是问号,这个小例子里有 4 × 5 − 8 = 12 个。推荐的任务,就是给这些问号填上预测分。

    二部图转评分矩阵:左边二部图上排五部电影 Spider Man、Captain America、Toy Story、Iron Man、Minions,下排四个用户 Lily、Peter、David、Lala,共 8 条带评分的边;右边是对应的 4 行 5 列评分矩阵,8 个格子有数,其余是问号;David 对 Iron Man 的 5 分那条边和格子描成青绿

现实里的评分矩阵极度稀疏:每个用户只看过全部电影里很少的一部分,绝大多数格子都是问号。

怎么判断

拿到二部图,数边就是数已知格子。拿到矩阵,数非问号的格子就是数边。两边数出来必须一样多,对不上就说明抄错了。

课件的问题表述也可以对上号。输入是历史用户–物品交互,或者附加的辅助信息(比如社交关系、电影的类型和演员)。输出是某个用户和某个目标物品发生交互(点击、观看、购买)的可能性。

常见误解

以为问号就是 0 分

问号是「不知道」。用户可能会喜欢,只是还没看过。把它当 0 分,等于认定他讨厌所有没看过的电影。

以为二部图里用户和用户之间也有连线

二部图只在两排之间连线。用户之间的相似是从他们连到的电影推出来的,图上不直接画。

试一下

在课件的 Netflix 矩阵里,David 那一行有几个已知格子?Toy Story 那一列呢?

David 一行 3 个:Spider Man 5、Iron Man 5、Minions 1。Toy Story 一列 1 个:Peter 的 5 分。

把它们串起来

东西太多,人选不过来,推荐系统替每个人先筛一遍。它给每个物品估一个相关性分数,再按分数排出短名单,用户看到的是顺序。

做法按额外输入分五种范式。协同过滤用别人的数据,基于内容用物品特征,基于知识用领域规则,混合把它们组合起来。

协同过滤靠一条假设:过去口味相似的人,将来口味也相似。它的数据可以画成二部图,也可以写成评分矩阵,一条边对应一个有数的格子。矩阵里大多数格子是问号,推荐就是填问号。

怎么填?课件说关键是学好用户和物品的表示。下一页的矩阵分解给每个用户、每个电影各学一个短向量,用两个向量的内积来填空格。

课件里的坑

  • [读图提醒] Lala 对 Iron Man 的评分,二部图上标 3,矩阵里填 2,同一组数据前后不一致。后续公式页用的是矩阵,引用时按 2(p.27、p.30)。
  • [读图提醒] 范式示意图的推荐列表里,i2 分数 1 高于 i1 的 0.9,但表格行序是 i1 在前。图只是演示「每个物品有一个分数」,按分数排序后 i2 才是第一(p.20–25)。
  • [课件用词] 课件把推荐方法分成五种范式,其中个性化推荐只用用户档案。判断题问「四种主范式」时,通常指协同、基于内容、基于知识、混合,读题看清问的是哪组(p.21–25)。
  • [页码提醒] 课件右下角页脚数字比 PDF 页序小 1,本页的 p.N 都按 PDF 页序。

课后 10 分钟:考点复习

这 10 分钟怎么用:合上页面,先默写推荐系统的英文定义三个关键词;再读必背 5 条;然后做课件例题和完整例题,把二部图转成矩阵;最后做变式题判断范式。

必背

  1. 推荐系统是信息过滤系统,按用户的需求和偏好推荐相关物品,解决信息过载;输出用于排序的相关性分数
  2. 范式看额外输入:协同用社区数据,基于内容用物品特征,基于知识用知识模型,混合全用
  3. 协同过滤的假设:过去口味相似的用户,将来口味也相似;打分可以是显式的,也可以是隐式的
  4. CF 的关键是学习用户和物品的表示(representations)
  5. 二部图的一条边对应评分矩阵里一个有数的格子;没有边的格子是问号,推荐任务就是预测这些问号

课件例题

例 1(课件 p.30):把 Netflix 二部图转成评分矩阵,已知格子有几个?任务是什么?

题面:Lily 给 Spider Man 5、Captain America 4;Peter 给 Toy Story 5;David 给 Spider Man 5、Iron Man 5、Minions 1;Lala 给 Iron Man 2、Minions 5。

提示

一条边对应矩阵里一个填了数的格子。

解答

8 个已知格子,对应二部图的 8 条边,其余都是问号。任务是预测这些问号,比如 David 对 Toy Story 会打几分。注意二部图上 Lala–Iron Man 标的是 3,和矩阵的 2 不一致。

完整例题

题面(自编情境):一个小书店有 3 位读者和 4 本书。甲给《A》5 分、《C》2 分;乙给《A》4 分、《B》5 分、《D》1 分;丙给《B》4 分、《D》2 分。(a) 写出评分矩阵,有几个已知格子、几个问号?(b) 书店要按「和你口味相似的人还喜欢什么」给甲推荐,属于哪种范式?(c) 给甲推荐时,最该参考哪位读者,为什么?

解法:

  1. 矩阵:行是甲、乙、丙,列是《A》到《D》。甲:5、?、2、?;乙:4、5、?、1;丙:?、4、?、2。
  2. 计数:已知格子 7 个(对应 7 条边),问号 3 × 4 − 7 = 5 个。
  3. 范式:依据是别的读者的行为,属于协同过滤。
  4. 参考谁:甲和乙都读过《A》,都打了高分;甲和丙没有共同读过的书。乙的记录更能说明甲的口味。
  5. 结论:乙给《B》打了 5 分,系统会倾向于把《B》推荐给甲。

要点:协同过滤要先有「共同交互过的物品」,才能判断两人口味像不像。没有交集的人提供不了参考。

答题格式:先写矩阵,再写范式名(中英文),最后用「相似用户 → 他喜欢的物品」一句话给推荐理由。

变式题(先自己做)

自编情境:

(a) 一个外卖平台按「你过去点的都是川菜,这家店也标着川菜」来推荐,属于哪种范式? (b) 一个装修平台先问你预算和房间面积,再按「预算内、尺寸放得下」的规则筛家具,属于哪种范式? (c) 某二部图有 5 个用户、6 个物品、9 条边。评分矩阵里有几个问号?

提示

(a)(b) 找额外输入是什么。(c) 格子总数减去已知格子数。

判分点与答案(非官方评分标准)

判分点:① 范式按额外输入判断;② 边数 = 已知格子数。

(a) 基于内容(Content-based):用的是物品特征「川菜」。

(b) 基于知识(Knowledge-based):用的是需求约束和领域规则。

(c) 5 × 6 − 9 = 21 个问号。

闪卡自测

1. 推荐系统的英文定义有哪三个关键词?

information filtering systems、needs and preferences、information overload(p.14)。

2. 推荐广泛用在哪三类在线服务?

电子商务、内容分享、社交网络(p.15–17)。

3. 推荐系统对用户和商家各有什么好处?

用户:省时间、做更好的决定。商家:提高收入和销量、提升客户体验,做促销和精准定位(p.18)。

4. 推荐问题的「给定」和「求」分别是什么?

给定用户模型和物品;求相关性分数,用于排序(p.19)。

5. 协同过滤、基于内容、基于知识各加了什么输入?

社区数据、物品特征、知识模型(p.22–24)。

6. 协同过滤的基本假设是什么?

过去口味相似的用户,将来口味也相似;打分可以是显式的,也可以是隐式的(p.26)。

7. CF 的关键是什么?

学习用户和物品的表示(p.28)。

8. Netflix 例子的评分矩阵里有几个已知格子?

8 个,和二部图的 8 条边一一对应(p.30)。

下一讲

下一页 L08c 讲矩阵分解:把满是问号的评分矩阵拆成两张小表,每个用户、每部电影各得一个短向量,两个向量的内积就是预测分。还会讲怎样只用已知格子训练,以及怎样用 MAE、RMSE 检验填得准不准。

下一讲 →
L08c L08c 矩阵分解:把满是问号的评分表拆成两张小表

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。