← COMP5511 全部讲次
L08f · 第 8 周

L08f NCF 与 NeuMF:让神经网络来学用户和物品怎么匹配

把矩阵分解画成神经网络:嵌入层其实是查表;NCF 用多层网络替换固定的内积;MF 和 MLP 各有什么长短,GMF 为什么比内积更一般;NeuMF 怎样把两支拼起来;工业推荐引擎为什么要分召回、排序几级漏斗。

一句话版

矩阵分解用内积算「用户和物品有多配」,这个算法是写死的。NCF 把它换成一个多层神经网络,让网络自己从数据里学怎么算。NeuMF 再把内积那一支和网络那一支拼在一起。

前几页的模型都只是一个打分器。真实的推荐引擎要面对千万级候选,于是分成几级漏斗,前面用便宜的模型粗筛,后面才用贵的模型细排。

先认识这几个词

词 全称 / 读法 一句人话
one-hot 独热编码 一串 0 里只有自己那一位是 1
嵌入 embedding 每个用户、每个物品对应的那个短向量
交互函数 interaction function,f 拿用户向量和物品向量算出分数的那个函数
NCF Neural Collaborative Filtering,神经协同过滤 用多层网络当交互函数
GMF Generalized Matrix Factorization,广义矩阵分解 逐元素相乘后交给上层加权
NeuMF Neural Matrix Factorization,神经矩阵分解 GMF 和 MLP 两支拼在一起
召回 / 排序 retrieval / ranking 推荐引擎里先粗筛、后细排的两级

一个类比:相亲配对

矩阵分解像一张固定的打分表:两个人在每个维度上的分数相乘,再加起来,总分高就配。维度之间互不影响,「爱旅行」和「爱宅家」各算各的。

NCF 像请了一位有经验的红娘。她不按固定公式算,而是看过大量成功和失败的配对之后,自己总结出一套判断。比如「两人都爱旅行但一个怕坐飞机」这种维度之间的组合,她也能考虑进去。

类比在哪里失效:

  • 红娘的判断能说出理由,神经网络学出来的函数通常说不清。
  • 红娘一次看一对,推荐引擎一次要从千万个候选里挑,所以才需要后面的多级漏斗。

从零讲起

1. 嵌入层:one-hot 乘矩阵就是查表

它解决什么问题

神经网络的输入要是数字。用户「3 号」、物品「Toy Story」都只是编号,没法直接进网络。先把编号变成 one-hot 向量,再乘一个矩阵,就得到这个用户或物品的嵌入向量。

直觉

one-hot 向量里只有一位是 1。拿它去乘一个矩阵,其他行都被 0 消掉,只剩 1 所在的那一行。所以「one-hot 乘嵌入矩阵」就是「按编号查表,取出那一行」。

这张表就是矩阵分解里的 P(或 Q)。每一行是一个用户(或物品)的向量。

一步一步看

目标:拿用户 3 的 one-hot 向量乘嵌入矩阵,看结果正好是第三行,相乘就是查表。

  1. 用户 3 的 one-hot 向量:(0, 0, 1, 0),第三位是 1。

  2. 嵌入矩阵有 4 行(4 个用户)、3 列(K = 3 维)。

  3. 相乘时,只有第三行被保留,其他三行乘上 0 消失了。

  4. 结果就是第三行 (0.5, −0.6, 0.9),这就是用户 3 的嵌入向量。

    嵌入层查表:左边 one-hot 向量 0、0、1、0,第三位的 1 描成青绿;乘以 4 行 3 列的嵌入矩阵,第三行 0.5、−0.6、0.9 描成青绿;结果就是这一行,作为用户 3 的嵌入向量

怎么算

课件把 MF 画成三层网络(标题 MF-SVD Implementation):

  • 输入层:用户 u、物品 i 各是一个 one-hot 向量
  • 嵌入层:one-hot 乘 P_(M×K) 得用户向量 pᵤ,乘 Q_(N×K) 得物品向量 qᵢ
  • 输出层:两个向量做内积,得到 ŷᵤᵢ

统一写法是 ŷᵤᵢ = f(pᵤ, qᵢ)。意思是:先查出用户向量和物品向量,再用某个交互函数 f 算分。MF 里的 f 就是内积。

这里 M、N 是用户数和物品数,K 是隐因子维数,和前面的 n、m、d 是同一组量,只是换了字母。

常见误解

以为嵌入层要做很复杂的计算

本质只是查表。实际代码里也不会真去做矩阵乘法,而是直接按编号取那一行。

以为嵌入向量是人事先定好的

嵌入矩阵就是要训练的参数,和矩阵分解的 P、Q 一样从数据里学出来。

试一下

一共 5 个物品,物品 2 的 one-hot 向量是什么?乘嵌入矩阵后得到什么?

(0, 1, 0, 0, 0);得到嵌入矩阵的第 2 行,也就是物品 2 的向量。

2. NCF:把内积换成可学习的多层网络

它解决什么问题

内积是一个写死的公式:同一维相乘再加起来。用户和物品之间更复杂的关系,比如两个维度合在一起才起作用,内积表达不出来。NCF 让一个多层网络来当交互函数 f,用数据去学它。

从哪来(补充)

NCF 出自论文《Neural Collaborative Filtering》,作者 Xiangnan He、Lizi Liao、Hanwang Zhang、Liqiang Nie、Xia Hu、Tat-Seng Chua。arXiv 页面没写会议名,课件标的是 WWW 2017。

出处:arXiv: 1708.05031

直觉

嵌入层不变,还是查出 pᵤ 和 qᵢ。变的是上面那一层:MF 把两个向量直接做内积;NCF 先把两个向量首尾拼成一个长向量,再送进几层全连接网络,最后过 sigmoid 输出分数。

输出过 sigmoid,所以分数在 0 到 1 之间,正好对应隐式反馈里「交互 / 不交互」的二分类。

一步一步看

目标:跟着 NCF 从查表、拼接到逐层计算走到输出,看它用多层网络代替了 MF 的内积。

  1. 查表得到用户向量 pᵤ 和物品向量 qᵢ。

  2. 拼接:z₁ = [pᵤ; qᵢ],两个 K 维向量拼成一个 2K 维向量。

  3. 逐层往上:每一层是「权重乘上一层输出,加偏置,过激活函数」。

  4. 最后一层乘一个权重向量 h,过 σ,得到 ŷᵤᵢ。

    MF 与 NCF 的交互函数:左右两边底部都是用户向量 pᵤ 和物品向量 qᵢ;左边 MF 把两者做内积直接得到 ŷᵤᵢ;右边 NCF 先把两者拼接,再经过 Layer 1 到 Layer X 的多层网络,描成青绿表示权重要学,最后过 σ 得到 ŷᵤᵢ

怎么算

照课件:

  • 第 1 层:z₁ = φ₁(pᵤ, qᵢ) = [pᵤ; qᵢ]
  • 中间各层:φ₂(z₁) = a₂(W₂ᵀz₁ + b₂),……,φ_L(z_(L−1)) = a_L(W_Lᵀz_(L−1) + b_L)
  • 输出:ŷᵤᵢ = σ(hᵀ φ_L(z_(L−1)))

意思是:先拼接,再经过 L 层全连接网络(a 是激活函数,W、b 是每层的权重和偏置),最后用 h 把最后一层压成一个数,过 sigmoid 变成概率。这就是前面学过的全连接网络,只是输入换成了两个嵌入向量的拼接。

常见误解

以为 NCF 不需要嵌入层

需要。NCF 和 MF 的嵌入层一样,区别只在嵌入层上面的交互函数 f。

以为 NCF 的第一层是两个向量相加

是拼接:z₁ = [pᵤ; qᵢ],长度变成两倍,不是逐位相加。

试一下

pᵤ 和 qᵢ 都是 8 维,NCF 第一层的 z₁ 是几维?

16 维。拼接后长度是两者之和。

3. MF 和 MLP 各有长短,GMF 比内积更一般

它解决什么问题

既然网络表示能力更强,为什么不全用网络?课件专门对比了两者,指出 MLP 也有短板。理解这一点,才明白下一节 NeuMF 为什么要两者都要。

直觉

内积 Σ pᵤₖqᵢₖ 只把同一维上的两个数相乘,不同维之间没有交叉,所以说隐因子相互独立。网络的隐层把所有维混在一起算,维度之间会相互作用,表达力更强,但也更难保证在新数据上表现好。

GMF 是两者之间的一步:只做内积的前一半「逐元素相乘」,先不加起来,把相乘结果交给上一层去加权。

一步一步看

目标:拿同一对向量分别做逐元素乘积和内积,看 h 全为 1 时 GMF 正好退回内积。

  1. 沿用 pᵤ = (1, 2)、qᵢ = (2, 0.5)。

  2. 逐元素相乘:(1 × 2, 2 × 0.5) = (2, 1)。这就是 GMF 的输出,是一个向量。

  3. 内积则把它们直接相加:2 + 1 = 3,是一个数。

  4. GMF 的上层用权重 h 去加权这个向量。h 全是 1 时,结果正好等于内积,所以内积是 GMF 的一个特例。

    逐元素乘积与内积:pᵤ=(1,2)、qᵢ=(2,0.5);逐元素相乘得到向量 (2,1),描成青绿,这是 GMF 的输出,交给上层加权;内积则把它们直接相加得 3

课件的对比表:

MF(内积) MLP(非线性网络)
隐因子之间 相互独立 不相互独立
交互函数 固定为内积 从数据中学出来,理论上表示能力更强
泛化 经验上泛化好,Netflix 等任务里最好的单模型 泛化能力未知,推荐文献和比赛里很少研究

怎么判断

问「隐因子是否独立」,看交互函数有没有跨维度的项:内积没有,所以独立;MLP 有,所以不独立。

意思是:一个模型能不能让「第 1 维」和「第 2 维」一起影响分数,决定了它的隐因子是不是独立的。

常见误解

以为 MLP 一定比 MF 好

课件说 MF 经验上泛化好,MLP 泛化能力未知。表示能力强不等于在新数据上表现好。

以为 GMF 的输出和内积一样是一个数

GMF 的输出是逐元素相乘后的向量,还没相加。相加(或加权相加)是上一层做的事。

试一下

pᵤ = (3, 1),qᵢ = (1, 4),GMF 输出什么?内积是多少?

GMF 输出 (3 × 1, 1 × 4) = (3, 4);内积 3 + 4 = 7。

4. NeuMF:GMF 和 MLP 两支拼起来

它解决什么问题

MF 泛化好,MLP 表达力强。课件设问:能不能把两者融合成一个更强的模型?下一页整页是「YES, WE CAN.」的配图,答案就是 NeuMF。

直觉

左右两条腿走路。左腿是 GMF,做逐元素乘;右腿是 MLP,做拼接加多层网络。两条腿走到顶上汇合,再拼接一次,最后输出分数。

关键一点:两支不共享嵌入。每个用户、每个物品各有两套向量,一套给 GMF,一套给 MLP。

一步一步看

目标:自下而上走一遍 NeuMF,看 GMF 和 MLP 两支各怎样处理用户和物品向量,最后在哪里合并。

  1. 用户 u、物品 i 的 one-hot 输入,各分出两套向量:MF 用户向量、MF 物品向量,MLP 用户向量、MLP 物品向量。

  2. 左支 GMF 层:MF 用户向量与 MF 物品向量做逐元素乘积。

  3. 右支 MLP:MLP 用户向量与 MLP 物品向量拼接,经过 MLP Layer 1 到 Layer X,层间用 ReLU。

  4. 两支输出拼接,进 NeuMF 层,经 σ 输出 ŷᵤᵢ。

    NeuMF 结构:自下而上,用户 u 和物品 i 的 one-hot 输入,各分出两套向量,即 MF 用户向量、MF 物品向量、MLP 用户向量、MLP 物品向量,四个框描成青绿;左支 GMF 层做逐元素乘积;右支先拼接,再过 MLP Layer 1 到 X,层间 ReLU;两支输出拼接进 NeuMF 层,经 σ 输出 ŷᵤᵢ

怎么判断

NeuMF 里有三处「组合」,考试最爱考:

位置 组合方式
GMF 支 逐元素乘
MLP 支入口 拼接
两支汇合处 拼接

意思是:只有 GMF 支用乘法,其余两处都是拼接。再加一条:两支各学一套嵌入(different sets of embeddings)。

常见误解

以为 NeuMF 两支共用一套嵌入

课件明确是两套,每个用户、每个物品各有 GMF 用和 MLP 用的两个向量。

以为两支的输出在顶上相加

是拼接后进 NeuMF 层,再经 σ 输出。

试一下

NeuMF 里一个用户有几个嵌入向量?分别给谁用?

两个:一个给 GMF 支,一个给 MLP 支。

5. 推荐引擎的多级漏斗

它解决什么问题

前面讲的都是给一对 (用户, 物品) 打分。可真实平台的候选物品有千万级,给每个都跑一遍 NCF 太慢太贵。工业推荐引擎于是分成几级,一级比一级候选少、模型贵。

直觉

像招聘:先用关键词把几万份简历筛到几百份,再由 HR 粗看筛到几十份,最后才是面试官细看。越往后人越少,每个人花的时间越多。

一步一步看

目标:逐级看候选从千万级降到几十,看推荐引擎怎样用多级漏斗层层筛选。

  1. 召回(Retrieval):候选从千万级降到千级。

  2. 排序(Ranking):从千级降到百级。

  3. 后排序(Post-ranking):从百级降到几十。

    推荐引擎多级漏斗:三层越来越窄的横条,召回把候选从千万级降到千级,排序从千级降到百级,后排序从百级降到几十,最后一层描成青绿

课件下一页换了一种画法,分四级:匹配 Matching(千万级)→ 粗排 Pre-Ranking(万级)→ 精排 Ranking(百级)→ 重排 Reranking(十级)。

怎么判断

越靠前的阶段候选越多,只能用便宜的模型,比如用向量内积查最近邻;越靠后候选越少,才用得起 NCF 这类贵模型。

意思是:MF 的内积适合放在召回,复杂网络适合放在精排。这条对应关系是补充说明,课件没逐一指定。

常见误解

以为一个模型就能直接从千万个候选里排出前十

能,但太慢。分级的目的就是让贵模型只处理少量候选。

以为三级和四级是两种不同的系统

是同一个思路的两种画法。考试照题目指的那一页的阶段名答。

试一下

召回阶段为什么不用 NeuMF?

召回要处理千万级候选,NeuMF 每个候选都要过多层网络,算不过来。召回用便宜的内积检索,把候选缩小后再交给贵模型。

把它们串起来

矩阵分解可以画成神经网络:one-hot 输入,嵌入层查表得到用户向量和物品向量,输出层做内积。统一写成 ŷᵤᵢ = f(pᵤ, qᵢ),MF 的 f 是内积。

NCF 把 f 换成多层网络:先拼接两个向量,再逐层往上,最后过 sigmoid。网络表达力更强,但 MF 泛化更好,各有长短。

GMF 只做逐元素乘、把加权交给上层,比内积更一般。NeuMF 让 GMF 和 MLP 两支各用一套嵌入,汇合时拼接,再输出分数。

模型再好,也不能给千万个候选逐个打分。工业推荐引擎分召回、排序、后排序几级漏斗,前面用便宜模型粗筛,后面用贵模型细排。

课件里的坑

  • [读图提醒] NCF 的会议年份前后不一致:模型页标 WWW 2017,资源页标 WWW 2019。原论文是 WWW 2017(p.45、p.51)。
  • [读图提醒] MF-SVD 实现页把用户数、物品数、隐因子维数写成 M、N、K,前面矩阵分解页写的是 n、m、d,下标也从 i、j 换成 u、i,是同一组量换了字母(p.44)。
  • [课件用词] 推荐引擎两页阶段名不同:一页是召回、排序、后排序三级,另一页是匹配、粗排、精排、重排四级。照题目所指那页的名字答(p.49、p.50)。
  • [课件留白] p.47 整页是「YES, WE CAN.」配图,回答上一页「能否融合两个模型」的设问,没有知识内容。
  • [页码提醒] 课件右下角页脚数字比 PDF 页序小 1,本页的 p.N 都按 PDF 页序。

课后 10 分钟:考点复习

这 10 分钟怎么用:先画一遍 NeuMF 结构图,标出三处组合方式;再读必背 5 条;然后做 3 道课件例题;最后做完整例题和变式题,把查表、GMF、内积各算一遍。

必背

  1. one-hot 乘嵌入矩阵 = 取出矩阵的某一行,嵌入层的本质是查表;统一写法 ŷᵤᵢ = f(pᵤ, qᵢ)
  2. MF 的交互函数是固定内积,NCF 用多层网络学交互函数:z₁ = [pᵤ; qᵢ],输出过 σ
  3. MF 隐因子相互独立、泛化好;MLP 隐因子不独立、表示能力更强但泛化能力未知
  4. NeuMF 融合 GMF(逐元素乘)和 MLP(拼接),两支各学一套嵌入,输出拼接后进 NeuMF 层
  5. 推荐引擎是多级漏斗:召回 → 排序 → 后排序,候选从千万级逐级缩到几十

课件例题

例 1(课件 p.44):把 MF 画成神经网络,三层各做什么?

题面:输入层是稀疏的 one-hot,嵌入层用 P_(M×K)、Q_(N×K),输出层得 ŷᵤᵢ。

提示

想想 one-hot 乘矩阵会剩下什么。

解答

输入层:用户、物品各一个 one-hot 向量。嵌入层:one-hot 乘嵌入矩阵,等于取出对应那一行,得到 pᵤ、qᵢ。输出层:两向量内积得 ŷᵤᵢ,训练时和目标 yᵤᵢ 比较。统一写法 ŷᵤᵢ = f(pᵤ, qᵢ),MF 的 f 是内积。

例 2(课件 p.46、p.48):MF 和 MLP 各有什么长短?NeuMF 怎样融合?

题面:MF 用内积,MLP 用非线性网络。

提示

从隐因子是否独立、交互函数是否可学、泛化能力三方面比。

解答

MF:隐因子相互独立,交互函数固定为内积,经验上泛化好,是 Netflix 等任务里最好的单模型。MLP:隐因子不独立,交互函数可学、理论上表示能力更强,但泛化能力未知。NeuMF 让 GMF 支做逐元素乘、MLP 支做拼接加多层 ReLU,两支各用一套嵌入,输出拼接后经 sigmoid 得分。

例 3(课件 p.49–50):推荐引擎为什么要分级?各级候选规模多大?

题面:候选物品进入推荐引擎,经几级逐步缩小。

提示

越往后候选越少,模型越贵。

解答

召回:千万级到千级;排序:千级到百级;后排序:百级到几十。前面候选多,只能用便宜的模型;后面候选少,才用得起复杂模型。另一页画成四级:匹配、粗排、精排、重排。

完整例题

题面(自编情境):一共 4 个用户,嵌入维数 K = 2。用户嵌入矩阵四行依次是 (1, 0)、(0, 1)、(1, 2)、(2, 2)。物品 i 的嵌入是 (2, 0.5)。(a) 用户 3 的 one-hot 向量是什么?查出的嵌入是什么?(b) 求 MF 的预测分。(c) 求 GMF 的输出向量;若 GMF 上层权重 h = (0.5, 1),加权和是多少?

解法:

  1. one-hot:(0, 0, 1, 0)。
  2. 查表:取第 3 行,pᵤ = (1, 2)。
  3. MF:内积 1 × 2 + 2 × 0.5 = 2 + 1 = 3。
  4. GMF 输出:逐元素乘 (1 × 2, 2 × 0.5) = (2, 1)。
  5. 加权:0.5 × 2 + 1 × 1 = 1 + 1 = 2。

要点:h = (1, 1) 时 GMF 的加权和就等于内积 3;h 可以学,所以 GMF 比内积更一般。

答题格式:先写 one-hot 和查表结果,再分别写内积和逐元素乘的算式,最后写加权和。

变式题(先自己做)

自编情境:

(a) 物品嵌入矩阵三行依次是 (1, 1)、(3, 0)、(0, 2)。物品 2 的 one-hot 是什么?查出的嵌入是什么? (b) 用户嵌入 (2, 1) 和 (a) 的物品嵌入,求内积和 GMF 输出。 (c) 两个嵌入都是 4 维,NCF 第一层输入是几维?NeuMF 里每个用户有几个嵌入向量?

提示

(a) one-hot 的 1 在第几位就取第几行。(b) 内积要加起来,GMF 不加。(c) 拼接后长度相加;NeuMF 两支不共享嵌入。

判分点与答案(非官方评分标准)

判分点:① 查表取对应行;② 内积是数、GMF 是向量;③ NCF 第一层是拼接;④ NeuMF 两套嵌入。

(a) one-hot (0, 1, 0),嵌入 (3, 0)。

(b) 内积 2 × 3 + 1 × 0 = 6;GMF 输出 (6, 0)。

(c) 4 + 4 = 8 维;每个用户 2 个嵌入向量。

闪卡自测

1. MF-SVD 实现里嵌入层在做什么?

one-hot 向量乘嵌入矩阵,等于取出对应用户或物品那一行向量,再做内积得分(p.44)。

2. NCF 第一层怎么组合用户和物品向量?

拼接:z₁ = [pᵤ; qᵢ],之后多层网络,最后经 σ 输出(p.45)。

3. 「MF 的隐因子相互独立」是什么意思?

内积只把同一维上的两个数相乘再相加,不同维之间没有交叉项(p.46)。

4. MF 和 MLP 谁泛化更好?

MF 经验上泛化好;MLP 泛化能力未知(p.46)。

5. NeuMF 的两支各怎么组合向量?

GMF 逐元素乘,MLP 拼接后过多层 ReLU;两支各学一套嵌入,输出拼接后进 NeuMF 层(p.48)。

6. GMF 为什么比内积更一般?

GMF 保留逐元素相乘的结果,交给上一层加权;权重全为 1 时就退化成内积(p.48)。

7. 推荐引擎为什么要分级?

候选从千万级逐级缩小,前面候选多只能用便宜模型,后面候选少才用得起复杂模型(p.49、p.50)。

下一讲

本讲到这里结束。下一讲 L09a 进入 Advanced AI (I)。第 10 周期中考,考前把 L08c 的矩阵分解计算、L08d 的 BPR 损失和 L08e 的 NDCG 各做一遍。

下一讲 →
L09a L09a 从大模型到 Agent:会答题的模型,怎样变成会动手的系统

个人整理的学习笔记,不是官方材料;数字与结论以课件和讲师为准。