团购网站做不起来,网站建设按钮,网页制作一套教程,开通企业网站需要多少钱神经协同过滤
论文链接#xff1a;Neural Collaborative Filtering, WWW’17 原理#xff1a;融合 GMF 和 MLP
1. 摘要
虽然最近的一些研究使用深度学习作为推荐#xff0c;但他们主要是用深度学习来建模辅助信息#xff0c;例如 item 的文本描述。在表示协同过滤的关键…神经协同过滤
论文链接Neural Collaborative Filtering, WWW’17 原理融合 GMF 和 MLP
1. 摘要
虽然最近的一些研究使用深度学习作为推荐但他们主要是用深度学习来建模辅助信息例如 item 的文本描述。在表示协同过滤的关键因素——用户和项目特征之间的交互时仍然使用矩阵分解等用内积来建模。 通过用一种能从数据中学习任意函数的神经结构代替内积提出了一种通用的神经网络协同过滤框架 NCF。为了使非线性的 NCF 模型更加完善我们提出利用 MLP 来学习用户-项目交互函数。
关于Matrix Factorization 将用户和项映射到同一潜在空间用用户向量和项向量的内积来评估他们之间的交互。 但当潜在空间的维度 K 小的时候会存在一些限制而扩大 K 的话会有损模型的泛化能力。
2. 模型
2.1 GMFGeneralized Matrix Factorization
我们称之为GMFGeneralized Matrix Factorization广义矩阵分解 PTVUu 表示用户的潜在向量 pu QTVIi表示项目的潜在向量 qi定义第一层神经CF层的映射函数为 然后将向量映射到输出层
2.2 MLP (Multi-Layer Perceptron)
用MLP多层感知机来学习用户和项目潜在特征之间的相互作用。MLP模型定义为 采用塔层结构每一层比上一层的单元数减少一半。
2.3 Fusion of GMF and MLP
GMF应用了一个线性内核来模拟潜在的特征交互 MLP使用非线性内核从数据中学习交互函数 为了使得融合模型具有更大的灵活性允许GMF和MLP学习独立的嵌入并结合两种模型通过连接他们最后的隐层输出。图中展示了方案公式如下 该模型结合MF的线性度和DNNs的非线性度用以建模用户-项目之间的潜在结构。我们将这一模式称为“NeuMF”简称神经矩阵分解Neural Matrix Factorization。
2.4 Pre-training
由于NeuMF的目标函数的非凸性基于梯度的优化方法只能找到局部最优解。由于 NeuMF 是 GMF 和 MLP 的组合我们建议使用 GMF 和 MLP 的预训练模型来初始化NeuMF。 我们首先训练随机初始化的 GMF 和 MLP 直到模型收敛。然后我们用它们的模型参数初始化 NeuMF 相应部分的参数。唯一的调整是在输出层在那里我们将两者用权重连接起来 对于从头开始训练的 GMF 和 MLP 我们采用自适应矩估计AdamAdaptive Moment Estimation它通过对不频繁的参数进行频繁和更大幅度的更新来适应每个参数的学习速率。Adam方法在两种模型上的收敛速度都比普通SGD快并缓解了调整学习率的痛苦。在将预先训练的参数输入NeuMF之后我们用普通SGD而不是Adam进行优化。 这是因为Adam需要保存更新参数的动量信息momentum information。因为我们用预先训练的模型参数初始化NeuMF并且放弃保存动量信息不适合用基于动量的方法进一步优化NeuMF。
