【论文笔记KDD2021】MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems

【论文笔记KDD2021】MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems

学习总结

文章目录

​​学习总结​​​​论文简介​​​​一、Introduction​​

​​1.1 聚合 Aggregation​​​​1.2 池化 Pooling​​​​1.3 负采样优化​​​​1.4 负采样问题​​

​​二、MixGCF算法​​

​​2.1 positive mixing​​​​2.2 Hop Mixing​​​​2.3 optimization with MixGCF​​​​2.4 关于MixGCF的相关讨论​​

​​三、实验环节​​

​​3.1 experimental settings​​​​3.2 Performance comparison​​

​​四、相关工作​​

​​4.1 基于GNN的推荐算法​​​​4.2 推荐系统中的负采样​​

​​Reference​​

论文简介

论文题目：MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems 论文链接：论文代码：论文作者：Tinglin Huang，唐杰老师等人

一、Introduction

GNN被广泛应用于embedding的生成场景，对user和item分别进行embedding化，使用双塔模型；类似像Graphsage、PinSage、LightGCN等算法也有被应用在工业界的推荐系统上，但是GNN的负采样技术还有待研究，过去大多数算法是从真实的数据中选取负样本，而忽略了embedding的信息，而MixGCF是经过数据增强、聚合的方法获取负样本及其表示。NGCF和LightGCN在使用MixGCF后，在NDCG指标上分别提高了26%和22%。

1.1 聚合 Aggregation

1.2 池化 Pooling

1.3 负采样优化

1.4 负采样问题

负采样一般使用uniform distribution，为了改进GNN的负采样：

PinSage根据PageRank的得分进行负采样；MCN考虑正负样本之间的结构相关性，重新设计了正负样本的分布；但是这些算法只是主要在discrete graph space中负采样，而忽略了GNN在embedding空间中独特的邻居聚合过程。

MixGCF受数据增强和metric learning的思想而提出，进行hard负样本的生成。

一般我们在数据集中，所有交互过的行为统一视为正样本，没有发生过交互的物品（往往很多）可以采样出一部分作为负样本，和正样本相似的负样本称为hard负样本。研究认为采样出难负样本会对模型帮助更大，因为模型能更好的学习到正负样本的边界。

二、MixGCF算法

2.1 positive mixing

positive mixing增强negatives通过以下两种方式：

把positive information加入到negative samples，这样有助于让模型专注于决策边界。mixing因子引入随机不确定性。

2.2 Hop Mixing

刚才的pool在GNN模型中常用的两种有：

2.3 optimization with MixGCF

2.4 关于MixGCF的相关讨论

通用插件：即插即用数据增强：可以看作增强，因为负样本是基于现有实例生成的多个负样本近似：度量学习中指出在每次更新的损失函数中使用多个负实例，可以加快底层模型的收敛速度，并提供更好的性能；MixGCF通过hop-mixing提供多个负样本的近似

三、实验环节

3.1 experimental settings

数据集：Alibaba, Yelp2018 和 Amazon评估指标：Recall 和 NDCGRecommender：LightGCN、NGCF、PinSage负采样的Baselines：RNS、DNS、IRGAN、AdvIR、MCNS超参数设置

3.2 Performance comparison

四、相关工作

4.1 基于GNN的推荐算法

PinSage、GC-MC、NGCF、LightGCN利用side info：社交网络、知识图谱 …

4.2 推荐系统中的负采样

Static Sampler 从一个固定的分布中进行负采样

均匀分布、流行度 指数 3/4

GAN-based Sampler 基于生成对抗网络进行负采样

IRGAN、KBGAN、AdvIR

Hard Negative Sampler 为当前的用户自适应地选择 hardest 负样本

DNS

Graph-based Sampler 根据图信息进行负采样

MCNS、KGPolicy、PinSage（基于Personalized PageRank）

Reference

[1] [2] [3] ​​​贝叶斯个性化排序算法BPR​​​ [4] ​​上百篇论文概览『负采样方法』的前世今生​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。