1.   引言

随着电子商务的高速发展和深度普及，网络购物已经逐渐成为一种大众趋势，而跨境电商更是作为一个新的购物模式脱颖而出，目前，跨境电商购物模式在我国政策和社会需求的双向作用力下将逐渐成为诸多消费模式中的主流。因此，如何根据消费者在跨境电子商务网站的消费数据来进一步向其推荐潜在感兴趣的物品显得至关重要^[1]，这使得跨境电商产品推荐变为现今推荐系统研究领域的新兴议题之一。

针对传统的购物场景，已经有一些成熟的推荐算法在被广泛应用，其中最为经典的就是基于协同过滤推荐^[2,3]、基于矩阵分解推荐^[4,5]、基于内容推荐^[6]和混合推荐^[7]等算法。但由于跨境电商产品“用户-产品”交互矩阵极为稀疏，并且冷启动问题突出，因此上述传统的推荐算法在跨境电商产品数据上很难奏效。此外，基于协同过滤或者矩阵分解等改进的神经网络推荐模型^[8-11]，只考虑了用户对产品的“显式”和“隐式”的反馈信息，而忽视了由用户与项目交互形成的图结构信息和产品之间的隐语义主题关联，其推荐性能很难满足平台和用户的要求。尽管近两年来涌现了一些新颖的图神经网络(Graph Neural Networks, GNN)模型来解决传统图结构数据的推荐问题^[12-14]，但是现实中有许多图具有多种类型的节点和边，被称作异质图信息网络(简称为异质图)^[15]，由于异质图具有复杂的信息和丰富的语义，因此如何对异质图进行表征学习，以及对用户和项目交互准确建模值得进一步研究。

基于上述原因，本文从一个真实的跨境电商数据出发，对跨境电商订单数据的特征进行分析，以启发基于异质图表达学习的跨境电商推荐模型的研究。具体而言，本文首先对跨境电商产品进行主题挖掘；其次，构造“用户-产品-主题”3部图作为推荐模型的输入；再次，提出基于异质图表达学习的图神经网络推荐模型(Heterogeneous Graph Neural network Recommender system, HGNR)，本模型包括信息传播、信息聚合、用户和产品交互建模3个核心模块。最后，在真实的跨境电商订单数据集上进行了实验对比，并从多个评价指标上对实验结果进行分析。

2.   相关工作

本节主要回顾一些与本文相关的研究工作，这些工作主要围绕传统的协同过滤推荐算法，以及新颖的基于图神经网络的推荐算法展开。

2.1   协同过滤推荐算法

针对“用户-产品”交互矩阵进行个性化推荐的这一议题，早期相关研究主要集中于传统的协同过滤算法。这类算法可以根据用户与项目的历史交互来捕获用户的兴趣偏好。这类算法，也被各式各样的电商平台推荐系统所采用^[16,17]。代表性的算法有协同过滤^[2,3]和矩阵分解^[4,5]。考虑到深度的神经网络具有较强的表征能力，近几年大量的研究工作在协同过滤算法的基础上融合了深度学习理论，对基于深度学习的协同过滤推荐算法展开研究^[8-11]。例如，Xue等人^[8]提出利用多层神经网络来学习矩阵分解中用户和项目的潜在因素。He等人^[9]提出了一种神经网络结构来模拟用户和项目的潜在特征，并设计了基于神经网络的协同过滤(Neural Collaborative Filtering, NCF)通用框架。Guo等人^[11]提出了一种DeepFM (Deep Factorization Machine)算法，该算法有效地结合了因子分解机(Factorization Machine, FM)与深度神经网络(Deep Neural Network, DNN)在特征学习中的优点，能够同时提取到低阶组合特征与高阶组合特征，并且共享相同的输入和嵌入的向量，得到更好的训练效果。

尽管上述传统的协同过滤推荐工作取得了一定的成果，但是与本文的工作相比，这些工作仅使用描述性特征(如ID和属性)作为辅助信息构建用户和项目的嵌入向量，未考虑“用户-产品”交互图中的高阶信息，而本文提出的模型能够在异质图上进行高质量的信息传播和聚合。同时，这些工作也忽视了在嵌入学习和交互建模中关键协作信号，而这些协作信号揭示了隐藏在“用户-产品”交互中的用户之间行为相似性的重要性，值得注意的是本文的工作能够对这些协作信息进行有效建模。

2.2   基于图神经网络的推荐算法

随着图表示学习的兴起，近几年来越来越多的学者对基于图神经网络的推荐算法展开了研究^[12,18-22]。由于图神经网络通过编码边缘或节点属性特征，能够提供丰富的局部上下文信息，已有研究将其融入到推荐系统中，解决了传统推荐系统中面临的冷启动和数据稀疏的难题^{[14,19,23,24]}。例如，文献[23]提出了一种基于图神经网络的协同过滤推荐框架NGCF (Neural Graph Collaborative Filtering)，其通过在图结构上传播嵌入表达对拓扑结构进行学习，有效地对高阶连接信息进行建模，进而对“用户-产品”交互信息进行编码以提升推荐效果。由于NGCF采用的是线性变换对交互进行建模，这不足以捕获用户嵌入与物品嵌入之间潜在的复杂交互信息。有鉴于此，文献[12]研究了嵌入学习和“用户-物品”交互信息两者之间的内在联系，并提出了一种个性化的图神经网络排序模型(Neural Graph Personalized Rank, NGPR)，NGPR利用“用户-产品”交互图和非线性交互建模来对上述关系进行刻画。考虑到现实生活中存在大量的异质图结构网络，Hu等人^[13]针对用户在新闻网站的点击流构建了异质图，提出了融合用户长短期兴趣的异质图神经网络新闻推荐模型。此外，最新的一系列研究显示GNN除了在处理图结构数据方面具有显著优势之外，还可用于捕获更丰富的时序数据信息用于会话推荐的场景^[24,25]。例如，文献[25]提出的基于会话的图神经网络推荐(Session-based Recommendation with Graph Neural Networks, SR-GNN)是在基于会话的推荐场景中第1个利用门控图神经网络捕捉复杂的商品转移关系，但忽略了用户在商品转移关系中的作用，没有利用用户历史会话信息来提高推荐性能。

与上述已有工作不同的是，本文的研究背景为跨境电商产品推荐，“用户-产品”交互矩阵要比传统商品数据更加稀疏，冷启动问题尤其突出。为此，与传统GNN推荐模型不同的是，本文在传统的“用户-产品”交互图基础之上，以隐语义主题为桥梁，构建了“用户-产品-主题”3部图，并充分利用图中跨境产品的文本描述进行表征学习以获得精准的产品特征。在此基础上，提出一种基于异质图表达学习模型进行高质量的信息传播和聚合，并实现了用户和产品交互的建模。

3.   基于异质图表达学习的图神经网络推荐模型

本节将对基于异质图表达学习的图神经网络推荐模型HGNR展开介绍。首先介绍本文的问题定义，其次介绍异构图表达学习，再次介绍“用户-产品”的交互建模，最后介绍模型的预测函数和训练。

3.1   问题定义

从商品标识来看，用户访问的商品各不相同，但是从商品描述文本(标题)来看，这些产品均能反映出用户对共同的兴趣偏好。因此，充分利用主题信息有助于识别用户的兴趣偏好，同时能缓解“用户-产品”购买矩阵${Y}_{P}$的稀疏性问题。

定义1　产品主题泛化。对于任意一个产品i的标题经过隐语义主题模型(Latent Dirichlet Allocation, LDA)^[26]泛化后可以获得其主题概率分布，记为${\theta}_{{i}}{=}\left\{{\theta}_{{i,k}}\right\},{k=}{1}{,}{2}{,\cdots,{{K}}},\displaystyle\sum\nolimits_{{k=}{1}}^{{K}}{\theta}_{{i,k}}{=}\text{1}$，k为主题的序号，其中K为产品泛化后的主题数量；选择${\theta }_{i}$集合中最大的概率分布值对应的主题作为最终产品的主题，抽象为函数$\varphi \left(i\right)$

其中，${t}_{k}$表示为产品${i}_{m}$经泛化后的主题。最终获得所有主题集合$T=\{{t}_{1},{t}_{2},\cdots ,{t}_{K}\}$，其中${t}_{k}=\left\{i\right| \forall \varphi \left(i\right)\to {t}_{k}\}$。

定义2　“用户-产品-主题”3部图。令$G= (V,R)$为如图1(a)所示构造的“用户-产品-主题”3部图，其中$V$和$R$分别是图中节点和边集合。若“用户-产品”购买矩阵${{\boldsymbol{Y}}}_{P}$不为空以及“产品-主题”在主题集合$T$中存在映射关系，则对应的用户和产品，以及主题和产品之间的节点则会产生一条边。其中的节点可以分为3类，即用户集合$U= \{{u}_{1},{u}_{2},\cdots ,{u}_{N}\}$，产品集合$I= \{{i}_{1},{i}_{2},\cdots ,{i}_{M}\}$和主题集合$T=\{{t}_{1},{t}_{2},\cdots ,{t}_{K}\}$。

图 1  “用户-产品-主题”3部图

下载: 全尺寸图片 幻灯片

定义3　个性化推荐。给定用户集合为$U= \{{u}_{1}, {u}_{2},\cdots ,{u}_{N}\}$和产品集合为$I=\{{i}_{1},{i}_{2},\cdots ,{i}_{M}\}$。根据“用户-产品”购买矩阵${{\boldsymbol{Y}}}_{P}\in {{\boldsymbol{R}}}^{N\times M}$，可以获得每一个用户对应的购买产品的标签，同时通过矩阵${{\boldsymbol{Y}}}_{P}$中的元素可以获得用户累计购买产品的次数。给定待推荐用户$u$，个性化推荐的任务是去预测用户$u$最可能购买的产品$i$。

为了实现跨境电商的推荐任务，本文提出如图2所示的基于异构图表达学习的图神经网络推荐模型HGNR。HGNR模型包含4个子模块：异构图构建层、信息传播和聚合层、交互建模层、分值预测层。

图 2  HGNR模型框架图

下载: 全尺寸图片 幻灯片

3.2   基于图神经网络的3部图表达学习

本文采用GNN中的GCN信息传播架构沿着图结构来获取协同过滤信号，从而分别求得用户和产品的表征向量。实际上，有交互历史记录的产品往往能体现出用户的兴趣偏好，而对同一个产品有交互记录的用户群体可以视为产品的特征，能够反映产品之间的相似性。有鉴于此，针对“用户-产品-主题”3部图中存在高阶边关系的用户和项目，我们分别进行嵌入式的传播学习，具体包含信息传播和信息聚合。

3.2.1   信息传播

在通用的单层GNN网络中^[12]，对于传统的2部图中存在边连接的任意一组“用户-产品”(u,i)，产品$i$至用户$u$的信息可记为

其中，$f(\cdot)$是信息的编码函数，${{\boldsymbol{x}}}_{i}$和${{\boldsymbol{x}}}_{u}$分别代表产品i和用户$u$的表征向量。其中，将产品i的标题输入训练好的BERT (Bidirectional Encoder Representations from Transformers)模型^①，求得向量${{\boldsymbol{x}}}_{i}\in {\mathcal{R}}^{{\rm{d}}1}$，此处${\rm{d}}1=768；{{\boldsymbol{x}}}_{u}\in {\mathcal{R}}^{{\rm{d}}2}$由用户$u$的标识符(Identity Document, ID)经过One-Hot编码获得，此处${\rm{d}}2$为用户集合的数量，此处，${c}_{u,i}$是用于控制任意一条边(u,i)传播的衰减因子，采用正则化变量${1}/{\left|{N}_{u}\right|}$表示。此处$，f(\cdot)$可通过如式(3)的方式实现

其中$，{N}_{u}$代表与用户u存在边连接的产品数量，$\alpha =\left({{\boldsymbol{x}}}_{i}^{{\rm{T}}}{{\boldsymbol{W}}}_{3}{{\boldsymbol{x}}}_{u}\right)$用于度量用户u和产品i之间的信息依赖(类似于注意力机制)，${{\boldsymbol{W}}}_{1}$, ${{\boldsymbol{W}}}_{2}\in {\mathcal{R}}^{{\rm{d}}3\times {\rm{d}}1}$和${{\boldsymbol{W}}}_{3}\in {\mathcal{R}}^{{\rm{d}}1\times {\rm{d}}2}$是GNN网络中可训练的权重矩阵，在信息传播中用于提取有用信息。“$;$”表示向量拼接。最终，求解式(3)可以表示为

类似地，对于“用户-产品-主题”3部图中存在边连接的任意一组(u,i)，产品i至用户u的传播由2种途径构成：与用户u直接关联的产品i和与产品i同属一个隐语义主题的产品集合$\left\{z\right|z\in \varphi \left(i\right), z\ne i\}$，可记为

其中$，z$代表与产品$i$同属一个主题的所有产品，$\left|\phi \left(i\right)\right|$代表产品$i$所属主题包含的产品数量，${{\boldsymbol{W}}}'_{1}$, ${{\boldsymbol{W}}}'_{2} \in {\mathcal{R}}^{{\rm{d}}3\times {\rm{d}}1}$和${{\boldsymbol{W}}}'_{3} \in {\mathcal{R}}^{{\rm{d}}1\times {\rm{d}}2}$是GNN网络中可训练的权重矩阵。例如，在图1(b)中，在获得用户5表征向量的传播过程中，产品3为用户5购买过的产品，由于通过式(1)可知产品4和产品3属于同一主题${t}_{2}(\phi \left(3\right)\to {t}_{2})$，因此用户5可以在一次信息传递中得到购买过的产品3的同类主题产品4的信息。

为了使得每个批处理在该阶段的计算更加高效，在对与产品i同属一个隐语义主题${t}_{k}$的其他产品集合$\left\{z\right|{z}\in \varphi \left(i\right),z\ne i\}$进行传播的过程中，本文对产品集合$\left\{z\right\}$进行随机采样。令$L$为采样的和产品$i$同属一个主题的产品最大数量，若$\left|\left\{z\right\}\right|\le L$，则进行集合$\left\{z\right\}$内产品进行随机采样，复制直至$\left|\left\{z\right\}\right|=L$。

3.2.2   信息聚合

在信息传播的基础之上，本文进一步对从用户$u$的所有邻居节点(既包含传统2部图中的邻居节点，还包含通过3部图$G$获取的邻居节点)传播的信息进行聚合，从而获得用户$u$的表达向量。具体而言，信息聚合的函数可以定义为

其中，$\mathrm{\sigma }(\cdot)$是激励函数，此处选择$\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(\cdot\right)= {\rm{max}}(0,\cdot)$作为激励函数。

为了获得用户$u$最终的表达向量，将${{\boldsymbol{h}}}_{u}$经过如式(7)的方式转换

其中，${{\boldsymbol{h}}}_{u}\in {\mathcal{R}}^{{\rm{d}}4\times 2{\rm{d}}3}$和${{\boldsymbol{b}}}_{u}\in {\mathcal{R}}^{{\rm{d}}4\times 2{\rm{d}}3}$分别代表可训练的权重矩阵和偏置向量 ，${{\boldsymbol{r}}}_{u}$代表经过GNN中嵌入传播层学习所获得的用户$u$表达向量。此处，本文同样采用ReLU作为激励函数。

与用户$u$表达向量${{\boldsymbol{r}}}_{u}$计算方法类似，通过聚合与产品$i$有连接的用户，本文同样可以获得产品$i$的表达向量，记为${r}_{i}$。总而言之，基于图神经网络的3部图表达学习可以利用嵌入传播层显式地利用连接信息来关联用户和项表示，同时以隐语义主题为桥梁，利用聚合层聚合更多的用户和产品邻居节点以获取更加丰富的信息，从而获得高质量的用户和产品表达向量。

上述是一个单层GNN的信息传播和聚合的详细过程，产品的最终表征向量仅依赖它的直接近邻。为了捕捉用户与产品之间的高阶关系，将GNN从单层扩展到多层，将嵌入信息传播得更广更深。正如图1(b)所示，2阶的用户表征向量可以通过如下方式获取：首先，使用式(6)和式(7)来聚合邻居产品和主题的信息，获取1阶的产品表征向量和主题表征向量。然后，对1阶的产品和主题进行邻居用户的信息聚合，获得2阶的用户表征向量。同理，如图1(c)所示，也可以获得2阶的产品表征向量。

3.3   “用户-产品”交互建模

“用户-产品”交互建模层旨在对用户和产品之间的偏好程度进行建模。具体而言，在HGNR的推荐模型框架中基于用户$u$的表达向量${{\boldsymbol{r}}}_{u}$和产品$i$的表达向量${{\boldsymbol{r}}}_{i}$来预测用户$u$对产品$i$的交互分值，可以定义为

其中$，\mathrm{\sigma }(\cdot)$是激励函数，此处，同样选择ReLU作为激励函数“用户-产品”交互建模层的最终输出为用户$u$对产品$i$的交互分值，即${z}_{ui}^{}$。

3.4   预测函数和模型训练

给定用户$u$对产品$i$的交互分值${z}_{ui}^{}$，本文采用$\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\cdot\right)=\dfrac{1}{1+{{\rm{e}}}^{-\left(\cdot\right)}}$函数去获取模型的输出，即用户$u$购买产品$i$的概率

在模型训练阶段，就对用户进行产品推荐而言，积极标签是用户u真实购买的产品i集合(存在交互)，记为${Y}^{+}$。而消极标签是从产品集合$I$中去除积极标签进行log-uniform采样形成(不存在交互)，记为${Y}^{-}$。本文采用在推荐系统中被广泛使用的基于2元交叉熵作为HGNR的损失函数，即购买概率和真实情况的损失函数可通过式(10)的方法计算

其中$，{y}_{u,i}$是产品$i$被用户$u$真实购买的概率分布。具体而言，如果$(u,i)\in {Y}^{+}$，则${y}_{u,i}=1$，反之${y}_{u,i}=0$。

此处，本文借助Adam优化器^[26]来最小化损失函数$\mathcal{L}\left(\widehat{y}\right)$，从而将HGNR模型中的参数调为最优配置。与现有的训练方案相比，本方法能有效地挖掘出消极样本中的有用信息，进一步降低了模型训练的计算成本。

4.   实验结果和分析

4.1   实验设置

4.1.1   基准算法

本文将HGNR模型与4种传统推荐方法，即流行性预测(POPular, POP)，基于用户的协同过滤算法(User-based Collaborative Filtering, UCF)，基于项目的协同过滤算法(Item-based Collaborative Filtering, ICF)，奇异值分解算法(Singular Value Decomposition, SVD)和非负矩阵分解算法(Nonnegative Matrix Factorization, NMF)；融合神经网络的协同过滤算法(Collaborative Deep Learning, CDL)和矩阵分解算法DeepFM；以及基于图神经网络的推荐方法(NGCF和NGPR)进行对比。

POP^[27]：POP总是推荐训练集中最受欢迎的项目。尽管它很简单，但通常被用作多个推荐系统研究领域的基线。

UCF^[2]：UCF是基于用户的协同过滤算法，被工业界常用于推荐候选集的生成。

ICF^[3]：ICF是一个基于项目的协同过滤算法，其被广泛应用于电子商务网站的推荐。

SVD^[4]：SVD是奇异值分解算法，是一种经典的基于矩阵分解的推荐算法。

NMF^[5]：NMF是一种相对新颖的降维范式，它使分解后的所有分量均为非负值，并且同时实现非线性的维数约减。

CDL^[10]：CDL联合了对文本内容信息进行深度表征的学习和对评价(反馈)矩阵进行协同过滤。

DeepFM^[11]：DeepFM将因子分解机与深度神经网络相结合，也是一种广泛使用的基于神经网络的推荐方法。

NGCF^[23]：NGCF是一个最先进的基于图的CF模型，它利用图形神经网络将“用户-产品”交互结合到嵌入学习中。

NGPR^[12]：NGPR也是基于图的CF模型，除了利用图形神经网络将“用户-产品”交互结合到嵌入学习中之外，还考虑到用户和项目潜在的关联性，同时采用了多层感知机 (MultiLayer Perceptron, MLP)来进行用户和项目非线性的交互建模。

其中，ICF和UCF近邻数量分别设置为40和1000，SVD和NMF的潜因子数量设置为50。在HGNR的设置中，本文在“用户-产品”购买矩阵上分别按照80%和20%的比例划分训练集和测试集。主题泛化借助的是Python自然语言处理库Gensim^②，将所有产品的标题输入到LDA模型中，模型的输出包含了“词-主题”概率分布矩阵和“产品-主题”概率分布矩阵以及每个主题下的高频词。此外，本文设置隐语义主题集合进行随机采样的最大数量$L$为5。尽管GNN具有强大的表征学习的能力，但是仍然存在过拟合的问题。正如3.2.1节所示，对隐语义主题集合$\phi \left(i\right)$进行随机采样(等同于对“产品-主题”子图中的产品节点进行随机采样)，其功能类似于文献[28]中对“产品-主题”边丢弃。为此，在HGNR的训练阶段，仅需要对“用户-产品”子图的边进行丢弃：以丢弃比例p随机抛弃部分边以阻止信息的传播，从而避免HGNR欠拟合或过拟合。

4.1.2   评价指标

为了评价HGNR和基准算法的性能，本文采用了HitRate@k, Item-coverage@k和MRR@k作为推荐模型生成的Top-k推荐列表的评价指标。

HitRate@k评价的是推荐的准确率，其定义为测试集中所有用户的Top-k推荐列表中真实存在购买(Ground-Truth)的比例

其中$，\mathcal{T}$是测试集$，{g}_{u}$是用户$u$实际购买的旅游包。${R}_{u,{g}_{u}}$是用户$u$真实购买的产品在Top-k推荐列表中的排序，如果${g}_{u}$出现在Top-k推荐列表中，则指示符函数将被设置为1，否则为0。

Item-coverage@k是测试集中所有样本的Top-k推荐列表中准确推荐的项目所占比例。其定义为

其中，${\rm{Dis}}$( )是集合中不同项目数量的统计函数。例如，${\rm{Dis}}({\{i}_{1},{i}_{2},{i}_{2}\})=2$。

MRR@k是准确推荐项目的排序倒数平均值，该指标衡量的是模型推荐项目的排序性能。直观地说，在实践中推荐准确的项目排序得越高越好。MRR@k的定义为

其中，如果${R}_{u,{g}_{u}}\ge k$，则排序的倒数值将设置为0。

4.2   总体性能评价

本文对比了HGNR模型和其他基准模型的整体性能以证明HGNR模型的有效性，实验结果如表1所示。总体来说，从所有评价指标上来看HGNR模型均优于其他基准算法，获得了最佳性能。具体而言，我们观察到以下现象。

表 1  总体性能比较(%)

模型	HR@3	Item-c@3	MRR@3	HR@5	Item-c@5	MRR@5	HR@10	Item-c@10	MRR@10
POP	2.90	1.85	62.33	8.97	3.09	34.23	30.77	6.17	21.19
ICF	22.92	91.98	78.67	27.52	93.83	69.38	33.33	94.44	59.59
UCF	24.97	79.01	77.17	29.08	85.19	69.52	33.49	93.21	62.11
SVD	7.88	65.73	61.14	12.34	78.86	50.07	18.26	86.15	45.53
NMF	9.37	68.71	63.55	14.51	79.18	53.11	20.06	85.75	51.36
CDL	29.03	88.21	76.54	35.23	90.48	70.97	38.55	93.32	63.42
DeepFM	30.67	89.45	79.98	34.78	90.67	71.05	40.76	93.47	62.71
NGCF	42.65	90.28	80.14	46.87	91.87	72.05	50.87	94.21	65.37
NGPR	46.79	91.23	80.67	50.31	92.85	74.67	54.61	95.91	66.07
HGNR	48.12	92.21	82.24	51.65	94.56	74.29	56.43	96.78	66.43
注: HR和Item-c分别代表HitRate和Item-coverage

下载: 导出CSV 

| 显示表格

首先，可以清楚地观察到基于神经网络的协同过滤方法(即CDL和DeepFM)优于传统推荐方法(如POP, ICF, UCF, SVD和NMF)，这可能是因为跨境电商商品数据集中的“用户-产品”购买矩阵极度稀疏，传统方法不能直接应用于跨境电商商品推荐，融合了神经网络的协同过滤及矩阵分解方法模型可以比传统方法更好地学习用户和产品的表征。此外POP算法在Top-3和Top-5的推荐列表上表现最差。此外，尽管POP算法在Top-10的推荐列表上表现尚可，但是其推荐的都是流行度较高的产品，具有长尾现象。这说明我们需要对用户的个性化偏好进行建模，而不是仅限于向用户推荐流行的产品。

其次，在深度学习的算法中，基于图神经网络的推荐方法(NGCF,NGPR,HGNR)都超过了非图神经的推荐方法(即CDL和DeepFM)。其中性能最差的基于图神经网络的推荐方法(NGCF)都优于CDL和DeepFM。由此结果可以看出，由于图神经网络通过编码边缘或节点属性特征，能够提供丰富的局部上下文信息，并捕获用户嵌入与物品嵌入之间潜在的复杂交互信息，因此在推荐性能上能够得到明显提升。

最后，在基于图神经网络的推荐方法中，HGNR明显优于其他两个方法(即NGCF和NGPR)。这些数据表明，HGNR具有2个显著的优势：(1)在传统的“用户-产品”交互图基础之上，HGNR通过以隐语义主题为桥梁，构建了“用户-产品-主题”3部图，且充分利用图中跨境产品的文本描述进行表征学习获得了精准的产品特征；(2)HGNR通过提出的基于异质图表达学习模型进行高质量的信息传播和聚合，实现了用户和产品交互的建模以获得准确的用户和产品表征向量，既缓解了冷启动推荐问题，又兼顾了推荐的准确率。但是，我们也观察到了HGNR模型相比既有的NGPR模型的性能提升不是特别明显，甚至在MRR@5评价指标上略高于HGNR，究其原因可能是HGNR模型与NGPR均是采用的较为流行的图卷积神经网络(GCN)在网络拓扑图上进行信息的传播和聚合，都属于图神经网络的范式。同时，NGPR采用多层感知机(Multi Layer Perceptron, MLP)来进行用户和项目非线性的交互建模也可能是其优势。

4.3   参数分析

本节将分析HGNR中关键的参数对推荐性能的影响，包括超参丢弃比例和GNN的网络层数。

4.3.1   丢弃对性能的影响

为了防止HGNR模型在训练过程中欠拟合或过拟合，受文献[29,30]启发，本文通过对“用户-产品-主题”3部图中“用户-产品”子图的边进行丢弃：以丢弃比例p随机抛弃部分边以阻止信息的传播。图3展示了将HGNR的丢弃比例p分别设置为0.05, 0.10, 0.15, 0.20, 0.25, 0.30, 0.35, 0.40的实验结果(其他参数保持不变)。从图3(a)、图3(b)和图3(c)可以分析出如下现象：(1)随着p的增加，HGNR在3个评价指标HitRate, Item-coverage和MRR上的值均逐步提升，然后再逐步下降，因此将丢弃比例设置过小或过大的都容易导致欠拟合或过拟合；(2)当p=0.30时，在绝大多数的情况下，HGNR在3个评价指标HitRate, Item-coverage和MRR上取得了最佳值，因此设置适当的丢弃比例，能一定程度上缓解HGNR的欠拟合和过拟合。综上所述，本文将丢弃比例p的默认参数设置为0.30。

图 3  Dropout对HGNR的影响

下载: 全尺寸图片 幻灯片

4.3.2   GNN网络层数对性能的影响

为了衡量HGNR中GNN的层数对性能的影响，本文将GNN层数分别设置为1, 2, 3进行实验(其他参数保持不变)，实验结果如表2所示。可以看出，当HGNR采用2层GNN时，其在3个评价指标HitRate@10, Item-coverage@10和MRR@10上均取得了最佳性能。这是因为单层的GNN无法捕获用户和产品之间的高阶关系，然而，3层的GNN可能给模型带来大量的噪声，当在推断节点间的相似性时，关系链太长的较高层几乎没有意义。以上实验现象也与文献[13]保持一致。综上所述，综合考虑HGNR训练阶段的时间成本，将应HGNR-2 Layer(2层)作为模型的默认参数。

表 2  GNN网络层数对推荐性能的影响(%)

模型	HitRate@10	Item-c@10	MRR@10
HGNR-1 GNN Layer	51.27	93.84	62.18
HGNR-2 GNN Layer	56.43	96.78	66.43
HGNR-3 GNN Layer	53.91	94.63	63.73

下载: 导出CSV 

| 显示表格

4.4   冷启动用户推荐效果

由于新用户往往没有收集到足够的信息，因此这些新用户很难产生推荐结果，这也使得冷启动是推荐系统中最常见的问题^[24]。本文的数据集中，高达30905(98.44%)的用户只购买了5种及以下的跨境电商产品。为此，本文从测试数据集中提取这些冷启动用户，并重点检查HGNR模型在这些引起冷启动问题的新用户上的推荐性能。

此处只选择性能相对较好的基于图神经网络的算法(即NGCF, NGPR和HGNR)进行冷启动用户的推荐性能分析实验。具体而言，使用训练过的NGCF, NGPR, HGNR模型来了解新用户的偏好，并向其推荐最感兴趣的项目。值得注意的是，本文没有改变任何训练流程，只是选择了冷启动用户进行测试，因此模型所有的测试都不需要再次训练。图4展示了实验结果，可以得出以下结论：(1)随着用户购买不同产品数量的增加，NGCF, NGPR和HGNR在3个评价指标HitRate@10,Item-coverage @10和MRR@10上的性能均逐步上升；(2)针对冷启动用户的推荐性能方面，HGNR在绝大多数的情况下都优于其他两种基准算法。这也说明了HGNR模型中异质图表达学习的有效性。

图 4  针对冷启动用户的推荐性能

下载: 全尺寸图片 幻灯片

5.   结束语

本文研究了基于异质图表达学习的跨境电商推荐问题。首先，对跨境电商产品进行隐语义主题挖掘；其次，在传统的“用户-产品”交互矩阵基础之上，以隐语义主题为桥梁，构造了“用户-产品-主题”3部图作为推荐模型的输入；最后，提出了基于异质图表达学习的图神经网络模型HGNR用于个性化的跨境电商产品推荐。该模型具有两个显著的优势：(1)将“用户-产品-主题”3部图作为输入，通过GCN在异质图上进行高质量信息传播和聚合；(2)能够获取高质量的用户和产品表征向量，实现了用户和产品复杂交互关系的建模。为了验证HGNR的优势，本文在真实跨境电商数据集上进行了实验，3个评价指标上的实验结果表明，基于异质图神经网络的模型HGNR不但在性能上比传统推荐算法更有优势，而且能有效提升冷启动用户的推荐准确率。

目前HGNR在信息传播中尚未考虑“用户累计购买产品的次数”(即边权重)和用户统计信息，在将来的工作中，我们拟进一步探究采用图注意力网络(Graph ATtention network, GAT)并融入上述信息用于学习用户和产品的表征。此外，一种高效的用户和产品的非线性的交互建模方案仍然值得进一步研究。