GraphSW

GraphSw: a train protocol based on stage-wise training for GNN-based Recommender Model

摘要

现有的kg感知推荐模型利用知识图谱中相邻实体的信息和结构信息来更新当前所在实体的embedding。尽管图中富含大量有效信息，但是捕获整个图的信息都空间和时间复杂度是无法接受的，为了降低计算成本，目前已有的推荐模型都通常采用固定大小的随机近邻集，而不是KG中完整的邻居信息。但是这种方法存在两个问题：

• 首先，修正固定大小的随机近邻集无法充分利用知识图谱中的信息，限制了生成的图的视图。
• 随着图特征阶数的增加，模型参数维数的增长会导致训练过程中难以收敛。

为了解决这个问题，我们提出了GraphSW。这是一种基于阶段训练的框架，每个阶段只访问KG的实体子集。每一个阶段将利用上一阶段学习到的embedding信息来更新网络结构，故模型可以逐步地从KG中学习信息。

介绍

为了解决…….. 第一段略了

图卷积网络在聚合邻居信息时会存在邻域爆炸的问题。

然图卷积网络在聚合邻域节点时存在邻域爆炸问题。在基于GNN的推荐模型中，每个节点在当前层的表示是由其邻居的前一层表示聚合而成的。随着跳数的增加，多跳邻居会消耗大量的计算资源。为了解决这一问题，目前基于GNN的推荐，如PinSage、RippleNet和KGCN，将采用“固定大小”策略，即在每一层模型中，不使用完整的邻居集，而只对前一层的固定大小的邻居集进行抽样，以减少计算资源。为了使用更多的邻域信息，在每次小批迭代中，PinSage将对每一层的另一个固定大小的邻域集合重新采样。然而，在原论文中，它没有讨论重采样策略的性能增益，而只讨论了在不同的邻域大小时性能和运行时间的权衡。这种策略可以应用于不同的模型和数据集吗?此外，数据集的统计数据没有被包括在内，我们不知道模型达到最佳性能时使用的实体-关系-实体三元组信息的确切数量。

除了这个问题外，基于GNN的推荐模型，如与PinSage类似的KGCN，随着图特征数目的增加会面临难以收敛的问题。由于KGCN的架构设计是自动补货KG中的告诫结构和语义信息，所以当图特征的阶数增加时，KGCN的大量噪声实体和参数维数的增长会导致训练过程难以收敛。为了提高深度神经网络的收敛速度，并在训练过程开始时就排除噪声特征，我们提出了分段训练策略。讲阶段训练的学习过程分解成若干相关的子任务，逐步将训练数据呈现给网路。此外，将前一阶段的学习特征提取病转移到下一阶段，逐步吸收任务之间的共享知识。

总之，包含4个贡献。

• 使用GraphSW，我们对6个由不同KG组成的真实数据集上使用更多KG信息时的性能增益进行了全面研究。
• 我们发现GraphSW提高了KGCN和RippleNet的性能。当KGCN取样量较小的时候，性能比较好。
• 由于GraphSW可以帮助KGCN收集有用信息并消除噪声，因此在高阶图特征中可以解决难以收敛的问题。
• 开源代码

模型介绍

用户和项的集合表示为 U = {u_1, u_2, \cdots} \ \ \ \ V = {v_1, v_2, \cdots} , 交互矩阵Y = \{y_{uv} | u \in U, v \in V\}. 知识图谱G 表示为 G \{(h, r, t) | h, r \in E, r \in R\}. N(v)表示为项目v的数个邻域节点. 项目v的领域节点集合记录为S(v) = {e | N(v)} \ \ \ \ and \ \ \ \ S(v) = K. \ \ K,是邻居的抽样大小。

训练阶段

训练阶段s的训练集为T_s = (u, v, G_s, Y), G_s = \sum_{n=v}^VS(n). 我们将KG-aware推荐学习算法定义为W_s = A(T_s, W_s^{init}) . W_s^{init}是参数的初始值, 第一层的W是随机初始化的.各个阶段的连接定义如下:$$
W_{s+1}^{init} := W_s, \forall s\in \{1, …., S-1\}
$$

W_s学习整个模型的参数, W_{s+1}^{init}传递参数. 在每个阶段, 我们将保存W_s, 并将部分参数W_{s+1}^{init}从前一阶段转移到下一阶段。

整个训练过程如图1所示。基于GNN的推荐系统的参数大致可以分为两部分:知识图的表示和聚合器参数。考虑到参数维数高导致的训练效果有限，对模型参数进行了不同阶段的训练。由于原模型是为了提高计算效率而设计的，所以在KG中只有固定大小的邻域集G_s进行了聚合器采样，并且模型在每个训练阶段只能收集KG中的部分信息。

因此，我们首先对知识图表示进行微调，收集更多的KG表示的实体信息，以更全面地探索图。在接下来的训练阶段，我们提取所有的模型参数，并将前一阶段学到的知识图表示W_{s+1}^{init}转移到下一阶段。

此外，模型将在KG中随机抽样另一组领域, G_{s+1}, 在下一阶段收集更多的实体新信息到KG表示. 在对知识图表示进行良好的训练后, 利用它对剩余的聚合器部分进行微调，由于我们可以得到图的所有表示，这将会被表现得更好。