MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning
论文链接：
https://arxiv.org/pdf/2212.07035.pdf
方法介绍
2.1 预备知识
在本篇工作中，我们使用 GNN 作为 view encoder，并且使用一种新的方式来形式化 GNN，GNN 可以由传播和转换两种算子组成，其中传播算子 g 是将图滤波器 F 和节点特征 Z 进行运算得到；而转换算子 h 则是将节点特征 Z 和参数矩阵 W 进行运算并通过非线性转换得到。
以下公式则是利用 h 算子和 g 算子形式化了 GCN 和 SGC 两种常用的 GNN encoders:
2.2 非对称策略
该策略的动机可以由以上韦恩图所展示，红色的圈为与下游任务相关的信息，蓝色和绿色的圈则是对比学习生成的两个视图所包含的信息，当我们采用固定的对称的视图编码器时，如 a 所示，在 InfoNCE loss 的作用下两个视图的互信息，也就是区域 C+D 会被最大化，但是和任务相关的信息只有区域 D，C 也会变大是我们不想要的，而当我们采用非对称的视图架构时，如 b 所示区域 C 也就是和任务无关的噪声会被减少。 该策略的核心思想是两个视图编码器之间具有共享的模型参数，但是传播层数（g 算子数量）不同时，可以过滤高频噪声。当采用 SGC 作为视图编码器，并且假设节点特征为独热向量时，InfoNCE 损失函数可以重写为以下最优化问题的形式：
随后我们证明了定理 1（具体证明可见论文附录），通过定理 1，可以得到一个结论就是当采用非对称的视图编码器时，最优化问题的最优解 W 只由图滤波矩阵和其特征值决定，和 GCL 引入的数据增强无关。相反，如果采用对称的视图编码器结构，可以证明最优解不但和滤波矩阵有关，还和引入的数据增强有关，就会把数据增强中可能对图性质造成破坏的噪声引入到图表征中。
2.3 随机策略在该策略中，我们在每个训练轮次中随机决定视图编码器中传播算子的数量，在图数据中，每一个样本通过一个有 K 个传播层数的 GNN 可以看做某个节点和他的 K 姐邻居组成的节点树，通过随机策略在每次训练过程中随机 GNN 的传播层数可以看做在每个轮次中随机选择不同高度的节点树作为样本，能够变相的丰富训练样本。2.4 洗牌策略洗牌策略则是在训练过程中，随机打乱传播算子和转换算子的排列。当采用的视图编码器中不含有非线性激活函数时，进行洗牌后的两个视图编码器不变，我们证明了洗牌是比传统的图数据增强更安全的增强方式。2.5 MA-GCL基于三种模型增强策略，我们提出了一种新的图对比学习模型 MA-GCL，其伪代码如下：
实验3.1 数据集我们使用的数据集如表所示，在节点分类任务的六个数据集上进行试验：3.2 节点分类实验MA-GCL 在六个节点分类数据集上的五个都取得了 SOTA 的性能。3.3 消融实验由消融实验的结果可以看出，我们提出的三种模型增强策略都有效果，其中非对称策略提升效果最为明显。3.4 动机验证实验