Skip to content

GRAND

Graph Random Neural Networks for Semi-Supervised Learning on Graphs

  • motivation: 为了解决 GNNs 的过平滑问题，由于节点高度依赖于邻居从而易受攻击的弱鲁棒性问题，以及过拟合，难泛化的问题，作者提出了GRAND（Graph Random Neural Networks），从数据增强和一致性正则化的角度来解决上述问题

  • 主要数据增强方法：随机将节点特征置零，以达到 Node Dropping 的效果

    • 对图的节点特征 \(\mathbf{X}\) 进行 \(S\) 次增强，主要方法为 DropNode：首先对于每个节点，在伯努利分布中采样，之后应用到对应的节点特征上，即将某些节点的特征置零得到 \(\tilde{\mathbf{X}}\) ，即实现了节点的特征去除，之后进行 \(K\) 阶的随机传播，达到结合邻居信息的效果 \(\overline{\mathbf{X}} = (\sum_{k= 0}^K \frac{1}{K+1}\hat{\mathbf{A}}^k) \tilde{X}\)

    • 对于增强后的 \(S\) 个节点特征 \(\overline{\mathbf{X}}\) ，输入到模型中进行训练，可以是MLP，也可以是GNNs，得到 \(S\) 的结果 \(\mathbf{Z}\)

    • 优化目标：

      • consistency regularization loss: 取一个类似于平均结结果标签作为unlabelled data的标签，优化让 \(S\) 个结果尽可能接近这个结果

        \[ \mathcal{L}_{\text {con }}=\frac{1}{S} \sum_{s=1}^{S} \sum_{i=0}^{n-1}\left\|\overline{\mathbf{Z}}_{i}^{\prime}-\widetilde{\mathbf{Z}}_{i}^{(s)}\right\|_{2}^{2} \]

      • supervised loss：对于labeled节点正常求完loss之后取S个的平均

        \[ \mathcal{L}_{\text {sup }}=-\frac{1}{S} \sum_{s=1}^{S} \sum_{i=0}^{m-1} \mathbf{Y}_{i}^{\top} \log \widetilde{\mathbf{Z}}_{i}^{(s)} \]

      • 总体损失：\(\mathcal{L} = \mathcal{L}_{\text {sup }} + \lambda \mathcal{L}_{\text {con }}\)

  • 优点：加入随机传播和一致性正则化误差后，提升了模型的泛化能力和鲁棒性，缓解了过平滑问题

  • 缺点：可扩展性较差，由于依赖于复杂的数据增强手段，对于大型图计算难度大