Skip to content

M3S

Multi-Stage Self-Supervised Learning for Graph Convolutional Networks on Graphs with Few Labeled Nodes

  1. motivation: 由于过度平滑问题，已有的图卷积网络很难做深，使得高阶邻居的信息无法利用，而很多现实中的图数据通常只有少量标签，这一缺陷使得仅有的少量的标签信息无法在图上得到有效传播，因此作者将标签传播分为多个阶段训练，每个阶段不断加入可靠的伪标签到训练样本中，使得弱监督信号可以得到有效传播

  2. 主要增强方法: 采用可信度高的伪标签技术，进行多阶段训练 M3S

    • 首先输入到一个 GCN 中得到embedding

    • 根据embedding的信息选出top t个置信度较高的节点，此时他们有预测标签

    • 伪标签的计算：作者设计了一种自我检查机制，在embedding空间中实施DeepCluster，并通过对齐机制建立和监督标签一样的伪标签，只有上面提到的预测标签和deepcluster聚类得到的伪标签一致的时候，才能得到最终的伪标签，将其扩充到训练样本中

    • deep cluster：\(\(\min _{C \in \mathcal{R}^{d \times k}}  \frac{1}{N} \sum_{n=1}^{N} \min _{y_{n} \in\{0,1\}^{k}}\left\|F\left(x_{n}\right)-C y_{n}\right\|_{2}^{2} \qquad \text { s.t. }  y_{n}^{T} 1_{k}=1\)\)

    • 重复以上步骤实现多阶段训练，使得标签信息可以有效传播

  3. 方法评价: 伪标签思想简单，且算法有效且高效