FLAG

Robust Optimization as Data Augmentation for Large-scale Graphs

1. motivation: 最近的一些图数据增强的工作都是在图结构上做，但是对图特征的较少；而采用对抗数据增强（ adversarial data augmentation）利用输入特征空间中的微小扰动来最大程度地改变模型输出有增强模型的鲁棒性、缓解过拟合、有助于推广到OOD样本等优点，因此作者希望将其应用到图上

2. 主要增强方法: 本质上是对抗性训练一个扰动量(perturbation) \(\delta\) 加到图特征中实现数据增强

3. Projected Gradient Descent：通过下述PGD算法，实现对抗性训练，通过生成对抗性数据点然后将它们注入到训练数据中：(L为目标函数) $$ \min {\boldsymbol{\theta}} E}\left[\max {|\boldsymbol{\delta}| \leq \epsilon} L\left(f_{\boldsymbol{\theta}}(x+\boldsymbol{\delta}), y\right)\right] \ \delta_{t + 1} = \prod_{\parallel\delta\parallel_{\infty}\le \epsilon}(\delta_t + \alpha\cdot\text{sign}(\nabla_\delta L(f_{\theta}(x + \delta_t), y))) $$

   作者还对PGD算法的 \(\delta\) 生成过程进行优化，在生成 \(\delta_M\) 的 \(M\) 次迭代过程中，同时执行模型参数的更新（即连续训练 M 次，通过减少 M 个 epoch 补偿） - Multi-scale Augmentation：多尺度增强算法，之所以称为多尺度，是因为在上述优化后的PGD算法中，作者让节点特征 \(X\) 被注入额外的干扰项噪声 \(\delta_{1 : M}\) - 模型参数更新 $$ \boldsymbol{\theta}{i+1}=\boldsymbol{\theta}-\frac{\tau}{M} \sum_{t=1}^{M} \nabla_{\boldsymbol{\theta}} L\left(f_{\boldsymbol{\theta}}\left(x+\boldsymbol{\delta}_{\boldsymbol{t}}\right), y\right) $$

4. 方法评价: 通过使模型对输入数据的小波动具有不变性，帮助模型推广到OOD样本，提高了模型在测试时刻的性能