Information
titile: Novel Node classification framework Keting
authors: Keting Cen, Huawei Shen, Jinhua Gao, Qi Cao, Bingbing Xu, Xueqi Cheng
Abstract
图卷积网络是可以基于半监督的节点分类任务学习到整合图结构和节点特征的函数的高效算法。尽管图卷积超过了其他最先经第方法，但它需要学习的参数远比使用的样本要多。因为只有标注节点和他们2-hop 的邻居被用来学习GCN的参数。因此随着训练数据集尺寸的减少，节点分类的准确率也随之快速地下降。为了减少参数量和更好的利用无标注节点，作者提出了一种无监督方式的表示算法，使用自动编码器来预训练每个节点的表示。
Introduction
属性网络嵌入旨在为每一个节点学习一个低维表示，同时考虑在网络结构和节点属性上第信息流形。目前的属性网络嵌入主要可以分为两类范式。第一范式的方法为每一个节点分别学习一个表示，根据它们的网络结构和节点属性。第二范式的方法尝试直接为每一个节点获取一个表示，通过将节点属性转译到网络结构或是相反。但是，这两类范式的方法都有其缺点。第一类范式的方法忽略了两类信息之间的关联，第二类范式的方法假设节点属性和网络结构之间有强依赖。
在这篇论文中，作者提出了一种新的视角来解决属性网络嵌入。作者尝试通过建模每一个节点的属性局部子图来学习节点的表示。这一视角将学习节点表示的问题转换为建模折叠在网络结构和节点属性中的上下文信息的问题。在图编码器中，目标节点聚集从其局部子图中的节点扩散的属性以生成其自身的表示，而在图解码器中，每个节点将其表示扩散到其局部子图中的节点以帮助重建其属性信息。实际上，所有节点汇聚来自其邻居的信息等同于所有节点将属性传播给它们的邻居节点。简单来说，作者提出的模型分为编码器和解码器，而这两者都是两层的图卷积网络，为对称结构。
Loss function
$ L_c = || X-X’||_F $
$L = L_c + \lambda L_r $
Analysis of the model
该模型中作者使用了注意力机制来捕获节点的重要性。而没有使用注意力机制的该模型变体聚合了所有邻居节点的信息，不区分其重要性，这限制了模型的能力。另外，注意力机制提供了更弹性的方式来捕捉节点属性和网络结构中的相似性。
另外该模型的另一变体移除了编码器而使用结构重建，实验证明基于重建结构损失可能会过多强调局部相似性。