纵观2019年包括深度学习、计算机视觉、文本处理以及数据挖掘在内的顶级会议，图学习相关的论文较于之前都有十分明显的增长。而就 2020的情况来看，这个趋势还在不断扩大。总之，Graph Neural Network 在2019- 2020年之间，力压 Deep Learning、GAN等，成为各大顶会的增长热词，且GNN在各个领域越来越受到欢迎，包括社交网络、知识图谱、推荐系统，甚至生命科学。大家在假期期间不妨收藏起来慢慢读。1、Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks作者：Wei-Lin Chiang; Xuanqing Liu; Si Si; Yang Li; Samy Bengio; Cho-Jui Hsieh;推荐理由：这篇论文提出了一种新的基于图聚类结构且适合于基于SGD训练的GCN算法——Cluster-GCN，高效解决工业界训练大规模深层图卷积神经网络问题，性能大幅提升基础上依靠可训练更深层网络优势达到SOTA效果，并开源了源代码。地址：https://arxiv.org/pdf/1905.07953.pdf2、Conditional Random Field Enhanced Graph Convolutional Neural Networks作者：Hongchang Gao; Jian Pei; Heng Huang;推荐理由：为解决图神经网络的隐藏层的问题，作者们提出了一种新的CRF层用于图卷积神经网络，以使得相似节点具有相似的隐藏特征。这样，可以显式地保存相似性信息。此外，作者提出的CRF层易于计算和优化。因此，它可以很容易地插入到现有的图卷积神经网络中，提高其性能。同时，他们用大量的实验结果验证了CRF层的有效性。https://www.kdd.org/kdd2019/accepted-papers/view/conditional-random-field-enhanced-graph-convolutional-neural-networks
3、DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification作者：Jun Wu; Jingrui He; Jiejun Xu;推荐理由：为了解决图神经网络的一些局限性问题，作者们提出了一种基于Weisfeiler- Lehman图同构测试的通用degree-specific图神经网络DEMO-Net。在多个节点和图分类基准数据集上的实验结果表明，他们提出的DEMO-Net相对于最先进的图神经网络模型的有效性和高效性。https://arxiv.org/abs/1906.02319?context=cs4、GCN-MF: Disease-Gene Association Identification By Graph Convolutional Networks and Matrix Factorization作者：Peng Han; Peng Yang; Peilin Zhao; Shuo Shang; Yong Liu; Jiayu Zhou; Xin Gao; Panos Kalnis;推荐理由：发现疾病基因关联是一项基础性和关键性的生物医学任务，它有助于生物学家和医生发现症候的致病机制。基于网络的半监督学习(NSSL)是这些研究中常用的一种方法，它利用各种临床生物标志物来测量基因和疾病表型之间的相似性，来解决这个类平衡的大规模数据问题。然而，大多数现有的NSSL方法都是基于线性模型的，存在两个主要限制:1)它们隐式地考虑每个候选对象的局部结构表示; 2)他们无法捕捉疾病和基因之间的非线性联系。这篇文章将图卷积网络(GCN)和矩阵因子分解相结合，提出了一种新的疾病基因关联任务框架GCN-MF。在GCN的帮助下，作者可以捕获非线性相互作用，并利用测量到的相似性。此外，他们定义了一个边际控制损失函数，以减少稀疏性的影响。实验结果表明，所提出的深度学习算法在大多数指标上都优于其他最先进的方法。https://www.kdd.org/kdd2019/accepted-papers/view/cluster-gcn-an-efficient-algorithm-for-training-deep-and-large-graph-convol
5、Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks作者：Namyong Park; Andrey Kan; Xin Luna Dong; Tong Zhao; Christos Faloutsos;推荐理由：在这篇文章中，作者们提出了GENI，一种解决知识图谱（KG）中节点重要性估计问题的方法，作者通过predicate-aware注意力机制和灵活的中心性调整来执行重要性分数的聚合，而不是聚合节点嵌入。在他们对GENI和现有方法的评估中，GENI在预测具有不同特征的真实KG中节点重要性方面比现有方法高出5-17%。地址：https://arxiv.org/abs/1905.088656、Graph Recurrent Networks with Attributed Random Walks作者：Xiao Huang; Qingquan Song; Yuening Li; Xia Hu;推荐理由：作者研究了在attributed网络上进行联合随机游动，并利用它们来提高深度节点表示学习。他们提出的框架GraphRNA由两个主要组件组成：一种协作游走机制—AttriWalk，以及一种为随机游走量身定制的深度嵌入体系结构，称为图递归网络(graph recurrent networks ，GRN)。AttriWalk使我们能够将突出的深度网络嵌入模型-图卷积网络推向一个更有效的架构——GRN。GRN赋予节点表示以与原始attributed网络中的节点交互相同的方式进行交互。在真实数据集上的实验结果表明，与目前最先进的嵌入算法相比，GraphRNA算法很有效。https://www.kdd.org/kdd2019/accepted-papers/view/graph-recurrent-networks-with-attributed-random-walks
7、Representation Learning for Attributed Multiplex Heterogeneous Network作者：Yukuo Cen, Xu Zou, Jianwei Zhang, Hongxia Yang, Jingren Zhou, Jie Tang推荐理由：这篇论文来自阿里团队。作者们主要处理包含异构节点和异构边的图的表示学习问题。阿里电商的数据由用户和商品构成的图就是异构的，不仅包含异构的节点（用户和商品），而且包含异构的边（用户和商品的多种交互行为，比如点击、购买等）。不仅如此，图中的节点还包含着丰富的属性。1、GNN Explainer: Generating Explanations for Graph Neural Networks 作者：Zhitao Ying, Dylan Bourgeois, Jiaxuan You, Marinka Zitnik, Jure Leskovec 推荐理由：本文由斯坦福Jure组收录在NeurIPS2019上。神经网络包括图神经网络在很多领域都得到了应用也取得了很好的效果，但是如何对神经网络的预测结果进行解释是一个问题。很多工作尝试利用注意力机制来对模型预测结果进行解释。该论文提出的GNN Explainer可以从网络结构和节点属性的角度来对任意图神经网络和任意图挖掘任务生成解释，可以为 GNN 的判断结果提供重要依据。地址：https://arxiv.org/abs/1903.038942、Graph Transformer Networks 作者：Seongjun Yun, Minbyul Jeong, Raehyun Kim, Jaewoo Kang, Hyunwoo Kim 推荐理由：该论文来自NIPS 2019。大多数现有的GNNs都被设计为在固定和同质的图上学习节点表示。当在不确定的图或由各种类型的节点和边组成的异质图上学习表示时，这些限制尤其成问题。一般的GNN手动定义元路径，但GTNs可以学习有效的元路径。因此GTNs的出现提出了：1、一种新的图变换网络，识别有用的元路径和多跳连接来学习图上的有效节点表示。2、图的生成是可解释的，提供有效路径连接的解释。3、证明了图变换网络学习的节点表示的有效性，从而获得了最佳的性能，而现有的方法在异质图的所有三种基准节点分类中都使用了领域知识。http://data.holdenhu.site/papers/graph/graph-transformer-networks.pdf3、Can Graph Neural Networks Help Logic Reasoning?作者：Yuyu Zhang, Xinshi Chen, Yuan Yang, Arun Ramamurthy, Bo Li, Yuan Qi, Le Song推荐理由：这篇论文来自NeurIPS 2019。该论文研究了GNN和马尔科夫逻辑网络在逻辑推理、概率推理方面的表现孰强孰弱。作者们的分析表明，原始的GNN嵌入就有能力编码知识图中的隐含信息，但是无法建模谓词之间的依赖关系，也就是无法处理马尔科夫逻辑网络的后向参数化。为了解决这个问题，作者们设计了ExpressGNN架构，其中有额外的几层可调节的嵌入，作用是对知识图中的实体做层次化的编码。https://kr2ml.github.io/2019/papers/KR2ML_2019_paper_22.pdf1、DeepGCNs: Can GCNs Go as Deep as CNNs?作者：Guohao Li, Matthias Müller, Ali Thabet, Bernard Ghanem推荐理由：该论文来自ICCV 2019 Oral。这篇文章主要阐述了怎么去构建一个网络使得GCN能够堆叠更深的层且不会发生梯度消失的问题，引入了三个方法：1.Resnet 2.Densenet 3.Dilated convolutions 。最后，使用构建了一个非常深的56层的GCN，并展示它如何在点云语义分割任务中显著地提升了性能（相当于最先进的3.7％mIoU|均交并比）。地址：https://arxiv.org/abs/1904.037512. Exploiting Spatial-temporal Relationships for 3D Pose Estimation via Graph Convolutional Networks作者：Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, Nadia Magnenat Thalmann;推荐理由：这篇论文提出了一种新的基于图的方法来解决短序列二维关节检测的三维人体和三维手部姿态估计问题。特别是将人手(身体)构型的领域知识显式地融入到图卷积运算中，以满足三维姿态估计的特定需求。此外，作者还介绍了一个从局部到全局的网络架构，该架构能够学习基于图表示的多尺度特性。他们评估了所提出的方法在具有挑战性的基准数据集的三维手部姿态估计和三维身体位姿估计。实验结果表明，该方法在两种任务上都达到了最先进的性能。https://cse.buffalo.edu/~jsyuan/papers/2019/Exploiting_Spatial-temporal_Relationships_for_3D_Pose_Estimation_via_Graph_Convolutional_Networks.pdf
3、Graph Convolutional Networks for Temporal Action Localization作者：Runhao Zeng, Wenbing Huang, Mingkui Tan, Yu Rong, Peilin Zhao, Junzhou Huang, Chuang Gan;推荐理由：这篇论文中，作者提出利用图卷积网络(GCNs)来挖掘proposal - proposal关系。首先，构造一个action proposal图，其中每个proposal表示为一个节点，两个proposal之间的关系表示为一条边。这里使用两种类型的关系，一种用于捕获每个proposal的上下文信息，另一种用于描述不同action之间的关联。作者在图上应用GCN，以对不同proposal之间的关系进行建模，学习了动作分类和定位的强大表示。实验结果表明，这个方法在THUMOS14上显著优于最先进的方法(49.1% versus42.8%)。此外，ActivityNet上的增强实验也验证了action proposal关系建模的有效性。地址：https://arxiv.org/abs/1909.03252
代码：https://github.com/alvinzeng/pgcn
4、Learning Semantic-Specific Graph Representation for Multi-Label Image Recognition作者：Tianshui Chen, Muxin Xu, Xiaolu Hui, Hefeng Wu, Liang Lin;推荐理由：这篇论文提出了一个语义特定的图表示学习（SSGRL）框架，该框架由两个关键模块组成：1）一个语义解耦模块，该模块集成了范畴语义以指导学习语义特定的表示；2）一个语义交互模块。它将这些表示与建立在统计标签共现上的图相关联，并通过图传播机制探索它们的交互作用。在公共基准上的大量实验表明，作者的SSGRL框架在很大程度上优于当前最先进的方法，例如，在PASCAL VOC 2007 & 2012, Microsoft-COCO and Visual Genome benchmarks数据集上，mAP的性能分别提高了2.5%、2.6%、6.7%和3.1%。地址：https://arxiv.org/abs/1908.07325代码和模型：https://github. com/HCPLab-SYSU/SSGRL1、Is a Single Embedding Enough? Learning Node Representations that Capture Multiple Social Contexts 作者：Alessandro Epasto, Bryan Perozzi推荐理由：该论文来自Google at WWW 2019。论文提出的Splitter是一种无监督的嵌入方法，允许图中的节点可以嵌入多个向量，以便更好地表示节点在一些重叠社区的参与。直观地说，这是因为图中的每个节点通常会在单个上下文中与给定的邻居节点产生交互。2、NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization作者：Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Chi Wang, Kuansan Wang, Jie Tang推荐理由：提出适用于大规模网络表示学习方法NetSMF，利用稀疏矩阵分解来学习大规模网络embedding，相对于现有方法DeepWalk/ LINE/ Node2Vec等极大地提高了学习效率。3、Graph Neural Networks for Social Recommendation作者：Wenqi Fan, Yao Ma, Qing Li, Yuan He, Eric Zhao, Jiliang Tang, Dawei Yin推荐理由：作者提出了一种新的用于社交推荐的图神经网络框架GraphRec。更好地联合捕获用户-商品图中的交互和意见。并在两个真实数据集上的大量实验证明了该框架的有效性。4、Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recommender Systems作者：Qitian Wu, Hengrui Zhang, Xiaofeng Gao, Peng He, Paul Weng, Han Gao, Guihai Chen推荐理由：这篇文章提出了双图注意网络来协作学习两重社会效应的表示，一个是由用户特定的注意权重建模，另一个是由动态的和上下文感知的注意权重建模。作者还将用户域中的社会效应扩展到项目域，从而可以利用相关项目中的信息进一步缓解数据稀疏问题。此外，考虑到两个领域中不同的社会效应可以相互作用，共同影响用户对物品的偏好，他们提出了一种新的基于策略的融合策略，该策略基于上下文多武装匪徒来衡量不同社会效应之间的相互作用。在一个基准数据集和一个商业数据集上的实验验证了模型中关键组件的有效性。1、 Compositional Fairness Constraints for Graph Embeddings 作者：Avishek Joey Bose, William L. Hamilton推荐理由：这篇文章针对现有的Graph Embedding算法无法处理公平约束，例如确保所学习的表示与某些属性(如年龄或性别)不相关，引入一个对抗框架来对Graph Embedding实施公平性约束。2、Graph Matching Networks for Learning the Similarity of Graph Structured Objects 作者：Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli推荐理由：这篇文章针对图结构物体的检索与匹配这一具有挑战性的问题，做了两个关键的贡献。首先，作者演示了如何训练图神经网络(GNN)在向量空间中嵌入图，从而实现高效的相似性推理。其次，提出了一种新的图匹配网络模型，该模型以一对图作为输入，通过一种新的基于注意力的交叉图匹配机制，对图对进行联合推理，计算出图对之间的相似度评分。3、GMNN: Graph Markov Neural Networks 作者：Meng Qu, Yoshua Bengio, Jian Tang推荐理由：统计关系学习方法可以通过条件随机场对对象标签的依赖关系进行有效的建模，用于集体分类，而图神经网络则通过端到端训练学习有效的对象表示来分类。在本文中，我们提出了一种集两种方法优点于一体的Graph Markov Neural Networks (GMNN)。GMNN利用条件随机场对目标标签的联合分布进行建模，利用变分EM算法对其进行有效训练。4、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing作者：Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan推荐理由：作者们针对基于图神经网络的半监督学习方法(如图卷积网络)不能学习一般的邻域混合关系的缺点，提出了一个新的模型MixHop，它可以通过在不同距离重复混合邻居的特征表示来学习这些关系，包括不同的操作符。1、Cognitive Graph for Multi-Hop Reading Comprehension at Scale 作者：Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang推荐理由：这篇论文中提出了一种新的基于CogQA的web级文档multi-hop问答框架。基于BERT和GNN的实现有效地处理了HotpotQA fullwiki数据集中数百万个multi-hop推理问题的文档，在排行榜上获得了34.9的F1 score，而最佳竞争对手的得分为23.6。2、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model 作者：Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu Sun推荐理由：这篇文章中，作者们提出使用一个Graph-to-Sequence的模型来生成评论，该模型将输入的新闻建模为一个主题交互图。通过将文章组织成图结构，他们的模型可以更好地理解文章的内部结构和主题之间的联系，这使得它能够更好地理解故事。3、Dynamically Fused Graph Network for Multi-hop Reasoning作者：Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu推荐理由：作者们提出了动态融合图网络(Dynamically Fused Graph Network ，DFGN)，这是一种解决需要多个分散证据和推理的问题的新方法。受人类逐步推理行为的启发，DFGN包含一个动态融合层，从给定查询中提到的实体开始，沿着文本动态构建的实体图进行探索，并逐步从给定文档中找到相关的支持实体。4、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks 作者：Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar推荐理由：作者们提出SynGCN来解决现有的词嵌入方法大多利用词的sequential context而没有利用词的syntactic context，SynGCN是一种灵活的基于图卷积的学习词嵌入的方法。他们还提出了SemGCN，这是一个有效的框架，用于整合不同的语义知识，以进一步增强所学习的单词表示。并开源了代码。5、Attention Guided Graph Convolutional Networks for Relation Extraction 作者：Zhijiang Guo，Yan Zhang and Wei Lu推荐理由：这篇文章提出了一种直接以全依赖树为输入的Attention Guided图卷积网络(AGGCNs)模型。该模型可以理解为一种soft-pruning方法，它自动学习如何有选择地关注对关系提取任务有用的相关子结构。在包括跨句n元关系提取和大规模句级关系提取在内的各种任务上的大量结果表明，这个模型能够更好地利用全依赖树的结构信息，其结果显著优于之前的方法。http://www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html
6、Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media作者：Chang Li, Dan Goldwasser推荐理由：确定新闻事件在媒体中讨论方式的政治视角是一项重要而富有挑战性的任务。在这篇文章中，作者强调了将社交网络置于情景化的重要性，捕捉这些信息如何在社交网络中传播。作者使用最近提出的一种表示关系信息的神经网络结构——图卷积网络（Graph Convolutional Network）来捕获这些信息，并证明即使在很少的social information分类中也可以得到显著改进。https://www.cs.purdue.edu/homes/dgoldwas//downloads/papers/LiG_acl_2019.pdf1、GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding 作者：Chenhui Deng, Zhiqiang Zhao, Yongyu Wang, Zhiru Zhang, Zhuo Feng 推荐理由：该论文来自ICLR 2020。图嵌入技术已经被越来越多地应用于涉及非欧几里德数据学习的众多不同应用中。然而，现有的图形嵌入模型在训练过程中不能合并节点属性信息或者遭受节点属性噪声，这会影响精度。此外，由于计算复杂度高、内存占用大，很少有人对大型图形进行扩展。在这篇论文中，作者们提出的GraphZoom是一个多层次的框架，用于提高无监督图嵌入算法的准确性和可扩展性。GraphZoom首先进行图融合，生成一个新的图，有效地编码原始图的拓扑结构和节点属性信息。然后，通过合并具有高光谱相似性的节点，将该融合图反复粗化为更小的图。GraphZoom允许任何现有的嵌入方法应用于粗化图，然后逐步细化在最粗糙的水平上获得的嵌入到越来越精细的图。https://arxiv.org/abs/1910.02370?context=cs2、Strategies for Pre-training Graph Neural Networks 作者：Weihua Hu，Bowen Liu，Joseph Gomes， Marinka Zitnik，Percy Liang， Vijay Pande,，Jure Leskovec 推荐理由：这篇论文同样来自ICLR 2020。机器学习在科学和医学中的许多应用，包括分子性质和蛋白质功能预测，都可以归结为预测图的某些性质的问题，在这些问题中，具有良好的图表示是至关重要的。然而，这些领域中的两个关键挑战是：（1）由于昂贵的实验室实验，标记数据极为稀缺；（2）需要外推，以测试结构上不同于训练期间看到的图表。在这篇文章中，作者们探讨了如何在训练前应对这两个挑战。他们提出了一系列方法在节点级和图形级上对GNNs进行预训练，同时使用未标记的数据和来自相关辅助监督任务的标记数据。作者对两种应用，分子性质和蛋白质功能预测进行了广泛的评价，并观察到，与未经预先训练的模型相比，仅执行图级监督的预先训练通常会导致边际性能增益，甚至会使性能恶化。另一方面，有效地结合节点级和图级预训练技术显著地提高了对分布外图的泛化能力。https://arxiv.org/abs/1905.12265?context=cs.LG3、Geom-GCN：Geometric Graph Convolutional Networks作者：Hongbin-Pei，Bingzhe-Wei，Kevin Chen-chuan 推荐理由：ICLR 2020开源论文。该论文提出了一种 geometric aggregation scheme，其可以同时在真实图结构/隐空间来聚合信息来克服 MPNNs 两个基础性缺陷，此外还提出了一种基于 geometric aggregation scheme 的图神经网络 Geom-GCN，并且实验验证了模型的效果。https://openreview.net/forum?id=S1e2agrFvS4、Contrastive Learning of Structured World Models 作者：Thomas Kipf, Elise van der Pol, Max Welling 推荐理由：改论文从对象、关系和层次结构上对世界的结构化理解是人类认知重要的组成部分。但是，让机器从原始的感官数据中学习结构化的世界模型是非常有挑战性的。所以他们提出了一个叫做 Contrastively-trained Structured World Models（C-SWMs）的模型。该模型利用对比的方法在有组合结构的环境中进行表示学习。文章将每个状态 embedding 为一组对象及其关系的表示，并用图神经网络来建模。他们在包含多个交互对象的组合环境中评估了 C-SWMs。地址：https://arxiv.org/abs/1911.122475、The Logical Expressiveness of Graph Neural Networks 作者：Pablo Barceló, Egor V. Kostylev, Mikael Monet, Jorge Pérez, Juan Reutter, Juan Pablo Silva 推荐理由：这篇论文同样被ICLR 2020收录，由常年战斗在图领域的大佬 Pablo Barceló 团队贡献。图神经网络（GNN）区分图节点的能力最近已经通过用于检查图同构性的 Weisfeiler-Lehman（WL）测试进行了表征。但是，这种表征并不能解决哪些布尔节点分类器可以由 GNN 来表示 （即，将图中的节点分类为真或假的函数）的问题。这篇文章专注于研究布尔分类器来解决上述问题。作者证明，聚合组合神经网络（AC-GNN）的表达方式对应于描述逻辑ALCQ，它是FOC_2的子集。作者还进一步证明，如果我们添加一个独处成分，将GNN转换为聚合组合读出GNN（ACR-GNN），则FOC_2中的每个公式都可以由ACR-GNN分类器捕获。https://openreview.net/forum?id=r1lZ7AEKvB1、Deep Graph Library（DGL)DGL由纽约大学、纽约大学上海分校、AWS上海研究所和AWS MXNet科学小组开发和维护GNN平台。https://github.com/jermainewang/dglNGra是由北京大学和微软亚洲研究院开发和维护一款GNN平台。地址: https://arxiv.org/pdf/1810.08403.pdfGraph_nets是由DeepMind, Google Corp开发和维护的.地址: https://github.com/deepmind/graph_netsEuler是一款由阿里巴巴旗下的阿里妈妈开源的GNN平台.地址: https://github.com/alibaba/eulerPyTorch Geometric由德国杜特蒙德大学开发和维护的GNN平台。https://github.com/rusty1s/pytorch_geometrichttps://arxiv.org/abs/1903.02428?context=cs.LGPBG是由Facebook人工智能研究开发和维护的GNN平台。https://github.com/facebookresearch/PyTorch-BigGraph论文：https://arxiv.org/abs/1903.12287 
