AMiner学术头条原创

2019/11/13 10:59

学术君作者

斯坦福大牛Jure Leskovec：图神经网络研究最新进展（附PPT下载）

11 月 11日，除了刷屏的“双十一”与AAAI开（放）奖（榜），斯坦福大牛Jure Leskovec正好到访清华，学术君的朋友圈是一片喜气洋洋呐……

Jure Leskovec有多火，来张现场图瞅瞅……

Jure Leskovec有多厉害？

Jure Leskovec

图网络领域的大牛Jure Leskovec，是斯坦福大学计算机学院的副教授，也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。

在谷歌学术搜索（Google Scholar）上，Jure拥有接近4.5万的论文引用数量，H指数为84。这意味什么？

在美国，研究型大学要获得永久教职的副教授，H指数一般为10到12，晋升为正教授则大约为18。成为美国科学院院士则一般在45以上，中位数是57。而Jure 84的H指数也就意味着他在人工智能研究领域占有举足轻重的地位。

近年来，深度学习领域关于图神经网络（Graph Neural Networks，GNN）的研究热情日益高涨，图网络已经成为2019年各大深度学习顶会的研究热点。GNN 处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。但是，大部分的图网络框架的建立都是基于研究者的先验或启发性知识，缺少清晰的理论支撑。

在ICLR2019中，Jure Leskovec 团队的一篇力作，图神经网络到底有多厉害（ How Powerful are Graph Neural Networks）？提出了基于WL图同构测试的理论框架，为众多的GNN框架给出了精彩的理论分析，并提出了一个简单但强大的图网络框架 GIN（Graph Isomorphism Networks），同时验证了GIN在图分类任务上的卓越性能。这篇文章认为图神经网络在因果推理方面有巨大的潜力，有望成为 AI 的下一个拐点。

Jure在研究什么？

Jure在演讲中提到，图形领域的机器学习是一项重要而普遍的任务，其应用范围从药物设计到社交网络中的友情推荐。该领域的主要挑战是找到一种表示或编码图形结构的方法，以便机器学习模型可以很方便地利用它。

他介绍了图神经网络研究的最新进展，他们使用基于深度学习的技术，自动学习将图形结构编码为低维嵌入。他还介绍了图表示学习的关键进展，包括图形卷积网络及其表示能力，探讨了它在Web级推荐系统、医疗保健、知识表示和推理方面的应用。

以下是该演讲的PPT节选。

深度学习工具箱是为简单的序列和网格而设计的，但并不是任何事物都可以表示为一个序列或一个网格。

我们怎样才能开发出更为广泛应用的神经网络呢？可以通过学习图像和序列的经典神经网络之外的新领域。

为什么这很难呢？

因为网络是复杂的！

任意大小和复杂的拓扑结构（即没有像网格那样的空间局部性）；
无固定节点顺序或参考点；
通常是动态的，具有多模态特征；

图形神经网络

GNNs的表现力如何？

理论框架：描述GNNs的判别力

描述GNNs判别能力的上界；
提出一种超级强大的GNNs；
描述GNNs的辨别力；

关键点：根子树

强大的GNN能够区分不同结构的根子树。

想法：如果GNN函数是内射的，GNN可以捕获/区分根子树结构；

定理：最具判别力的GNN使用内射多集函数进行相邻聚集；

如果聚合函数是内射的，则GNN可以完全捕获/区分根子树结构。

GNNs的重要性

1.GNNs能做两件事：

学习如何从附近节点“借用”特征信息以丰富目标节点；
每个节点可以有不同的计算图，网络也可以捕获/学习其结构；

2.可选择计算图：

聚合不需要在所有邻近点间发生；
可以对邻近点进行选择/抽样；
在实践中获得巨大成效；

3.我们了解GNNs的失败案例：

GNNs无法区分同构节点；
结构感知Vs位置感知。

简单介绍到这里，想要全部PPT？

Jure Leskovec ppt 下载链接：https://static.aminer.cn/misc/pdf/graphsage2-mit-nov19.pdf

小编这么贴心，你不打算给个赞吗？

AMiner学术头条

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。系统2006年上线，吸引了全球220个国家/地区800多万独立IP访问，数据下载量230万次，年度访问量1000万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/

理论图神经网络

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

数据分析技术

数据分析是一类统计方法，其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系，并绘制出统计信息图，以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据，以便弄清哪些是同质的，从而更好地了解数据。数据分析可以处理大量数据，并确定这些数据最有用的部分。

来源：维基百科

因果推理技术

基于因果关系的一类推理方法，是一种常见推理模式，涉及观察到的共同效应的原因的概率依赖性。

来源：Intercausal reasoning with uninstantiated ancestor nodes

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

推荐系统技术

推荐系统（RS）主要是指应用协同智能（collaborative intelligence）做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤（Collaborative Filtering）。另外还有基于知识的推荐系统（包括基于本体和基于案例的推荐系统）是一类特殊的推荐系统，这类系统更加注重知识表征和推理。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构，它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图，并通过在整张图上传递、转换和聚合节点特征信息，从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入，并用于节点分类或预测节点之间的连接，完整的模型可以通过端到端的方式训练。

来源：机器之心

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

图网技术

ImageNet 是一个计算机视觉系统识别项目，是目前世界上图像识别最大的数据库。

来源：ImageNet 官网

图网络技术

2018年6月，由 DeepMind、谷歌大脑、MIT 和爱丁堡大学等公司和机构的 27 位科学家共同提交了论文《Relational inductive biases, deep learning, and graph networks》，该研究提出了一个基于关系归纳偏置的 AI 概念：图网络（Graph Networks）。研究人员称，该方法推广并扩展了各种神经网络方法，并为操作结构化知识和生成结构化行为提供了新的思路。

来源：机器之心

图分类技术

图分类是许多不同领域中实际应用的问题。为了解决这个问题，通常会计算某些图形统计数据（即图形特征），它们有助于区分不同类别的图形。在计算这些特征时，大多数现有方法会对全图进行处理。

来源：kdd