2019/04/08 12:40

萝卜兔作者

大规模图嵌入 | 论文快讯

本周论文快讯介绍的五篇论文包括的方向图嵌入、图表示学习等。希望这些新的想法，能为大家的研究提供灵感。

01

图嵌入是从图中无监督地产生节点特征，然后用于各种机器学习任务。在实际场景中，特别是在工业应用中，图往往包含数十亿个节点和数万亿的边，这超出了现有嵌入系统的能力。论文提出了PyTorch-BigGraph（PBG），这种嵌入系统，对传统的多关系嵌入进行了修改，使其能够扩展到具有数十亿个节点和数万亿边的图。PBG使用图分区来在单个机器或分布式环境中训练任意大的嵌入。

论文链接：https://arxiv.org/pdf/1903.12287.pdf

02

图信号是具有不规则结构的信号，可以用图来描述。图神经网络（GNN）是针对这些图信号定制的信息处理体系结构，由堆叠层构成，这些层叠构成具有非线性激活函数的图卷积滤波器。图卷积赋予GNNs对图节点标签扰动的不变性。本文提供可训练的非线性激活函数的设计，其中考虑了图的结构。这是通过使用中值滤波器和最大值滤波器来实现的，这些滤波器模拟线性图卷积并且保持GNN的变换不变性。论文还讨论了训练局部激活函数所需的反向传播算法的改进。

论文链接：https://arxiv.org/pdf/1903.12575.pdf

03

图神经网络（GNN）是目前流行的机器学习模型，其主要优点是能够在数据之间结合稀疏和离散的结构。不幸的是，只有在这种图结构可用时才能使用GNN。然而，在实践中，真实世界的图通常是嘈杂和不完整的，或者根本不可用。论文的这项工作，建议近似求解一个双层规划来学习图上边的离散分布概率，由此来共同学习GCN的结构和参数。这使得人们不仅可以在给定图不完整或损坏的情况下应用GCN，而且还可以在图不可用的情况下应用GCN。

论文链接：https://arxiv.org/pdf/1903.11960.pdf

04

论文介绍了一种新颖的图表示学习方法，即将整个图嵌入到矢量空间中，其中两个图的嵌入保持其graph-graph的近似度。论文提出的方法UGRAPHEMB是一个通用框架，提供了一种以完全无监督和归纳的方式执行图嵌入的新方法。学习的神经网络可以被认为是接收任何图作为输入的函数，无论是在训练集中看到还是未看到，并将其转换为嵌入。论文还提出了一种新的图嵌入生成机制，称为多尺度节点注意（MSNA）。对五个真实图形数据集的实验表明，UGRAPHEMB在图分类，相似性排序和图可视化的任务中实现了较高的准确性

论文链接：https://arxiv.org/pdf/1904.01098.pdf

05

在这项工作中，论文提出了一个判别性子图学习（DSL）的优化框架，它同时能够提升子图的（i）稀疏性，（ii）连通性和（iii）判别力。我们的优化算法是针对NSP和相关特征选择问题的单步解决方案。它源于最大边际优化，谱图方法和稀疏子空间自我表示的丰富文献。DSL同时确保解决方案的可解释性和卓越的预测能力。

论文链接：https://arxiv.org/pdf/1904.00791.pdf

极验

极验是全球顶尖的交互安全技术服务商，于2012年在武汉成立。全球首创 “行为式验证技术” ，利用生物特征与人工智能技术解决交互安全问题，为企业抵御恶意攻击防止资产损失提供一站式解决方案。

理论论文图嵌入图表示学习图神经网络机器学习

相关数据

激活函数技术

在计算网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。一种函数（例如 ReLU 或 S 型函数），用于对上一层的所有输入求加权和，然后生成一个输出值（通常为非线性值），并将其传递给下一层。

来源：维基百科 Google ML glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

反向传播算法技术

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

来源：维基百科 Google ML glossary

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构，它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图，并通过在整张图上传递、转换和聚合节点特征信息，从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入，并用于节点分类或预测节点之间的连接，完整的模型可以通过端到端的方式训练。

来源：机器之心

特征选择技术

在机器学习和统计学中，特征选择（英语：feature selection）也被称为变量选择、属性选择或变量子集选择。它是指：为了构建模型而选择相关特征（即属性、指标）子集的过程。

来源：维基百科

中值滤波技术

在图像处理中，在进行如边缘检测这样的进一步处理之前，通常需要首先进行一定程度的降噪。中值滤波是一种非线性数字滤波器技术，经常用于去除图像或者其它信号中的噪声。这个设计思想就是检查输入信号中的采样并判断它是否代表了信号，使用奇数个采样组成的观察窗实现这项功能。观察窗口中的数值进行排序，位于观察窗中间的中值作为输出。然后，丢弃最早的值，取得新的采样，重复上面的计算过程。

来源：维基百科

堆叠技术

堆叠泛化是一种用于最小化一个或多个泛化器的泛化误差率的方法。它通过推导泛化器相对于所提供的学习集的偏差来发挥其作用。这个推导的过程包括：在第二层中将第一层的原始泛化器对部分学习集的猜测进行泛化，以及尝试对学习集的剩余部分进行猜测，并且输出正确的结果。当与多个泛化器一起使用时，堆叠泛化可以被看作是一个交叉验证的复杂版本，利用比交叉验证更为复杂的策略来组合各个泛化器。当与单个泛化器一起使用时，堆叠泛化是一种用于估计（然后纠正）泛化器的错误的方法，该泛化器已经在特定学习集上进行了训练并被询问了特定问题。

来源：Wolpert, D. H. (1992). Stacked generalization. Neural networks, 5(2), 241-259