2018/06/16 11:17

参与王淑婷李泽南

CMU、NYU与FAIR共同提出GLoMo：迁移学习新范式

近日，由卡耐基梅隆大学、纽约大学和 Facebook 的研究者杨植麟、Junbo Zhao 等人提交的论文将迁移学习向前推进了一步。研究人员称，其提出的 GLoMo 可以无监督地学习并迁移数据单元对之间的依赖关系和图形表征，并在自然语言处理和计算机视觉任务中取得了很好的效果。值得一提的是，该论文作者还包括何恺明、Ruslan Salakhutdinov 和 Yann LeCun 等人。

深度学习的最新进展很大程度上依赖于诸如卷积网络（CNN）[ 18 ] 和循环网络（RNN）[ 14 ] 之类的架构及注意力机制 [ 1 ]。这些架构虽然具有较高的表征能力，但由于其内置的「先天优势」，它们主要在网格状或顺序结构上运行。因此，CNN 和 RNN 在很大程度上依赖高表达能力来模拟复杂的结构现象，抵消了它们没有明确利用结构和图形表征的事实。

这种范式导致了迁移学习和预处理的标准化规范——在有监督或无监督的大数据集上拟合表达函数，然后将该函数应用到下游任务数据中进行特征提取。值得重视的例子包括预处理的 ImageNet 特征 [ 13 ] 和预处理的单词嵌入 [ 23，28 ]。

相比之下，现实世界中的各种数据显示出比简单的网格状或顺序结构更丰富的关系图结构。最近的其他类似研究也强调了这一点 [3]。例如在语言领域，语言学家使用解析树来表示单词之间的句法依赖性；信息检索系统利用知识图形反映实体关系；共指消解被设计成连接相同实体的不同表达式。因此，不管目标任务如何，这些示例性结构普遍存在于几乎任何自然语言数据中，这意味着跨任务迁移的可能性。这些观察也可以推广到其他领域，如计算机视觉。在 CV 领域里，像素之间关系的建模被证明是有用的 [ 27，49，43 ]。然而，还存在一个障碍，许多通用结构基本上是人为策划的，并且大规模获取成本高昂，而自动诱发的结构大多限于一项任务。

图 1：传统迁移学习与新迁移学习框架的对比。GLoMo 不是迁移特征，而是迁移网络输出的图形。图形与任务特定的特征（例如嵌入或隐藏状态）相乘，以产生结构感知特征。

在本文中，我们试图解决两个挑战: 1）打破基于特征的深度迁移学习的标准化规范；2）以数据驱动的方式学习数据中的通用结构。我们对学习可迁移隐藏关系图感兴趣，其中隐藏图的节点是输入单元，例如句子中的所有单词。隐藏关系图学习的任务是学习一个相似矩阵，其中权重（可能为零）捕获任意一对输入单元之间的依赖关系。

为了实现上述目标，我们提出了一种新的无监督隐藏图学习框架，称之为 GLoMo（Graphs from LOw-level unit MOdeling，低级单位建模图）。具体来说，我们从大规模的未标记数据中训练一个神经网络来输出隐藏图型，并将该网络迁移到提取下游任务的图结构来加强对它的训练。这种方法可以让我们把表示每个单元语义含义的特征和反映单元如何交互的图形分开。理想情况下，图形捕捉数据背后的任务无关结构，从而适用于不同的功能集。图 1 突出了传统的基于特征的迁移学习和新框架之间的差异。

实验结果表明，GLoMo 提高了问答、自然语言推理和情感分析等各种语言任务的性能。我们还证实，学习到的图形是通用的，可以用于未经过图形训练的各种特征集任务，包括 GloVe 嵌入 [28]、ELMo 嵌入 [ 29 ] 和任务特定的 RNN 状态。我们还确定了学习成功通用图的关键因素：解耦图和特征、分层图表征、稀疏性、单位级目标和序列预测。为了证明该框架的通用性，我们应用 GLoMo 来建模像素之间的关系依赖性，结果表明图像分类任务的性能获得改进。

图 2：GLoMo 方法概述。

在无监督学习阶段，特征预测器和图形预测器被一起训练以执行上下文预测。在迁移阶段，图形预测器被冻结并用于提取下游任务的图形。RNN 解码器应用于特征预测器中的所有位置，但是简单起见，我们仅指出了位置「A」处的一个。「Select one」表示图形可以迁移到下游任务模型中的任何层。「FF」指前馈网络。图形预测器输出的图用作「weighted sum」操作中的权重（参见等式 2）。

表 2：自然语言处理任务中的模型简化测试。

表 3：计算机视觉任务：CIFAR - 10 的分类结果。我们采用一个 42000 / 8000 的训练/验证拆分——一旦根据验证误差选择了最佳模型，我们就直接将其转发到测试集，而不进行任何验证集退回再训练。我们仅使用水平翻转来增加数据。上表中的结果是 5 轮实验的平均结果。

论文：GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations

论文链接：https://arxiv.org/abs/1806.05662

摘要：现代深度迁移学习方法主要侧重于从一个任务中学习可迁移到其他任务的通用特征向量，例如语言中的单词嵌入和视觉中的预训练卷积特征。然而，这些方法通常迁移一元特征，却很大程度上忽略了更结构化的图形表征。本论文探索了从大规模未标记数据中学习捕获数据单元对（例如单词或像素）之间依赖关系的通用隐藏关系图，并将这些图传递给下游任务的可能性。我们提出的迁移学习框架提高了各种任务的性能，包括问答、自然语言推理、情感分析和图像分类。我们的测试还表明，学习到的图形是通用的，可以迁移到未经过图形训练的不同嵌入（包括 GloVe 嵌入、ELMo 嵌入和任务特定的 RNN 隐藏单元）或无嵌入单元（如图形像素）。

理论论文迁移学习CMU纽约大学FAIRYann LeCun何恺明Ruslan Salakhutdinov

1 2

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

信息检索技术

信息检索（IR）是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

来源：机器之心

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

GloVe技术

Stanford开发的用于词向量表示的一个库/工具

来源：Stanford NLP

词嵌入技术

词嵌入是自然语言处理（NLP）中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。

来源：维基百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

解析树技术

解析树是一个内部结构，由编译器或解释器在解析一些语言结构时创建，解析也被称为“语法分析”。

来源：Wikipedia

验证集技术

验证数据集是用于调整分类器超参数（即模型结构）的一组数据集，它有时也被称为开发集(dev set)。

来源：Wikipedia

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心 Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科