THU数据派转载

2019/09/09 11:04

知乎专栏「Connect」来源杨学俊校对黄继彦编辑

ACL 2019 | 理解BERT每一层都学到了什么

探索BERT深层次的表征学习是一个非常有必要的事情。

本文转自知乎专栏“Connect”，将解读ACL 2019最新收录的论文：What does BERT learn about the structure of language?

论文链接：

https://hal.inria.fr/hal-02131630/document

作者是来自于法国Inria机构的Ganesh Jawahar，Benoît Sagot和Djamé Seddah。探索BERT深层次的表征学习是一个非常有必要的事情，一是这可以帮助我们更加清晰地认识BERT的局限性，从而改进BERT或者搞清楚它的应用范围；二是这有助于探索BERT的可解释性，自从各国政府人工智能战略的相继发布，神经网络的可解释性问题成为了一个不可忽略的问题。

Frege早在1965年的组合原则里谈到，复杂表达式的意义由其子表达式的意义以及意义如何组合的规则共同决定。本文思路与分析卷积神经网络每层学习到的表征类似，主要是探索了BERT的每一层到底捕捉到了什么样的信息表征。作者通过一系列的实验证明BERT学习到了一些结构化的语言信息，比如BERT的低层网络就学习到了短语级别的信息表征，BERT的中层网络就学习到了丰富的语言学特征，而BERT的高层网络则学习到了丰富的语义信息特征。

一、BERT

BERT是构建于Transformer之上的预训练语言模型，它的特点之一就是所有层都联合上下文语境进行预训练。训练方法是通过预测随机隐藏（Mask）的一部分输入符号（token）或者对输入的下一个句子进行分类，判断下一个句子是否真的属于给定语料里真实的跟随句子。

作者使用了bert-base-uncased作为实验的基础，它由12层编码网络组成，每层的隐藏状态（hidden）尺寸为768，并且有12个注意力头（110M参数）。在所有的实验中，作者在每一层网络都使用第一个输入符号(‘[CLS]’)的输出来计算BERT的表征，这个输出通过自注意力机制汇聚了所有真实符号的信息表征。

二、短语句法

基于循环神经网络LSTM的语言模型在2018年就曾被Peters et al.揭示了能够捕捉短语级别的结构信息，那么BERT在这一方面是否捕捉了短语级别的结构信息呢？为了探索这一疑惑，作者跟随Peters et al.的方法，首先给定一个输入符号序列

，然后通过结合第一个和最后一个隐藏向量

计算第

层的跨度表征

。

图2-1. BERT第1、2、11、12层跨度计算的二维t-SNE图

图2-2. BERT不同层的跨度表征聚类图

图2-1是利用t-SNE对跨度表征可视化的结果，t-SNE是一个用于可视化高维数据的非线性降维算法，我们可以观察到BERT在低层网络捕捉了短语级别的结构信息，然后随着网络层数的加大，短语级别的结构信息逐渐消失。举个例子，底层网络会将块（如“to demonstrate”）的潜在分类（如“VP”）映射到一起。

作者进一步通过聚类算法k-means量化这个证明。如图2-2所示，作者使用归一化互信息（Normalized Mutual Information，NMI）展示了低层网络在编码短语级别的结构信息上优于高层网络。

三、探测任务

探测任务（Probing Tasks）能够帮助挖掘编码在神经网络模型中的语言学信息。作者使用探测任务来评估每层神经网络编码不同类型语言学特征的能力。

作者使用十个句子级别的探测任务，这些探测任务被分为三组：

表层任务：句子长度（SentLen）探测，单词在句子中存在探测（WC）；
句法层任务：词序敏感性（BShift），句法树深度（TreeDepth），句法树顶级成分序列（TopConst）；
语义层任务：时态检查（Tense），主语数量（SubjNum），名词动词随机替换敏感度（SOMO），协作分句连词的随机交换（CoordInv）。

图2-3. 探测任务在BERT不同网络层的性能表现（括号里的值是未训练与训练过的BERT的差值）

如图2-3所示，BERT编码了丰富的语言学层次信息：表层信息特征在底层网络，句法信息特征在中间层网络，语义信息特征在高层网络。作者也发现未训练版本BERT的高层网络在预测句子长度任务（SentLen）上超过了训练过的版本，这暗示着未训练的BERT模型可能包含足够的信息去预测基本的表层特征。

四、主谓一致

主谓一致（Subject-verb agreement）是一个探测神经网络模型是否编码句法结构的代理任务。当句子中有更多相反编号（attractors）的名词插入到主语和动词中时，预测动词编号的任务会逐渐变得困难。作者在BERT的每一层网络使用不同的激励（Stimuli）来测试BERT是否学习到较好的句法结构信息。

图2-4. BERT每一层主谓一致得分情况表

如图2-4所示，该表是主谓一致得分表，第二列到第六列是在主语和动词插入的名词数量，括号里面的数字是主语到谓语动词的平均距离。结果表明在大多数情况下，中间层网络表现得更好，这也印证了上一部分句法特征主要在BERT中间层进行编码的假设。

有趣的是，随着插入名词的增多，BERT更高层的网络也逐渐能够处理长程依赖问题，效果要比低层网络更好，这证明BERT只有有更深的层数才能在大多数自然语言处理（NLP）上更有竞争力。

五、组合结构

为了进一步探索BERT是否能够学习到组合结构的特征，作者使用Tensor Product Decomposition Networks（TPDN）来对BERT进行调查，TPDN通过基于使用张量乘积和的预先选择的角色设计（role scheme）来组合输入符号表示。一个单词的角色设计可以是基于从语法树根节点到它自身的路径，比如LR代表根节点的左孩子的右孩子。

作者假设，对于一个给定的角色设计，如果一个TPDN模型能够很好地被训练去估计一个神经网络学到的表征，那么这个角色设计就很可能能够确定这个神经网络模型学到的组合性特征。对于BERT的每层网络，作者使用五种不同的角色方案：left-to-right，right-to-left，bag-of-words，bidirectional以及tree。

作者使用SNLI语料库的premise句子来训练TPDN模型，并使用均方误差（MSE）作为损失函数。

图2-5. 均方误差图

如图2-5所示，该图是TPDN以及BERT表征和角色设计之间的均方误差，这表明尽管BERT只使用了注意力机制，但是它的高层网络依然学习到了某种树形结构。

图2-6. 依赖解析树示意图

受到这个研究的启发，作者从自注意力机制权重中推导出了依赖树。如图2-6所示，该图展示了通过BERT第二层网络第11个注意力头的自注意力推导出句子“The keys to the cabinet are on the table”的依赖树，根节点从are开始。我们可以从图中看出一些限定词依赖，比如“the keys”，“the cabinet”以及“the table”；也可以看出主语谓语依赖，比如“keys”和“are”。

THU数据派

THU数据派"基于清华，放眼世界"，以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯，定期组织线下活动，分享前沿产业动态。了解清华大数据，敬请关注姐妹号“数据派THU”。

理论ACL 2019BERT表征学习

相关数据

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

自注意力技术

自注意力（Self-attention），有时也称为内部注意力，它是一种涉及单序列不同位置的注意力机制，并能计算序列的表征。自注意力在多种任务中都有非常成功的应用，例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系，这种内部关系对于翻译以及序列任务的性能非常重要。

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

表征学习技术

在机器学习领域，表征学习（或特征学习）是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。在特征学习算法出现之前，机器学习研究人员需要利用手动特征工程（manual feature learning）等技术从原始数据的领域知识（domain knowledge）建立特征，然后再部署相关的机器学习算法。虽然手动特征工程对于应用机器学习很有效，但它同时也是很困难、很昂贵、很耗时、并依赖于强大专业知识。特征学习弥补了这一点，它使得机器不仅能学习到数据的特征，并能利用这些特征来完成一个具体的任务。

来源：Wikipedia

解析树技术

解析树是一个内部结构，由编译器或解释器在解析一些语言结构时创建，解析也被称为“语法分析”。

来源：Wikipedia

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

语料库技术

语料库一词在语言学上意指大量的文本，通常经过整理，具有既定格式与标记；事实上，语料库英文 "text corpus" 的涵意即为"body of text"。

来源：维基百科

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

来源：百度百科

知乎机构

知乎，中文互联网综合性内容平台，自 2010 年成立以来，知乎凭借认真、专业、友善的社区氛围，独特的产品机制，以及结构化、易获得的优质内容，聚集了中文互联网科技、商业、影视、时尚、文化等领域最具创造力的人群，已成为综合性、全品类，在诸多领域具有关键影响力的内容平台。知乎将AI广泛应用与社区，构建了人、内容之间的多元连接，提升了社区的运转效率和用户体验。知乎通过内容生产、分发，社区治理等领域的AI应用，也创造了独有的技术优势和社区AI创新样本。

zhihu.com