引言
细粒度情感元素抽取旨在从文本中抽取出评价持有者、评价对象和评价表达（如图1）。评价持有者是文本中发出观点的实体；评价表达是指文本中代表情绪、情感、意见或其他个人状态的主观表述，通常以形容词或形容词短语形式出现，如“漂亮”，“不大高兴”；评价对象是指文本中被讨论的主题，具体表现为文本中评价表达所修饰的对象。
图1：针对例句“软粉告诉我，这次Win10创意者更新很酷”的抽取结果.
由于产品评论和社交网络文本中大多带有明确的用户ID信息，因而对评价持有者抽取研究相对淡化，学术界将更多的精力放到评价对象抽取和评价表达抽取任务上。
目前用来抽取评价对象和评价表达的方法主要分为两类：
（1）基于句法规则匹配的方法。例如：Qiu等人[1]采用了一种称为双向传播的算法（double propagation），通过使用依存句法分析器获取情感词与评价对象的关系，并在两者之间传播信息，在迭代过程中对种子情感词进行Bootstraping来扩充情感词集并抽取出评价对象。
（2）基于有指导的机器学习算法。在基于机器学习的算法中，细粒度情感元素抽取通常被当作字符级别序列标注问题。具有代表性的机器学习算法包括基于特征的CRF算法[2]和基于神经网络的序列标注算法[3,4,5]。由于前者较为依赖专家编写的特征模板和手工情感词典等外部特征，并且领域通用性弱，基于神经网络的表示学习算法受到了更多的青睐，例如Irosy等人[3]将词向量特征应用到深层循环神经网络结构，用来抽取评价表达。Liu等人[4]在基于LSTM的循环神经网络中实验了多种类型的词向量特征，证明了其在评价对象抽取任务上的有效性。
通过观察LSTM循环神经网络的评价对象抽取结果，我们发现：一方面，它在抽取类似“set up”等存在一词多义的短语时，不能很好地利用紧随其后的单词信息（如“is”等be动词），导致短语词性判断错误、抽取结果缺漏较多；另一方面，由于评价对象一般较短，相邻词表征的局部信息对判断当前词是否是评价对象的一部分至关重要。
因而，我们提出一种基于局部信息表示的LSTM循环神经网络评价对象抽取模型，自动从数据中更好地学习局部上下文信息，并充分利用这一局部信息表示来提升抽取效果。在SemEval2014数据集上，我们验证了基于局部信息表示模型的有效性。
基于局部信息表示的长短期记忆循环神经网络
本文的方法也将评价对象抽取看作一个序列标注任务，即对每一个单词预测其是否为一个评价对象的一部分。模型首先使用一个LSTM循环网络来计算长距离文本依赖信息，对于每一个单词输入，获得其隐层输出的特征表示ht。同时，我们用一个单独的前馈神经网络来计算局部上下文特征表示hlr。模型的结构框图如图2所示：
图2：基于局部信息表示的LSTM
最终，将两部分的隐层表示拼接为hcon
hcon= [ht,hlr]
hcon作为充分考虑局部信息的当前词特征表示，被送入输出层使用softmax函数作标签分类。
注意，这里ht和hlr的过程可以分别独立进行，只在输出层结合，这意味着在训练过程中，当误差从输出层传播到前馈神经网络结构和LSTM神经网络结构时，可以对两种网络结构独立进行误差反向传播。
对含有双向循环结构的BLSTM，我们也为其增加了简单的前馈神经网络来学习局部信息表示，并与双向隐层特征表示在输出层出拼接，作为当前单词的特征表示，送入softmax函数作标签分类（见图3）。
图3：基于局部信息表示的BLSTM
实验结果与结论分析
1. 实验数据及评价标准
本文使用SemEval2014 Aspect Based Sentiment Analysis提供的Laptop和Restaurant数据集作为实验数据[6]。数据集的大小如下表所示：
表1：SemEval2014 ABSA任务数据集
我们采用了与SemEval2014评测任务相同的评价方法，即根据评价对象标记完全匹配的情况时的F1值来评价抽取结果。候选评价对象只有与人工标注评价对象完全匹配时才算正确。
2. 训练参数设置
实验中，我们使用了50维的Senna词向量和300维的Google词向量作为输入，并在训练过程中更新词向量。我们用UNKNOWN代替在训练数据中出现次数少于5次的单词，用DIGIT代替数字。对于用来学习局部信息的前馈神经网络，我们试验了不同窗口大小的词向量输入，发现窗口大小为3（上一个词，当前词，下一个词）时抽取效果最优。所以对于局部信息表示模型，窗口大小统一设置为3。
我们从训练集中随机匀出10%的数据作为验证集，我们选择在验证集上表现最好的模型分类测试数据。
3.实验结果
表2：基于LSTM的模型和CRF基准模型在SemEval2014ABSA数据集的抽取结果的F1值
从表中可以看出，考虑了局部信息的LSTM+LR和BLSTM+LR的模型相比一般的LSTM模型在Laptop数据集上提升了0.09~0.77，在Restaurant数据集上提升了0.73~1.1不等。
表3：普通LSTM模型（LSTM）和融合局部信息表示的LSTM模型（LSTM+LR）抽取结果。[]表示抽取出的评价对象
通过观察对比不同模型的抽取结果，我们发现考虑了局部信息表示的模型能很好地解决上文提到的“set up”、“track pad”类型的问题。
结束语
本文针对评价对象抽取任务，提出了基于局部信息表示的LSTM循环神经网络的序列标注模型，通过额外使用一个前馈神经网络自动学习局部信息表示来提升抽取效果，并在SemEval2014数据集上验证了模型的有效性。
虽然我们只在评价对象抽取任务上进行了实验，但是我们的模型同样可以应用在评价表达抽取任务上。
作者： 哈工大SCIR 袁建华
参考文献
[1] Qiu G, Liu B, Bu J, et al. Opinion word expansionand target extraction through double propagation[J]. Computational linguistics,2011, 37(1): 9-27.
[2] Choi Y, Cardie C, Rilo E, et al. Identifying sourcesof opinions with conditional random fields and extractionpatterns[C]//Proceedings of the conference on Human Language Technology and Empirical Methods in NaturalLanguage Processing. Association for Computational Linguistics, 2005: 355-362.
[3] Irsoy O, and Claire C. Opinion Mining with Deep RecurrentNeural Networks[C]//Conference on Empirical Methods in Natural LanguageProcessing (EMNLP 2014). 2014.
[4] Liu P, Joty S, Meng H. Fine-grained opinion miningwith recurrent neural networks and word embeddings[C]//Conference on EmpiricalMethods in Natural Language Processing (EMNLP 2015). 2015.
[5] Mesnil G, He X, Deng L, et al. Investigation ofrecurrent-neural-network architectures and learning methods for spoken languageunderstanding[C]//INTERSPEECH. 2013: 3771-3775.
[6] Pontiki M, Galanis D, Pavlopoulos J, et al. Semeval-2014task 4: Aspect based sentiment analysis[C]//Proceedings of the 8th internationalworkshop on semantic evaluation (SemEval 2014). 2014: 27-35.
本文来源于哈工大SCIR
