哈工大SCIR转载

2018/06/22 11:09

赛尔推荐 | 第27期

本栏目每周将推荐若干篇由师生精心挑选的前沿论文，分周三、周五两次推送。

本次推荐了三篇关于评价对象、情感分类、知识图谱、机器翻译和层次化的论文。

1、推荐组：SA

推荐人：王帅（研究方向：情感分析）

论文题目：Transformation Networks for Target-Oriented Sentiment Classification

作者：Xin Li, Lidong Bing, Wai Lam and Bei Shi

出处：ACL 2018

论文主要相关：评价对象、情感分类

简评：Target-Oriented 在其他论文中也被称为aspect-based、aspect-level等，输入为（aspect，sentence），输出为sentence关于该aspect的情感趋向。首先，本文中给出了一种名为TST（Target-Specific Transformation）结构，与传统使用注意力机制等方法利用对象信息的方法不同，TST可以根据对象信息对句子中每个词生成一个与该对象相关的特制表示，对于短语型的对象，TST还会确定短语对象中各个词的重要性，来确定对象的表示；其次，为了防止多层TST使原本的上下文信息丢失，本文给出了Lossless Forwarding和Adaptive Scaling两种文本保留机制；最后，本文使用了CNN做最后的特征抽取工作，鉴于CNN在多对象的句子中难以判断对象与评价词之间的对应关系，本文假设与对象距离越近的词相关度越高，利用位置信息给CNN判断对应关系的指导。实验结果在多个数据集上达到最优，且证明了以上三个方法都优化了模型。

论文链接：

https://arxiv.org/pdf/1805.04893.pdf

2、推荐组：SP

推荐人：廖阔（研究方向：事理图谱）

论文题目：Knowledge Graph Embedding with Iterative Guidance from Soft Rules

作者：Shu Guo, Quan Wang, Lihong Wang, Bin Wang, Li Guo

出处：AAAI 2018

论文主要相关：知识图谱

简评：知识图谱嵌入（knowledge graph embedding）是近期知识图谱研究的热点方向，目标是将知识图谱中的实体及关系嵌入到低维连续向量空间中，在保留知识图谱结构信息的同时简化对图谱的操作。生成的embedding包含了丰富的语义信息，可以应用于关系抽取、推荐系统等任务中。本文提出了新的知识图谱embedding计算方法RUGE（RUle Guided Embedding），该方法将知识图谱建模为“实体-关系-实体”三元组，重复迭代下述步骤完成对embedding的训练：（1）由图谱中已知得分的三元组及规则，为图谱中未出现的三元组生成预测得分；（2）使用当前embedding为每个三元组生成计算得分，并使用梯度下降法最小化计算得分与预测/实际得分的距离来对embedding进行更新。步骤（2）中交叉熵的计算使用了步骤（1）中由规则生成的预测得分，因而将规则信息引入了embedding的训练中。这个模型最大的创新之处在于引入软规则，为每个规则赋予了置信度，将置信度低于1的规则加入训练，引入了更多规则信息；并用迭代替代了规则信息的单次注入，更加有效地将规则信息融入到embedding中。作者在FB15K和YAGO37数据集上进行了链条预测任务的实验，取得了SOTA的效果。

论文链接：

https://arxiv.org/pdf/1711.11231.pdf

源代码链接：

https://github.com/iieir-km/RUGE

3、推荐组：TG

推荐人：孙卓（研究方向：文本生成）

论文题目：Chunk-Based Bi-Scale Decoder for Neural Machine Translation

作者：Hao Zhou, Zhaopeng Tu, Shujian Huang, Xiaohua Liu, Hang Li, Jiajun Chen

出处：ACL 2017

论文主要相关：机器翻译、层次化

简评：在传统的机器翻译中，解码器会逐字的生成一个句子。本文提出了一种新型的解码器，可以层次化的生成译文，其分成块粒度（chunk）以及词粒度（word）两个层级进行解码操作，在两个不同的时间尺度上对他们进行学习和更新。具体的说，目标句子被分层的从块转换为单词，解码器首先进行块（chunk）粒度的短语建模，然后在此基础上多个单词（word）粒度被生成。块（chunk）级别的解码器负责在全局即chunk块间的信息进行建模，词（word）级别的解码器负责在该词所在块内的信息进行建模。实验表明该方法在多种语言上都能显著提高翻译效果。

论文链接：

https://arxiv.org/pdf/1705.01452.pdf

源代码链接：

https://github.com/nyu-dl/dl4mt-tutorial

哈工大SCIR

哈尔滨工业大学社会计算与信息检索研究中心

入门知识图谱机器翻译

相关数据

交叉熵技术

交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大小

来源：维基百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

知识图谱技术

知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。

来源：机器之心

推荐系统技术

推荐系统（RS）主要是指应用协同智能（collaborative intelligence）做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤（Collaborative Filtering）。另外还有基于知识的推荐系统（包括基于本体和基于案例的推荐系统）是一类特殊的推荐系统，这类系统更加注重知识表征和推理。

来源：机器之心

机器翻译技术

机器翻译（MT）是利用机器的力量「自动将一种自然语言（源语言）的文本翻译成另一种语言（目标语言）」。机器翻译方法通常可分成三大类：基于规则的机器翻译（RBMT）、统计机器翻译（SMT）和神经机器翻译（NMT）。

来源：机器之心

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，可以采用与当前点的函数梯度（或近似梯度）的负值成比例的步骤。如果采取的步骤与梯度的正值成比例，则接近该函数的局部最大值，被称为梯度上升。

来源：Vapnik V. N. (2000). The Nature of Statistical Learning Theory. Information Science and Statistics. Springer-Verlag.Wikipedia

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分，在机器学习领域，分类问题通常被认为属于监督式学习(supervised learning)，也就是说，分类问题的目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

来源：Wikipedia