亚马逊的Alexa的语义分析性能得到大幅度提高

「Alexa, add peanut butter and milk to theshopping list and play music」亚马逊的Alexa 助手是如何执行这种复杂命令。通过一系列复杂的算法技术可以实现。在最新一期出版的报纸《实用口语理解的语义解析》和随之而来的博客文章中，亚马逊Alexa AI研究部门的科学家详细介绍了一个能够分析句子结构和内容的AI语义分析系统。即使该句子的含义和结构有点复杂或者模棱两可，该系统依然可以完整的分析句子结构和内容。

论文合著者Rahul Goel解释说，该系统的设计是得益于两种机器学习技术：transfer learning和copying mechanism。Transferlearning，是指从现有的人工智能系统迁移知识，以减少训练一个新模型需要的大量数据；Copyingmechanism，是让模型处理从未见过的字词。

传统上，Alexa根据说话者的意图（例如播放音乐、歌曲名称和演唱者姓名）和实体插槽（如Marvin Gaye的《What 's Going On?》）解析请求。但是这种方法需要大量手工注释，很容易出错。例如，“addapples and oranges to shopping list” and “play music”这个请求包含两个主要条款（“add…to shopping list”和“play music”)，由“and”这个编码连接，然后解码器将该命令解码成一个数据集”(and(addToListIntent(add(ItemName(Apples))(ItemName(Oranges))))(PlayMusicIntent(Mediatype(Music))))”来实现命令。

（图源：Amazon）但简单的意图和插槽标记不适用于像“Alexa, add peanut butter and milk to theshopping list and play music”这样的请求。处理这样的具有复合意图和插槽值的请求需要一个语义解析器，分析句子的结构和组成部分的含义。

因此Alexa的研究人员不这么做，他们根据说话者的意图和实体插槽将所有标记的数据转换成多个解析树，或转换成描述请求语法结构的决策树。该团队的语义分析器通过对输入流一系列移位和减少操作进一步构建这些树，其中“移位”是指移动到输入流中的下一个单词，“减少”是指确定该词在树中的最终位置。一直以来，注意力机制跟踪解析器的任务就是检查得到的数据，并确定是使用内部词典中的单词，还是复制输入流中的单词。

The semantic parse tree of the instruction "add apples andoranges to shopping list and play music"

研究人员报告说，在使用Alexa交互提供的自然语言理解（NLU）数据进行的测试中，仅使用复制机制就能将整体模型的平均正确率提升61%，而加上迁移学习能够再提升6.4%。在另一组独立的问答测试中，说话者使用了两个公共数据集（比如“你可以在外面的哪家餐馆吃饭?”或者“科比在2004年抢断了多少次?”），测试结果显示迁移学习将模型的表现提升了10.8%。。

“我们的语义分析器在自然语言理解和问答任务上都提高了性能，这一事实表明，它有望成为一种表示意义的通用技术，也可以用于其他应用，”Rahul Goel写道。

这项研究计划于6月在路易斯安那州新奥尔良举行的计算语言学协会北美分会第16届年会上发表。

（图源：Amazon）博文链接：

https://developer.amazon.com/zh/blogs/alexa/post/ce2e3e1c-5f21-4c53-b274-59de34cd4015/alexa-turn-down-the-lights-and-play-music-the-science-of-handling-compound-requests

论文: “Practical Semantic Parsing for Spoken Language Understanding”

论文链接：https://arxiv.org/pdf/1903.04521.pdf

AMiner学术头条

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。系统2006年上线，吸引了全球220个国家/地区800多万独立IP访问，数据下载量230万次，年度访问量1000万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/

产业亚马逊Alexa潜在语义分析

相关数据

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

自然语言理解技术

自然语言理解是人工智能的核心课题之一，也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间，都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻，它一方面承载着机器和人的交流，另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯，机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA（Ask Me Anything）栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

来源：机器之心

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

语义分析技术

语义分析是编译过程的一个逻辑阶段，语义分析的任务是对结构上正确的源程序进行上下文有关性质的审查，进行类型审查。语义分析是审查源程序有无语义错误，为代码生成阶段收集类型信息。比如语义分析的一个工作是进行类型审查，审查每个算符是否具有语言规范允许的运算对象，当不符合语言规范时，编译程序应报告错误。如有的编译程序要对实数用作数组下标的情况报告错误。又比如某些程序规定运算对象可被强制，那么当二目运算施于一整型和一实型对象时，编译程序应将整型转换为实型而不能认为是源程序的错误。

来源：百度百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

解析树技术

解析树是一个内部结构，由编译器或解释器在解析一些语言结构时创建，解析也被称为“语法分析”。

来源：Wikipedia

迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心 Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

语言学技术

每种人类语言都是知识和能力的复合体，语言的使用者能够相互交流，表达想法，假设，情感，欲望以及所有其他需要表达的事物。语言学是对这些知识体系各方面的研究：如何构建这样的知识体系，如何获取，如何在消息的制作和理解中使用它，它是如何随时间变化的？语言学家因此关注语言本质的一些特殊问题。比如: 所有人类语言都有哪些共同属性？语言如何不同，系统的差异程度如何，我们能否在差异中找到模式？孩子如何在短时间内获得如此完整的语言知识？语言随时间变化的方式有哪些，语言变化的局限性是什么？当我们产生和理解语言时，认知过程的本质是什么？语言学研究的就是这些最本质的问题。

来源：Linguistics