刘铁岩博士是人工智能领域的国际知名学者,毕业于清华大学。他现担任微软亚洲研究院副院长,国际电子电气工程师学会(IEEE)院士,美国计算机学会(ACM)杰出会员。他同时也是美国卡内基梅隆大学(CMU)客座教授,英国诺丁汉大学荣誉教授,中国科技大学博士生导师。他还担任了中国计算机学会青年工作委员会副主任、中文信息学会信息检索专委会副主任等职务。
作为今年 3 月份微软机器翻译在中-英翻译上实现重大突破背后的核心技术,对偶学习也是微软亚洲研究院近年来最为引人关注的研究之一。对偶学习试图解决的是 AI 最主要的一个问题: 数据不足的问题。
为什么我们要引入对偶学习?这和人工智能技术所面临的主要挑战有关,目前的深度学习浪潮是由于强大的硬件计算力和海量的训练数据量引发的,只有经过大量数据的训练,模型才能有效地提取特征。目前在深度学习领域,可以说没有千万量级的数据就很难形成可靠的结果。然而,在现实世界的任务中,很多时候我们无法获得这么多数据(比如在罕见疾病的诊断上)。
传统的解决方法可以对未标注的样本生成伪标签,但无法知道这些伪标签的好坏、准确度和可靠度,这类方法并不稳健,因为没有人的手动标记,所以我们很难保证机器生成的伪标签可以让机器学习算法获得正确的训练。
而对偶学习则是另一种思路,微软的研究人员注意到,很多人工智能的应用涉及两个互为对偶的任务,例如机器翻译中从中文到英文翻译和从英文到中文的翻译互为对偶、语音处理中语音识别和语音合成互为对偶;图像处理中基于图像生成文本和基于文本生成图像互为对偶;问答系统中回答问题和生成问题互为对偶。这些互为对偶的人工智能任务可以形成一个闭环,使计算机可以从没有标注的数据中进行学习。
对偶学习的最关键一点在于,给定一个原始任务模型,对偶任务模型可以为其提供有效反馈;同样的,给定一个对偶任务模型,原始任务模型也可以为其提供有效反馈;因此,两个互为对偶的任务可以相互提供反馈,相互学习,不断促进,共同提高。
据刘铁岩介绍,对偶学习的研究最早出现在微软亚洲研究院的研究员们在 2016 年 NIPS 大会上发表的论文《Dual Learning for Machine Translation》。随后进一步的研究又发表在 ICML2017(论文《Dual Supervised Learning》)、IJCAI 2017(论文《Dual Inference for Machine Learning》)以及 AAAI 2018 上(论文《Dual Transfer Learning for Neural Machine Translation with Marginal Distribution Regularization》)。
以机器翻译为例子,假设我们有一个英文句子 x,但是没有它的标签(即正确的中文翻译),我们希望能够利用这个没有标签的句子提高英-中翻译模型 f 和中-英翻译模型 g 的能力。那我们怎么做呢?首先通过 f 把某个无标注的英文句子 x 翻译成中文句子 y1,因为没有标注,所以我们「不知道」正确的翻译是什么,但是我们可以知道,这个中文的句子是不是语法正确、符不符合中文的语言习惯,这些信息都能帮助我们大概判断翻译模型 f 的效果。然后我们再把这个翻译后的中文句子 y1 通过反向的翻译模型 g 翻译成一个新的英文句子 x1。通过比较 x 和 x1 是否相似,我们就能知道翻译模型 f 和 g 是否有效。因此,通过这样一个对偶过程,我们能够从无标注数据中获得有效的学习信号,从而知道如何提高机器学习模型。当然,以上这个例子只是对偶学习的高度简化版本,在实际应用中,研究人员可能会在学习过程中用到数十种反馈信号。
在对偶学习的研究中,微软的研究员们首先进行了英法翻译的测试,研究人员发现,在对偶学习方法的帮助下,无监督训练的准确度居然超过了有监督训练。
在更多的实验后,研究人员发现对偶学习可以很轻松地在多种语言的机器翻译任务上实现显著的提升。今年 3 月份,微软在中-英新闻翻译上达到了人类水准。而其背后的技术突破就包括对偶学习(参见:中到英新闻翻译媲美人类,微软机器翻译新突破)。刘铁岩表示,截至目前,微软的机器翻译技术领先于其他各种方法,而这来源于微软的研究员们不断推陈出新、挑战自我的精神。
将对偶学习应用在翻译上是顺理成章的,因为翻译任务中输入和输出有着一一对应的关系。那么在其他任务中(例如图像识别和图像生成),当输入输出是一对多的关系时,对偶学习是否仍然可行呢?「事实上,在我们的研究发表之后,有很多学者跟进,将对偶学习 UI 能够用到更多的领域,」刘铁岩表示。「他们的研究表明,对偶学习在一对多的任务上(如图像处理、情感分析、问答系统等)也能带来显著的效果。」
「还有人把对偶学习用在了图像风格迁移上,」刘铁岩介绍道。「有一篇论文提出了 DualGAN(论文《DualGAN: Unsupervised Dual Learning for Image-to-Image Translation》),其结果比常规的 GAN 效果要好很多。」
「在对偶学习的研究发表后仅仅一年,已经有 50 几个工作在 follow 我们的研究了。」刘铁岩表示。
在对偶学习的背后,是微软亚洲研究院的学者们对于人工智能对称性的深刻思考。对偶学习没有加入对事物的人为理解(人工标注),只让机器对其本身规律进行学习,这种方法或许能够帮助人工智能克服目前面临的一些重要挑战。
在介绍了对偶学习当前的研究成果之后,刘铁岩也展望了对偶学习未来的发展方向,如加长学习的闭环。
最后,刘铁岩还介绍了微软亚洲研究院的科研理念,以及近期的一些亮点成果,其中包括:
LightRNN:通过两组分的共享词嵌入方法降低 RNN 模型的预测复杂度,从而减少训练和测试时间,可在不损失精度的情况下将语言模型的体积减少几个数量级。
LightGBM:一个高效的梯度提升树框架,采用了多项先进的技术,速度比 XGBoost 快一个数量级,同时精度也有提高。该研究的论文已在 NIPS 2017 上发表(论文《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》)。刘铁岩表示,这一方法已经逐步成为数据挖掘竞赛的宠儿,很多冲榜选手已经把微软提出的 LightGBM 当成首选的秘密武器。