机器之心

首页 > 资讯 > 谷歌提交ICLR 2017论文:学习记忆罕见事件

资讯

谷歌提交ICLR 2017论文:学习记忆罕见事件

2017-01-09 14:08:14      
0 0 0

论文:学习记忆罕见事件(LEARNING TO REMEMBER RARE EVENTS)

20170109140134.png

摘要

尽管近来已经取得了一些进步,但记忆增强的深度神经网络(memory-augmented deep neural network)在终身学习(life-long learning)和一次性学习(one-shot learning)上的能力还很有限,在记忆罕见事件(rare events)上的能力尤其如此。我们提出了一种用于深度学习的大规模终身记忆模块(large-scale life-long memory module)。这种模块利用了快速最近邻算法(fast nearest-neighbor algorithms)来提升效率,并且因此可以扩展到很大的记忆规模。除了最近邻查询(nearest-neighbor query),这种模块还是完全可微分的,并且可以进行无需任何监督的端到端训练。它是以一种终身方式(life-long manner)进行运作的,即在训练过程中无需重置(reset)。我们的记忆模块可以被轻松地添加到一个监督式神经网络的任何部分。为了显示其这种能力,我们将其添加到了多种网络中——从在图像分类上测试的简单卷积网络到深度序列到序列(deep sequence-to-sequence)和循环卷积(recurrent-convolutional)模型。在所有这些案例中,增强过的网络都获得了记忆能力并且可以进行终身一次性学习(life-long one-shot learning)。我们的模块能够记忆成千上万个步骤之前所见过的训练样本,并且可以成功地在它们的基础上进行泛化。我们在 Omniglot 数据集上实现了一次性学习的新的当前最佳表现,并且我们也首次在一个大规模机器翻译任务中的循环神经网络上演示了终身一次性学习。

20170109140152.png

图 2:添加了记忆模块的谷歌神经机器翻译(GNMT)模型。在每一个解码步骤 t,注意(attention)20170109140206.png
的结果被用于查询该记忆。其结果值与最终 LSTM 层的输出结合得出预测出的 logits 

20170109140221.png

20170109140237.png

图 3:带有记忆模块的扩展神经 GPU(Extended Neural GPU)。记忆查询从当前输出 logit 下面 1 个的位置读取,而其嵌入的记忆值会被放置在输出磁带 p 的同一位置。这个网络会学习这些值,并在下一个步骤产生输出。


声明:本文由机器之心编译出品,原文来自Openreview,作者Łukasz Kaiser等,转载请查看要求,机器之心对于违规侵权者保有法律追诉权。

  1. 网站转载请在文章开头粗体注明:本文转载自机器之心,标明作者,并附上本文链接。
  2. 微信公众号转载请在开头粗体注明:本文转载自机器之心,标明作者,并设置阅读原文链接为本文链接,微博转载请附上本文链接并@机器之心synced。
  3. 网站和微信转载具体文章后需来信至邮箱operation@jiqizhixin.com说明,备注转载文章标题、转载的微信号名称和转载日期。
  4. 机器之心只接受如上几种转载方式,其余均视为侵权,如需商业合作请致信bd@jiqizhixin.com。

相关文章

谷歌发布tfdbg:让TensorFlow机器学习模型调试更简单

谷歌发布tfdbg:让TensorFlow机器学习模型调试更简单

谷歌提交新论文提出认知型地图构建器和规划器:同时应对视觉导航的几何和语义任务

谷歌提交新论文提出认知型地图构建器和规划器:同时应对视觉导航的几何和语义任务

谷歌举行首届TensorFlow开发者大会:TensorFlow 1.0正式出炉

谷歌举行首届TensorFlow开发者大会:TensorFlow 1.0正式出炉

评论

共有0条评论,点击展开

同步到新浪微博