机器之心

首页 > 科学 > Geoffrey Hinton论文:使用快速权重处理最近的过去

科学

Geoffrey Hinton论文:使用快速权重处理最近的过去

2016-10-23 11:26:30      
0 0 0

Using Fast Weights to Attend to the Recent Past

摘要: 直到最近,对人工神经网络的研究在很大程度上还局限于仅有两种类型的变量的系统:代表当前或最近输入的神经活动以及学习获取输入、输出和收益(payoff)之间规律的权重。这种限制并没有什么好的存在理由。突触拥有在许多不同时间尺度上的动态,这表明人工神经网络可能能够受益于变化速度比行为(activity)慢但比标准权重远远更快的变量。这些「快速权重(fast weights)」可以被用于存储最近过去的临时记忆(temporary memories),它们能为过去(past)提供一种在神经角度上可行的实现这种类型的注意(attention)的方式,而且最近研究已经证明过去(past)在序列到序列(seq2seq)模型中非常有用。通过使用快速权重,我们可以避免存储神经活动模式的副本的需求。 

Equality_of_Opportunitiy - 副本.jpg

图 1:快速关联记忆模型(fast associative memory model);其中,红色线:持续边界条件,灰色线:慢速过渡权重,蓝色线:快速过渡权重 

Synced (141).jpg

图 3:多层快速关联记忆模型(multi-level fast associative memory model);其中,灰色虚线:更新快速权重和清空隐藏状态,红色线:持续边界条件,灰色实线:慢速过渡权重,蓝色线:快速过渡权重

声明:本文由机器之心编译出品,原文来自arxiv,转载请查看要求,机器之心对于违规侵权者保有法律追诉权。

  1. 网站转载请在文章开头粗体注明:本文转载自机器之心,标明作者,并附上本文链接。
  2. 微信公众号转载请在开头粗体注明:本文转载自机器之心,标明作者,并设置阅读原文链接为本文链接,微博转载请附上本文链接并@机器之心synced。
  3. 网站和微信转载具体文章后需来信至邮箱operation@jiqizhixin.com说明,备注转载文章标题、转载的微信号名称和转载日期。
  4. 机器之心只接受如上几种转载方式,其余均视为侵权,如需商业合作请致信bd@jiqizhixin.com。

相关文章

谷歌新论文提出适应性生成对抗网络AdaGAN:增强生成模型

谷歌新论文提出适应性生成对抗网络AdaGAN:增强生成模型

构建好奇的机器,Maluuba的通用人工智能探索(附论文)

构建好奇的机器,Maluuba的通用人工智能探索(附论文)

谷歌提交ICLR 2017论文:学习记忆罕见事件

谷歌提交ICLR 2017论文:学习记忆罕见事件

评论

共有0条评论,点击展开

同步到新浪微博