Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

DeepMind论文:线性时间的神经机器翻译

blob.png

摘要

我们提出了一种用于序列处理(sequence processing)的神经架构。ByteNet 是一种两个扩张的卷积神经网络(dilated convolutional neural networks)的堆叠;其中一个网络用于编码源序列(source sequence),另一个网络用于解码目标序列(target sequence)——这个过程中目标网络动态展开从而生成可变长度输出。ByteNet 有两个核心特性:它在与序列长度成线性的时间上运行;它能保留序列的时间分辨率(temporal resolution)。ByteNet 解码器在字符级的语言建模上获得了顶尖水平,并超越了之前循环神经网络取得的最好结果。ByteNet 也在原始的字符级机器翻译(raw character-level machine translation)上获得了接近最好的神经翻译模型(运行在二次时间(quadratic time)中)所能取得的顶尖表现。由 ByteNet 学习到的隐含架构能反映出序列之间的预期对应。

论文下载:Neural Machine Translation in Linear Time

理论论文Deepmind机器翻译理论NLP卷积神经网络
暂无评论
暂无评论~