Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

从文本到视觉:各领域最前沿的论文集合

深度学习已经在语音识别、机器翻译、图像目标检测和聊天机器人等许多领域百花齐放。近日,GitHub 用户 Simon Brugman 发布了一个按任务分类的深度学习论文项目,其按照不同的任务类型列出了一些当前最佳的论文和对起步有用的论文。机器之心对该项目进行了简单的编译介绍并为部分机器之心报道过的论文加上了相关文章的链接。并同时在文后附带了机器之心曾经发布过的其它论文列表,希望能有助于你的学习和研究。


目录


1. 文本

    1.1. 代码生成(Code Generation)

    1.2. 情感分析(Sentiment Analysis)

    1.3. 翻译(Translation)

    1.4. 分类(Classification)

2. 视觉

    2.1. 游戏(Gaming)

    2.2. 风格迁移(Style Transfer)

    2.3. 跟踪(Tracking)

    2.4. 图像分割(Image Segmentation)

    2.5. 室外的文本识别(Text (in the Wild) Recognition)

    2.6. 脑机接口(Brain Computer Interfacing)

    2.7. 自动驾驶汽车(Self-Driving Cars)

    2.8. 目标识别(Object Recognition)

    2.9. 标识识别(Logo Recognition)

    2.10. 超分辨率(Super Resolution)

    2.11. 姿态估计(Pose Estimation)

    2.12. 图像描述(Image Captioning)

    2.13. 图像压缩(Image Compression)

    2.14. 图像合成(Image Synthesis)

    2.15. 面部识别(Face Recognition)

3. 音频

    3.1. 音频合成(Audio Synthesis)

4. 其它

    4.1. 未分类

    4.2. 正则化(Regularization)

    4.3. 神经网络压缩(Neural Network Compression)

    4.4. 优化器(Optimizers)


文本


代码生成(Code Generation)


1.A Syntactic Neural Model for General-Purpose Code Generation

时间:2017 年 4 月 6 日

地址:https://arxiv.org/pdf/1704.01696


2.RobustFill: Neural Program Learning under Noisy I/O

时间:2017 年 3 月 21 日

地址:https://arxiv.org/pdf/1703.07469

解读:《微软RobustFill:无需编程语言,让神经网络自动生成程序》


3.DeepCoder: Learning to Write Programs

时间:2016 年 11 月 7 日

地址:https://arxiv.org/pdf/1611.01989

解读:《学界 | 剑桥与微软提交ICLR 2017论文提出DeepCoder:组合其它程序代码生成新程序》


4.Neuro-Symbolic Program Synthesis

时间:2016 年 11 月 6 日

地址:https://arxiv.org/pdf/1611.01855


情感分析(Sentiment Analysis)


1.Rationalizing Neural Predictions

时间:2016 年 6 月 13 日

地址:https://arxiv.org/pdf/1606.04155


2.Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank

时间:2013 年 10 月 18 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/recursive-deep-models-for-semantic-compositionality-over-a-sentiment-treebank.pdf


翻译(Translation)


1.Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation

时间:2016 年 11 月 14 日

地址:https://arxiv.org/pdf/1611.04558

解读:《重磅 | 谷歌神经机器翻译再突破:实现高质量多语言翻译和zero-shot翻译(附论文)


2.Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

时间:2016 年 9 月 26 日

地址:https://arxiv.org/pdf/1609.08144

解读:《重磅 | 谷歌翻译整合神经网络:机器翻译实现颠覆性突破(附论文)


分类(Classification)


1.A Simple but Tough-to-Beat Baseline for Sentence Embeddings

时间:2016 年 11 月 4 日

地址:https://openreview.net/pdf?id=SyK00v5xx


2.From Word Embeddings To Document Distances

时间:2016 年 7 月 6 日

地址:http://proceedings.mlr.press/v37/kusnerb15.pdf


3.Character-level Convolutional Networks for Text Classification

时间:2015 年 9 月 4 日

地址:https://arxiv.org/pdf/1509.01626


4.GloVe: Global Vectors for Word Representation

时间:2015 年 5 月 25 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/glove-global-vectors-for-word-representation.pdf


5.Distributed Representations of Sentences and Documents

时间:2014 年 5 月 16 日

地址:https://arxiv.org/pdf/1405.4053


6.Efficient Estimation of Word Representations in Vector Space

时间:2013 年 1 月 16 日

地址:https://arxiv.org/pdf/1301.3781


视觉


游戏(Gaming)


1.Phase-Functioned Neural Networks for Character Control

时间:2017 年 5 月 1 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/phase-functioned-neural-networks-for-character-control.pdf


2.Equivalence Between Policy Gradients and Soft Q-Learning

时间:2017 年 4 月 21 日

地址:https://arxiv.org/pdf/1704.06440


3.Beating Atari with Natural Language Guided Reinforcement Learning

时间:2017 年 4 月 18 日

地址:https://arxiv.org/pdf/1704.05539


4.Learning from Demonstrations for Real World Reinforcement Learning

时间:2017 年 4 月 12 日

地址:https://arxiv.org/pdf/1704.03732


5.FeUdal Networks for Hierarchical Reinforcement Learning

时间:2017 年 3 月 3 日

地址:https://arxiv.org/pdf/1703.01161


6.Overcoming catastrophic forgetting in neural networks

时间:2016 年 12 月 2 日

地址:https://arxiv.org/pdf/1612.00796

解读:《为机器赋予记忆:DeepMind重磅研究提出弹性权重巩固算法


7.DeepChess: End-to-End Deep Neural Network for Automatic Learning in Chess

时间:2015 年 8 月 16 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/deepchess-end-to-end-deep-neural-network-for-automatic-learning-in-chess.pdf


8.Dueling Network Architectures for Deep Reinforcement Learning

时间:2015 年 11 月 20 日

地址:https://arxiv.org/pdf/1511.06581


9.Human-level control through deep reinforcement learning

时间:2015 年 2 月 26 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/human-level-control-through-deep-reinforcement-learning.pdf


10.Playing Atari with Deep Reinforcement Learning

时间:2013 年 12 月 19 日

地址:https://arxiv.org/pdf/1312.5602


风格迁移(Style Transfer)


1.Deep Photo Style Transfer

时间:2017 年 3 月 22 日

地址:https://arxiv.org/pdf/1703.07511

解读:《资源 | 下一代PS工具:Adobe照片级图像风格转换的Torch实现


2.Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

时间:2017 年 3 月 20 日

地址:https://arxiv.org/pdf/1703.06868

开源项目:https://github.com/xunhuang1995/AdaIN-style


3.A Learned Representation For Artistic Style

时间:2016 年 10 月 24 日

地址:https://arxiv.org/pdf/1610.07629


4.Instance Normalization: The Missing Ingredient for Fast Stylization

时间:2016 年 7 月 27 日

地址:https://arxiv.org/pdf/1607.08022


5.Perceptual Losses for Real-Time Style Transfer and Super-Resolution

时间:2016 年 3 月 27 日

地址:https://arxiv.org/pdf/1603.08155

开源项目:http://github.com/jcjohnson/fast-neural-style


6.A Neural Algorithm of Artistic Style

时间:2015 年 8 月 26 日

地址:https://arxiv.org/pdf/1508.06576

开源项目:https://github.com/lengstrom/fast-style-transfer/


跟踪(Tracking)


1.End-to-end representation learning for Correlation Filter based tracking

时间:2017 年 4 月 20 日

地址:https://arxiv.org/pdf/1704.06036

开源项目:https://github.com/bertinetto/cfnet


图像分割(Image Segmentation)


1.SfM-Net: Learning of Structure and Motion from Video

时间:2017 年 4 月 25 日

地址:https://arxiv.org/pdf/1704.07804


2.Mask R-CNN

时间:2017 年 3 月 20 日

地址:https://arxiv.org/pdf/1703.06870

解读:《学界 | Facebook新论文提出通用目标分割框架Mask R-CNN:更简单更灵活表现更好》和《深度 | 用于图像分割的卷积神经网络:从R-CNN到Mark R-CNN


3.Learning Features by Watching Objects Move

时间:2016 年 12 月 19 日

地址:https://arxiv.org/pdf/1612.06370


4.Fully Convolutional Networks for Semantic Segmentation

时间:2016 年 5 月 20 日

地址:https://arxiv.org/pdf/1605.06211


5.Instance-aware Semantic Segmentation via Multi-task Network Cascades

时间:2015 年 12 月 14 日

地址:https://arxiv.org/pdf/1512.04412


6.Multi-Scale Context Aggregation by Dilated Convolutions

时间:2015 年 11 月 23 日

地址:https://arxiv.org/pdf/1511.07122


7.SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation

时间:2015 年 11 月 2 日

地址:https://arxiv.org/pdf/1511.00561


8.Learning Rich Features from RGB-D Images for Object Detection and Segmentation

时间:2014 年 7 月 22 日

地址:https://arxiv.org/pdf/1407.5736


室外的文本识别(Text (in the Wild) Recognition)


1.OCR Error Correction Using Character Correction and Feature-Based Word Classification

时间:2016 年 4 月 21 日

地址:https://arxiv.org/pdf/1604.06225


2.Recursive Recurrent Nets with Attention Modeling for OCR in the Wild

时间:2016 年 5 月 9 日

地址:https://arxiv.org/pdf/1603.03101


3.COCO-Text: Dataset and Benchmark for Text Detection and Recognition in Natural Images

时间:2016 年 1 月 26 日

地址:https://arxiv.org/pdf/1601.07140


4.Efficient Scene Text Localization and Recognition with Local Character Refinement

时间:2015 年 4 月 14 日

地址:https://arxiv.org/pdf/1504.03522


5.Reading Text in the Wild with Convolutional Neural Networks

时间:2014 年 12 月 4 日

地址:https://arxiv.org/pdf/1412.1842


6.Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition

时间:2014 年 6 月 9 日

地址:https://arxiv.org/pdf/1406.2227


脑机接口(Brain Computer Interfacing)


1.Encoding Voxels with Deep Learning

时间:2015 年 12 月 2 日

地址:http://www.jneurosci.org/content/jneuro/35/48/15769.full.pdf


2,Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream

时间:2015 年  7 月 8 日

地址:http://www.jneurosci.org/content/jneuro/35/27/10005.full.pdf


自动驾驶汽车(Self-Driving Cars)


1.Computer Vision for Autonomous Vehicles: Problems, Datasets and State-of-the-Art

时间:2017 年 4 月 18 日

地址:https://arxiv.org/pdf/1704.05519

解读:《重磅 | 自动驾驶计算机视觉研究综述:难题、数据集与前沿成果(附67页论文下载)


2.End to End Learning for Self-Driving Cars

时间:2016 年 4 月 25 日

地址:https://arxiv.org/pdf/1604.07316


目标识别(Object Recognition)


1.Introspective Classifier Learning: Empower Generatively

时间:2017 年 4 月 25 日

地址:https://arxiv.org/pdf/1704.07816


2.Learning Chained Deep Features and Classifiers for Cascade in Object Detection

时间:2017 年 2 月 23 日

地址:https://arxiv.org/pdf/1702.07054


3.DSSD : Deconvolutional Single Shot Detector

时间:2017 年 1 月 23 日

地址:https://arxiv.org/pdf/1701.06659


4.YOLO9000: Better, Faster, Stronger

时间:2016 年 12 月 25 日

地址:https://arxiv.org/pdf/1612.08242

开源项目:https://github.com/pjreddie/darknet


5.Feature Pyramid Networks for Object Detection

时间:2016 年 12 月 9 日

地址:https://arxiv.org/pdf/1612.03144


6.Speed/accuracy trade-offs for modern convolutional object detectors

时间:2016 年 11 月 30 日

地址:https://arxiv.org/pdf/1611.10012


7.Aggregated Residual Transformations for Deep Neural Networks

时间:2016 年 11 月 16 日

地址:https://arxiv.org/pdf/1611.10012


8.Aggregated Residual Transformations for Deep Neural Networks

时间:2016 年 11 月 16 日

地址:https://arxiv.org/pdf/1611.05431


9.Hierarchical Object Detection with Deep Reinforcement Learning

时间:2016 年 11 月 11 日

地址:https://arxiv.org/pdf/1611.03718


10.Xception: Deep Learning with Depthwise Separable Convolutions

时间:2016 年 10 月 7 日

地址:https://arxiv.org/pdf/1610.02357


11.Learning to Make Better Mistakes: Semantics-aware Visual Food Recognition

时间:2016 年 10 月 1 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/learning-to-make-better-mistakes-semantics-aware-visual-food-recognition.pdf


12.Densely Connected Convolutional Networks

时间:2016 年 8 月 25 日

地址:https://arxiv.org/pdf/1608.06993


13.Residual Networks of Residual Networks: Multilevel Residual Networks

时间:2016 年 8 月 9 日

地址:https://arxiv.org/pdf/1608.02908


14.Context Matters: Refining Object Detection in Video with Recurrent Neural Networks

时间:2016 年 7 月 15 日

地址:https://arxiv.org/pdf/1607.04648


15.R-FCN: Object Detection via Region-based Fully Convolutional Networks

时间:2016 年 5 月 20 日

地址:https://arxiv.org/pdf/1605.06409


16.Training Region-based Object Detectors with Online Hard Example Mining

时间:2016 年 4 月 12 日

地址:https://arxiv.org/pdf/1604.03540


17.T-CNN: Tubelets with Convolutional Neural Networks for Object Detection from Videos

时间:2016 年 4 月 9 日

地址:https://arxiv.org/pdf/1604.02532


18.Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning

时间:2016 年 2 月 23 日

地址:https://arxiv.org/pdf/1602.07261


19.Deep Residual Learning for Image Recognition

时间:2015 年 12 月 10 日

地址:https://arxiv.org/pdf/1512.03385


20.SSD: Single Shot MultiBox Detector

时间:2015 年 12 月 8 日

地址:https://arxiv.org/pdf/1512.02325


21.ParseNet: Looking Wider to See Better

时间:2015 年 6 月 15 日

地址:https://arxiv.org/pdf/1506.04579


22.You Only Look Once: Unified, Real-Time Object Detection

时间:2015 年 6 月 8 日

地址:https://arxiv.org/pdf/1506.02640


23.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

时间:2015 年 6 月 4 日

地址:https://arxiv.org/pdf/1506.01497


24.Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

时间:2015 年 2 月 6 日

地址:https://arxiv.org/pdf/1502.01852


25.Deep Image: Scaling up Image Recognition

时间:2015 年 1 月 13 日

地址:https://arxiv.org/pdf/1501.02876


26.Rich feature hierarchies for accurate object detection and semantic segmentation

时间:2013 年 11 月 11 日

地址:https://arxiv.org/pdf/1311.2524


27.Selective Search for Object Recognition

时间:2013 年 3 月 11 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/selective-search-for-object-recognition.pdf


28.ImageNet Classification with Deep Convolutional Neural Networks

时间:2012 年 12 月 3 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/imagenet-classification-with-deep-convolutional-neural-networks.pdf


标识识别(Logo Recognition)


1.Deep Learning Logo Detection with Data Expansion by Synthesising Context

时间:2016 年 12 月 29 日

地址:https://arxiv.org/pdf/1612.09322


2.Automatic Graphic Logo Detection via Fast Region-based Convolutional Networks

时间:2016 年 4 月 20 日

地址:https://arxiv.org/pdf/1604.06083


3.LOGO-Net: Large-scale Deep Logo Detection and Brand Recognition with Deep Region-based Convolutional Networks

时间:2015 年 11 月 8 日

地址:https://arxiv.org/pdf/1511.02462


4.DeepLogo: Hitting Logo Recognition with the Deep Neural Network Hammer

时间:2015 年 10 月 7 日

地址:https://arxiv.org/pdf/1510.02131


超分辨率(Super Resolution)


1.Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

时间:2016 年 9 月 16 日

地址:https://arxiv.org/pdf/1609.05158


2.Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

时间:2016 年 9 月 15 日

地址:https://arxiv.org/pdf/1609.04802


3.RAISR: Rapid and Accurate Image Super Resolution

时间:2016 年 6 月 3 日

地址:https://arxiv.org/pdf/1606.01299


4.Perceptual Losses for Real-Time Style Transfer and Super-Resolution

时间:2016 年 3 月 27 日

地址:https://arxiv.org/pdf/1603.08155

开源项目:http://github.com/jcjohnson/fast-neural-style


5.Image Super-Resolution Using Deep Convolutional Networks

时间:2014 年 12 月 31 日

地址:https://arxiv.org/pdf/1501.00092


姿态估计(Pose Estimation)


1.Forecasting Human Dynamics from Static Images

时间:2017 年 4 月 11 日

地址:https://arxiv.org/pdf/1704.03432


2.Fast Single Shot Detection and Pose Estimation

时间:2016 年 9 月 19 日

地址:https://arxiv.org/pdf/1609.05590


图像描述(Image Captioning)


1.Detecting and Recognizing Human-Object Interactions

时间:2017 年 4 月 24 日

地址:https://arxiv.org/pdf/1704.07333


2.Deep Reinforcement Learning-based Image Captioning with Embedding Reward

时间:2017 年 4 月 12 日

地址:https://arxiv.org/pdf/1704.03899


3.Generation and Comprehension of Unambiguous Object Descriptions

时间:2015 年 11 月 7 日

地址:https://arxiv.org/pdf/1511.02283


4.Long-term Recurrent Convolutional Networks for Visual Recognition and Description

时间:2014 年 11 月 17 日

地址:https://arxiv.org/pdf/1411.4389


图像压缩(Image Compression)


1.Full Resolution Image Compression with Recurrent Neural Networks

时间:2016 年 8 月 18 日

地址:https://arxiv.org/pdf/1608.05148

解读:《详解谷歌神经网络图像压缩技术:如何高质量地将图像压缩得更小


图像合成(Image Synthesis)


1.A Neural Representation of Sketch Drawings

时间:2017 年 4 月 11 日

地址:https://arxiv.org/pdf/1704.03477


2.BEGAN: Boundary Equilibrium Generative Adversarial Networks

时间:2017 年 3 月 31 日

地址:https://arxiv.org/pdf/1703.10717

开源项目:https://github.com/carpedm20/BEGAN-tensorflow


3.Improved Training of Wasserstein GANs

时间:2017 年 3 月 31 日

地址:https://arxiv.org/pdf/1704.00028


4.Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

时间:2017 年 3 月 30 日

地址:https://arxiv.org/pdf/1703.10593

开源项目:https://github.com/junyanz/CycleGAN

解读:《学界 | 让莫奈画作变成照片:伯克利图像到图像翻译新研究


5.RenderGAN: Generating Realistic Labeled Data

时间:2016 年 11 月 4 日

地址:https://arxiv.org/pdf/1611.01331


6.Conditional Image Generation with PixelCNN Decoders

时间:2016 年 6 月 16 日

地址:https://arxiv.org/pdf/1606.05328


7.Pixel Recurrent Neural Networks

时间:2016 年 1 月 25 日

地址:https://arxiv.org/pdf/1601.06759


面部识别(Face Recognition)


1.Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition

时间:2016 年 10 月 24 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/accessorize-to-a-crime-real-and-stealthy-attacks-on-state-of-the-art-face-recognition.pdf


2.OpenFace: A general-purpose face recognition library with mobile applications

时间:2016 年 6 月 1 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/openface-a-general-purpose-face-recognition-library-with-mobile-applications.pdf


3.Emotion Recognition in the Wild via Convolutional Neural Networks and Mapped Binary Patterns

时间:2015 年 11 月 9 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/emotion-recognition-in-the-wild-via-convolutional-neural-networks-and-mapped-binary-patterns.pdf


4.Deep Face Recognition

时间:2015 年 9 月 11 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/deep-face-recognition.pdf


5.Compact Convolutional Neural Network Cascade for Face Detection

时间:2015 年 8 月 6 日

地址:https://arxiv.org/pdf/1508.01292


6.Learning Robust Deep Face Representation

时间:2015 年 7 月 17 日

地址:https://arxiv.org/pdf/1507.04844


7.Facenet: A unified embedding for face recognition and clustering

时间:2015 年 6 月 12 日

地址: https://github.com/sbrugman/deep-learning-papers/blob/master/papers/facenet-a-unified-embedding-for-face-recognition-and-clustering.pdf


8.Multi-view Face Detection Using Deep Convolutional Neural Networks

时间:2015 年 2 月 10 日

地址:https://arxiv.org/pdf/1502.02766


音频


音频合成(Audio Synthesis)


1.A Neural Parametric Singing Synthesizer

时间:2017 年 4 月 12 日

地址:https://arxiv.org/pdf/1704.03809


2.Neural Audio Synthesis of Musical Notes with WaveNet Autoencoders

时间:2017 年 4 月 5 日

地址:https://arxiv.org/pdf/1704.01279

开源项目:https://github.com/tensorflow/magenta/tree/master/magenta/models/nsynth

解读:《谷歌大脑&DeepMind:NSynth神经音乐合成器,生成超逼真乐器声音


3.Tacotron: Towards End-to-End Speech Synthesis

时间:2017 年 3 月 29 日

地址:https://arxiv.org/pdf/1703.10135

解读:《学界 | 谷歌全端到端语音合成系统Tacotron:直接从字符合成语音


4.Deep Voice: Real-time Neural Text-to-Speech

时间:2017 年 2 月 25 日

地址:https://arxiv.org/pdf/1702.07825

解读:《业界 | 百度提出 Deep Voice:实时的神经语音合成系统


5.WaveNet: A Generative Model for Raw Audio

时间:2016 年 9 月 12 日

地址:https://arxiv.org/pdf/1609.03499

开源项目:https://github.com/ibab/tensorflow-wavenet

解读:《重磅 | DeepMind最新生成模型WaveNet,将机器合成语音水平与人类差距缩小50%(附论文)


其它


未分类


1.Who Said What: Modeling Individual Labelers Improves Classification

时间:2017 年 3 月 26 日

地址:https://arxiv.org/pdf/1703.08774


2.Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data

时间:2016 年 10 月 18 日

地址:https://arxiv.org/pdf/1610.05755


3.DeepMath - Deep Sequence Models for Premise Selection

时间:2016 年 6 月 14 日

地址:https://arxiv.org/pdf/1606.04442


4.Long Short-Term Memory

时间:1997 年 11 月 15 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/long-short-term-memory.pdf

扩展:《干货 | 图解LSTM神经网络架构及其11种变体(附论文)


正则化(Regularization)


1.Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning

时间:2015 年 6 月 6 日

地址:https://arxiv.org/pdf/1506.02142


2.Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

时间:2015 年 2 月 11 日

地址:https://arxiv.org/pdf/1502.03167


神经网络压缩(Neural Network Compression)


1.SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

时间:2016 年 2 月 24 日

地址:https://arxiv.org/pdf/1602.07360


2.Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding

时间:2015 年 10 月 1 日

地址:https://arxiv.org/pdf/1510.00149


优化器(Optimizers)


1.Adam: A Method for Stochastic Optimization

时间:2014 年 12 月 22 日

地址:https://arxiv.org/pdf/1412.6980


2.Deep learning with Elastic Averaging SGD

时间:2014 年 12 月 20 日

地址:https://arxiv.org/pdf/1412.6651


3.ADADELTA: An Adaptive Learning Rate Method

时间:2012 年 12 月 22 日

地址:https://arxiv.org/pdf/1212.5701


4.Advances in Optimizing Recurrent Networks

时间:2012 年 12 月 4 日

地址:https://arxiv.org/pdf/1212.0901


5.Efficient Backprop

时间:1998 年 7 月 1 日

地址:https://github.com/sbrugman/deep-learning-papers/blob/master/papers/efficient-backprop.pdf


机器之心发布的其它值得关注的论文和文章列表:


资源 | 如何开启深度学习之旅?这三大类125篇论文为你导航(附资源下载)

学界 | 2010-2016年被引用次数最多的深度学习论文(附下载)

资源 | 生成对抗网络新进展与论文全集

资源 | 生成对抗网络及其变体的论文汇总

人工智能从入门到进阶,机器之心高分技术文章全集


原文链接:https://github.com/sbrugman/deep-learning-papers


点击报名」参与机器之心 GMIS 2017 ↓↓↓

640-44.jpeg

入门论文理论深度学习GitHubNLP计算机视觉音频合成正则化优化器神经网络模型压缩
4
暂无评论
暂无评论~