发展历史
描述
随着神经网络的广泛应用，如何快速的训练大型的网络是现在亟需解决的问题之一。学者针对这个问题，提出了不同的方法来对网络进行并行的训练。
主要事件
年份 | 事件 | 相关论文/Reference |
2012 | 提出了模型并行训练和数据并行训练 | Dean J, Corrado G, Monga R, et al. Large scale distributed deep networks[C]//Advances in neural information processing systems. 2012: 1223-1231. |
2014 | 提出了一种新的方法并行地训练卷积神经网络 | Krizhevsky A. One weird trick for parallelizing convolutional neural networks[J]. arXiv preprint arXiv:1404.5997, 2014. |
发展分析
瓶颈
对于并行神经网路，数据并行和模型并行都不能无限扩展。数据并行的训练程序太多时，不得不减小学习率，以保证训练过程的平稳；模型并行的分片太多时，神经元输出值的交换量会急剧增加，效率大幅下降。
未来发展方向
将数据并行与模型并行相结合，并构建集群，来提高神经网的训练速度。
Contributor: Yilin Pan