Google AI 技术博客新文,「使用 RigL 改善稀疏训练」
在新技术博客中,Google AI 介绍 RigL,一种用于训练稀疏神经网络的算法,该算法在整个训练过程中使用固定的参数计数和计算成本,而不会牺牲相对于现有的密集/稀疏的训练方法。该算法识别出在训练过程中哪些神经元应该处于活动状态,这有助于优化过程利用最相关的连接并获得更好的稀疏解。例如,在 MNIST 上训练多层感知器(MLP)网络的过程中,研究人员经过 RigL 训练的稀疏网络学会了专注于图像的中心,从边缘丢弃了无用的像素。该研究方法的 Tensorflow 实现以及其他三个基准(SET,SNFS,SNIP)可以在 github.com/google-research/rigl 上找到。