神经网络因为其有大量参数而显得极为灵活，这对于学习过程而言非常有优势，但同时也意味着模型有大量冗余。这些参数冗余令压缩神经网络，且还不会存在大幅度性能损失成为可能。近日，Hinton等研究者介绍了一种 Targeted Dropout，它是一种用于神经网络权重和单元后分析（Post hoc）剪枝的策略，并直接将剪枝机制构建到学习中。 在每一次权重更新中，Targeted Dropout 会使用简单的挑选准则确定一组候选权重，然后再将 Dropout 应用到这个候选集合以进行随机剪枝。最后的神经网络会明确地学习到如何对剪枝变得更加鲁棒，这种方法与更复杂的正则化方案相比非常容易实现，同时也容易调参。