剪枝需有的放矢,快手&罗切斯特大学提出基于能耗建模的模型压缩
近日,快手 Y-Tech 西雅图 AI lab 联合罗切斯特大学等研究者提出了一种基于能耗建模的压缩方法,他们的两篇论文《Energy-Constrained Compression for Deep Neural Networks via Weighted Sparse Projection and Layer Input Masking》、《ECC: Energy-Constrained Deep Neural Network Compression via a Bilinear Regression Model》分别被 ICLR 2019 和 CVPR 2019 接收。这两篇论文都在思考如何设计一种深度神经网络,它能在满足给定能耗的情况下最大化准确率;都将这种能耗约束加入到最优化过程,并通过端到端的方法学习如何进行更高效的剪枝。