ResNet-50的推理时间为26ms : 有助于智能手机上所有DNN的实时执行
随着一系列高端移动设备的迅速崛起,很多之前需要桌面级计算能力的应用程序现在可以毫无问题地在这些设备上运行。但是,如果缺少细致优化,执行深度神经网络(实时视频流处理的关键组成部件,也是众多流行应用的基础)依然面临挑战,特别是在需要极低延迟或高准确率推理时。本篇论文《26ms Inference Time for ResNet-50: Towards Real-Time Execution of all DNNs on Smartphone》提出一个编程框架 CADNN,其借助于先进的模型压缩(稀疏性)和一组全面的架构感知优化在移动设备上高效地执行 DNN。评估结果表明,CADNN 的表现优于 Tensorflow Lite 和 TVM 等所有当前最佳的密集 DNN 执行框架。