ICCV 2019 | 四小时搜索NN结构,厦大提出快速NAS检索方法
近年来,通过神经架构搜索(NAS)算法生成的架构在各种计算机视觉任务中获得了极强的的性能。然而,现有的 NAS 算法需要再上百个 GPU 上运行 30 多天。在论文《multinomial distribution learning for effective neaural architecture search》中,厦门大学媒体分析与计算实验室(纪荣嵘团队)、深圳鹏城实验室的研究人员提出了一种基于多项式分布估计快速 NAS 算法,它将搜索空间视为一个多项式分布,可以通过采样-分布估计来优化该分布,从而将 NAS 可以转换为分布估计/学习。
除此之外,该论文还提出并证明了一种保序精度排序假设,进一步加速学习过程。在 CIFAR-10 上,通过这种方法搜索的结构实现了 2.55%的测试误差,GTX1080Ti 上仅 4 个 GPU 小时。在 ImageNet 上,实现了 75.2%的 top1 准确度。