商汤ICLR 2019论文提出随机架构搜索
在此 ICLR 2019 论文《SNAS : stochastic neural architecture search》中,商汤科技提出随机神经网络结构搜索(SNAS)。据介绍,与基于强化学习的方法(ENAS)相比,SNAS 的搜索优化可微分,搜索效率更高。与其他可微分的方法(DARTS)相比,SNAS 直接优化 NAS 任务的目标函数,搜索结果偏差更小。此外,基于 SNAS 保持了随机性(stochasticity)的优势,该论文进一步提出同时优化网络损失函数的期望和网络正向时延的期望,自动生成硬件友好的稀疏网络。