DeepMind 联合谷歌大脑提出通用黑盒 PBT 框架
来自 DeepMind 以及谷歌大脑的研究团队早前公布了一篇名为「基于人口的广义训练框架」的论文。基于人口的训练(PBT)是一种联合优化神经网络权重和超参数的最新方法,其定期复制最佳表现者的权重并在训练期间改变超参数。传统的 PBT 实施已经是同步的玻璃盒系统。研究人员在文中提出了一个通用的黑盒 PBT 框架,它通过 PBT 控制器协调在集群中分配许多异步「试验」(少量的热启动训练步骤)。黑盒设计不会对模型架构,损失函数进行假设或培训程序。该系统支持动态超参数调度,以优化可区分和非差异指标。研究人员应用该系统来训练用于人类语音合成的最先进的 WaveNet 生成模型。研究表明,与现有方法相比,在相同的计算资源下,该 PBT 系统实现了更好的准确性和更快的收敛。