在论文《Adaptive Gradient Methods with Dynamic Bound of Learning Rate》中，研究人员提出了一种新型优化方法 AdaBound，「和 Adam一样快、和 SGD一样好」。据了解，四位作者 Liangchen Luo、Yuanhao Xiong、Yan Liu、Xu Sun 均来自国内。共同一作骆梁宸和 Yuanhao Xiong 分别来自北京大学和浙江大学，Yan Liu 来自南加州大学，Xu Sun 来自北京大学。而且一作骆梁宸是北京大学的本科生。作者在 reddit 网站发帖介绍了这项研究，并提供了 PyTorch 实现。他们目前在 MNIST 和 CIFAR-10 数据集做了测试，但由于计算资源有限而无法选择 ImageNet 等大数据集。此外，作者还表示 AdaBound 可以直接通过 pip 安装，不过使用 AdaBound 不意味着不用调参，只不过 AdaBound 可以帮助大家减少所需要的时间。