随着技术、算力的发展，在 ImageNet 上训练 ResNet-50 的速度被不断刷新。2018 年 7 月，腾讯机智机器学习平台团队在 ImageNet 数据集上仅用 6.6 分钟就训练好 ResNet-50，创造了 AI 训练世界纪录。如今，这一纪录再次被索尼刷新。近日，索尼的研究者发表论文《ImageNet/ResNet-50 Training in 224 Seconds》，论文作者着眼于大批量训练的不稳定性和梯度同步成本问题，成功地使用 2176 块 Tesla V100 GPU 将训练时间减少到 224 秒，并达到 75.03% 的验证准确率。研究者还尝试在不显著降低准确率的前提下提升 GPU 扩展效率。他们最终使用 1088 块 Tesla V100 GPU 实现了 91.62% 的 GPU 扩展效率。