去年，谷歌发布了基于双向 Transformer 的大规模预训练语言模型 BERT 并开源。该模型参数量非常大——3 亿，训练时间也很长。近日，在论文《Reducing BERT Pre-Training Time from 3 Days to 76 Minutes》中，来自谷歌大脑的研究者提出了一种新型优化器 LAMB，有效降低 BERT 预训练时间，76 分钟即可完成 BERT 预训练！