12 月 10 日，百度预训练模型 ERNIE 在自然语言处理领域数据集 GLUE 中登上榜首，并以 9 个任务平均得分首次突破 90 分刷新该榜单历史，其超越微软 MT-DNN-SMART, 谷歌 T5、ALBERT 等预训练模型的表现。