Quoc Le 和谷歌大脑团队以及卡耐基贝隆大学的研究人员提出了一种新的半监督学习训练方法，该方法可在 ImageNet 上达到最高的准确性（88.4％），比此前需要大量弱标记 Instagram 图像的最先进模型高了 2％。它还将 ImageNet-A top-1 的准确性从 61.0％提高到 83.7％，将 ImageNet-C 的平均损坏错误从 45.7％降低到 28.3％，并将 ImageNet-P 的平均翻转率从 27.8％降低到 12.2％。他们首先在标记的 ImageNet 图像上训练一个 EfficientNet 模型，并以其为教师在 300M 未标记的图像上生成伪标记，然后将更大的 EfficientNet 训练为带有标记和伪标记图像组合的学生模型。他们通过让学生作为老师来迭代此过程，在伪标签的生成过程中，不会对教师产生干扰，从而使伪标签尽可能准确。