OpenAI今日发布新研究，其在技术研究博客中称：与传统观点相反，OpenAI 发现 CNN，ResNets 和 Transformer 的性能不是单调的：它先提高，然后恶化，然后随着模型大小，数据大小或训练时间的增加而再次提高。通常通过仔细的正则化可以避免这种效果。尽管这种行为似乎相当普遍，但我们仍未完全理解为什么会发生这种情况，因此将对这种现象的进一步研究视为重要的研究方向。