近日，何恺明等研究者发表论文《Rethinking ImageNet Pre-training》，研究者使用从随机初始化开始训练的标准模型在 COCO 数据集上取得了目标检测和实例分割的有力结果。这些结果可以媲美那些在 ImageNet 上进行预训练的模型的结果，即使使用为微调预训练模型而优化的基线系统（Mask R-CNN）的超参数也是如此，唯一的例外是增加训练迭代次数，以便随机初始化的模型可以收敛。从随机初始化开始训练的模型的鲁棒性出人意料；研究结果在以下情况下得以保持:（i）仅用 10% 的训练数据；（2）针对较深、较广泛的模型；（3）用于多个任务及矩阵。 实验表明，ImageNet 预训练可以在训练早期加速收敛，但未必会提供正则化或提高最终目标任务的准确率。为挑战极限，研究者在 COCO 目标检测数据集上在不使用任何外部数据的前提下得到了 50.9 AP，该结果可以媲美 COCO 2017 挑战赛冠军使用 ImageNet 预训练得到的结果。这些观察挑战了独立任务中关于 ImageNet 预训练的常识，研究者希望这些发现可以激励大家重新思考计算机视觉中预训练和微调的当下实际范式。