谷歌&DeepMind提出通过对抗样本检测过拟合
在流行基准测试问题中测试集的多次重用引发了人们对测试错误率可信度的担忧。验证一个学得的模型是否被过度拟合到一个测试集是一大挑战,因为从相同的数据分布中提取的独立测试集通常是不可用的,而其他测试集可能会引入分布偏移。在论文《Detecting Overfitting via Adversarial Examples》中,来自DeepMind和谷歌的研究人员提出了一种新的假设测试方法,只使用原始的测试数据检测过拟合。它利用了一种新的无偏误差估计,这种估计基于从测试数据和重要性加权中生成的对抗样本。研究者通过对一个综合问题的蒙特卡洛模拟说明了该方法的有效性。