MIT新研究,通过「对抗性示例」检测机器学习系统是否稳健
近日,麻省理工学院研究人员提出能通过检测模型在不该出错时却犯错的方式,用于评估神经网络的机器学习模型如何用于各种任务。卷积神经网络旨在处理和分类图像以用于计算机视觉和许多其他任务。但是人眼难以察觉的轻微修改,比如图像中的一些较暗的像素,就可能会导致CNN产生截然不同的分类。此类修改被称为「对抗性示例」。研究对抗性示例对神经网络的影响可以帮助研究人员确定模型如何受到现实世界中意外输入的影响。
在研究团队本周在国际学习代表会议上发表的论文中,研究人员描述道,这种技术对于任何输入,要么找到对抗性的例子,要么保证所有被扰动的输入,即便其仍然看起来与原始相似,也还是能被正确分类。通过这种操作,这种方式就能测量神经网络网络对特定任务的稳健性。