事实证明，正确评估针对对抗性案例的防御是非常困难的。尽管最近大量的工作试图设计出能够抵抗自适应攻击的防御措施，但很少有人成功；提出防御的大多数论文很快就被证明是错误的。在论文《On Evaluating Adversarial Robustness》中，研究人员认为一个很大的因素是执行安全评估的难度。该论文讨论了方法论基础，回顾了普遍接受的最佳实践，并提出了评估对抗性示例的防御的新方法。这是一个开放性工作，贡献者包括Ian Goodfellow、Nicholas Carlini等人。