美国圣母大学与哈佛大学近日发表新研究论文，讨论道：通过提供大量数据和标准化评估协议，计算机视觉中的数据集有助于推动视觉识别技术的进步。但即使考虑到近期基准测试的突破性结果，我们仍然会思考：识别算法是否与我们认为的一样好？视觉科学一直利用一种非常不同的评估体系，即被称为视觉心理物理学来研究视觉感知。心理物理学是对受控刺激与在实验测试对象中引起的行为反应之间关系的定量检查。心理物理学不是使用汇总统计来衡量效果，而是指导研究构建由个体刺激响应组成的项目，响应曲线以找到感知阈值，从而允许我们了解受试者不再能够可靠地识别刺激类别的确切点在哪里。在本文中，我们介绍了一种基于此方法的视觉识别模型的综合评估框架。在数以百万计的程序渲染 3D 场景和 2D 图像中，我们比较了众所周知的卷积神经网络的性能。我们的结果提出了对近期主张近似人类表现等研究的质疑，并为纠正新出现的算法缺陷提供了进步的方向。（IEEE）