接收者操作特征曲线是一种坐标图式的分析工具，主要在信号处理、机器学习、医疗诊断等领域中使用，用以测试2值输出的分类模型。其主要是
(1) 选择最佳的信号侦测模型、舍弃次佳的模型。
(2) 在同一模型中设定最佳阈值。
来源：Wikipedia: https://zh.wikipedia.org/zh-cn/ROC%E6%9B%B2%E7%BA%BF
该曲线就是以假阳性概率（False positive rate，又称误诊率）为横轴，真阳性率 (True positive rate，又称灵敏度） 为纵轴所组成的坐标图，和测试模型在特定数据集由于采用不同的判断阈值得出的不同结果画出的曲线，曲线中每一点代表一个被测模型。根据该曲线，设计人员可计算ROC曲线下的面积（The area under the ROC curve (AUC) ）。因为分类模型要比随机分类要好，此AOC面积通常大于0.5, 以此工程人员通常选择AUC面积较大作为参考设置最佳的阈值（但有时也不一定，依据不同应用而定）。
示例1：
示例1的曲线是根据在不同的模型设置不同的阈值而生成的。从图1的不同曲线可以看出，它们灵敏度/特异度比率不同。其中，Hierarchical Binomial-neighborhood 的ROC曲线下面积最接近1，相比于其他两种方法具有更好的分类准确性。
图片来源：Jiang, X., Nariai, N., Steffen, M., Kasif, S., & Kolaczyk, E. D. (2008). Integration of relational and hierarchical network information for protein function prediction. BMC bioinformatics, 9(1), 350.
示例2：
有时也不一定选择AUC面积比较大的模型。如示例2所示，虽然绿色的RBF方法的AUC面积较橙色的Linear方法面积大，但在某些特定实际场合可能会选择Linear函数，如样本需要特异度低、假阳性率高（如国家领导人外出场合的危险品检查）。
图片来源：Sugaya, N., & Ikeda, K. (2009). Assessing the druggability of protein-protein interactions by a supervised machine-learning method. BMC bioinformatics, 10(1), 263.
发展历史
ROC曲线在第二次世界大战期间首先用于分析雷达信号，然后用于信号检测理论。继1941年珍珠港袭击事件发生后，美国军方开始进行新的研究，以增加对正确检测到的日本飞机雷达信号的预测。为此，他们测量了雷达操作员区分敌机袭击的能力，称为ROC (受试者工作特征)。
在二十世纪五十年代，ROC曲线被应用于心理物理学(psychophysics)，以评估人类（偶尔是非人类动物）对弱信号刺激的反应检测 。在医学上，ROC分析已被广泛用于诊断测试的评估。 ROC曲线也广泛用于流行病学和医学研究，并经常与循证医学结合使用。在放射学中，ROC分析是评估新的放射学技术的常用技术。在社会科学中，ROC分析通常被称为ROC准确率，这是判断违约概率模型准确性的常用方法。 ROC曲线在实验室医学中被广泛用于评估测试的诊断准确性，选择测试的最佳截止点并比较多个测试的诊断准确性。
ROC曲线也被证明对评估机器学习技术有用。 ROC在机器学习中的第一个应用是Spackman，他演示了ROC曲线在比较和评估不同分类算法中的价值。
主要事件
| 年份 | 事件 | 相关论文 |
| 1988 | ROC用于心理物理学统计 | GREEN Dand SWETS, J. (1988). Signal detection theory and psychophysics. |
| 1993 | ROC 用于医药 | Zweig, M. H., & Campbell, G. (1993). Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine. Clinical chemistry, 39(4), 561-577. |
| 1989 | ROC用于机器学习 | Spackman, K. A. (1989). Signal detection theory: Valuable tools for evaluating inductive learning. In Proceedings of the sixth international workshop on Machine learning (pp. 160-163). |
| 2003 | 综述ROC用于医疗诊断 | Pepe, M. S. (2003). The statistical evaluation of medical tests for classification and prediction. Medicine. |
发展分析
瓶颈
作为比较广泛使用的直观的统计分析手段，然而近来ROC开始受到质疑，因为有些机器学习的研究指出，AUC的噪声太多，并且很常求不出可信又有效的AUC值（此时便不能保证AUC传达本文开头所述之意义），使得AUC在模型比较时产生的问题比解释的问题更多。
未来发展方向
- 更科学的模型选择方法：A.在样本缺少的应用下，针对目前计算AUC面积的算法会噪声太多。B. 如何在特定场合（特异度高、假阳性率低或者反之），科学选择更好的分类器。
- 面向多种类分类器的ROC算法 （e.g. [1]）。
- 其他类ROC的分析工具： REC(Regression error characteristic) [2]，RROC (Regression ROC) [3]
Contributor: Joni Zhong