2019/03/07 16:31

苏品毓作者

二分类问题常见的评价指标

一、准确率

准确率是我们常见的评价指标之一，一般定义是，分类正确的样本数占总样本的比例数。

但是准确率在数据不均衡的数据集上会缺少一定的说服力，比如一个数据集，有990正样本，10个负样本，现在模型把样本全部都预测成正样本，那么我们说模型的准确率是99%，这个从计算上看是没问题，但是当样本不均衡时，光使用准确率来评价一个模型的好坏是不够的。

二、精准率和召回率

二分类问题的预测结果可以根据情况分成以下四类：

真正例（True Positive）：预测值为1，真实值为1

假正例（False Positive）：预测值为1，真实值为0

真反例（True Negative）：预测值为0，真实值为0

假反例（False Negative）：预测值为0，真实值为1

构造成结果的混淆矩阵

精准率又称查准率：

召回率又称查全率：

精准率可以解释为，预测为正例的样本中，有多少是真的正例

召回率可以解释为，真实的正例的样本中，有多少被预测出来

F1：精准率和召回率的调和平均

三、AUC

AUC是另一种评价二分类算法的指标，被定义为 ROC 曲线下的面积。那什么是ROC曲线呢？

ROC曲线的坐标，纵坐标为真正例率（True Positive Rate,TPR），横坐标为假正例率（False Positive Rate,FPR）

具体定义如下：

根据模型在ROC坐标上的位置，可以判断模型的性能

模型1

模型2

横纵坐标

ROC坐标上的四个点

（0,1）：所有样本分类正确

（1,0）：所有样本分类错误

（0,0）：所以样本都分类为负

（1:1）：所以样本都分类为正

由上图可以看出模型2要好于模型1

怎么画出AUC曲线呢，首先按照预测值进行排序

按照预测值大小，依次作为阈值，求解FP rate和TP rate

按照上图的信息可以画出曲线

曲线下的面积被称为AOC

AOC的意义：衡量正样本排在负样本前面的能力，这里的能力更具体一点就是出现的概率。与域值的选取没有关系。

四、混淆矩阵

对于多分类的相关问题，常用的评价标准是混淆矩阵

如果分成n个类别的话，混淆矩阵的形式是一个的一个矩阵，具体的形式如下

上图中每一列代表预测的类别，每一行代表真实的类别的归属，第二行cat的总数量为8，表示类cat总共有8个样本，其中3个分类正确，3个被错误的分到了dog，2个被错误的分到了robbit。

如果计算cat的准确率计算公式如下

参考文献：

1、李航《统计学习方法》清华大学出版社

2、周志华《机器学习》清华大学出版社

3、Confusion matrix

4、sklearn.metrics.confusion_matrix - scikit-learn 0.20.2 documentation

原文来自学员知乎作业：

https://zhuanlan.zhihu.com/p/55324860

贪心科技

贪心科技——让AIGC塑造人机协作新范式。贪心科技是一家人工智能科技公司，主要从事行业大模型的研发，面向企业的大模型落地，以及AIGC技术的全面普及。公司的主要产品包括 AIGC实验室平台（AIGC for Everyone），面向垂直行业的大模型产品（教育、人力资源、智能制造等行业），和企业级Copilot生成平台。

入门二分类问题混淆矩阵

3 1

相关数据

李航人物

李航，毕业于日本京都大学电气电子工程系，日本东京大学获得计算机科学博士学位。北京大学、南京大学兼职教授。曾任日本NEC公司中央研究所研究员，微软亚洲研究院高级研究员与主任研究员、华为技术有限公司诺亚方舟实验室主任，是《统计学习方法》作者。

来源：个人页面百度百科李航

周志华人物

周志华分别于1996年6月、1998年6月和2000年12月于南京大学计算机科学与技术系获学士、硕士和博士学位。主要从事人工智能、机器学习、数据挖掘等领域的研究工作。主持多项科研课题，出版《机器学习》(2016)与《Ensemble Methods: Foundations and Algorithms》(2012)，在一流国际期刊和顶级国际会议发表论文百余篇，被引用三万余次。

来源：个人页面 Zhou, Z.

混淆矩阵技术

混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等，这些精度指标从不同的侧面反映了图像分类的精度。在人工智能中，混淆矩阵（confusion matrix）是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。矩阵的每一行表示预测类中的实例，而每一列表示实际类中的实例（反之亦然）。这个名字源于这样一个事实，即很容易看出系统是否混淆了两个类。

来源：Wikipedia

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

真正例技术

被模型正确地预测为正类别的样本。例如，模型推断出某封电子邮件是垃圾邮件，而该电子邮件确实是垃圾邮件。

来源：Google ML Glossary

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分，在机器学习领域，分类问题通常被认为属于监督式学习(supervised learning)，也就是说，分类问题的目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

来源：Wikipedia

知乎机构

知乎，中文互联网综合性内容平台，自 2010 年成立以来，知乎凭借认真、专业、友善的社区氛围，独特的产品机制，以及结构化、易获得的优质内容，聚集了中文互联网科技、商业、影视、时尚、文化等领域最具创造力的人群，已成为综合性、全品类，在诸多领域具有关键影响力的内容平台。知乎将AI广泛应用与社区，构建了人、内容之间的多元连接，提升了社区的运转效率和用户体验。知乎通过内容生产、分发，社区治理等领域的AI应用，也创造了独有的技术优势和社区AI创新样本。

zhihu.com