二分类评估指标说明

1.混淆矩阵

混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。

对预测结果与实际结果做如下的定义：

(1)TN：算法预测为负例（N），实际上也是负例（N）的个数，即算法预测对了（True）

(2)FP：算法预测为正例（P），实际上是负例（N）的个数，即算法预测错了（False）

(3)FN：算法预测为负例（N），实际上是正例（P）的个数，即算法预测错了（False）

(4)TP：算法预测为正例（P），实际上也是正例（P）的个数，即算法预测对了（True）

例子：在信贷评分卡模型构建中，有20000个样本，BadRate为5%，那么坏客户（Flag=1）

的客户数为1000，好客户（flag=0）的客户为19000。采用Logistics回归模型进行构建评分卡模型。模型效果如下：

2.准确率(accuracy)

顾名思义，就是所有的预测正确（正类负类）的占总的比重。

例子：

3.精准率（precision）

精准率就是“预测为正例的那些数据里预测正确的数据个数”，有称查准率。模型预测为坏客户且模型实际是坏客人占预测为坏客户人数的比例。

例子：

4.召回率(recall)

召回率就是“真实为正例的那些数据里预测正确的数据个数”，又称灵敏度（Sensitivity）、查全率。在信贷中实际是坏客户模型判断为坏客户占总体坏客户的比例，

例子：

5.误杀率

实际为好客户模型判断为坏客户的人数占总体好客户人数的比例。

例子：

6.召回率与误杀率

假设某信贷产品的badrate为7.8%，件均收益300，如果逾期后件均损失为3000元。现有一黑名单数据产品召回率为34.54%，误杀率为17.89%，是否可以采用该产品。

件均挽回金额=badrate*件均损失*召回率

件均损失收益=（1-badrate）*件均收益*误杀率

盈亏平衡点：件均挽回金额-件均损失收益=0

即：badrate*件均损失*召回率-（1-badrate）*件均收益*误杀率=0

得：召回率

误杀率

=件均收益?（1?badrate）

badrate?件损失均

=1.18<34.54%/17.89%,为此该黑名单产品可以

使用。

7.F1-Score

Precision体现了模型对负样本的区分能力，Precision越高，模型对负样本的区分能力越强；Recall体现了模型对正样本的识别能力，Recall越高，模型对正样本的识别能力越强。F1 score是两者的综合，F1 score越高，说明模型越稳健。

recall+

precision

2?recall?precision

recall+precision

8. ROC曲线

（1）真正率(True Positive Rate,TPR)：TPR=TP/(TP+FN)，即被预测为正的正样本数/正样本实际数

（2）假正率(False Positive Rate,FPR) ：FPR=FP/(FP+TN)，即被预测为正的负样本数/负样本实际数

（3）假负率(False Negative Rate,FNR) ：FNR=FN/(TP+FN)，即被预测为负的正样本数/正样本实际数

（4）真负率(True Negative Rate,TNR) ：TNR=TN/(TN+FP)，即被预测为负的负样本数/负样本实际数

FPR表示模型虚报的响应程度，而TPR表示模型预测响应的覆盖程度。我们希望：虚报的越少越好，覆盖的越多越好。总结一下就是FPR越低TPR越高（即ROC曲线越陡），那么模型就越好。ROC曲线无视样本不平衡。

画曲线的用意是：用假正率与真正率的变化趋势，来观察模型是否能在较低的假正率下得到较高的真正率。

9.AUC

绘制ROC曲线时，横轴纵轴都是0~1，形成一个1*1的正方形。AUC就是在这个正方形里ROC曲线围成的面积。

如果连接正方形的对角线，它的面积正好是0.5。对角线的实际含义是：随机判断响应与不响应，正负样本覆盖率都是50%，即AUC ＝0.5表示随机分类器。AUC < 0.5表示差于随机分类器，没有建模价值；AUC ＝1表示完美分类器，不存在；0.5 < AUC < 1，优于随机分类器，大多模型都在这个区间里。

从AUC判断分类器（预测模型）优劣的标准：