AUC、ROC 详解

Hey

Machine Learning notes

AUC、ROC 详解

AUC: 一个正例，一个负例，预测为正的概率值比预测为负的概率还要大的可能性

根据定义：我们最直观的有两种计算 auc 的方法

1. 绘制 ROC 曲线，roc 曲线下面的面积就是 AUC 的值
2. 假设共有（m+n）个样本，其中正样本 m 个，负样本 n 个，共有 m n 个样本对，计数，正样本预测为正样本的概率概率大于负样本预测为正样本的概率记为 1，累加计数，然后除以（m n）就是 AUC 的值

ROC 曲线

ROC 曲线：接受者操作特征（receiveroperating characteristic），roc 曲线上的每个点反应着对同一信号刺激的感受性。

横轴：负正类率（false postive rate FPR）特异度，划分实例中所有的负例占所有负例的比例 （1-Specificity）

纵轴：真正类率 （true postive rate TPR）灵敏度，Sensitivity (正类覆盖率)

2 针对一个二分类问题，将实例分成正类 (postive) 或者负类 (negative)。但是实际中分类时，会出现四种情况.

(1) 若一个实例是正类并且被预测为正类，即为真正类 (True Postive TP)

(2) 若一个实例是正类，但是被预测成为负类，即为假负类 (False Negative FN)

(3) 若一个实例是负类，但是被预测成为正类，即为假正类 (False Postive FP)

(4) 若一个实例是负类，但是被预测成为负类，即为真负类 (True Negative TN)

TP: 正确的肯定数目

FN: 漏报，没有找到正确匹配的数目

FP: 误报，没有的匹配不正确

(1) 真正类率 (True Postive Rate) TPR: TP/(TP+FN), 代表分类器预测的正类中实际正实例占所有正实例的比例。Sensitivity

(2) 负正类率 (False Postive Rate) FPR: FP/(FP+TN)，代表分类器预测的正类中实际负实例占所有负实例的比例。1-Specificity

AUC (Area under Curve)：Roc 曲线下的面积，介于 0.1 和 1 之间。Auc 作为数值可以直观的评价分类器的好坏，值越大越好。