评测指标是衡量一个算法是否出色的一个重要部分,好的指标能让我们这些炼丹学徒知道,练出来的丹药是否有效果。那么在机器学习中有哪些值得一探究竟的指标呢?本文就PR图,ROC、AUC、mAP这4个方面进行详细探究。
总的来说评价指标的核心得从二分类问题说起:一个类,它实际值有0、1两种取值,即负例、正例;而二分类算法预测出来的结果,也只有0、1两种取值,即负例、正例。我们不考虑二分类算法细节,当作黑箱子就好;我们关心的是,预测的结果和实际情况匹配、偏差的情况。
从TP、FP、TN、FN讲起。那么说起这些指标,则又要需要说混淆矩阵了。
混淆矩阵
混淆矩阵是机器学习中总结分类模型预测结果的情形分析表,以矩阵形式将数据集中的记录按照真实的类别与分类模型作出的分类判断两个标准进行汇总。这个名字来源于它可以非常容易的表明多个类别是否有混淆(正类预测成负类)。

这里,我们认为 1 为正类, 0为负类,那么我们可以得出这样的指标:

P (Positive) 和 N(Negative) 代表模型的判断结果
T (True) 和 F(False) 评价模型的判断结果是否正确
FP: 假正例,模型的判断是正例 (P) ,实际上这是错误的(F),连起来就是假正例
FN:假负例,模型的判断是负例(N),实际上这是错误的(F),连起来就是假正例<