AUC值越大_「机器学习速成」分类,评估指标(TP、FP、TN、FN),ROC曲线和AUC

article/2025/5/1 9:20:57

大家好,今天我们学习【机器学习速成】之 分类,评估指标(TP、FP、TN、FN),ROC曲线和AUC。

本节介绍了如何使用逻辑回归来执行分类任务, 并探讨了如何评估分类模型的有效性。

我们 马上学三点

  1. 逻辑回归用作分类:指定阈值
  2. 评估指标:准确率、精确率和召回率
  3. ROC曲线和曲线下面积(AUC)

大家可以点击下面的“ 了解更多 ”, 或搜索“ 马上学123 ”, 在线观看PPT讲义。

分类与回归: 指定阈值

我们在之前“逻辑回归”一节介绍了关于回归的内容, 逻辑回归是一种极其高效的概率计算机制, 会生成一个介于0到1之间的概率值

  • 您可以“原样”使用返回的概率,
  • 也可以将返回的概率转换成二元值。

现在,我们可以将逻辑回归用作分类的基础, 具体方法是利用概率输出并为其应用固定阈值

例如,如果邮件为垃圾邮件的概率超过0.8, 我们可能就会将其标记为垃圾邮件, 0.8就是分类阈值。

阈值取决于具体问题, 我们要根据具体问题对其进行调整。 在选择阈值时, 需要评估您将因犯错而承担多大的后果例如, 将非垃圾邮件误标记为垃圾邮件会非常糟糕,要少标。 但是雷达检测导弹信号,就必须宁可多虚警也不能漏掉。

评估指标:准确率

选定分类阈值之后, 如何评估相应模型的性能呢?

我们需要一些新指标, 评估分类效果的一种传统方式是使用准确率。 我们所说的准确率指的是正确结果数除以总数。 根本上讲,就是正确结果所占的百分比。 值得注意的是,虽然准确率是一种非常直观 且广泛使用的指标,但它也有一些重大缺陷。

准确率可能具有误导性

特别是, 如果问题中存在类别不平衡的情况, 那么准确率指标的效果就会大打折扣

例如, 在100个肿瘤样本中,91个为良性,9个为恶性。 在91个良性肿瘤中, 某个模型将90个正确识别为良性。 准确率很好。 不过,在9个恶性肿瘤中, 该模型仅将1个正确识别为恶性。 这是多么可怕的结果! 9个恶性肿瘤中有8个未被诊断出来!

虽然91%的准确率可能乍一看还不错, 但如果另一个肿瘤分类器模型总是预测良性, 那么这个模型使用我们的样本进行预测 也会实现相同的准确率(100个中有91个预测正确)。 换言之,我们的模型 与那些没有预测能力来区分恶性肿瘤和良性肿瘤的模型差不多。 显然,准确率并不适用于这种情况。

真正例TP、假正例FP、假负例FN和真负例TN:

为了处理类别不平衡问题, 我们需要采用更精细的方法来观察, 模型如何预测正类别、负类别或不同类别。

我们可以考虑将这些不同类型的成功和失败结果 放入2x2混淆矩阵中, 其中包括真正例TP、假正例FP、假负例FN和真负例TN:

eabf2fc319e85cccc372f9389c4a9aa6.png

真正例TP、假正例FP、假负例FN和真负例TN

  • 真正例是指模型将正类别样本正确地预测为正类别
  • 真负例是指模型将负类别样本正确地预测为负类别
  • 假正例是指模型将负类别样本错误地预测为正类别
  • 假负例是指模型将正类别样本错误地预测为负类别

真正例和假正例,举例:狼来了

为了方便理解, 我们想想“狼来了”这则故事,这个小男孩是一个牧童:

a12b02e27db5cc701ef791fd35cfe151.png

真正例TP、假正例FP、假负例FN和真负例TN

  • 如果狼来了,小男孩正确地指出来, 这就是真正例。 他看到了狼并说“狼来了”。 真正例对应的结果是小镇得救,这很好。
  • 假正例则是小男孩说“狼来了”, 但其实并没有狼。 这就是假正例,会令所有人非常恼火。
  • 假负例的后果可能更严重。 假负例对应的情形是, 狼来了而小男孩睡着了或没看到, 狼进入镇子并吃掉了所有的鸡。 这可真的太惨了。
  • 真负例对应的情形是小男孩没喊“狼来了”, 狼也确实没出现,一切安好。

评估指标:精确率和召回率

我们可以将这些预期情况组合成几个不同的指标:

  • 其中一个就是精确率, 也就是, 在小男孩说“狼来了”的情况中, 有多少次是对的? 他说“狼来了”的精确率如何?
  • 另一方面,召回率指标则是指: 在所有试图进入村庄的狼中,我们发现了多少头

值得注意的是, 这些指标往往处于此消彼长的状态:

  • 如果您希望在召回率方面做得更好, 那么即使只是听到灌木丛中传出的一点点声响, 也要早些指出“狼来了”。 我们认为这种做法会降低分类阈值
  • 如果我们希望非常精确, 那么正确的做法是只在我们完全确定时才说“狼来了”, 我们认为这样会提高分类阈值

这两个指标往往处于此消彼长的状态, 而在这两个方面都做好非常重要。 这也意味着, 每当有人告诉您精确率值是多少时, 您还需要问召回率值是多少, 然后才能评价模型的优劣。

ROC 曲线:真正例率 (TPR) 、假正例率 (FPR)

我们选择特定的分类阈值后, 精确率和召回率值便都可以确定。

但我们可能无法事先得知最合适的分类阈值, 而我们仍然想知道我们的模型质量如何。

合理的做法是尝试使用许多 不同的分类阈值来评估我们的模型。 事实上,我们有一个指标可衡量模型 在所有可能的分类阈值下的效果。 该指标称为ROC曲线,即接收者操作特征曲线。

ROC曲线具体概念是: 我们对每个可能的分类阈值进行评估, 并观察相应阈值下的真正例率和假正例率

a14c0de0d279ecdb7f56bc0d70ac26ef.png

ROC 曲线:真正例率 (TPR) 、假正例率 (FPR)

  • 横轴FP假正例率(误报率), 模型预测错误的狼来了真实情况狼没有来的比例;
  • 纵轴TP真正例率(召回率), 模型预测正确的狼来了真实情况狼来了的比例;

ROC 曲线

5d09ed166b6140dea2bd1f046af8dbb8.png

ROC 曲线

ROC曲线用于绘制采用不同分类阈值时的TPR与FPR降低分类阈值会导致将更多样本归为正类别, 从而增加假正例和真正例的个数。

评估指标:曲线下面积

为了计算 ROC 曲线上的点, 我们可以使用不同的分类阈值多次评估逻辑回归模型, 但这样做效率非常低。 幸运的是, 有一种基于排序的高效算法可以为我们提供此类信息, 这种算法称为曲线下面积, 也称为AUC(Area Under Curve)。

7b910e44e25c55ecddc36b0a69e3a43f.png

曲线下面积

借助曲线下面积,我们可以有效解读概率。

举例解释一下: 如果我拿一个随机正分类样本, 然后再拿起一个随机负分类样本, 则模型正确地将较高分数分配给正分类样本 而非负分类样本的概率是多少? 结果表明, 这个概率正好等于ROC曲线下面积代表的概率值。 因此,如果我看到ROC曲线下面积的值是0.9, 那么这就是得出正确的配对比较结果的概率。

曲线下面积(AUC)对所有可能的分类阈值的效果 进行综合衡量

AUC值是一个概率值, 当你随机挑选一个正样本以及负样本, 当前的分类算法根据计算得到的Score值 将这个正样本排在负样本前面的概率就是AUC值, AUC值越大, 当前分类算法越有可能将正样本排在负样本前面, 从而能够更好地分类。

所以,AUC曲线的物理意义为: 任取一对(正、负)样本, 正样本的置信度大于负样本的置信度的概率。

曲线下面积的取值范围为0-1:

  • 预测结果 100% 错误的模型的曲线下面积为 0.0;
  • 预测结果 100% 正确的模型的曲线下面积为 1.0;
  • ROC曲线越靠近左上角,模型的准确性就越高;
  • 如果两条ROC曲线发生了交叉, 可以比较ROC曲线下的面积,即AUC选模型;

总结:

  • 逻辑回归用作分类,指定阈值,阈值取决于具体问题
  • 评估指标:准确率(accuracy)、精确率(precision)、召回率(recall)
  • ROC曲线对每个可能的分类阈值进行评估, 并观察相应阈值下的真正例率和假正例率。
  • AUC曲线的物理意义为:任取一对(正、负)样本,正样本的置信度大于负样本的置信度的概率

这里讲了三点,关键词有哪几个?

提问,论文中一般使用那些评估指标?

欢迎回复评论


http://chatgpt.dhexx.cn/article/n3t6JiRk.shtml

相关文章

AUC值越大_一文看懂ROC、AUC

评测指标是衡量一个算法是否出色的一个重要部分,好的指标能让我们这些炼丹学徒知道,练出来的丹药是否有效果。那么在机器学习中有哪些值得一探究竟的指标呢?本文就PR图,ROC、AUC、mAP这4个方面进行详细探究。 总的来说评价指标的核心得从二分类问题说起:一个类,它实际值有…

入门选手都能理解的ROC曲线与AUC值

项目github地址:bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star,留言,一起学习进步 1.ROC曲线 在信号检测理论中,接收者操作特征曲线(receiver operating characteristic curve,或者叫…

AUC值得含义和计算方法

转载自:http://baijiahao.baidu.com/s?id1597939133517926460&wfrspider&forpc 机器学习备忘录 | AUC值的含义与计算方法 浮生偷闲 18-04-17 05:32 内容导读 在机器学习领域, AUC 值经常用来评价一个二分类模型的训练效果,对于许多机…

python计算偏态、极差、方差、标准差、平均数、中位数、众数

import numpy as np lists[1,2,3,4,5,6,7,8,9]print("极差:",np.max(lists)-np.min(lists))#最大值减最小值 lists_varnp.var(lists, axisNone, dtypeNone, outNone, ddof0, keepdimsnp._NoValue) print("方差:",lists_var) lists_s…

数据分析应用统计学之分散性与变异性的测量【极差、四分位差、偏态系数、峰态系数、统计指标】

文章目录 1、极差与四分位差(R)2、方差与标准差(西格玛、V)3、偏态系数与峰态系数(SK、β)4、统计指标类型 1、极差与四分位差(R) 1)极差:称为全距&#xff…

偏态数据的观察、量化评估与处理前后的对比

在机器学习中,模型更容易从具有正态分布特性的数据中学习到有用特征。但我们经常会发现有些特征存在长尾分布,对于这种偏态分布数据,需要进行特殊的处理,本文首先观察特征分布情况,然后以量化的方式评估数据偏态程度从…

统计学学习日记:L7-离散趋势分析之偏态和峰态

一、偏态&#xff08;SK&#xff09; 1.数据偏斜程度的测度 偏态系数0为对称分布 偏态系数>0为右偏分布 偏态系数<0为左偏分布 偏态系数>1或<-1&#xff0c;被称为高度偏态分布&#xff1b;偏态系数在0.5~1或-1~-0.5之间&#xff0c;被认为是中等偏态分布&#xf…

如何处理偏态数据?

这是笔试/面试题系列的第2篇文章 在了解何为偏态数据前&#xff0c;要先从正态数据说起。 正态分布 正态分布是自然界中广泛存在的&#xff0c;我们都知道它是两头低&#xff0c;中间高&#xff0c;整个形态呈现对称钟形的一个分布&#xff0c;之所以叫正态分布&#xff0c;是…

skewness and kurtosis偏态和峰度的解释和演示、数据的偏度和峰度——df.skew()、df.kurt()

skewness (偏态) 正偏态分布(positive skewness distribution)是指频数分布的高峰偏于左侧&#xff0c;偏态系数为正值的频数分布形态。偏态分布分为正偏态和负偏态。当均值大于众数时称为正偏态&#xff1b;当均值小于众数时称为负偏态。 定义上偏度是样本的三阶标准化矩&am…

Uniapp中onShow()的应用

遇到问题&#xff1a; 在使用一些变量进行判断时&#xff0c;用完一次开始下一次判断时&#xff0c;结果会跟前一次一样&#xff0c;比如门禁中第一个房子打开后&#xff0c;切换到另外的房子&#xff0c;结果返回结果跟第一个房子一样。 原因分析&#xff1a; 用于使用了相…

uni中onLoad与onShow周期的区别

一、说明 页面周期参考网址&#xff1a;https://uniapp.dcloud.io/tutorial/page.html#lifecycle 二、通俗概括 1. onLoad先执行&#xff0c;onShow后执行 onLoad() {console.log(111); }, onShow(){console.log(222); },2. onLoad只执行一次&#xff0c;onShow监听页面可执…

uni-app小程序onShow执行两次;微信小程序onShow重复执行原因;导航栏tabBar页的onLoad函数不执行;App.vue页的onShow执行原因;onShow莫名其妙执行

1.只有五种情况会触发导航栏tabBar页的onLoad函数&#xff0c;分别是&#xff1a; –1.1&#xff1a;首次进入到导航栏tabBar页面&#xff1b; –1.2&#xff1a;从微信分享进入的导航栏tabBar页面&#xff1b; –1.3&#xff1a;识别二维码跳转到小程序的导航栏tabBar页面&…

自定义组件中,使用onLoad,onShow生命周期失效问题

的解决方法 自定义组件中&#xff0c;使用onLoad,onShow生命周期失效问题 自定义组件中&#xff0c;使用onLoad,onShow生命周期失效问题 官方文档可查阅到&#xff1a; 页面生命周期仅在page中的vue页面有效&#xff0c;而单独封装的组件中【页面周期无效】&#xff0c;但是Vu…

微信小程序onTabItemTap和onShow的执行顺序

很显然 onShow的执行顺序要比 onTabItemTap早 onTabItemTap的特性是只在当前tabbar页面生效&#xff0c;比如onTabItemTap写在home页面&#xff0c;那么只有点击了tabbar上的home才会执行。 那是否有办法让onTabItemTap早于onShow先执行那&#xff1f;经过测试找到2种办法 方…

页面生命周期onShow没有触发

现象描述&#xff1a; 通过router.push接口跳转到快应用的B页面&#xff0c;当B页面只是引用一个自定义组件XX的时候&#xff0c;B页面的onShow生命周期无法触发。如下图所示&#xff1a; 代码如下&#xff1a; B页面代码&#xff1a; 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 …

ER图和EER图的区别

ER图 ER图&#xff0c;是一种逻辑模型&#xff0c;与具体落地的数据库无关&#xff0c;长这样的 EER图 是一种物理模型&#xff0c;与落地的数据库&#xff08;Mysql&#xff09;相关&#xff0c;长这样的 总结 一般做数据设计的时候会经过一下这几个流程 0.规划 1.需求分析…

数据库关系建模(ER图设计关系表)

目录 一、概述 二、基本概念 1. 关系(relation) 2. 列(column) 3. 行(row) 4. 关系表 VS 一般的表 5. 主码(主键primary key) 6. 实体完整性约束(entity integrity constraint) 7. 外码(外键foreign key) 8. 参照完整性约束(reference integrity constraints) 三、ER模型…

ER图如何画?如何根据ER图转换成表结构?示例:图书管理系统ER图

一、ER图如何画&#xff1f; 很多同学不会画ER图&#xff0c;我就以图书管理系统为例画一张ER图和ER图如何转成数据库&#xff0c;科普一下。ER图是实体、属性、关系组成的图&#xff0c;主要用于数据库概念设计的时候&#xff0c;通过业务分析画出来的图&#xff0c;最终每一个…

ER图,以及转化成关系模式

软考复习get一个知识点 .找出条件中的实体(矩形),属性(椭圆),关系(菱形)关系分为1:1,1:N,M:N,列出ER图 2. -1:1联系的转换方法 -两个实体分别转化为一个关系模式,属性即是本来的属性 -关系可以与任意一个实体合并,关系的属性,以及另一个实体的主码…