如何理解西瓜书中AUC和Lrank

article/2025/10/3 21:29:25

首先AUC的定义就是ROC曲线的面积。这是西瓜书上给的定义式子在这里插入图片描述
很容易看出是微积分的思想。

为什么说AUC越大ROC越理想呢?首先思考一下ROC的定义是什么,从定义入手一切都很简单。只不过是概念多了可能会把你给绕糊涂了。ROC曲线是这样画出来的:

给定m+个正例和m-个反例,先把分类的阈值设置到最大,也就是所有的例子预测结果都是反例,此时真正例率和假正例率均为0/在坐标原点处(0,0)标记一个点,然后设置阈值依次为每一个样例的预测值,即将每个样例划分为正例。假设前一个坐标点为(x,y),当前若为真正例,则对应标记点的坐标为(x,y+1/m+);若为假正例,则对应标记点的坐标为(x+1/m-,y),然后用线段连接即得

从定义可以看出假正例越多,横轴方向上偏移的越多。我们希望的是在横轴偏移之后,不要再有纵轴方向上的偏移,否则就说明了,有正例排在了反例的后面。 我们看图说明:
我们假设有5个正例,5个反例
1):
我们生成的10个预测值从大到小排序为
12 10 9 8 7 6 5 4 3 1
我们假设前五个都是真正例,后面五个都是真反例,我们一个一个的根据定义画点
在这里插入图片描述
我省略的第9次(画不下了)。根据图可以看见,若没有反例在正例之前的话,把这些连起来就是一个倒 L 的折线。
注意现在
2):我们给3个正例,7个反例

我们生成的10个预测值从大到小排序为
12 10 9 8 7 6 5 4 3 1
我们假设第3个为假正例(也就是个是反例,但是我们预测错了,而认为他是正例)第七个为假反例。其余的都和 (1)一样,我们再一个一个的根据定义画点在这里插入图片描述
从这两张图你应该可以看出,如果反例排在正例前面的话,则会向右偏之后再向上偏。这是我们不希望看到的,因为我们希望我们预测的是正确的,就是说我们预测好的结果,就是正例在反例前,不存在反例在正例前面。

我们再观察ROC曲线,(当然我上面画的点比较少,你可以看看西瓜书上面的),发现如果反例排在正例前面越多的话,那么我的ROC曲线和横轴所围的面积越小。极端情况正例全部在反例的后面,那么就是向右偏五个点,然后向上偏五个点,这样与横轴所围的面积就是0了。这是最坏的情况,是我们不想看到的。

最好的情况就是我们(1)的那种情况,所有正例都在反例前面所展现出来的ROC曲线。

根据前面我们知道可以根据面积衡量一个预测的结果好坏程度,AUC就是ROC的面积,从而我们可以根据AUC衡量ROC的好坏程度。

西瓜书上还出现了Lrank表示ROC以上的面积,我们很容易联想到那是错误的程度,因为下面面积越大,越理想,这会导致上面的面积越小,也就是越小的错误。至于书上给出的式子,比较数学化不是很好的理解。但如果逐步的分析,其实也不难。
在这里插入图片描述

||(.)表示指示函数,条件成立则为1,否则则为0。(这两个竖杠是连在一起的,但是不知道为啥软件画出来是这样,和罗马数字”Ⅱ“一样)。

下面开始分析,m+和m-的乘积可知是整个的面积,那么那个积分可知就是上面的面积了。x+是正例,x-是反例。

f(x+)<f(x-)其实就是真正例的预测值小于了反例的预测值,也就是排在反例后面的正例,或者说是在正例前面的反例

现在再看这个积分其实很简单,先选取第一个假正例(排在正例前的反例),然后看看有哪些正例排在这个反例的后面。对应我之前画的点图的话,也就是在这个反例上方的真正例。(注意这里有两个条件,一个是真正例,一个是在上方,这个上方包括他自己),然后再看第二个假正例,以此类推,我的点图里面只有两个。在真正的学习当中,ROC曲线的点比这个多的多,也正是因为点非常多,所以才趋近于曲线,而不是折线。
在这里插入图片描述


http://chatgpt.dhexx.cn/article/uVyPVh4l.shtml

相关文章

模型评估指标AUC

模型评估指标AUC 、 AUC&#xff08;Area Under Curve&#xff09;被定义为ROC曲线下与坐标轴围成的面积&#xff0c;显然这个面积的数值不会大于1。又由于ROC曲线一般都处于yx这条直线的上方&#xff0c;所以AUC的取值范围在0.5和1之间。AUC越接近1.0&#xff0c;检测方法真实…

AUC与ROC

ROC曲线 含义 ROC曲线用来衡量阈值对模型的影响&#xff0c;在模型输入不变的情况下改变判断标准而获得不同的结果。是一条描述随着判断阈值变化而得到不同真阳率和假阳率结果的曲线。 例子 为了直观理解&#xff0c;我们做出以下三个假设&#xff1a; 假设1 感冒有三种…

ROC与AUC理解

ROC与AUC 简介ROC曲线ROC的动机ROC曲线特殊点 ROC曲线的绘制为什么使用ROCROC曲线使用多个实例概率/得分相同 AUC(Area Under ROC Curve)AUC判断分类器优劣的标准&#xff1a;AUC的物理意义损失公式AUC值的计算对于auc物理意义的理解&#xff1a; sklearn使用参考 简介 ROC:&a…

AUC的两种计算方式

1.什么是AUC&#xff1f; 推荐 搜索场景下的auc理解_凝眸伏笔的博客-CSDN博客_搜索auc 随机抽出一对样本&#xff08;一个正样本&#xff0c;一个负样本&#xff09;&#xff0c;然后用训练得到的分类器来对这两个样本进行预测&#xff0c;预测得到正样本的概率大于负样本概率…

AUC到底是什么?

前言 上一篇单值AUC计算优化里&#xff0c;提到了AUC&#xff0c;AUC的全名是Area Under Curve&#xff0c;就是ROC曲线下的面积&#xff0c;上一篇文中提到了AUC是评估模型整体排序能力的&#xff0c;但是具体是什么没有进行展开介绍&#xff0c;考虑到可能很多人对这么个玩意…

matlab计算auc,ROC和AUC介绍以及如何计算AUC

ROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣,对两者的简单介绍见这里。这篇博文简单介绍ROC和AUC的特点,以及更为深入地,讨论如何作出ROC曲线图以及计算AUC。 ROC曲线 需要提前说明的是,我们这里只讨论二值分类器…

加了权重样本的AUC如何计算

加了权重样本的AUC如何计算&#xff1f;对理解roc_auc_score函数里sample_weight参数以及xgb模型赋予样本权重再评估都有帮助哦&#xff5e; 一、 roc_auc_score函数中有个参数是sample_weight&#xff0c;可以给样本设置权重。一直不太理解加上weight怎么来计算AUC&#xff…

机器学习之AUC

深入理解AUC AUC是什么 auc是roc曲线的面积&#xff0c;常用来评价二分类系统的好坏。 AUC如何计算 对于二分类问题&#xff0c;预测模型会对每一个预测样本一个得分p&#xff0c;然后选取一个阈值t&#xff0c;当 p > t p>t p>t时&#xff0c;样本预测为正&#…

ROC和AUC

目录 ROC AUC ROC ROC曲线是Receiver Operating Characteristic Curve的简称&#xff0c;中文名为"受试者工作特征曲线"。ROC曲线的横坐标为假阳性率(False Postive Rate, FPR)&#xff1b;纵坐标为真阳性率(True Positive Rate, TPR).FPR和TPR的计算方法分别为 F…

Rank: AUC

最近计算了搜索排序的auc指标&#xff0c;记录一下~ AUC很大一个好处是其对正负样本比例不敏感 AUC的三种定义&#xff1a; AUC&#xff1a;一个正例&#xff0c;一个负例&#xff0c;预测正样本为正的概率值比预测负样本为正的概率值还要大的可能性。从一堆0和1中&#xff0c…

auc计算 matlab代码,AUC计算

思路 为最终比较划分好测试集和不存在边集【全集1-train-test-对角元】,根据集合中非零元【即边的数目】构建比较矩阵test_rd【比较n次,随机生成n个值右取整作为抽取的要比较的边】,下一步对test的邻接矩阵赋值,相似性指标给予一个分值存入test_pre,然后依据判断条件【tes…

AUC

最近我们在尝试深度学习模型&#xff0c;离线的auc已经高于基线&#xff0c;上线后ctr表现也优于基线&#xff0c;但是基于线上实际反馈的打点日志&#xff0c;深度学习的模型的auc要明显低于基线。但以前的模型迭代auc是可以和线上ctr对应的。 这个问题比较奇怪&#xff0c;一…

AUC详解

AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义&#xff0c;AUC(area under the curve)是ROC曲线下的面积。所以&#xff0c;在理解AUC之前&#xff0c;要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵&#xff0c;因此&#xff0c;我们先从混淆矩阵开始谈起。…

笔记︱统计评估指标AUC 详解

文章目录 1 AUC的两种解读视角&#xff1a;1.1 ROC曲线与坐标轴形成面积1.2 古典概率模型——求导AUC 2 AUC的特性与优劣3 AUC多大才算好&#xff1f;4 线上、线下AUC差异较大成因分析4.1 业务场景使用AUC&#xff1a;点击模型与购买模型的差异4.2 线上、线下AUC有差异 5 AUC逻…

AUC原理详细讲解

一、AUC含义 首先&#xff0c;在试图弄懂AUC和ROC曲线之前&#xff0c;首先要彻底理解混淆矩阵的定义&#xff01; 混淆矩阵中有着Positive、Negative、True、False的概念&#xff0c;其意义如下&#xff1a; 称预测类别为1的为Positive&#xff08;阳性&#xff09;&#x…

详解AUC指标

AUC指标 AUC是一个模型评价指标&#xff0c;用于二分类模型的评价。AUC是“Area under Curve&#xff08;曲线下的面积&#xff09;”的英文缩写&#xff0c;而这条“Curve&#xff08;曲线&#xff09;”就是ROC曲线。 ROC:受试者工作特征曲线    为什么要用AUC作为二分类…

机器学习篇-指标:AUC

AUC是什么东西&#xff1f; AUC是一个模型评价指标&#xff0c;只能够用于二分类模型的评价&#xff0c;对于二分类模型来说还有很多其他的评价指标&#xff1a; 比如&#xff1a;logloss&#xff0c;accuracy&#xff0c;precision 在上述的评价指标当中&#xff0c;数据挖掘…

网络: 快速理解NAT与NAPT的区别

NAT:网络地址转换 。 NAPT:网络地址端口转换。 &#xff08;通俗的讲&#xff09;它们都是地址转换&#xff0c;NAPT与NAT的区别在于 NAT是NAT是一对一转换&#xff0c;NAPT是多对一转换。通俗来说NAT是一个内部地址转换成一个外部地址进行通信的&#xff0c;而NAPT是多个内部地…

NAT和NAPT 技术

一、什么是NAT NAT(Network Address Translator)是用于在本地网络中使用私有地址&#xff0c;在连接互联网时转而使用全局IP地址的技术。除了转换IP地址&#xff0c;还出现了可以转换TCP\UDP端口号的NAPT(Network Address Port Translator)技术 二、NAT的工作机制 如下图所示…

19 网络端口地址转换NAPT配置

借鉴网址&#xff1a; Packet Tracer 思科模拟器入门教程 之十八 网络端口地址转换NAPT配置_柚子君.的博客-CSDN博客 姓 名 彭彭头 实验日期 2022.06.07 学 号 实验序号 19 实验名称 网络端口地址转换NAPT配置 一、实验目的及要求 理解NAT网络地址转换的原理及功能…