解读Logistic回归模型

article/2025/8/24 8:40:59

一、logistic回归的由来

logistic回归在百度百科是这样定义的:

        logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。

        由此可见 logistic回归是从线性回归模型推广而来的,线性回归模型如下:

h(x)=\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2}+ ... +\theta _{n}x_{n}  -----------线性方程形式

h(x)=\Theta ^{T}X    ----------------向量形式

        h(x)输出为连续的值但是实际中会有"输出为离散型变量"这样的需求,例如:给定特征预测一次金融交易是否是欺诈(1表示是, 0表示不是),显然不能直接使用线性回归模型(上面的线性回归方程自变量的取值范围是-∞到+∞,右侧表达式的的值的范围也是-∞到+∞),而这时逻辑回归就派上用场了。

二、Logistic回归模型建立

        离散型变量涉及的问题通常称之为 分类问题,在分类问题中,尝试预测的是结果是否属于某一个类,下面我们从0-1二元分类问题开始理解。

        现假设因变量y取值为0和1,在自变量x的条件下因变量y=1的概率为p,记作p=P(y=1|x),那么y=0的概率就为1-p(因变量取1和取0的概率比值p/(1-p)   称为优势比),由 P(y=1|x) 推导 Sigmoid函数,推导过程如下:

Sigmoid函数公式:h(z)=\frac{1}{1+e^{-z}}         ----------------------- (1)

Sigmoid函数图形:(上下阈值无限逼近 1 和 0)

Logistic回归可理解为是在线性回归的基础上加一个Sigmoid函数对线性回归的结果进行压缩,令其最终预测值y在一个范围内(0到1之间),或者说是在用线性回归模型的预测结果去逼近真实标记的对数几率。

上述由 P(y=1|x) 推导 Sigmoid函数的过程中,设置了:

\large z=ln \frac{P(x|y=1)P(y=1)}{P(x|y=0)P(y=0)}

这里,需要一个引经据典,才能进行下一步推导:

1730 年,法国数学家棣莫弗(1677年-1754年)出版的著作《分析杂论》中包含了著名的棣莫弗─拉普拉斯定理。他使用正态分布取估计n(很大)时抛掷硬币出现正面次数的分布,即二项分布B(n,0.5)。这就是概率论中第二个基本极限定理的雏形。将近80年后,拉普拉斯(1749年-1827年)在 1812 年出版的《概率的分析理论》中,首先明确地对概率作了古典的定义。他指出当n很大时,二项分布B(n,p)(0<p<1)都可以用正态分布逼近。所以后人称之为棣莫弗-拉普拉斯中心极限定理

所以,我们假设 类条件概率密度 服从正态分布。

高中的时候我们便学过一维正态分布的公式为:

N(x|\upsilon ,\sigma ^{2}) = \frac{1}{\sqrt{2\pi\sigma ^{2} }}e^{-\frac{1}{2\sigma ^{2}}(x-\upsilon )^{2}}

拓展到多维时,就变成:

N(\bar{x}|\bar{\upsilon},\Sigma ) = \frac{1}{(2\pi) ^{\frac{D}{2}}} \frac{1}{\left |\sum \right |^{\frac{1}{2}}} e^{[ -\frac{1}{2} (\bar{x} - \bar{\upsilon })^{T} \sum ^{-1} (\bar{x} - \bar{\upsilon}) ]}     --------------------------  (2)

其中,\bar{X} 表示维度为 D 的向量,\bar{u} 则是这些向量的平均值,Σ 表示所有向量 \bar{X} 的协方差矩阵。

(2)式写成概率的形式:

P(x|c_{k}) = \frac{1}{(2\pi) ^{\frac{D}{2}}} \frac{1}{\left |\sum \right |^{\frac{1}{2}}} e^{[ -\frac{1}{2} (x - \upsilon _{k})^{T} \sum ^{-1} (x - \upsilon _{k}) ]}    

下面开始下一步推导:

由此得到 \large z = w^{^{T}}x + b   

那么 \large f(x) = w^{^{T}}x + b , 什么时候不需要考虑偏置项b?

\(x\)\(b\)吸收入向量形式 \(\hat{w} = (w;b)\),此时就不用单独考虑\(b\)了。

因此令 \theta = (w;b)x ,则 z = w ^{^{T}}x + b = \theta ^{T}x

即:z = \theta ^{T}x   ----------------------- (3)

综合上述 (1)式 和 (3)式,得到Logistic回归模型

h(x) = \frac{1}{1+e^{-\theta ^{T}x}}

完毕。

 


http://chatgpt.dhexx.cn/article/NAxggBjB.shtml

相关文章

logistic回归模型

logistic回归模型 前言logistic回归模型logit变换几率logistic模型二项逻辑回归模型损失函数 logistic回归模型的应用logistic回归模型的评价 前言 从这一期开始&#xff0c;我们准备介绍一系列机器学习算法模型&#xff0c;主要包括logistic回归&#xff0c;决策树&#xff0…

逻辑回归模型logistic原理详解

Hello! 小A又来咯&#xff01; 之前我们详细的介绍了使用线性回归模型来进行回归学习&#xff0c;那如果要做分类任务该怎么办呢&#xff1f; 考虑二分类任务&#xff0c;其输出值y属于集合[0,1]。而线性回归模型zw^T*xb是实值。为了进行分类任务&#xff0c;我们需要将实值z转…

Python实现逻辑回归模型教程

理解多个预测变量与连续响应变量之间关系通常适用线性回归&#xff0c;但当响应变量为类别变量时需要适用逻辑回归。 逻辑回归是尝试从数据集中把W观测记录分为不同类别的分类算法。 常见的分类回归场景有&#xff1a; 通过信用分和账户余额预测客户贷款是否违约通过篮球比赛中…

【机器学习笔记4】逻辑回归模型

目录 什么是逻辑回归&#xff1f; Sigmoid函数 决策边界 逻辑回归的损失函数 为什么平方误差模型不可行&#xff1f; 对数损失函数 单个样例损失&#xff1a; 整体损失函数 梯度下降算法 补充&#xff1a;F1-score评价指标 F1-Score简介 相关概念 F-Score 示例及…

逻辑回归模型详解(Logistic Regression)

目录 广义线性模型 极大似然法 逻辑回归的假设函数 逻辑回归的损失函数 交叉熵损失函数 为什么LR模型损失函数使用交叉熵不用均方差 交叉熵损失函数的数学原理 交叉熵损失函数的直观理解 交叉熵简介 对数损失函数和交叉熵损失函数 逻辑回归优缺点 其他 逻辑回归与…

机器学习算法(一):逻辑回归模型(Logistic Regression, LR)

目录 1 LR 1.1 直观表述 1.2 决策边界&#xff08;Decision Boundary&#xff09; 2. 权值求解 2.1 代价函数&#xff08;似然函数&#xff09; 2.1.1 为什么损失函数不用最小二乘&#xff1f;即逻辑斯蒂回归损失函数为什么使用交叉熵而不是MSE&#xff1f; 2.1.2 代价函…

详解逻辑回归

目录 1. 逻辑回归模型介绍1.1 Logistic分布1.2 Logistic回归1.3 代价函数1.4 求解1.5 正则化1.5.1 L1正则化1.5.2 L2正则化1.5.3 L1正则化和L2正则化区别 2 与其他模型的对比2.1 与线性回归2.2 与 SVM2.3 与朴素贝叶斯 3. 模型细节3.1 为什么适合离散特征3.2 为什么不用平方误差…

逻辑回归模型(Logistic Regression)

逻辑回归符合伯努利分布。伯努利分布就是我们常见的0-1分布&#xff0c;即它的随机变量只取0或者1&#xff0c;各自的频率分别取1−p和p&#xff0c;当x0或者x1时&#xff0c;我们数学定义为&#xff1a; 所以在常规的逻辑回归模型中&#xff0c;只有两个类别&#xff0c;0或者…

逻辑回归(Logistic Regression)详解

逻辑回归也称作logistic回归分析&#xff0c;是一种广义的线性回归分析模型&#xff0c;属于机器学习中的监督学习。其推导过程与计算方式类似于回归的过程&#xff0c;但实际上主要是用来解决二分类问题&#xff08;也可以解决多分类问题&#xff09;。通过给定的n组数据&…

逻辑回归模型及案例(Python)

1 简介 逻辑回归也被称为广义线性回归模型&#xff0c;它与线性回归模型的形式基本上相同&#xff0c;最大的区别就在于它们的因变量不同&#xff0c;如果是连续的&#xff0c;就是多重线性回归&#xff1b;如果是二项分布&#xff0c;就是Logistic回归。 Logistic回归虽然名…

PyCharm如何修改配置大内存

现在的电脑标配都8G以上内存了&#xff0c;不过很多IDE仍然是以低配电脑为标准&#xff0c;去配置软件占用硬件的程度 因为内存会直接影响到软件的性能&#xff0c;可以通过手动去设置大内存 一、首先启动虚拟机 进入pychram的bin目录&#xff0c;可以看到2个以vmoptions为后…

jvm最大内存限制多少?

(1)堆内存分配 JVM初始分配的内存由-Xms指定&#xff0c;默认是物理内存的1/64&#xff1b;JVM最大分配的内存由-Xmx指定&#xff0c;默认是物理内存的1/4。默认空余堆内存小 于40%时&#xff0c;JVM就会增大堆直到-Xmx的最大限制&#xff1b;空余堆内存大于70%时&#xff0c;…

大内存时代虚拟内存现在还有用吗

但凡用过Windows的人&#xff0c;大多听说过“虚拟内存”这四个字。尤其在当年物理内存还普遍偏低的年代&#xff0c;虚拟内存几乎成了每一个玩电脑的人都曾摆弄过 的东东。不过随着硬件技术不断发展&#xff0c;内存价格逐步白菜化&#xff0c;我们的电脑再也不像当年那样算计…

笔记本电脑查看几个卡槽,支持最大内存,内存条参数详细步骤,开启双通道条件

1&#xff1a;一个命令&#xff0c;轻松查看电脑支持多大内存 使用 Win R组合快捷键&#xff0c;打开 运行 操作框&#xff0c;然后在打开后面 输入命令 cmd &#xff0c;并点击下方的“确定”进入命令操作窗口&#xff0c;如下图所示。 然后在打开的CMD命令窗口输入命令&am…

在Jupyter里按需删除大内存变量并且释放内存

使用情形&#xff1a; 项目需要对多个大内存变量进行处理&#xff0c;但是每个大内存变量处理的时候都需要加载一个另外共同的大内存变量。现在处理完一个变量之后&#xff0c;只能重启kernel然后处理另一个变量&#xff1b;但是理论上我们可以删除一个变量的内存并读入下一个…

xp计算机如何查看内存大小,xp如何查看内存大小

想知道怎么查看电脑内存的大小吗&#xff0c;下面是学习啦小编带来的关于xp如何查看内存大小的内容&#xff0c;欢迎阅读! xp查看内存大小方法一&#xff1a; 一&#xff1a; 右键单击 我的电脑&#xff0c;选择 【属性】 查看 二&#xff1a; 打开控制面板&#xff0c;打开【系…

Android Studio如何设置占用的最大内存?

1.File-Settings,如下图&#xff0c;是应用到所有项目中的。 2.下方的“Daemon Heap Size Setting”是设置当前项目编译时所能使用的最大内存的&#xff0c;所以如果我们需要仅当前项目有效&#xff0c;可以在这里设置,设置好之后点击“确定”&#xff0c;完成更改。

不花里胡哨看电脑主板支持最大内存与频率

怎么看电脑主板支持最大内存 WinR输入Cmd回车 wmic memphysical get maxcapacity如上图 Maxcapacity&#xff1a;最大内存 k/1024M/1021G 33554432/1024/102132GB说明最高支持32GB的内存 怎么看电脑主板内存条卡槽 CtrlShiftEsc 可以看到卡槽、速度频率 怎么看电脑主板支…

确定你的台式计算机支持的内存类型,怎么查看电脑主板支持多大内存?教你看主板支持多大内存2种方法...

在我们使用电脑时&#xff0c;都希望电脑有这极强的性能&#xff0c;在想要电脑有极强的情况下&#xff0c;电脑的硬件其重要性毋庸置疑。很多喜欢DIY的小伙伴都会选择性能强但是极具性价比的硬件组装。不过不少用户在选择内存条的时候都是往大了选&#xff0c;通常情况下&…

确定你的台式计算机支持的内存类型,怎么看主板支持多大内存 教你看主板支持多大内存2种方法...

怎么看主板支持多大内存&#xff1f;由于不同的主板最大支持的内存大小不同&#xff0c;一些老主板最大支持4G/8GB内存&#xff0c;一些新主板可以支持16GB或者更高。对于DIY装机或者打算为电脑升级内存的时&#xff0c;就需要先了解主板最大支持多大的内存&#xff0c;这样才能…