概率论基础 —— 9. 协方差

article/2025/9/15 11:32:18

这是一个非常重要的知识,我这倒不是说考试会如何关照这个知识点。而是说如果你想进一步深入数据科学的领域,就会在很多论文、模型里发现大量用于评判模型和分析样本关联度特征时,会经常用到协方差的概念。这也是为什么我在上一章节里提到协方差后,在这一章里还会做一点补充说明的原因。

文章目录

  • 关于协方差的一个实际生活例子
  • 一些协方差用到的推广公式
  • 做点题吧

关于协方差的一个实际生活例子

首先回顾一下协方差的公式

C o v ( X , Y ) = ( X − E ( X ) ) ( Y − E ( Y ) ) Cov(X, Y) = (X - E(X))(Y - E(Y)) Cov(X,Y)=(XE(X))(YE(Y))

及其相关系数

ρ = C o v ( X , Y ) D ( X ) D ( Y ) \rho = \frac{Cov(X, Y)}{ \sqrt{D(X)} \sqrt{D(Y)}} ρ=D(X) D(Y) Cov(X,Y)

以及数据关联特征

在这里插入图片描述

我们这里举个例子,说明协方差到底是来做什么的。

比方说,在银行风控系统中,抵押人可能有这么一些数据指标,比如说年龄、性别、学历、抵押资产(固定资产、现金、证券期票、跟其他债务人的借据等),你作为一个银行的工作人员,在确保抵押人的资料真实可信的前提下,你如何确定放贷给某个人的资金是安全的,或者大概率是安全的?

你可能需要一些资料帮助你做出这个判断。比如说银行历史上违约情况进行分析。那么从历史上,贷款人的学历,有博士、硕士、本科、高中以及其他,月收入有>50000,20000 < X < 50000, 10000 < X < 20000等多个不同档的数据。

比方说,你 令 X = 学 历 X = 学历 X=, 令 Y = 违 约 率 Y = 违约率 Y=。那么我们可以通过协方差计算每一个样本的情况:

C o v ( X , Y ) = [ X − X ˉ ] [ Y − Y ˉ ] Cov(X, Y) = [X - \bar{X}] [Y - \bar{Y}] Cov(X,Y)=[XXˉ][YYˉ]

然后把样本计算的结果加起来, C o v 1 + C o v 2 + ⋯ + C o v n Cov_1 + Cov_2 + \cdots + Cov_n Cov1+Cov2++Covn 这样可以得到一个值,比如K。

如果 K > 0 K > 0 K>0, 说明样本之间成正相关;
如果 K < 0 K < 0 K<0,说明样本之间成负相关;
如果 K ≈ 0 K \approx 0 K0,说明样本之间不相关。

这样,对历史样本进行统计后,你可能就会得到这样一个知识:

如果贷款人,有高学历、高收入,高的抵押资产,那么他的违约概率是极低的,而低收入、低学历、低资产的贷款人,违约风险极高。这样,在你审批的时候,就能通过这些条件快速的筛选合适的贷款人,尽最大可能性避免贷款出现违约风险。

一些协方差用到的推广公式

C o v ( X , Y ) = C o v ( Y , X ) Cov(X, Y) = Cov(Y, X) Cov(X,Y)=Cov(Y,X)

C o v ( X , X ) = D ( X ) Cov(X, X) = D(X) Cov(X,X)=D(X)

C o v ( X , C ) = 0 Cov(X, C) = 0 Cov(X,C)=0

C o v ( a X , b Y ) = a b ⋅ C o v ( X , Y ) Cov(aX, bY) = ab \cdot Cov(X, Y) Cov(aX,bY)=abCov(X,Y)

C o v ( X 1 + X 2 , Y ) = C o v ( X 1 , Y ) + C o v ( X 2 , Y ) Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2 , Y) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)

C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) Cov(X,Y)=E(XY)−E(X)E(Y) Cov(X,Y)=E(XY)E(X)E(Y)

做点题吧

设X, Y为随机变量,D(X) = 25, D(Y) = 16,Cov(X, Y) = 8,则 ρ = ? \rho = ? ρ=

解:

ρ = C o v ( X , Y ) D ( X ) D ( Y ) = 8 25 16 = 2 5 \rho = \frac{Cov(X, Y)}{\sqrt{D(X) \sqrt{D(Y)}}} = \frac{8}{\sqrt{25} \sqrt{16}} = \frac{2}{5} ρ=D(X)D(Y) Cov(X,Y)=25 16 8=52


已知二元离散型随机变量 ( X , Y ) (X, Y) (X,Y) 的联合分布如下:

X\Y-112
-10.10.20.3
20.20.10.1

(1) X和Y的边缘分布律
(2) X和Y的相关系数

解(1) 根据我们之前对于离散型二维随机变量的知识点,可以知道

X-12
P0.60.4
Y-112
P0.30.30.4

解(2) X和Y的相关系数,最重要的就是求解出D和E分别是多少。解题方式有两种,第一种是一个一个的算,但这样比较耗费时间,第二种就是直接带入公式求解,我们选择第二种。

相关系数方程是 ρ = C o v ( X , Y ) D ( X ) D ( Y ) \rho = \frac{Cov(X, Y)}{ \sqrt{D(X)} \sqrt{D(Y)}} ρ=D(X) D(Y) Cov(X,Y)

从上表,我们可以直接得到:

E ( X ) = − 1 × 0.6 + 2 × 0.4 = 0.2 E(X) = -1 \times 0.6 + 2 \times 0.4 = 0.2 E(X)=1×0.6+2×0.4=0.2
E ( X 2 ) = ( − 1 ) 2 × 0.6 + 2 2 × 0.4 = 2.2 E(X^2) = (-1)^2 \times 0.6 + 2^2 \times 0.4 = 2.2 E(X2)=(1)2×0.6+22×0.4=2.2
D ( X ) = E ( X 2 ) − E 2 ( X ) = 2.2 − 0.04 = 2.16 D(X) = E(X^2) - E^2(X) = 2.2 - 0.04 = 2.16 D(X)=E(X2)E2(X)=2.20.04=2.16

然后对于Y来说,同样可以:

E ( Y ) = − 1 × 0.3 + 1 × 0.3 + 2 × 0.4 = 0.8 E(Y) = -1 \times 0.3 + 1 \times 0.3 + 2 \times 0.4 = 0.8 E(Y)=1×0.3+1×0.3+2×0.4=0.8
E ( Y 2 ) = ( − 1 ) 2 × 0.3 + 1 2 × 0.3 + 2 2 × 0.4 = 2.2 E(Y^2) = (-1)^2 \times 0.3 + 1^2 \times 0.3 + 2^2 \times 0.4 = 2.2 E(Y2)=(1)2×0.3+12×0.3+22×0.4=2.2
D ( Y ) = E ( Y 2 ) − E 2 ( Y ) = 2.2 − 0.64 = 1.56 D(Y) = E(Y^2) - E^2(Y) = 2.2 - 0.64 = 1.56 D(Y)=E(Y2)E2(Y)=2.20.64=1.56

此外:

C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) Cov(X, Y) = E(XY) - E(X)E(Y) Cov(X,Y)=E(XY)E(X)E(Y) 而对于E(XY)来说,你可以令XY = Z,所以对于表来说,就可以变成

ZZ(-1, -1)Z(-1, 1)Z(-1,2)Z(2, -1)Z(2, 1)Z(2, 2)
P0.10.20.30.20.10.1

由于Z = X Y,所以

E(Z) = -0.5

那么

ρ = − 05 − 0.2 × 0.8 2.16 1.56 \rho = \frac{-05 - 0.2 \times 0.8}{\sqrt{2.16} \sqrt{1.56} } ρ=2.16 1.56 050.2×0.8

用计算器算一算,就可以得到:-0.3595


http://chatgpt.dhexx.cn/article/VKwVkbU5.shtml

相关文章

模式识别学习笔记(1)概率论基础知识

大学的时候&#xff0c;我的《概率论和数理统计》这门课一共挂过3次&#xff0c;而且我记得最后一次考过的时候刚刚及格&#xff0c;只有60分。你可以想象我的《概率论》这门课学的是有多差了。后来&#xff0c;我工作以后&#xff0c;在学习数据分析技能时&#xff0c;又重新把…

概率论基础__排列与组合

在古典概型中&#xff0c; 计算事件的概率经常用到排列组合及其总数计算公式&#xff0c; 在此给出排列组合的定义及其相关公式。 一. 两个基本原理 1. 乘法原理 如果某件事需经 k 步才以完成&#xff0c; 做第一步有 m₁种方法&#xff0c; 做第二步有 m₂ 种方法&#xff0…

概率论基础知识各种分布

离散分布&#xff1a;伯努力分布&#xff0c;二项分布&#xff0c;possion分布 一&#xff0c;伯努力分布 #执硬币 x_arrnp.array([0,1]) #x为1的概率 p0.7 #0 1分布 #由PMF生成对应的概率 离散事件 pr_arrstats.bernoulli.pmf(x_arr,p) plt.plot(x_arr,pr_arr,markero,lines…

机器学习——概率论基础

公式一&#xff1a;设A&#xff0c;B 是两个事件&#xff0c;且A不是不可能事件&#xff0c;则称 为在事件A发生的条件下&#xff0c;事件B发生的条件概率。一般地&#xff0c; &#xff0c;且它满足以下三条件&#xff1a; &#xff08;1&#xff09;非负性&#xff1b;&#…

机器学习基础:概率论基础

机器学习基础&#xff1a;概率论基础 机器学习基础&#xff1a;随机变量及其概率分布 机器学习基础&#xff1a;大数定律与中心极限定理 机器学习必备基础知识&#xff0c;力求以最简洁的语言&#xff0c;描述最完整的内容。 很多知识没有深入剖析&#xff0c;也没必要深入剖析…

Ross《概率论基础教程》—Note 1

第一章——组合分析 1. 很多概率论中的问题只要通过计算某个事件发生的结果的数目就能解决&#xff0c;关于计数的数学理论就是组合分析&#xff08;Combinatorial Analysis&#xff09;。 2. 计数的基本法则&#xff1a;假设一共有r个实验&#xff0c;实验i有个结果&#xf…

概率论基础知识汇总

文章目录 矩&#xff1a;原始矩&#xff0c;中心矩协方差和相关系数大数定律 矩&#xff1a;原始矩&#xff0c;中心矩 存在意义&#xff1a; 在数学和统计学中&#xff0c;矩&#xff08;moment&#xff09;是对变量分布和形态特点的一组度量。 原点矩和中心距的定义 直接…

概率论的基础概念(1)

重点讲述&#xff1a; 首先&#xff0c;最重要的前提&#xff1a; &#xff08;1&#xff09;随机试验&#xff08;大量&#xff08;无穷次&#xff09;重复试验&#xff09;是概率论的基础&#xff01;&#xff01;&#xff01; &#xff08;2&#xff09;随机变量是不确定的&…

概率论基础

概率论基础 1. 随机事件 1.1. 概念 1.1.1. 随机现象 在一定的条件下&#xff0c;并不总是出现相同的结果的现象称为随机现象&#xff0c;如抛一枚硬币与掷一颗骰子。随机现象有两个特点&#xff1a; 结果不止一个&#xff1b;哪一个结果出现&#xff0c;人们事先不知道。 …

概率论基础知识(一)概率论基本概念

概率论 0. 前言 本文主要旨在对概率论的基础概念与知识进行概要的总结&#xff0c;以便于使用到时可以参考。 概率论是数理统计的基础&#xff0c;也是很多机器学习模型的支撑&#xff0c;概率论在机器学习中占主要地位&#xff0c;因为概率论为机器学习算法的正确性提供了理…

SSD算法理解(2)

作者&#xff1a;叶 虎 编辑&#xff1a;祝鑫泉 前言 目标检测近年来已经取得了很重要的进展&#xff0c;主流的算法主要分为两个类型&#xff1a;&#xff08;1&#xff09;two-stage方法&#xff0c;如R-CNN系算法&#xff0c;其主要思路是先通过启发式方法&#xff08;selec…

SSD算法详解default box

本文提出的SSD算法是一种直接预测目标类别和bounding box的多目标检测算法。 与faster rcnn相比&#xff0c;该算法没有生成 proposal 的过程&#xff0c;这就极大提高了检测速度。针对不同大小的目标检测&#xff0c;传统的做法是先将图像转换成不同大小&#xff08;图像金字塔…

【个人整理】一文看尽目标检测算法SSD的核心架构与设计思想

前言&#xff1a;SSD&#xff08;Single Shot MultiBox Detector&#xff09;是大神Wei Liu在 ECCV 2016上发表的一种的目标检测算法。对于输入图像大小300x300的版本在VOC2007数据集上达到了72.1%mAP的准确率并且检测速度达到了惊人的58FPS&#xff08; Faster RCNN&#xff1…

目标检测:SSD算法原理综述

SSD&#xff08;Single Shot Detection&#xff09;是一个流行且强大的目标检测网络&#xff0c;网络结构包含了基础网络&#xff08;Base Network&#xff09;&#xff0c;辅助卷积层&#xff08;Auxiliary Convolutions&#xff09;和预测卷积层&#xff08;Predicton Convol…

SSD算法阅读记录

SSD: Single Shot MultiBox Detector 一、网络结构二、模型设计1、多尺度特征映射2、使用卷积进行检测3、使用default boxes 三、模型训练1、匹配策略2、损失函数3、default boxes的确定4、难分样本挖掘 四、参考链接 一、网络结构 SSD网络是在VGG16的基础上修改得到的&#xf…

2.1 SSD算法理论

前言 随着人工智能的不断发展&#xff0c;机器学习这门技术也越来越重要&#xff0c;很多人都开启了学习机器学习&#xff0c;本文就介绍了机器学习的基础内容。来源于哔哩哔哩博主“霹雳吧啦Wz”&#xff0c;博主学习作为笔记记录&#xff0c;欢迎大家一起讨论学习交流。 一…

SSD检测算法理解

SSD检测算法理解 简介1 SSD模型2 SSD算法的核心设计思想3 多尺度特征图检测思想4 单尺度特征图检测4.1 先验框的设置4.2 先验框的比例和宽高比4.3 Loss计算 5 性能评估 简介 在作者的原论文中提到&#xff0c;SSD算法要比当时优秀的Faster RCNN算法和YOLO算法识别效果更好&…

SSD算法通俗详解

算法简介 算法原理 样本构造 损失函数 使用细节 # ssd算法&#xff1a; ##简介 刘伟在2016年提出&#xff0c;发表在ECCV&#xff1b;是一种通过直接回归的方式去获取目标类别和位置的one-stage算法&#xff0c;不需要proposal&#xff1b;作用在卷积网络的输出特征图上进行预…

详细解读目标检测经典算法-SSD

学习目标&#xff1a; 知道SSD的多尺度特征图的网络知道SSD中先验框的生成方式知道SSD的损失函数的设计 目标检测算法主要分为两类&#xff1a; Two-stage方法&#xff1a;如R-CNN系列算法&#xff0c;主要思路就是通过Selective Search或者CNN网络产生一系列的稀疏矩阵的候…

SSD目标检测算法——通俗易懂解析

目录 前言SSD网络 前言 前面几篇文章我们讲解了YOLO系类的论文&#xff0c;今天我们来看下SSD算法。对YOLO有兴趣的小伙伴们可以一步到我前面的几篇博文&#xff1a; YOLOv1目标检测算法——通俗易懂的解析YOLOv2目标检测算法——通俗易懂的解析YOLOv3目标检测算法——通俗易懂…