主成分分析原理

article/2025/9/11 1:01:00

文章目录

        • 一、主成分操作步骤
        • 二、spss里面的设置
        • 三、一些概念的解释

一、主成分操作步骤

1、为消除量纲的影响,先对数据进行标准化处理;

2、计算相关系数:一般认为各变量之间的相关系数大于0.3较好;

3、KMO检验和Barlett(巴特利)检验;

(1)KMO取样适切性量数>=0.6较适宜(这里也是判断能不能用主成分分析的结果的重要指标。)
 并非所有的数据都适用于主成分分析的。主成分分析本身并不是目的, 实际应用中主成分分析往往是一种手段。目的是通过主成分分析简化数据结构, 在此基础上进行进一步的分析。
 因此, 使用主成分分析的前提条件是原始数据各个变量之间应有较强的线性相关关系。如果原始变量之间的线性相关程度很小, 它们之间不存在简化的数据结构, 这时进行主成分分析实际是没有意义的。所以, 应用主成分分析时, 首先要对其适用性进行统计检验。
 检验方法有巴特莱特球性检验,KMO检验等,本文主要介绍KMO检验。
计算得到的KMO值越大,表示越适合进行主成分分析,其度量标准表如下:

KMO值分析的适用性
0.90-1.00–非常好
0.80-0.89
0.70-0.79一般
0.60-0.69
0.50-0.59很差
0.00-0.49不能进行分析

(KMO参考文献[3])

(2)sig也即显著性一般小于0.05较为适宜;

4、计算特征值和特征向量;提取特征值大于1且方法贡献率达到85%左右的主成分。(这里这里)

5、识别主成分的贡献率和累计贡献率;

6、计算各个主成分的得分:
F i = w i 1 X 1 + w i 2 X 2 + w i 3 X 3 + . . . . + w i n X n F_{i}=w_{i1}X_1+w_{i2}X_2+w_{i3}X_3+....+w_{in}X_n Fi=wi1X1+wi2X2+wi3X3+....+winXn
其中
w i j = q i λ i w_{ij}=\frac{q_i}{\sqrt{\lambda_i}} wij=λi qi
qi代表主成分中每个变量对应的系数(这里的系数是在成分矩阵中得到的),上式中下面的值代表第i个主成分对应的特征值的开根值(这里的特征值是初始特征值);

7、计算综合得分:
F = a 1 F 1 + a 2 F 2 + a 3 F 3 + . . . . + a n F n F=a_1F_1+a_2F_2+a_3F_3+....+a_nF_n F=a1F1+a2F2+a3F3+....+anFn
ai表示第i个主成分的方差百分比(这个可以指标能代表总体水平,这里就相当于简化的指标)。最后的综合得分的系数α不是乘前面的百分比而是加权平均后的系数,即α1=64.263%/(64.263%+18.298%),α2=18.298%/(64.263%+18.298%)

二、spss里面的设置

  spss中进行主成分分析时,不用进行数据标准话,因为再进行主成分分析时候,它会自动进行标准化。

image-20220408162846494

image-20220408162915642

image-20220408162934261

image-20220408162954692

image-20220408163013771

image-20220408163028508

三、一些概念的解释

各统计量的意义

(1)特征值。它可以被看成是衡量主成分解释力度的指标,代表引人该主成分后可以解释平均多少个原始变量的信息。如果特征值小于1,则说明该主成分的解释力度还不如直接引人一个原始变量的平均解释力度大。因此一般可以用特征值大于1作为纳入标准。
(2)主成分Z的方差贡献率。表明主成分Z,的方差在总样本方差中的比重。这个值越大,表明主成分Z,携带的X1到Xn的原始信息量越多。
(3)累积贡献率。前k个主成分的累积贡献率指按照方差贡献率从大到小排列,前k个主成分累积提取了多少的原始信息。一般来说,如果该指标达到85%,则表明这些主成分包含了全部测量指标所具有的主要信息,这样既减少了变量的个数,又便于对实际问题进行分析和研究。

主成分载荷

主成分载荷表示各个主成分与原始变量的相关系数。大于0.5都是强相关的,你的9个变量,跟4个特征向量中的一个或者两个是强相关的,所以可以用4个变量代替9个变量,但是这4个变量不是从这9个中选取的,具体内容还请自己查阅相关资料。

碎石图

崖低碎石图(scree plot)即贡献率图,是希望图形一开始很陡峭,如悬崖一般,而剩下的数值都很小,如崖底的碎石一样。

成分矩阵

image-20220408171549514

总方差解释

image-20220408171532010
主成分分析的应用条件和局限

主成分分析只要用于降维度,同时生成的不同的主成分可以有不同的解释,不同的解释可以参考不同的文章。PCA也存在一些限制,例如它可以很好的解除线性相关,但是对于高阶相关性就没有办法了,对于存在高阶相关性的数据,可以考虑Kernel PCA,通过Kernel函数将非线性相关转为线性相关。

参考文献
[1]一文看懂主成分分析

[2]张文霖.主成分分析在SPSS中的操作应用[J].市场研究,2005(12):31-34.
[3]主成分分析——KMO检验(介绍及Matlab代码)


http://chatgpt.dhexx.cn/article/pFJ9gFDH.shtml

相关文章

PCA: Principal Components Analysis,主成分分析法原理

PCA: Principal Components Analysis,主成分分析法原理 1、引入 PCA算法是无监督学习专门用来对高维数据进行降维而设计,通过将高维数据降维后得到的低维数能加快模型的训练速度,并且低维度的特征具有更好的可视化性质。另外&…

【数据处理方法】主成分分析(PCA)原理分析

笔者最近在学习的过程需要使用一些数据分析和处理的方法,而PCA就是其中常用的一种手段。但在自学的过程中,由于笔者水平有限,对一些博客中的公式不是能很好理解(数学不好的辛酸Ծ‸Ծ),导致总是对整个方法的…

主成分分析法原理简单理解及技术实现

主成分分析法 主成分分析是利用降维的思想,在损失很少信息的前提下,把多个指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称为主成分,其中每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能…

win10+tensorflow1.14+cuda10安装踩坑

tensorflow1.14安装记录 需要python3.7,cuda10,cudnn7.6,visual studio 2017 可以用visual studio 2017 community 版本 ,win10 sdk要加上,build tools要装上 cuda10.0安装不上报错visual studio integration faile…

Win10 下载torch以及CUDA配置

下载torch以及CUDA配置 下载torch和torchvision安装torch和torchvision安装CUDA检查是否成功 下载torch和torchvision 进入该网站,下载对应的torch和torchvision版本。 https://download.pytorch.org/whl/torch_stable.html以该图为例,cu102代表CUDA10…

Ubuntu 18.10 下安装CUDA10/CUDA10.1

GPU:GeForce840M 显卡驱动:预装,版本390 笔记本 1.降级gcc 使用gcc5 sudo add-apt-repository ppa:ubuntu-toolchain-r/test sudo apt-get update sudo apt-get install gcc-5 g-5 sudo update-alternatives --install /usr/bin/gcc gcc /us…

查看CUDA和cuDNN的版本号 | Win10安装CUDA10和cuDNN

文章目录 🔔 Linux下查看CUDA和cuDNN的版本💙 Win10安装CUDA10和cuDNN,感谢原作者,链接如下🚀🚀 文末专栏推荐部分 🚀🚀❤️ 当生成器和判别器趋于平衡,那便是爱情 &…

【NVIDIA】Win10 + CUDA10 + cuDNN 安装教程(转载)

目录 一、前言 二、官方安装教程及软件包 1、官方教程 2、CUDA Toolkit 10.0 Download 3、cuDNN Download 三、Win10安装CUDA10及cuDNN 1、CUDA安装 2、cuDNN配置 3、万事大吉,只欠重启 四、一些后事 问题1:安装过程中电脑自动重启。 问题2&a…

英伟达CUDA 10终于开放下载了

栗子 发自 凹非寺量子位 出品 | 公众号 QbitAI 英伟达的CUDA 10工具包,终于可以下载了。 与9字头的前辈相比,10.0是第一次为图灵GPU定制的版本。 英伟达新近发布的GeForce RTX 20系列和Quadro RTX系列显卡,以及新一代GPU Tesla T4&#xff0c…

win10+cuda10+tensorflow-gpu最新安装教程

win10cuda10tensorflow-gpu最新安装教程 背景简介安装包准备安装过程总结 背景简介 作为刚入门深度学习的小白,新购置了一台机子,准备兴高采烈的开始用GPU跑深度学习算法,百度了一通win10下安装cuda和tensorflow-gpu的教程,十分繁…

30 系列显卡是新一代架构,新驱动不支持 cuda 9 以及 cuda 10,所以必须安装 cuda 11

30 系列显卡是新一代架构,新驱动不支持 cuda 9 以及 cuda 10,所以必须安装 cuda 11 最近在训练一个深度学习模型,要求的环境是python3.7 torch1.3, 而torch1.3支持的cuda版本为9.2或10.2 但是我所用的显卡为3090, 所以网上的解决办法都试遍…

在CUDA10的环境下安装支持gpu的tensorflow版本(亲测有效)

由于英伟达官方宣称CUDA10有着巨大的性能提升,我便迫不及待的想尝试用它来训练深度学习模型,然而现在Tensorflow的最新官方GPU版本1.12并不支持在CUDA10下的模型训练,因此便翻墙到国外论坛找材料,最终找到了可以完美适配CUDA10的t…

Ubuntu18 Cuda10升级Cuda11+Cudnn8+TensorRT7.1+Opencv3

文章目录 0 前沿1 显卡驱动和CUDA安装2 TensorRT3 Opencv3 0 前沿 目前TensorRT已经升级到TensorRT7.2版本,开始需要Cuda11cudnn8支持(7.1版本也有10.2版本),这里简单记录以下安装流程及个别bug处理 1 显卡驱动和CUDA安装 下载…

【NVIDIA】Win10 + CUDA10 + cuDNN 安装教程

目录 一、前言 二、官方安装教程及软件包 1、官方教程 2、CUDA Toolkit 10.0 Download 3、cuDNN Download 三、Win10安装CUDA10及cuDNN 1、CUDA安装 2、cuDNN配置 3、万事大吉,只欠重启 四、一些后事 问题1:安装过程中电脑自动重启。 问题2&…

cuda9升级cuda10方法记录 ubuntu1604

由于最近的tensorflow2.0和pytorch都纷纷需要cuda10的支持,即使是使用conda安装,也要跟新driver 到410以上,以前的384版本的driver也不行了。索性就一起升级了,其中遇到很多坑,记录一下,希望能帮助大家,不过…

Win10 安装CUDA10(包括各种版本的CUDA和cuDNN下载链接)

我用的是Tensorflow1.15和keras2.3.1.环境是用Anaconda管理的 每个版本的Tensorflow-GPU与CUDA的关系。 https://tensorflow.google.cn/install/source_windows?hlen#gpu 首先是各种版本的DUDA的下载链接 https://developer.nvidia.com/cuda-toolkit-archive 网页打开之后是…

(三)cuda8和cuda10的切换

编辑bashrc文件 sudo gedit ~/.bashrcsource ~/.bashrc 第一种方法:把路径中的两个cuda-8.0 替换为cuda-10.0 然后source 第二种方法: 都改为cuda 然后source export PATH/usr/local/cuda/bin${PATH::${PATH}} export LD_LIBRARY_PATH/usr/local/…

cuda10 + vs2017 下载安装,配置环境

一、准备 1 ,首先查询电脑GPU: 1)Win10如何查看Nvidia支持的CUDA版本: (1)打开“控制面板”,点击”硬件和声音“,点击“NVIDIA控制面板”: (2&#xff0…

windows10安装NVIDIA显卡驱动+cuda10.0教程

windows10安装NVIDIA显卡驱动cuda10.0教程 1、安装个鲁大师2、确定本机是否支持GPU加速3、更换至匹配的显卡驱动4、下载和安装cuda和cudnn5、验证6、游戏加速7、分享个漂亮的壁纸 1、安装个鲁大师 查看下显卡驱动的版本。安装cuda10需要驱动版本大于411。否则就卸载。 2、确定…

Win10安装CUDA10和cuDNN

官方安装教程 CUDA:https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html cuDNN:https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#installwindows WIN10安装CUDA10 CUDA Toolkit 10.0 Download&a…