因子分析模型（主成分解）、及与主成分分析模型的联系与区别（附详细案例）

article/2025/5/16 22:19:24

* * * $precision$ * $logic$ * $efficiency$ * * *

因子分析是主成分分析的推广和发展，它也是多元统计分析中将为的一种方法. 因子分析是研究相关阵和或协方差阵的内部依赖关系，它将多个变量综合为少数几个因子，以再现原始变量与因子之间的相关关系.
因子分析的思想一般认为始于Charles Spearman 于1904年发表的文章，他提出用这种方法来解决智力测验得分的统计分析. 目前因子分析在心理学、医学、地质学和经济学等领域都取得了成功的应用。

* * * * * *

导航

1 正交因子模型

1.1 模型设定

1.2 模型假设

1.3 模型求解

2 因子分析模型与主成分分析模型的联系与区别

3 具体案例

* * * * * *

1 正交因子模型

1.1 模型设定

设有p维列向量

$X=(x_{1},\cdots x_{n})'$

为标准化（Z-score）后原有可观测指标向量. 因子分析希望对于每个变量 $x_{i}$ ，用m个公共因子 $f_{j}$ 来解释，即

$x_{i}=a_{11}f_{1}+a_{12}f_{2}+\cdots +a_{1m}f_{m}+\varepsilon _{i}$

上式用矩阵表示为

$X=AF+\varepsilon$ , 其中A为（p×m）的矩阵

称 $\varepsilon$ 为X的特殊因子，代表了前面m个因子之外剩余因子之和； $a_{ij}$ 为第 i 个变量在第 j 个因子上的载荷.

1.2 模型假设

• 每个变量存在四阶原点矩，即 X 存在相关系数矩阵 $\Sigma$ ；

• E( $\varepsilon$ )= 0, 特殊因子 $\varepsilon _{i}$ 之间、与公共因子不相关，即有

$Var(\varepsilon )=diag(\sigma _{1}^{2},\cdots ,\sigma _{n}^{2})=(define)=D;cov(F,\varepsilon )=\mathbf{0}_{(p\times m)}$

• E( F )= 0 , Var( F )= I ，即个主成分之间互相独立.

1.3 模型求解（矩阵的谱分解相关知识可点击参见我的另一篇文章）

相比主成分分析，因子分析更倾向于描述原始变量之间的相关关系，因此因子分析的出发点就是原始变量的相关系数矩阵 $\Sigma$ ，根据定义有

$\Sigma =Var(X)=E[(X-E(X)(X-E(X)'] =E[(AF+\varepsilon )(AF+\varepsilon )']$

$=A\cdot Var(F)A'+Var(\varepsilon )=AA'+D$

同时

$cov(X,F)=E(X-E(X))(F-E(F))'=E[(X-E(X))F']$

$=E[(AF+\varepsilon )F']=AE(FF')+E(\varepsilon F')=A$

上述两式称为正交因子模型的协方差结构，它将相关系数矩阵分解成X与F的协方差矩阵的乘积，受此启发，可以求出原始变量的相关系数矩阵 $\Sigma$ 的谱分解式

$\sum =\sum_{i=i}^{p}\lambda _{i}a_{i}a_{i}'$

为了使上式符合正交因子模型的假定，谱分解式中特征值 $\lambda _{i}$ 对应的特征向量 $a_{i}$ 选为标准正交向量，同时 $\Sigma$ 为对称矩阵，故当省略掉的最后 p-m 个特征值较小的时候， $\Sigma$ 可近似分解为

$\Sigma \approx \lambda _{1}a_{1}a_{1}'+\cdots +\lambda _{m}a_{m}a_{m}'+D$

$=(\sqrt{\lambda _{1}}a_{1},\cdots ,\sqrt{\lambda _{m}}a_{m})\begin{pmatrix} \sqrt{\lambda _{1}}a_{1}\\ \vdots \\ \sqrt{\lambda _{m}}a_{m} \end{pmatrix}+\begin{pmatrix} \sigma _{1}^{2} & & 0\\ & \ddots & \\ 0& &\sigma _{p}^{2} \end{pmatrix}$

$=AA'+D$

其中

$\left\{\begin{matrix} A=(\sqrt{\lambda _{1}}a_{1},\cdots ,\sqrt{\lambda _{m}}a_{m})=(define)=(a_{ij})_{p\times m}\\\sigma _{i}^{2}=\Sigma _{it} -\sum_{t=1}^{m}a_{it}^{2}, (i=1,\cdots ,n)\end{matrix}\right.$