前言

本文主要针对线性代数中的正定矩阵、实对称矩阵、矩阵特征值分解以及矩阵 SVD 分解进行总结。

如果你对这篇文章感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。

---

正定矩阵

1. 概念

首先正定矩阵是定义在对称矩阵的基础上，其次对于任意非零向量 $\text{x}$，若 ${\text{x}}^T\text{A}\text{x}>0$ 恒成立，则矩阵 $\text{A}$ 为正定矩阵；若${\text{x}}^T\text{A}\text{x}\ge 0$ 恒成立，则矩阵 $\text{A}$ 为半正定矩阵。

2. 物理意义

任意非零向量 $\text{x}$ 经过矩阵 $A$ 线性变换后，与原先向量的夹角 $\le 90$ 度。

3. 其他充要条件

• 充要条件1： 矩阵 $\text{A}$ 的全部特征值都是正数
  • 推论： 若 $\text{A}$ 正定，则 $|\text{A}|>0$，即 $\text{A}$ 可逆（有时会根据矩阵正定来判断是否可逆）
  • 推论： 若 $\text{A}$ 正定，则 $\text{A}$ 与单位阵合同，即存在可逆阵 $\text{C}$，使得 ${\text{C}}^T\text{A}\text{C}=\text{E}$ 成立
• 充要条件2： 矩阵 $\text{A}$ 的各阶顺序主子式都是正数，即 ${\Delta }_i>0$
  • 其中 ${\Delta }_i$ 表示矩阵 $\text{A}$ 前 $i$ 行与前 $i$ 列组成的子矩阵的行列式的值
  • 推论：$|A|>0$ 则 $A$ 一定可逆

---

实对称矩阵

1. 概念

矩阵为方阵，其中元素均为实数，且 $\text{A}={\text{A}}^T$。

2. 性质

• 性质1： 实对称矩阵的特征值都是实数。
  • 假设 $\lambda$、$\text{x}$ 分别为矩阵 $\text{A}$ 的特征值、特征向量，即 $\text{A}\text{x}=\lambda \text{x}$
  • 等式两边取共轭，即 $\overline{a+bi}=a-bi$，$\overline{\text{A}}\overline{\text{x}}=\overline{\lambda }\overline{\text{x}}$，$\text{A}$ 是实对称矩阵，因此 $\text{A}={\text{A}}^T=\overline{\text{A}}$，即 $\text{A}\overline{\text{x}}=\overline{\lambda }\overline{\text{x}}$
  • 等式两边取转置，则 ${\text{x}}^T\text{A}=\lambda {\text{x}}^T$
  • ${\text{x}}^T\text{A}\overline{x}=\overline{\lambda }{\text{x}}^T\overline{\text{x}}=\lambda {\text{x}}^T\overline{\text{x}}$
  • $(\lambda -\overline{\lambda }){\Vert \text{x}\Vert }_2^2=0$，由于 ${\Vert \text{x}\Vert }_2^2>0$，因此 $\lambda =\overline{\lambda }$，$\lambda$ 为实数
• 性质2： 实对称矩阵不同特征值所对应的特征向量必定正交。
  • 假设 $\text{A}{\text{x}}_1={\lambda }_1{\text{x}}_1$ 与 $\text{A}{\text{x}}_2={\lambda }_2{\text{x}}_2$ 成立
  • ${\text{x}}_1^T\text{A}={\lambda }_1{\text{x}}_1^T$
  • ${\text{x}}_1^T\text{A}{\text{x}}_2={\lambda }_1{\text{x}}_1^T{\text{x}}_2={\lambda }_2{\text{x}}_1^T{\text{x}}_2$
  • $({\lambda }_1-{\lambda }_2){\text{x}}_1^T{\text{x}}_2=0$，因此 ${\text{x}}_1$ 与 ${\text{x}}_2$ 正交
• 性质3： 实对称矩阵相同特征值所对应的特征向量必定线性无关。
  • 证明较繁琐，不详细展开
  • 线性无关的向量可以通过施密特正交化转为正交向量
    • 对于线性无关向量组 ${\text{x}}_1,{\text{x}}_2,...,{\text{x}}_n$，转为正交向量组 ${\text{y}}_1,{\text{y}}_2,...,{\text{y}}_n$
    • ${\text{y}}_1={\text{x}}_1$
    • ${\text{y}}_i={\text{x}}_i-\sum _{j=1}^{i-1}\frac{{\text{x}}_i^T{\text{y}}_j}{{\text{y}}_j^T{\text{y}}_j}{\text{y}}_j$
  • 由于新的正交向量都是原来线性无关向量的线性组合，而原先的线性无关向量对应的特征值均相同，因此新的正交向量也均为该相同特征值对应的特征向量
• 性质4： 任何一个实对称矩阵，都可以正交对角化。
  • 正交对角化，即存在一个正交矩阵 $\text{Q}({\text{Q}}^T={\text{Q}}^{-1})$ 使得 ${\text{Q}}^T\text{A}\text{Q}=\text{D}$，其中 $\text{D}$ 是一个对角矩阵
  • 实对称矩阵，一定有 $n$ 个解，因为实对称矩阵特征值都是实数，因此一共有 $n$ 个实特征值（包括重特征值）—— 性质 $1$
  • 不同特征值对应的特征向量正交，相同特征值也一定存在对应的正交向量 —— 性质 $2,3$
  • 实对称矩阵，一定有 $n$ 个正交特征向量，因此可以特征值分解，即该性质成立
• 性质5： 实对称矩阵的非零特征值个数等于矩阵的秩
  • 矩阵 $\text{A}$ 相似于对角矩阵，${\text{P}}^{-1}\text{A}\text{P}=\text{D}$
  • 对角矩阵 $\text{D}$ 的秩 = 矩阵 $\text{A}$ 的秩 = $\text{D}$ 非零特征值个数
  • 矩阵 $\text{A}$ 与 矩阵 $\text{D}$ 相似，则特征值相同
• 性质6：实对称矩阵不一定可逆，但若可逆，则一定是实对称矩阵
  • 0 矩阵对称不可逆
  • $(A^{-1}{)}^T=(A^T{)}^{-1}=A^{-1}$

---

矩阵特征值分解

1. 概念

$n\ast n$ 的方阵 $\text{A}$，由 $\text{A}\text{x}=\lambda \text{x}$ 可以得到 $\text{A}\text{V}=\text{V}\Lambda$。

• 如果方阵 $\text{A}$ 有 $n$ 个线性无关的特征向量，则 $\text{V}$ 可逆
• $\text{A}=\text{V}\Lambda {\text{V}}^{-1}$
• 其中矩阵 $\text{V}$ 的列为方阵 $\text{A}$ 的特征向量，$\Lambda =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n),{\lambda }_i\ge {\lambda }_{i+1}$

---

矩阵 SVD 分解

1. 概念

任意一个矩阵 $\text{A}$ 都可以分解为 $\text{A}=\text{U}\Sigma {\text{V}}^T$，其中 $\text{U},\text{V}$ 均为正交单位矩阵，$\Sigma$ 为对角矩阵。

2. 证明

• ${\text{A}}^T\text{A}=(\text{U}\Sigma {\text{V}}^T{)}^T\text{U}\Sigma {\text{V}}^T=\text{V}{\Sigma }^2{\text{V}}^T$，由于 ${\text{A}}^T\text{A}$ 为实对称矩阵，因此 $\text{V}$ 为矩阵 ${\text{A}}^T\text{A}$ 对应特征向量组成的正交单位阵。
• $\text{A}{\text{A}}^T=\text{U}\Sigma {\text{V}}^T(\text{U}\Sigma {\text{V}}^T{)}^T=\text{U}{\Sigma }^2{\text{U}}^T$，由于 $\text{A}{\text{A}}^T$ 为实对称矩阵，因此 $\text{U}$ 矩阵 $\text{A}{\text{A}}^T$ 对应特征向量组成的正交单位阵。
• $\text{A}\text{V}=\text{U}\Sigma$，其中 $\Sigma$ 为对角阵，因此 $\text{A}{\text{v}}_i={\sigma }_i{\text{u}}_i$，由此可以得到对角矩阵 $\Sigma$，其中 ${\sigma }_i$ 就是奇异值。
• ${\text{A}}_{m\ast n}={\text{U}}_{m\ast m}{\Sigma }_{m\ast n}{\text{V}}_{n\ast n}^T$

3. 几何角度

矩阵 $U,V$ 仅负责旋转，$\Sigma$ 负责放缩，具体示意图如下：

4. SVD 压缩

如下所示，仅选取前 $r$ 个不为零的奇异值，可以实现无损压缩。注意非零奇异值的个数等于矩阵 $A$ 的秩。

5. 计算伪逆

6. Eckart-Young Theorem

如果矩阵 $\mathbf{B}$ 的秩为 $k$，则 $||A-B||\ge ||A-A_k||$ 对如下三个矩阵范数成立：

• $||A|{|}_2={\sigma }_1$，即最大的奇异值
• $||A|{|}_{Nuclear}=\sum _{i=1}^r{\sigma }_i$
• Frobenius norm $=||A|{|}_{2,1}=||A|{|}_F=(tr(A^{T}A){)}^{1/2}=(\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}^2{)}^{1/2}$

其中 $\mathbf{A}$ 与 ${\mathbf{A}}_{\mathbf{k}}$ 定义如下：
$$\begin{array}{rl}& \mathbf{A}=\mathbf{U}\Sigma {\mathbf{V}}^T=\sum _{i=1}^r{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T\\ & {\mathbf{A}}_k={\mathbf{U}}_k{\Sigma }_k{\mathbf{V}}_k^T=\sum _{i=1}^k{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T\end{array}$$

需要注意，矩阵乘上一个正交矩阵，其奇异值不会发生变化，即上述涉及的矩阵范数不会改变。

7. LSI

计算不同 $query$ 之间的相似程度，常用于推荐系统。

更多 SVD 的应用：

• 为数据集推荐算法模型
• 推荐系统、图像去噪等