6 特殊类型的矩阵和向量

对角矩阵

对角矩阵（diagonal matrix）只在主对角线上含有非零元素，其他位置都是零。形式上，矩阵 $D$ 是对角矩阵，当且仅当对于所有的 $i\ne j,D_{i,j}=0$。单位矩阵就是最常见的一种对角矩阵，对角元素全部是 1。我们用 $diag(v)$ 表示一个对角元素由向量 $v$ 中元素给定的对角方阵。对角矩阵受到关注的部分原因是对角矩阵的乘法计算很高效。计算乘法 $diag(v)x$，我们只需要将 $x$ 中的每个元素 $x_i$ 放大 $v_i$ 倍。换言之，$diag(v)x=v\odot x$。计算对角方阵的逆矩阵也很高效。对角方阵的逆矩阵存在，当且仅当对角元素都是非零值，在这种情况下，$diag(v{)}^{-1}=diag([1/v_1,\dots ,1/v_n{]}^T)$。在很多情况下，我们可以根据任意矩阵导出一些通用的机器学习算法；但通过将一些矩阵限制为对角矩阵，我们可以得到计算代价较低的（并且简明扼要的）算法。

不是所有的对角矩阵都是方阵。长方形的矩阵也有可能是对角矩阵。非方阵的对角矩阵没有逆矩阵，但我们仍然可以高效地计算它们的乘法。对于一个长方形对角矩阵 $D$ 而言，乘法 $Dx$ 会涉及到 $x$ 中每个元素的缩放，如果 $D$ 是瘦长型矩阵，那么在缩放后的末尾添加一些零；如果 $D$ 是胖宽型矩阵，那么在缩放后去掉最后一些元素。

对称矩阵

对称（symmetric）矩阵是转置和自己相等的矩阵：

$$A=A^T(2.35)$$

当某些不依赖参数顺序的双参数函数生成元素时，对称矩阵经常会出现。例如，如果 $A$ 是一个距离度量矩阵，$A_{i,j}$ 表示点$i$ 到点 $j$ 的距离，那么 $A_{i,j}=A_{j,i}$，因为距离函数是对称的。

单位向量

单位向量（unit vector）是具有 单位范数（unit norm）的向量：

$$\Vert x{\Vert }_2=1(2.36)$$

正交

如果 $x^{T}y=0$，那么向量 $x$ 和向量 $y$ 互相 正交（orthogonal）。如果两个向量都有非零范数，那么这两个向量之间的夹角是 90 度。在 ${\mathbb{R}}^n$中，至多有 $n$ 个范数非零向量互相正交。如果这些向量不仅互相正交，并且范数都为 1，那么我们称它们是标准正交（orthonormal）

正交矩阵

关于正交矩阵的理解

正交矩阵（orthogonal matrix）是指行向量和列向量是分别标准正交的方阵：

$$A^{T}A=A{A}^T=I(2.37)$$

这意味着

$$A^{-1}=A^T(2.38)$$

所以正交矩阵受到关注是因为求逆计算代价小。我们需要注意正交矩阵的定义。违反直觉的是，正交矩阵的行向量不仅是正交的，还是标准正交的。对于行向量或列向量互相正交但不是标准正交的矩阵，没有对应的专有术语。

7 特征分解

特征分解（eigendecomposition）是使用最广的矩阵分解之一，即我们将矩阵分解成一组特征向量和特征值。

方阵 $A$ 的 特征向量（eigenvector）是指与 $A$ 相乘后相当于对该向量进行缩放的非零向量 $v$：

$$Av=\lambda v(2.39)$$

标量$\lambda$被称为这个特征向量对应的特征值（eigenvalue）。（类似地，我们也可以定义 左特征向量（left eigenvector）$v^{T}A=\lambda v^T$，但是通常我们更关注 右特征向量（right eigenvector））。

如果 $v$ 是 $A$ 的特征向量，那么任何缩放后的向量 $sv$ ($s\in \mathbb{R},s\ne 0$) 也是 $A$ 的特征向量。此外，$sv$ 和 $v$ 有相同的特征值。基于这个原因，通常我们只考虑单位特征向量。

假设矩阵 $A$ 有 n 个线性无关的特征向量 { v ( 1 ) , … , v ( n ) } \{v^{(1)},\dots,v^{(n)}\} {v(1),…,v(n)}，对应着特征值 { λ 1 , … , λ n } \{\lambda_1,\dots,\lambda_n\} {λ1​,…,λn​}。我们将特征向量连接成一个矩阵，使得每一列是一个特征向量：$V=[v^{(1)},\dots ,v^{(n)}]$。类似地，我们也可以将特征值连接成一个向量$\lambda =[{\lambda }_1,\dots ,{\lambda }_n{]}^T$。因此，$A$的特征分解可以记作：

$$A=Vdiag(\lambda )V^{-1}(2.40)$$

我们已经看到了构建具有特定特征值和特征向量的矩阵，能够使我们在目标方向上延伸空间（？）。然而，我们也常常希望将矩阵 分解（decompose）成特征值和特征向量。这样可以帮助我们分析矩阵的特定性质。

不是每一个矩阵都可以分解成特征值和特征向量。在某些情况下，特征分解存在，但是会涉及复数而非实数。幸运的是，我们通常只需要分解一类有简单分解的矩阵。具体来讲，每个实对称矩阵都可以分解成实特征向量和实特征值：

$$A=Q\Lambda Q^T(2.41)$$

其中 $Q$ 是 $A$ 的特征向量组成的正交矩阵，$\Lambda$ 是对角矩阵。特征值 ${\Lambda }_{i,i}$ 对应的特征向量是矩阵 $Q$ 的第 $i$ 列，记作 $Q_{:,i}$。因为 $Q$ 是正交矩阵，我们可以将 $A$ 看作沿方向 $v^{(i)}$延展 ${\lambda }_i$ 倍的空间。如图2.3 所示：

待补充 66