1.标准正交基（Orthonormal）与施密特正交化（Gram-Schmidt）

1.1 标准正交基（Orthonormal）

标准正交基是长度均1的基向量，在子空间中所有标准正交基均互相垂直，即它们的点积为0

正交矩阵的一个性质：

如果正交矩阵还是一个方阵，则

正交矩阵的性质

正交矩阵的例子：

（1）旋转矩阵（Rotation Matrix）

（2）置换矩阵（Permutation Matrix）

（3）反射矩阵（Reflection Matrix）
注意：${\mathbf{u}}^T\mathbf{u}$是一个数 、$\mathbf{u}{\mathbf{u}}^T$是一个矩阵

$${\mathbf{u}}^T\cdot \mathbf{u}=\left[\begin{array}{c}{u}_1{u}_2\cdots u_n\end{array}\right]\cdot \left[\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_n\end{array}\right]=u_1^2+u_2^2+\cdot +u_n^2$$

$$\mathbf{u}\cdot {\mathbf{u}}^T=\left[\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_n\end{array}\right]\cdot \left[\begin{array}{c}{u}_1{u}_2\cdots u_n\end{array}\right]=\left[\begin{array}{cccc}{u}_1{u}_1& u_1{u}_2& \cdots & u_1{u}_n\\ u_2{u}_1& u_2{u}_2& \cdots & u_2{u}_n\\ ⋮& ⋮& \ddots & ⋮\\ u_n{u}_1& u_n{u}_2& \cdots & u_n{u}_n\end{array}\right]$$

1.2 施密特正交化（Gram-Schmidt）

Gram-Schmidt 的思路：从每一个新向量中减去它在其他已存在的每个向量的方向上的投影

三个线性无关向量 $\vec{a}、\vec{b}、\vec{c}$
三个正交向量 $\mathbf{A}、\mathbf{B}、\mathbf{C}$
三个标准正交向量 ${\mathbf{q}}_1=\frac{\mathbf{A}}{||\mathbf{A}||}、{\mathbf{q}}_2=\frac{\mathbf{B}}{||\mathbf{B}||}、{\mathbf{q}}_3=\frac{\mathbf{C}}{||\mathbf{C}||}$

先对投影矩阵 $P$ 进行回顾：

施密特正交化第一步：向量 $\vec{b}$ 与其在向量 $\vec{a}$上的投影作差得到与向量 $\vec{a}$ 正交的向量 $\mathbf{B}$，然后我们将向量 $\vec{a}$ 称作 $\mathbf{A}$（注意这里$\mathbf{A}$、$\mathbf{B}$是向量，与未正交化的向量进行区别）

上图中 $\vec{p}$ 是向量 $\vec{b}$ 在 向量 $\vec{a}$ 上的投影向量

$\frac{A^T\vec{b}}{A^{T}A}A$ 是向量 $\vec{b}$ 在向量 $\mathbf{A}$上的投影向量

下图中 $\vec{p}$ 是向量 $\vec{c}$ 在正交向量 $\mathbf{A}、\mathbf{B}$ 构成平面上的投影向量

$\frac{A^T\vec{c}}{A^{T}A}A$ 是向量 $\vec{c}$ 在向量 $\mathbf{A}$上的投影向量

$\frac{B^T\vec{c}}{B^{T}B}B$ 是向量 $\vec{c}$ 在向量 $\mathbf{B}$上的投影向量

将正交向量单位化

例子：