前言

多维空间，向量和矩阵，以及正交性的概念都是欧几里得多维空间的扩展，因为人类的认知很难超越三维思考，所以我们对n维的理解往往降维到2-3维来类比，因此学习和分析这些概念和问题，三维思考是最直观的工具，在你即将迷失在矩阵空间的时候，她会像灯塔一样。。。。

內积、长度和正交性[1]

这三个概念是基础，然而并不容易搞懂。

內积

假设 $u, v$ 是 $R^n$ 中的向量： $u=\begin{bmatrix} u1 \\ u2 \\ \vdots\\ u_n \end{bmatrix} v=\begin{bmatrix} v1 \\ v2 \\ \vdots\\ v_n \end{bmatrix}$ 也可以将 $u, v$ 视为n*1的矩阵，则这两个向量的內积（inner production）定义为 $u^Tv$ ，最后的结果是一个标量。另外向量的表示法为点积（dot product） $\cdot v$ ，算法是一样的。 $\cdot v=[u_1,u_2...u_n]\begin{bmatrix} v1 \\ v2 \\ \vdots\\ v_n \end{bmatrix}=u_1v_1+u_2v_2+...+u_nv_n$

长度和距离

因为 $v^Tv$ 是非负的标量，所以从二三维推广到n维，定义向量 $v$ 的长度为內积的平方根。数学表达如下： $\sqrt{v \cdot v}= \sqrt {v_1^2+v_2^2+v_2^2+...+v_n^2}$ 进而 $u 和 v 的距离就是 u - v 的长度$ ，即 $\sqrt{(u-v) \cdot (u-v)}= \sqrt {(u_1-v_1)^2+(u_2-v_2)^2+...+(u_n-v_n)^2}$

正交向量

这是从二维（三维）垂线的概念在欧式多维空间的推广，相对于前面的概念这部分理解起来有点烧脑了。二维空间的垂直从小学就开始学习了，通常用直角三角板来判断两条垂线是否垂直，相信讲到这里都好理解，但是向量是多维空间上的点，当然也可以理解为从原点辐射到向量坐标的一根有方向的线段。那么判断两个向量是否垂直，该怎么办呢？为了简单理解，我们从直角坐标出发：
在这里插入图片描述
直角坐标轴x上的所有点，都垂直于x上的所有点，对于二维向量来说，如何利用数学语言阐述这一性质呢？其实就是两个向量的內积等于零。而从几何角度来看，向量垂直（x轴上的向量（2,0）垂直于y轴上的向量（0,2）），存在这样一个性质，从x轴（2,0）到y轴上的向量（0,2）距离和y轴上的向量（-0,-2）的距离相等。

在这里插入图片描述
由此扩展到高维空间，从几何角度证明： $||u-(-v)||=||u-v||\\ (u+v)\cdot(u+v)=(u-v)\cdot(u-v)\\ u\cdot u+ u\cdot u+2u\cdot v=u\cdot u+ u\cdot u-2u\cdot v\\ +2u\cdot v=-2u\cdot v\\ u\cdot v=0$ 在高维空间考虑的时候，笛卡尔坐标的原点一定不能忽略，即从这个原点出发的有向线段对(向量对 $u, v$ )，如果满足 $u\cdot v=0$ ，那么这两个向量被定义为正交向量（orthogonal vectors）。

非正交向量

2/3维空间两个向量不正交的情况是常见的，我们定义这两个向量夹角为 $\theta$ ，根据余弦定理，最后可以得出內积的另外一种表达形式： $u\cdot v = ||u||\ ||v|| cos\theta$
由此推论到高维空间向量夹角的余弦表达： $cos\theta = \frac{u\cdot v }{||u||\ ||v|| }$
上面这个表达被应用于机器学习里，就是余弦相似度的理论基础。

正交集，正交基和正交投影

正交集

简而言之，正交集是两两向量互相正交的一组向量集。现实中在二维空间中，直观的想象一下，不会有三个向量组成正交集，那么三维空间，最多三个向量能组成正交集，以此类推。。。在【1】中有几个定理，提到了基（basis）的概念，那么基的定义又是什么呢?

基

设V是域F上的线性空间，V中的向量集S如果满足下述两个条件：
1.向量集S是线性无关的；
2.V中每一个向量可以由向量集S中有限多个向量线性表出, 那么称S是V的一个基.【3】
打个比喻，基就像地基一样，是构建空间大厦的基础，大厦中每个横梁、竖墙都得有地基来承重。如果这组

定理1

若 $S=\{u_1,...,u_p\}$ 是 $R^n$ 中非零向量构成的正交集，则 $S$ 线性无关且是它张成的子空间的一组基。因为假设向量为正交的，所以这组基还是正交基。
上述概念最容易混淆的是线性无关和正交的概念是不是等价的？答案是否。直观的理解是线性相关可以看成平行线，线性无关是相交线，正交是垂直相交线，这样就不太容易混淆了。

正交基

$R^n$ 中子空间W的一组正交基是W的一组基并且本身构成正交集。【1】
这个概念有点绕，目的是为了引出下面的定理，这个定理就是正交投影的理论基础，大大简化了运算。

定理2

令 $S=\{u_1,...,u_p\}$ 是 $R^n$ 中非零向量构成的正交基，对于任意 $y\in W$ ，线性组合 $y=c_1u_1+...+c_pu_p$ 的权重可以有下式给出： $c_j=\frac{y\cdot u_j}{u_j\cdot u_j}\ (j=1,...,p)$

正交投影

非零向量投影

给定 $R^n$ 中一个非零向量 $u$ ，考虑如何将 $R^n$ 中的分量 $y$ 分解成为两个向量的和，其中一个分量是 $u$ 的倍数，另一个分量与 $u$ 正交，这种表达写成： $y=\hat y+z$ ，其中有一个标量 $\alpha$ 可以表达 $\hat y=\alpha u$ ， $z$ 则是与 $u$ 正交的向量。 $z=y-\alpha u$ 根据正交概念，可以得出： $(y-\alpha u)\cdot u=0\\y\cdot u -\alpha u\cdot u=0\\\alpha=\frac{y\cdot u}{u\cdot u}$ 此时， $\hat y=\alpha u=\frac{y\cdot u}{u\cdot u} u$ 称作向量 $y$ 在 $u$ 上的正交投影（orthogonal projection of y onto u)，向量 $z$ 称作 $y$ 中正交于 $u$ 的分量（component of y orthogonal to u).

直线上的投影

再假设一个非零标量 $c$ ，扩展非零向量 $u$ 为一个线性子空间 $L$ 有经过原点和 $u$ 的直线，表示为 $c u$ ，那么向量 $y$ 在u所张成的子空间L上的投影为 $\hat y=proj_L\ y=\frac{y\cdot cu}{cu\cdot cu} cu=\frac{y\cdot u}{u\cdot u} u$ 说明向量在某个一维子空间上的投影点是唯一的，而且是L上距离y最近的一点（直角三角形在脑海里闪念一下）

空间投影

结合投影和定理2来看，一个向量 $y=c_1u_1+...+c_pu_p\\=\sum_{j=1}^p\frac{y\cdot u_j}{u_j\cdot u_j}u_j$ $y$ 则可以分解为线性空间的投影。这时要提到的如下的正交分解定理。

正交分解定理

设 $W$ 是R^n的一个子空间。则 $R^n$ 的每一个向量 $y$ 都可以写成 $y=\hat y + z$ 其中 $\hat y\in W,z \in W^\perp$ 。若{u_1,…,u_p}是 $W$ 的任意一组正交基， $y=c_1u_1+...+c_pu_p\\=\sum_{j=1}^p\frac{y\cdot u_j}{u_j\cdot u_j}u_j\\z=y-\hat y$ $\hat y$ 被称作 $y$ 在 $W$ 上的正交投影。

格拉姆-施密特正交化

对于 $R^n$ 子空间 $W$ 的一组基 ${x_1,...,x_p\}$ ,定义： $\begin{aligned} v_1&=x_1\\ v_2&=x_2-\frac{x_2\cdot v_1}{v_1\cdot v_1}v_1\\ v_3&=x_3-\frac{x_3\cdot v_1}{v_1\cdot v_1}v_1-\frac{x_3\cdot v_2}{v_2\cdot v_2}v_2\\ &\vdots\\ v_p&=x_p-\frac{x_p\cdot v_1}{v_1\cdot v_1}v_1-\frac{x_p\cdot v_2}{v_2\cdot v_2}v_2-...\frac{x_p\cdot v_{p-1}}{v_{p-1}\cdot v_{p-1}}v_{p-1}\\ \end{aligned}$
则 ${v_1,...,v_p\}$ 是 $W$ 的一组正交基，两组基张成的空间是等价的： $Span\{v_1,...,v_k\}=Span\{x_1,...,x_k\}，1\leq k \leq p$
首先这组基要求是线性无关，否则也不能成为“基”了。该方法提供了正交基的算法，在工程中得到广泛应用。