向量是什么

向量就是给定一个点A，连接原点到点A，并具有由O到A方向的连线，表示为$\overrightarrow{OA}$. 书本的定义：向量就是具有大小和方向东西。

大小(magnitude)

向量的大小(magnitude)写作$\Vert x\Vert$,称为模(norm).
通过（Pythagoras’ theorem）毕达哥拉斯定理求模如下图，
${OA}^2={OB}^2+{AB}^2$
${OA}^2=3^2+4^2$
$\Vert x\Vert =5$

方向（direction）

定义向量$\mathbf{u}(u_1,u_2)$的方向为向量$\mathbf{w}(\frac{u_1}{\Vert u\Vert },\frac{u_2}{\Vert u\Vert })$。如下图：

可以看到：
$$cos(\theta )=\frac{u_1}{\Vert u\Vert }$$
$$cos(\alpha )=\frac{u_2}{\Vert u\Vert }$$
所以向量$\mathbf{u}(3,4)$方向向量是$\mathbf{w}(0.6,0.8)$。方向向量的模为1.如下图

两个向量的加法

任意给给两个向量$\mathbf{u}(u_1,u_2)$ ，$\mathbf{v}(v_1,v_2)$两个向量相加：$\mathbf{u}+\mathbf{v}=(u_1+v_1,u_2+v_2)$


两个向量的减法

任意给给两个向量$\mathbf{u}(u_1,u_2)$ ，$\mathbf{v}(v_1,v_2)$两个向量相减：$\mathbf{u}-\mathbf{v}=(u_1-v_1,u_2-v_2)$。 方向指向被减数的方向。

向量的点积（dot product）

$\mathbf{x}\cdot \mathbf{y}=\Vert x\Vert \Vert y\Vert cos(\theta )$, $\theta$ 为两个向量的夹角。
推导过程如下：

根据前面的分析我们知道，
$$cos(\beta )=\frac{adjacent}{hypotenuse}=\frac{x_1}{\Vert x\Vert }$$
$$sin(\beta )=\frac{opposite}{hypotenuse}=\frac{x_2}{\Vert x\Vert }$$
$$cos(\alpha )=\frac{adjacent}{hypotenuse}=\frac{y_1}{\Vert y\Vert }$$
$$sin(\alpha )=\frac{opposite}{hypotenuse}=\frac{y_2}{\Vert y\Vert }$$
从图片中得到 $\theta =\beta -\alpha$, 那么$$cos(\theta )=cos(\beta -\alpha )$$
$$cos(\beta -\alpha )=cos(\beta )cos(\alpha )+sin(\beta )sin(\alpha )$$
于是，
$$cos(\theta )=cos(\beta -\alpha )=cos(\beta )cos(\alpha )+sin(\beta )sin(\alpha )$$
$$cos(\theta )=\frac{x_1}{\Vert x\Vert }\frac{y_1}{\Vert y\Vert }+\frac{x_2}{\Vert x\Vert }\frac{y_2}{\Vert y\Vert }$$
$$cos(\theta )=\frac{x_1{y}_1+x_2{y}_2}{\Vert x\Vert \Vert y\Vert }$$
$$\Vert x\Vert \Vert y\Vert cos(\theta )=x_1{y}_1+x_2{y}_2$$

点积的算术定义就出来，
$$\mathbf{x}\cdot \mathbf{y}=x_1{y}_1+x_2{y}_2=\sum _{i=1}^2(x_i{y}_i)$$
从上面的集合定义也能知道，两个向量的点积是一个数。

向量的正交投影

如图给定两个向量x，y，那么向量x在y上的投影为z。

通过上面的学习我们知道，
$$cos(\theta )=\frac{\Vert z\Vert }{\Vert x\Vert }$$
$$\Vert z\Vert =\Vert x\Vert cos(\theta )$$
点积$$cos(\theta )=\frac{\mathbf{x}\cdot \mathbf{y}}{\Vert x\Vert \Vert y\Vert }$$
于是可以推导得
$$\Vert z\Vert =\frac{\mathbf{x}\cdot \mathbf{y}}{\Vert y\Vert }$$
另外我们知道方向向量的，如果u表示向量y的方向向量，$\mathbf{u}=\frac{\mathbf{y}}{\Vert y\Vert }$, 那么向量x在向量y上面的投影可以由下式计算：
$$\Vert z\Vert =\mathbf{u}\cdot \mathbf{x}$$

我们还注意到，向量x在向量y上的投影得到的向量z，它的方向向量和向量y的方向向量是一致的，所以向量z可表示为$\mathbf{z}=\Vert z\Vert \mathbf{u}$。

知道了向量x在向量y上面的投影z后，我们就能够计算向量x-z的距离:
$$\Vert x-z\Vert =\sqrt{(3-4{)}^2+(5-1{)}^2}=\sqrt{17}$$

详见原文地址：https://www.svm-tutorial.com/2014/11/svm-understanding-math-part-2/