本文参考书籍《最优化计算方法》

这一部分会介绍一些最优化需要用到的基本数学概念。

目录

1 范数

1.1 向量范数

1.2 矩阵范数

1.3 矩阵内积

2 导数

2.1 梯度与海瑟矩阵

2.2 矩阵变量函数的导数

---

1 范数

1.1 向量范数

范数相当于是从向量空间到实数域的映射，也就是度量向量与原点之间的距离，但是这里有很多不同的范数，1范数就相当于是曼哈顿距离，2范数相当于欧几里得距离，无穷范数就相当于闵氏距离。

一般来说，下标省略的范数，默认是2，如下是范数2时的常用的Cauchy不等式

                                                               

等号仅当两个向量线性相关的时候取到

1.2 矩阵范数

知道了向量范数之后，就比较好理解矩阵范数了，显然当1范数时

                                                            

也就是矩阵所有元素的绝对值之和

2范数也就是矩阵所有元素的平方和开根号

                                                

Tr 称为矩阵的迹，是矩阵主对角线元素之和，矩阵的2范数有正交不变性，对任意正交矩阵U和V

除了从向量范数的定义规律来推广以外，矩阵范数还可以从向量范数诱导而来 

这个性质被称为矩阵的相容性

1.3 矩阵内积

矩阵范数用来衡量大小，矩阵内积一般用来表示两个矩阵之间的夹角（也可理解为两个矩阵所张成空间的夹角）

同时也有矩阵范数的柯西不等式

2 导数

2.1 梯度与海瑟矩阵

 上面的公式其实就是：方向导数等于梯度与方向单位向量的内积

 

其实这代表着 f(x) 的增长速度不能超过二次函数 

2.2 矩阵变量函数的导数

多元函数梯度的定义可以推广到矩阵