很多时候，我们时间有限，对一些知识只能不求甚解，但这这些不求甚解的知识又会很困扰我们，总想着原理是啥，为啥这样做。就比如我们学梯度下降时，都知道梯度下降是机器学习、深度学习的核心优化算法，但为什么沿梯度方向，函数变化最快呢？？？

问了不少人都不能说的很清楚，所以查阅了很多博客，视频，现分享给大家。

导数

导数的几何意义可能很多人都比较熟悉: 当函数定义域和取值都在实数域中的时候，导数可以表示函数曲线上的切线斜率。 除了切线的斜率，导数还表示函数在该点的变化率。

比如中学学到的加速度$a=\frac{\Delta v}{\Delta t}$，这表示的是速度v对时间t的导数，物理意义表示的是速度变化的快慢。

放到数学上也是一样， 除了切线的斜率，导数还表示函数在该点的变化率也就是变化快慢。

在一元函数中，只有一个自变量变动，也就是说只存在一个方向的变化率，也就没有沿哪个方向变化快慢的问题了。下面延伸到多元函数，以二元函数为例。

偏导数

沿x方向的方向导数：
$$li{m}_{\Delta x\to 0}\frac{f(x_0+\Delta x,y_0)-f(x_0,y_0)}{\Delta x}=\frac{\partial z}{\partial x}\text{\hspace{1em}(1)}$$
移动下位置：
$$li{m}_{\Delta x\to 0}f(x_0+\Delta x,y_0)-f(x_0,y_0)=\frac{\partial z}{\partial x}\Delta x\text{\hspace{1em}(2)}$$

沿y方向的方向导数：
$$li{m}_{\Delta y\to 0}\frac{f(x_0,y_0+\Delta y)-f(x_0,y_0)}{\Delta y}=\frac{\partial z}{\partial y}\text{\hspace{1em}(3)}$$
移动下位置：
$$li{m}_{\Delta y\to 0}f(x_0,y_0+\Delta y)-f(x_0,y_0)=\frac{\partial z}{\partial y}\Delta y\text{\hspace{1em}(4)}$$

2+4:
$$li{m}_{\Delta y\to 0}li{m}_{\Delta x\to 0}f(x_0+\Delta x,y_0+\Delta y)-f(x_0,y_0)=\frac{\partial z}{\partial y}\Delta y+\frac{\partial z}{\partial x}\Delta x\text{\hspace{1em}(5)}$$

同时除$\rho$

$$li{m}_{\Delta y\to 0}li{m}_{\Delta x\to 0}\frac{f(x_0+\Delta x,y_0+\Delta y)-f(x_0,y_0)}{\rho }=\frac{\partial z}{\partial y}\frac{\Delta x}{\rho }+\frac{\partial z}{\partial x}\frac{\Delta y}{\rho }\text{\hspace{1em}(6)}$$

$$li{m}_{\Delta y\to 0}li{m}_{\Delta x\to 0}\frac{f(x_0+\Delta x,y_0+\Delta y)-f(x_0,y_0)}{\rho }=\frac{\partial z}{\partial y}\cos \alpha +\frac{\partial z}{\partial x}\sin \alpha \text{\hspace{1em}(7)}$$

其中G为梯度，也就是沿x,y方向的导数组成的向量：
$$G=(\frac{\partial z}{\partial y},\frac{\partial z}{\partial x})$$
I为方向导数的方向，这是一个单位向量
$$I=(\cos \alpha ,\sin \alpha )$$

方向导数：
$$方向导数=G\cdot I=\frac{\partial z}{\partial y}\cos \alpha +\frac{\partial z}{\partial x}\sin \alpha =|\frac{\partial z}{\partial y}||\frac{\partial z}{\partial x}|\cos \theta$$
$\theta$为方向夹角
方向导数越大，表明函数上升越快，要想方向导数最大，即$\cos \theta$要最大，$\cos \theta \in (-1,1)$ 也就是$\theta =0$时，方向导数最大，上升最快；$\theta =\pi$时，方向导数为反方向最大，下降最快。

ok，以上证明完毕。