闲谈

对于梯度这个概念，我是这样的，

学习时，正序：导数–>偏导数–>方向导数–>梯度，从导数开始一步一步学到梯度这个概念，脑子里想

着：“梯度这个玩意儿有什么用，得记下来，万一考到了”.

多年以后，

应用时，倒序：梯度<–方向导数<–偏导数<–导数，从梯度这个概念一步一步往回想，“这玩意儿还真有

用，得理解透了，一定会用到”.

---

参考

• 维基/百度百科中对导数、偏导数、方向导数、梯度的解释.
• 知乎中有关梯度的问题，个人更倾向于忆臻的回答.
• 哔站-偏导数和梯度，哔站中这个视频同样直观的形容了偏导数和梯度.

---

梯度的方向总是指向函数值增大的方向，即自变量沿着梯度的方向移动，函数值总是增大的.

首先要理解梯度的概念，明确梯度方向的由来，自然就能理解为何梯度的方向总是指向函数值增大的方向.

下面从导数开始一步一步学到梯度这个概念.
.

导数、偏导数、方向倒数、梯度，均是微积分学中的概念，而微积分学是高等数学的核心.

用四句话简单概括这4个概念：

• 导数对应一元(单变量)函数，表示一元函数在该点的变化率.
• 偏导数对应多元(多变量)函数，表示多元函数在该点沿坐标轴方向的变化率.
• 方向导数是偏导数概念的推广，表示多元函数在该点沿某一方向的变化率.
• 梯度是特殊的方向导数，表示多元函数在该点沿该方向变化率最大(该方向为梯度的方向，变化率为梯度的模).

1. 导数

导数对应一元(单变量)函数，表示一元函数在该点的变化率.

一元函数在坐标系中表示为曲线，其几何意义为函数在该点切线的斜率，其本质是通过极限的概念对函

数进行局部的线性逼近.

例如：计算曲线 f(x) 上A、B两点的斜率K，B无限趋近于A，即表示为
$$K=\frac{f(x_A+\Delta x)-f(x_A)}{\Delta x}(\Delta x\to 0)$$

此时，K便表示曲线在A点处的斜率/变化率，亦称之为函数 f(x) 在该点处的导数
$$f^{{}^{\prime }}(x_A)=\underset{\Delta x\to 0}{\lim }\frac{f(x_A+\Delta x)-f(x_A)}{\Delta x}$$

2. 偏导数

偏导数对应多元(多变量)函数，表示多元函数在该点沿坐标轴方向的变化率.

图文描述时，一般以二元函数为例(更高元的函数也画不出来)，下图为二元函数$z=f(x,y)$,

$\frac{\partial f}{\partial x}/f_x(x,y)$ 表示函数沿x轴方向的变化率(此时y视为常量)，

$\frac{\partial f}{\partial y}/f_y(x,y)$ 表示函数沿y轴方向的变化率(此时x视为常量).

3. 方向导数

方向导数是偏导数概念的推广，表示多元函数在该点沿某一方向的变化率.

某一方向的变化率如何表示？

如下山坡图中对于山坡内任一点处沿x、y方向的变化率均可求得，以此为两个基向量，

则 $\overrightarrow{u}$ 方向的变化率可表示为(在此不作证明)：
$$D_{u}f(x,y)=f_x(x,y)\cos \theta +f_y(x,y)\sin \theta$$

4. 梯度

梯度是特殊的方向导数，表示多元函数在该点沿该方向变化率最大(该方向为梯度的方向，变化率为梯度的模).

梯度的方向总是指向函数值增大的方向，即自变量沿着梯度的方向移动，函数值总是增大的.

求梯度，就是求 $D_{u}f(x,y)$ ，将其以向量点乘的形式表示为：
$$D_{u}f(x,y)=A\cdot I=|A|\ast |I|\cos \alpha$$
式中，$A=(f_x(x,y),f_y(x,y))$ , $I=(\cos \theta ,\sin \theta )$ , $\alpha$ 为两向量夹角.

当 $\alpha =0$ ，即 $A、I$ 平行时，变化率最大.

---

看到这里，明确了梯度的方向，这时再想一想为什么梯度的方向总是指向函数值增大的方向，

其实已经很明显了，梯度的方向即向量 $A/I$ 的方向，也就是函数在该点偏导数组成的向量方向.

哔站-偏导数和梯度，该视频中对此有很清晰的表达.

或者，不妨以一元函数 $y=x^2$ 来进行理解.参看视频如何通俗地理解梯度下降法.