Gradient Descent of neural network：

• $neuralnetwork$的参数： θ = { w 1 , w 2 , ⋯ , b 1 , b 2 , ⋯ } θ=\{w_1,w_2,\cdots,b_1,b_2,\cdots \} θ={w1​,w2​,⋯,b1​,b2​,⋯}
• 计算参数$\theta$对于损失函数L的导数$\Delta L(\theta )$
  $$\Delta L(\theta )=\left[\begin{array}{c}\partial L(\theta )/\partial w_1\\ \\ \partial L(\theta )/\partial w_2\\ \\ \cdots \\ \\ \partial L(\theta )/\partial b_1\\ \\ \partial L(\theta )/\partial b_2\\ \cdots \end{array}\right]$$
• 更新参数：$\theta =\theta -\eta \Delta L(\theta )$

$\Delta L(\theta )$可以是一个上百万维的向量，计算十分的麻烦；所以$Backpropagation$要做的是去高效的计算反向传播的梯度$\Delta L(\theta )$。

---

定义预测结果$y^n$(理想模型)与实际结果${\hat{y}}^n$(现实模型)之间的距离为$l^n$，即第$n$单个样本的损失函数值是$l^n$。

总体样本损失函数值表达式为：
$$L(\theta )=\sum _{n=1}^N{l}^n(\theta )$$

对损失函数$L(\theta )$左右两边同时对$w$求偏微分：

$$\frac{\partial L(\theta )}{\partial w}=\sum _{n=1}^N\frac{\partial l^n(\theta )}{\partial w}$$

可以看出，我们仅需要对一个样本数据进行讨论，再将一个样本讨论的结论覆盖到整体样本上进行求和即可。所以下面的讨论都是基于一个样本的。

$Backpropagation$可以分为$Forwardpass$和$Backwardpass$两个部分，首先讨论$Forwardpass$。

---

Forward pass：

我们的目标是求出$\frac{\partial l}{\partial w}$;

将下图三角形部分的神经元拿出来单独讨论；

观察下面的图片，通过链式求导法则可以将$\frac{\partial l}{\partial w}$展开为：
$$\frac{\partial l}{\partial w}=\frac{\partial z}{\partial w}\frac{\partial l}{\partial z}$$

$z$的表达式在前向传播中给出来了，$\frac{\partial z}{\partial w}$的计算会很容易：

$$\frac{\partial z}{\partial w_1}=x_1$$

$$\frac{\partial z}{\partial w_2}=x_2$$

可以看出$z$对$w$的偏导等于与$w$相联系的$input$。

将这个结论扩展到网络的其他部分，如下图：

所以通过前向传播，计算每个神经节点的输入就能计算所有的$\partial z∕\partial w$了。

---

Backward pass：

$\frac{\partial l}{\partial w}=\frac{\partial z}{\partial w}\frac{\partial l}{\partial z}$中的$\frac{\partial z}{\partial w}$通过$Forwardpass$就能够计算出来。接下来计算$\frac{\partial l}{\partial z}$部分，根据链式法则：
$$\frac{\partial l}{\partial z}=\frac{\partial a}{\partial z}\frac{\partial l}{\partial a}\text{\hspace{1em}(1)}$$

$\frac{\partial a}{\partial z}$就是对激活函数求导，假设使用的激活函数是$sigmoid$，那么$\frac{\partial a}{\partial z}={\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))$

所以主要问题在于$\frac{\partial l}{\partial a}$的计算，观察上图，$\frac{\partial l}{\partial a}$可以按照链式法则继续展开为：

$$\frac{\partial l}{\partial a}=\frac{\partial z^{\prime }}{\partial a}\frac{\partial l}{\partial z^{\prime }}+\frac{\partial z^{\prime \prime }}{\partial a}\frac{\partial l}{\partial z^{\prime \prime }}$$

根据$z^{\prime }$和$z^{\prime \prime }$的表达式可以计算$\frac{\partial z^{\prime }}{\partial a}=w_1$、$\frac{\partial z^{\prime \prime }}{\partial a}=w_2$。

带入到(1)中：
$$\frac{\partial l}{\partial z}={\sigma }^{\prime }(z)[w_3\frac{\partial l}{\partial z^{\prime }}+w_4\frac{\partial l}{\partial z^{\prime \prime }}]\text{\hspace{1em}(2)}$$

如下图，表达式$(2)$的含义就像从后面向前面传播：

接下来求出$\frac{\partial l}{\partial z^{\prime }}$和$\frac{\partial l}{\partial z^{\prime \prime }}$，就可以计算出$\frac{\partial l}{\partial z}$。

分两种情况讨论：

• $-Case1-$：
  $z^{\prime }$和$z^{\prime \prime }$是连接的是输出层，如下图：
  
  链式法则展开：
  $$\frac{\partial l}{\partial z^{\prime }}=\frac{\partial y_1}{\partial z^{\prime }}\frac{\partial l}{\partial y_1}$$$$\frac{\partial l}{\partial z^{\prime \prime }}=\frac{\partial y_2}{\partial z^{\prime \prime }}\frac{\partial l}{\partial y_2}$$
  $l$对$y$求导可以通过损失函数表达式计算，$y$对$z$求偏导其实就是激活函数的求导，这时候工作$\frac{\partial l}{\partial z}$就计算完成了。

• $-Case2-$：
  $z^{\prime }$和$z^{\prime \prime }$是连接的不是输出层，如下图：
  
  其实这就是个套娃的过程，计算当前层的$\frac{\partial l}{\partial z}$需要计算下一层的$\frac{\partial l}{\partial z}$，计算下一层的$\frac{\partial l}{\partial z}$需要计算下下层的$\frac{\partial l}{\partial z}$。如下图：
  
  所以要做的是递归计算$\frac{\partial l}{\partial z}$，直到最后一层。

为了方便计算，从输出层开始计算$\frac{\partial l}{\partial z}$，再通过反向传播向前传递，如下图：

以上就是$Backwardpass$的过程。

---

总结：

计算梯度$\frac{\partial l}{\partial w}=\frac{\partial z}{\partial w}\frac{\partial l}{\partial z}$：

• $ForwardPass$(正向传递)计算$\frac{\partial z}{\partial w}$；
• $BackwardPass$(反向传递)计算$\frac{\partial l}{\partial z}$