CNN发展：BP--LeNet(标志CNN面世）--Deep learning(2012)

卷积神经网络CNN：包含卷积层的神经网络

利用BP（反向传播）算法训练LeNet5网络

检索、目标检测、图像分割、图像描述

---

全连接层：神经元全连接

BP算法包括信号的前向传播和误差的反向传播

---

卷积层：有一个卷积核即滑动窗口，，目的是提取图像特征，特性是局部感知和权值共享

卷积核（filter）的channel（深度） 与输入特征层的channel（深度）相同；输出的特征矩阵channel与卷积核个数相同

偏移量bias:加入一个偏置量为-1，则上图输出的的第一个特征矩阵是[0,2,0,0]

激活函数：引入非线性因素  sigmod;relu（常用）

越界：padding补零；

 W=4,F=3,P=1（一般四周都补零，现在只加了右和下所以可以2p--p),S=2则N=2，特征矩阵2*2

---

池化层：没有训练参数，只改变特征矩阵的宽度W和高度H，不改变深度，一般poolsize和stride相同

MaxPooling下采样层，目的：对特征图进行稀疏处理，减少数据计算量

AveragePooling下采样层

---

 反向传播

 y1是第二层的输出并没有激活函数，因为在最后一层统一用softmax。

交叉熵损失： 

 

 误差反向传播：Loss对W11求偏导--求导链式法则，依次类推得到每个节点的损失梯度，就可以进行权重更新。

 

 从而可以进行权重更新：参数学习率

 分批次（batch,即每次训练的量）训练：若使用分批次样本进行求解损失梯度指向当前批次最优方向，每进行一个批次的训练则会进行一次误差的计算和误差的反向传播

---

 优化器optimazer：目的使网络更快的收敛