简要笔记-CNN网络

article/2025/9/16 10:22:32

以下是CNN网络的简要介绍。

1 CNN的发展简述

CNN可以有效降低传统神经网络(全连接)的复杂性，常见的网络结构有LeNet、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet等。

1.1 CNN常见的网络结构

（1）LeNet（1998年）: 首个CNN网络结构

（2）AlexNet（2012年）: 错误率 15.3%

（3）ZFNet（2013年）: 错误率 14.8%

（4）VGGNet（2014年）: ILSVRC2014比赛分类项目亚军，错误率 7.3%

（5）GoogleNet（2014年）: ILSVRC2014比赛分类项目冠军，错误率 6.67 %

（6）ResNet（2015年）: 错误率 3.6 %

1.2 CNN的应用场景

（1）图像分类

（2）目标检测

（3）图像分割

（4）语义分割

2 CNN网络的主要结构

2.1 输入层（Input Layer）

网络数据输入之前要进行数据预处理。

（1）为什么要数据预处理

主要原因是输入数据的单位如果不一样，会导致神经网络收敛速度慢。激活函数是有值域限制的，所以需要将输入数据映射到激活函数的值域范围内。

（2）数据预处理的常见方式

1）去均值

2）归一化

3）PCA降维、白化

白化：在PCA的基础上，对转换后的数据每个特征轴上进行归一化处理。实际应用中，一般并不会使用PCA和白化的操作。

2.2 卷积层（CONV Layer）

卷积层的输出也被称为特征映射（feature map），因为它可以被视为一个输入映射到下一层的空间维度的转换器。
在卷积神经网络中，对于某一层的任意元素 𝑥 ，其感受野（receptive field）是指在前向传播期间可能影响 𝑥 计算的所有元素（来自所有先前层）。

而权值共享：给定一张输入图片，用一个filter去扫描这张图，filter里面的数就叫做权重，而这张图的每个位置是被同样的filter扫的，所以卷积计算的权重是一样的，这就是权值共享。

下图是卷积计算过程示例：

在卷积之前还有填充的处理以及步幅的选择，在此不做过多阐述，后面会专门进行介绍。

2.3 激活层（Activiation Layer）

激活层的作用是将卷积层的输出结果再做一次非线性的转换。

常用的激活函数有：Sigmoid、Tanh、Relu、Leaky Relu、Maxout等。

（1）Sigmoid

优点：简单，容易理解。
缺点：容易产生梯度消失或梯度爆炸。

数学表达式：

导函数表达式：

函数图像：

（2）Tanh（双曲正切）函数

优点：易理解，0中心化。
缺点：容易产生死神经元。

数学表达式：

导函数表达式：

函数图像：

（3）Relu函数

优点：相比于Sigmoid和Tanh，具有更快的收敛速度。

缺点：没有边界。

数学表达式：

导函数表达式：

函数图像：

2.3 小结

（1）首先使用Relu，如果效果不好，考虑使用Leaky或者Maxout，目前大多数CNN均使用Relu作为激活函数。

（2）sigmoid激活函数在CNN中一般不用，而tanh激活函数只在某些特定场景下效果好。

2.4 池化层（Pooling Layer）

实施池化的目的：

(1) 降低信息冗余；

(2) 提升模型的尺度不变性、旋转不变性；

(3) 防止过拟合。

池化层的常见操作包含以下几种：最大值池化，均值池化，随机池化，中值池化，组合池化等。

更为常用的有两种池化层：最大池化和平均池化。（一般选择最大池化）

最大池化方式的特点：

        （1）最大池化（max-pooling）即取局部接受域中值最大的点。
（2）最大值池化的优点在于它能学习到图像的边缘和纹理结构。
（3）根据相关理论，特征提取的误差主要来自两个方面：
                1）邻域大小受限造成的估计值方差增大；
                2）卷积层参数误差造成估计均值的偏移。
        一般来说，mean-pooling能减小第一种误差，更多的保留图像的背景信息，max-pooling能减小第二种误差，更多的保留纹理信息。与mean-pooling近似，在局部意义上，则服从max-pooling的准则。

下图是最大池化方式的示例：