卷积网络的基本结构

• 数据输入层/ Input layer

3种常见的图像数据处理方式：一般CNN只用去均值

• 卷积计算层/ CONV layer

基本概念：

1. depth:与神经元（filter）个数相等
2. stribe
3. zero-padding

卷积宽长深度计算：

• 激励层(ReLU)

 Sigmoid
 Tanh(双曲正切)
 ReLU
 Leaky ReLU
 ELU

 Maxout

• 池化层 / Pooling layer

 夹在连续的卷积层中间
 压缩数据和参数的量，减小过拟合

池化之后的宽高计算如下：（eg：一个2*2，S=2，池化之后刚好是原来图像的一半

 典型CNN结构

LeNet

 

AlexNet

分了两组：8层结构（5卷积层+3全连接）跟LeNet相比深度加深，每层神经元数减少

ZF Net

可以理解为对AlexNet进行了微调。

VGGNet

VGG-16有16个卷积层或全连接层，包括五组卷积层和3个全连接层，即：16=2+2+3+3+3+3。

1、输入224x224x3的图片，经64个3x3的卷积核作两次卷积+ReLU，卷积后的尺寸变为224x224x64

2、作max pooling（最大化池化），池化单元尺寸为2x2（效果为图像尺寸减半），池化后的尺寸变为112x112x64

3、经128个3x3的卷积核作两次卷积+ReLU，尺寸变为112x112x128

4、作2x2的max pooling池化，尺寸变为56x56x128

5、经256个3x3的卷积核作三次卷积+ReLU，尺寸变为56x56x256

6、作2x2的max pooling池化，尺寸变为28x28x256

7、经512个3x3的卷积核作三次卷积+ReLU，尺寸变为28x28x512

8、作2x2的max pooling池化，尺寸变为14x14x512

9、经512个3x3的卷积核作三次卷积+ReLU，尺寸变为14x14x512

10、作2x2的max pooling池化，尺寸变为7x7x512

11、与两层1x1x4096，一层1x1x1000进行全连接+ReLU（共三层）

12、通过softmax输出1000个预测结果 

注意内存的计算

GoogLeNet

去掉了全连接层