我的CSDN博客：https://blog.csdn.net/litt1e

我的公众号：工科宅生活

在学习pytorch过程中，突然想拥有属于自己的网络结构，于是便自己选择了一个比较简单的resnet18进行改造，并用其对蚂蚁和蜜蜂进行分类，比较一下没有经过预训练的resnet18好还是自己改造的resnet_diy好。

在开始撸代码之前，为了方便大家自己设计网络，我把resnet的pytorch实现详细的解读一遍。

ResNet

ResNet 解决了 deep NN 的两大问题：1. deep NN 的梯度弥散和爆炸问题；2. deep NN 的精度随着模型的加深，会逐渐饱和不再上升，甚至会大幅度下降。其算法原理简单的说，就是通过shorcut将远端的output与近端的output相连接，即H(x)=F(x)+x，以此来解决这两大问题。这个过程并没有严格的数学证明，大概因为shortcut可以很好的bp。详细了解请戳https://zhuanlan.zhihu.com/p/57085633。

网络结构如上图所示，resnet有很多变形18/34/50/152。其中 ResNet 18/34 采用 Basic Block 作为基本单元，而 ResNet 50/101/152 则采用 Bottlenet Block 作为基本单元。

Basic Block就是左边的图，包括两个3×3的卷积操作。bollteneck是右边的图，为了减少参数，它采用了两个1×1的卷积。

Resnet18

ResNet 18/34 由 root block，stack 1-4 组成，每一个 stack 都由 Basic Block 叠加而成，所有 Basic Block 都采用 3×3 filter。其中，stack 1 每一层有64个 filter, stack 2 每一层有128个 filter，stack 3 每一层有256个 filter，stack 4 每一层有512个 filter。stack 1-4的数目，ResNet 18 为[2, 2, 2, 2]，ResNet 34 为[3, 4, 6, 3]。