一、Deeplab v2

对应论文是 DeepLab: Semantic Image Segmentiation with Deep Convolutional Nets, Atrous Convolution,  and Fully Connected CRFs

Deeplab 是谷歌在FCN的基础上搞出来的。FCN为了得到一个更加dense的score map，将一张500x500的输入图像，直接在第一个卷积层上conv1_1加了一个100的padding，最终在fc7层勉强得到一个16x16的score map。Deeplab这里使用了一个非常优雅的做法：将VGG网络的pool4和pool5层的stride由原来的2改为了1，再加上 1 padding。就是这样一个改动，使得vgg网络总的stride由原来的32变成8，进而使得在输入图像为514x514时，fc7能得到67x67的score map, 要比FCN确实要dense很多很多。这样的话尺寸就缩小为原本的8倍，但是这样的话之后节点的感受野就会发生变化。

1、感受野

感受野的计算公式：

            RF=((RF-1)*stride)+fsize

        感受野需要层后往前推，也就是“当前这一层的节点往前看能看到多少前几层的节点”。公式中假设当前层的RF=1，stride是上一层的步长，fsize是filter的尺寸,padding不影响感受野大小。这是一个递推公式。详细解释这个问题，请看下面的图

        最左边的图就是VGG原来的结构，可以看到最下方的层往前看，能看到4个最上面层的节点，标号从左到右分别是{1,2,3,4}，{3,4,5,6}，{5,6,7,8}，右边是将pooling的stride变为1之后的图，显而易见，最下方的节点的RF减少，只能看到最上面层的三个节点。为了解决这个问题，作者提出了Hole算法。

2.hole算法

        为了保证感受野不发生变化，某一层的stride由2变为1以后，后面的层需要采用hole算法。具体来讲就是将连续的连接关系是根据hole size大小变成skip连接的（注意！是将kernel也就是filter加0，而不是featuremap）。pool4的stride由2变为1，则紧接着的conv5_1, conv5_2和conv5_3中hole size为2。接着pool5由2变为1, 则后面的fc6中hole size为4。同时由于Hole算法让feature map更加dense，所以网络直接用差值升采样就能获得很好的结果，而不用去学习升采样的参数了（FCN中采用了de-convolution）。该作者采用的方法是将缩小8倍的featuremap利用线性插值的方法恢复到与原图相同的尺寸。

点击打开链接 

点击打开链接

2、多孔金字塔池化（ASPP）

        为了解决物体在多尺度图像中状态不同的问题，作者受SPP启发，采用多孔金字塔池化方法。（关于spp详见另一篇博文）

        以vgg16网络为例，ASPP的处理方式如下图。对pool5输出的featuremap（处理前的featuremap大小为28*28*512）进行四种rate不同的卷积处理，再将四种处理后的结果concate（方式与spp相同）。

3、全连接条件随机场（CRF）

        弱分类器产生的分割图往往很粗糙，通常使用CRF来平滑去噪。而深度学习网络产生的分割图很平滑并且连续，在这种情况下需要使用short-range CRFs来恢复局部结构的细节而不是进一步平滑它。但采用该方法仍无法恢复结构中细小的部分，作者又采用了全连接条件随机场来恢复细节，效果很好。

二、Deeplab v3 

对应论文是  Rethinking Atrous Convolution for Semantic Image Segmentation

Deeplab v3部分采用了resnet网络，网络结构如图

在Deeplab 的基础上，优化了以下几点。

1、加长了esnet网络，即新增block5，block6，block7 ，都是由block4复制而来。在block4到block7的内部都是三个卷积层，设Muliti_Grid=(r1,r2,r3)为这三个卷积的unit rate，最终的atrous rate = unit rate * corresponding rate。 如output_stride = 16，Muliti_Grid =（1,2,4）时，block4 中的rate=2*(1,2,4) = (2,4,8)，block5中的rate=4*（1,2,4）=（1,8,16）。