基于全卷积网络的语义分割

1. 摘要

      卷积网络是一种强大的视觉模型，可产生特征的层次结构。卷积网络在语义分割方面的应用已超过了最先进的水平。本文关键是建立“全卷积”网络，它接受任意大小的输入，并通过有效的前向传播产生相应大小的输出。本文定义并详细描述了全卷积网络的空间，解释了它们在空间稠密预测任务中的应用，并与先验模型建立了联系。本文首先将分类网络(AlexNet、VGG和GoogLeNet)调整为全卷积网络，并通过微调初始化分割任务；然后，定义一个跳跃结构，它将来自深层、粗糙的语义信息与来自浅层、细致的外观信息结合起来，从而生成精确而详细的分割信息。全卷积网络在Pascal VOC、NYUD、SIFT-flow数据集实现了最好的预测效果，对于一幅典型图像的预测时间不到五分之一秒。

2. 算法框架

       卷积网络正在推动着图像识别方面的进步，其不仅改进了整体图像的分类效果，而且在具有结构化输出的局部任务上也取得了进步，包括边界框目标检测，关键点预测等。

       自然下一步是改进在像素级别上的预测。其实，以前的方法已经使用卷积网络进行语义分割任务，其中每个像素都被标记为属于目标或属于其他区域，但让具有缺点。

       FCN和CNN的区别：CNN卷积层之后连接的是全连接层；FCN卷积层之后仍连接卷积层，输出的是与输入大小相同的特征图。

本文提出一个端到端，像素对像素的全卷积网络用于语义分割任务，超过了目前最先进的结论。据我们所知，这是首次将FCNs端到端用于像素预测和有监督的预训练。

       上图将网络学习将粗糙的、高层信息与细致的、低层信息结合起来。池化层和预测层显示为显示相对空间粗细的网格，而中间层显示为垂直线。第一行(FCN-32s)：上采样步长为32，一步将预测大小恢复为原图像大小，这样做导致损失信息过多的信息，结果不够精细，为了解决此问题，作者引入了跳级连接的策略；第二行(FCN-16s)：首先将最后一层上采样，然后和池4层的预测结合起来，最后再上采样恢复为原图大小，使网络能够更好地预测细节，同时保留高级别