我对FastFCN的理解

article/2025/9/23 7:22:03

FastFCN:重新思考膨胀卷积在语义分割主干网络中的作用

扩张卷积=膨胀卷积=空洞卷积

一、前言

1.解决的问题

时下的语义分割模型通常在主干网络中使用扩张卷积来获得高分辨率的特征图，但是这样做会增加计算复杂度和内存占用。
该论文提出了一种新型的联合上采样模块JPU(Joint Pyramid Upsampling)以取代扩张卷积，该方法有效降低了计算复杂度和内存占用，能够在多种已有模型中应用，并且不损失甚至会对最终精度有一定的提升。

2.引入

在这里插入图片描述
（a）语义分割方法大多应用了全卷积神经网络(FCN)来完成这一任务，但是全卷积网络的原始网络是为图像分类任务设计的，通过逐步下采样(stride conv和池化层)得到一个富含语义信息但是分辨率很低的特征图；

（b）为了获得最终的高分辨率特征图，一些方法将原始的FCN作为编码器来获取深层语义信息，增加解码器模块以融合来自编码器的多各层次的特征图以获取高分辨率特征图，如图b所示，如Unet，SegNet等；

（c）更进一步的，DeepLab方法一处FCN最后两层下采样操作并引入扩张卷积来保持特征图感受野不变，后跟一个多尺度的语义模块从而得到最终效果，如图c所示，扩张卷积提高了最终特征图的分辨率，大大提升了编解码语义分割方法的分割精度，然而正如摘要中提到，扩展卷积大大增加了计算复杂度和内存占用，限制了其在实时问题上的应用。

因此：

该论文针对这一问题对出了新型的联合上采样模块JPU，通过一系列的实验证明，在计算复杂度和内存占用都显著减少的同时模型精度并无明显降低。

综合来看论文的主要贡献在于：
- 新型的JPU模块来取代时空复杂度较高的扩张卷积；
- 计算时间和内存显著降低的同时模型精度有所上升；
- 该方法在Pascal Context数据集和ADE20K数据集上都达到了同类中的最优。

二、方法

1.框架

为了获得分辨率更高的最终特征图，DilatedFCN移除了原始FCN中后两层下采样操作，并添加扩张卷积。该论文则要寻找能够取代这种操作并且在不损精度的条件下提速的方法来获得与DilatedFCN相同的高分辨率特征图。
在这里插入图片描述
论文首先将DialtedFCN移除的下采样层还原，如上图所示，文中方法的主干网络和原始FCN相同，五次下采样操作每次都缩小两倍，为了获得和DilatedFCN相同尺寸的特征图，应用JPU模块，它融合Conv3，4，5三层特征图，通过多尺度语义模块后得到最终的预测结果。