深度学习高分辨率遥感影像语义分割

深度学习大家都知道，在计算机视觉领域取得了很大的成功，在遥感影像自动解译方面，同样带来了快速的发展，我在遥感影像自动解译领域，也做了一些微薄的工作，发表几篇论文，我一直关注遥感影像自动解译领域，

在北京出差的这段时间，终于可以沉下心来，好好研究下深度学习，目前在语义分割领域，也有部分心得，在此同大家分享，权当是互相学习。本篇博文就是论述现有的state-of-art方法在遥感影像语义分割领域的进展，及以后的发展方向！

首先不多说，我采用当前效果表现最稳定、精度较高的几种语义分割网络进行讲述：1.unet网络；2.Deeplab网络（mobile特征提取器，resnet18特征提取器，resnet50特征提取器，Inceptionv3特征提取器等）；3.CEnet。

下面我对这几种网络进行简单的讲解，单纯作为抛砖引玉，如有个别不当的地方，

1.unet网络

unet网络由于形状像一个u型，因此称为Unet网络，关于它的资料，大家可以在CSDN的一篇博客找到，介绍的论文太多我就不细讲了！

它的形状如下图所示：

图1 unet语义分割网络（参考unetCSDN博客）

从它的形状，我们可以看出，非常优美，这是原版论文的架构，我们可以在这个基础上进行大量的改进，比如说，特征提取块，我们可以采用残差网络（resnet）进行替换，这有什么好处呢？主要是可以加深网络，在防止梯度消失的同时，

可以学习到更深层次的特征，有利于提高精度。我看了几个版本的代码，在特征融合层，大家普遍采用两种方式，第一种直接相加，即将编码层与解码层特征直接相加，另外一种就是常用的concat，关于这两种有什么优缺点，我个人的理解是，

concat可以融合更多特征，其实说白了就是以前的向量相加（vector stacking），效果好的同时，GPU的显存肯定要消耗大；而对于特征相加的方式，直观的表现就是节省GPU显存，但是呢，是否比concat更好呢？我这里没有做实验，大家可以

跑跑代码试试！

2.Deeplab网络

图3 DeeplabV3plus语义分割网络（参考原作者论文）

其实从Deeplab的网络可以看出，这个网络简单优美，没有那么多复杂的组合等等，最核心的东西就是四个空洞卷积块，卷积核的大小分别是1 6 12 18，关于作者为什么只用这四个参数呢，作者也只是用实验进行了说明，

证明了用这四个参数可以获得最高的精度，另外一种解析就是，不同大小的空洞卷积核可以感受不同范围的特征。第二个比较重要的地方，就是与四倍采样大小的特征进行concat，这个比较重要，它融合了编码层与解码层的

特征，从本质上来说，这个其实就是unet的变种，但是你可以自定义特征提取网络，例如我这里实现了mobilenet、inceptionv3，resnet18，resnet50等四种经典的特征提取网络。

关于DeeplabV3 里面的关键部分ASPP（空间金字塔池化），核心代码实现如下：

% 创建空洞卷积空间金字塔网络，Deeplab的核心算法部分
function LayerGraph = ASPP_layer(LayerGraph)
% 创建ASPP层
dilate_size2 = 6;
dilate_size3 = 12;
dilate_size4 = 18;% 尺度1空洞卷积层
convLayer_scale1 = convolution2dLayer(1,256,...  % 1*1,原文为256个卷积核'Padding','same',...'BiasL2Factor',0,...'Name','convLayer_scale1');% convLayer_scale1 = groupedConvolution2dLayer(1,1,40,'Padding','same', 'Name','convLayer_scale1');bn_scale1 = batchNormalizationLayer('Name','bn_scale1');
% relu_scale1 = clippedReluLayer(6,'Name','relu_scale1');
relu_scale1 = reluLayer('Name','relu_scale1');
scale_net1 = [convLayer_scale1;bn_scale1;relu_scale1];% 尺度2空洞卷积层
convLayer_scale2 = convolution2dLayer(3,256,...'Padding','same',...'DilationFactor', dilate_size2,...'BiasL2Factor',0,...'Name','convLayer_scale2');% convLayer_scale2 = groupedConvolution2dLayer(3,1,40,'Padding','same', 'DilationFactor', dilate_size2, 'Name','convLayer_scale2');bn_scale2 = batchNormalizationLayer('Name','bn_scale2');
% relu_scale2 = clippedReluLayer(6,'Name','relu_scale2');
relu_scale2 = reluLayer('Name','relu_scale2');
scale_net2 = [convLayer_scale2;bn_scale2;relu_scale2];% 尺度3空洞卷积层
convLayer_scale3 = convolution2dLayer(3,256,...'Padding','same',...'DilationFactor', dilate_size3,...'BiasL2Factor',0,...'Name','convLayer_scale3');% convLayer_scale3 = groupedConvolution2dLayer(3,1,40,'Padding','same', 'DilationFactor', dilate_size3, 'Name','convLayer_scale3');bn_scale3 = batchNormalizationLayer('Name','bn_scale3');
% relu_scale3 = clippedReluLayer(6,'Name','relu_scale3');
relu_scale3 = reluLayer('Name','relu_scale3');
scale_net3 = [convLayer_scale3;bn_scale3;relu_scale3];% 尺度4空洞卷积层
convLayer_scale4 = convolution2dLayer(3,256,...'Padding','same',...'DilationFactor', dilate_size4,...'BiasL2Factor',0,...'Name','convLayer_scale4');% convLayer_scale4 = groupedConvolution2dLayer(3,1,40,'Padding','same', 'DilationFactor', dilate_size4, 'Name','convLayer_scale4');bn_scale4 = batchNormalizationLayer('Name','bn_scale4');
% relu_scale4 = clippedReluLayer(6,'Name','relu_scale4');
relu_scale4 = reluLayer('Name','relu_scale4');
scale_net4 = [convLayer_scale4; bn_scale4; relu_scale4];% 组合原来的layer
LayerGraph = addLayers(LayerGraph, scale_net1);
LayerGraph = addLayers(LayerGraph, scale_net2 );
LayerGraph = addLayers(LayerGraph, scale_net3);
LayerGraph = addLayers(LayerGraph, scale_net4);LayerGraph = connectLayers(LayerGraph, 'mixed10', 'convLayer_scale1');
LayerGraph = connectLayers(LayerGraph, 'mixed10', 'convLayer_scale2');
LayerGraph = connectLayers(LayerGraph, 'mixed10', 'convLayer_scale3');
LayerGraph = connectLayers(LayerGraph, 'mixed10', 'convLayer_scale4');catFeature4 = depthConcatenationLayer(4,'Name',"dec_cat_aspp");  % 融合多特征
LayerGraph = addLayers(LayerGraph, catFeature4);
LayerGraph = connectLayers(LayerGraph, 'relu_scale1', 'dec_cat_aspp/in1');
LayerGraph = connectLayers(LayerGraph, 'relu_scale2', 'dec_cat_aspp/in2');
LayerGraph = connectLayers(LayerGraph, 'relu_scale3', 'dec_cat_aspp/in3');
LayerGraph = connectLayers(LayerGraph, 'relu_scale4', 'dec_cat_aspp/in4');% 卷积层降低参数个数
convLayer_input = convolution2dLayer(1,256,...  % 1*1卷积就是为了降低参数个数'Stride',[1 1],...'Padding',1,...'BiasL2Factor',0,...'Name','Conv_block16');
bn_layer1 = batchNormalizationLayer('Name','bn_block16');
% relu_layer1 = clippedReluLayer(6,'Name','relu_block16');
relu_layer1 = reluLayer('Name','relu_block16');con_net = [convLayer_input; bn_layer1; relu_layer1];LayerGraph = addLayers(LayerGraph, con_net);
LayerGraph = connectLayers(LayerGraph, 'dec_cat_aspp', 'Conv_block16');% 向上采样四倍
deconvLayer = transposedConv2dLayer(8,256,...   % 8*8'Stride',[4 4],... % 四倍大小'Cropping','same',...'BiasL2Factor',0,...'Name','deconv_1');decon_net = [deconvLayer;batchNormalizationLayer('Name','de_batch_1');reluLayer('Name','de_relu_1')];
%              clippedReluLayer(6,'Name','de_relu_1')];LayerGraph = addLayers(LayerGraph, decon_net);
LayerGraph = connectLayers(LayerGraph, 'relu_block16', 'deconv_1');end

这一段ASPP代码是我根据作者论文的原版实现，同时也参考了pytorch、keras、caffee等不同框架的实现代码，大家可以直接使用！

3.CEnet网络