贡献：
①基于分布式框架(distributed framework)和residual learning，提出了一种鲁棒性强、泛化性能提高的RDFNet泛锐化模型。
②提出了一种新的三分支泛锐化结构，其中两个分支分别用于提取MS和PAN图像特征。其中最重要的是第三个分支，实现三通道的数据融合，将两个特征分支与前一层的融合结果逐层拼接，得到泛锐化图像。
问题：
只有高空间分辨率和低光谱分辨率的PAN（全色）图像和低空间分辨率和高光谱分辨率的MS（多光谱）图像才能得到高空间分辨率和高光谱分辨率(HRHM)的图像。然而，许多领域都需要利用高空间分辨率和高光谱分辨率(HRHM)的图像，甚至需要利用高时间分辨率的图像。
HRHM图像是利用高空间分辨率和低光谱分辨率图像以及高光谱分辨率和低空间分辨率(LRMS)图像的冗余和互补信息得到的。
pan-sharpening是遥感图像融合领域的一个研究热点。**pan-sharpening技术是充分利用低分辨率多光谱(LRMS)图像和全色(PAN)图像生成高分辨率多光谱(HRMS)图像。**但是传统的pan-sharpening技术存在频谱失真、振铃效应、分辨率低等问题。
introduction:
低分辨率多光谱(LRMS)图像
高分辨率多光谱(HRMS)图像
高空间分辨率和高光谱分辨率的图像(HRHM)
全色(PAN)图像
多光谱(MS)图像
评估指标：
评价融合结果主要采用以下客观质量指标，可分为全参考指标(full-reference indicator)和无参考指标(no-reference indicator)。
我们使用的全参考指标包括相关系数(CC)、均方根误差(RMSE)、结构相似度(SSI M)、谱角映射(SAM)、相对全球维度误差(Erreur Relative Globale adisionnelle de Synthése) (ERGAS)和通用图像质量指数(U IQI)。
我们使用的无参考指标由Dλ， Ds, QNR 组成。
泛锐化方法大致可以分为传统方法和基于深度学习的方法。传统的方法包括成分替代(CS)方法、多分辨率分析(MRA)方法、混合方法和基于模型的[4]方法。
①基于cs的方法将MS图像从一个投影空间转换为另一个投影空间，将空间结构从MS图像中分离出来，然后将分离出来的空间信息分量替换为高空间分辨率的图像，生成新的图像[4]。然后对生成的图像进行反变换，得到HRMS图像，如强度-色调-饱和度(IHS)[6]、广义IHS[7]、快速IHS[8]、自适应IHS[9]等。上述方法简单、快速。但存在频谱失真问题，融合质量相对较低;此外，该方法在处理大量遥感数据时效率低下。
②主成分分析(PCA)是一种将相关数据转换为不相关或相关性相对较低的数据，然后将原始的第一主成分图像替换为PAN图像的统计分析方法。主成分分析可以将问题从高维空间转换到低维空间，并且可以使用任意数量的波段，但容易造成频谱失真。使用Brovey变换(BT)[7]对三个波段进行归一化，然后将归一化后的结果与相应的权值数据相乘得到融合图像。
③Gram-Schmidt (GS)[1]泛锐化是PCA方法的扩展。避免了由于某些波段信息过于集中而导致的光谱响应范围不一致和新的高空间分辨率全色波段波长范围扩展。它能保持融合前后光谱信息的一致性。
……
……
分布式架构的优点：
不仅使用了传感器A的轨迹信息，还使用了传感器B的轨迹信息，在融合过程中，充分利用已知的先验条件，尽可能提高融合轨迹的精度。如图↓
residual network（残差网络）的优点：
残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃链接，这对解决梯度消失和梯度爆炸问题非常有效。
一般的residual block：
可以表示为：
如果使用了多层residual block则：
文中将Relu激活函数提前，进一步提高了residual block的性能：
Method and Overall structure:
利用分布式架构和残差模块的优点，提出了一种新的基于残差模块的三分支分布式图像融合框架RDFNet。
提出了一种新的三分支泛锐化结构，其中两个分支分别用于提取MS和PAN图像特征。其中最重要的是第三个分支，实现三通道的数据融合，将两个特征分支与前一层的融合结果逐层拼接，得到泛锐化图像。
对输入的MS和PAN图像融合大概有以下步骤：
①输入RDFNet的MS和PAN图像需要进行预处理。
②对原尺度MS和PAN图像进行下采样，分别记作DLMS和LPAN图像。具体如图↓
(根据MS和PAN图像的分辨率，确定比例因子。由于输入RDFNet的MS图像和PAN图像的大小必须保持一致，因此需要将DLMS图像插值到LPAN图像的大小。因此，原始的MS图像可以用作地面真值)
③将DULMS和LPAN图像送入RDFNet，原始的MS图像就是RDFNet的输出，如图
接着训练网络，将DULMS、LPAN和MS图像随机裁剪64 × 64子图像形成训练样本。通过调整网络的超参数和结构，经过充分的训练，得到最优网络。
接着对训练好的网络冻结参数，并分别在降分辨率(reduced-resolotion)MS和全分辨率(full-resolution)PAN图像上测试网络的性能。如图五和图六↓
④利用前面提到的全参考指标，对降低分辨率的泛锐图像与原始MS图像进行主观和定量的评价。即图五
利用前面中提到的无参考指标，对全分辨率、泛锐化图像进行主观和定量评价。即图六
RDFNet总框架如下：
细节details:
该融合结构包括三个分支:
MS特征提取、PAN特征提取 和 跨尺度融合。
MS features extraction, PAN features extraction and cross-scale fusion.
①MS features extraction:
MS0为LRMS图像，Hi表示作用在MSi-1上的residual module.
②PAN features extraction:
PAN0为高空间分辨率（high-spatial-resolution）PAN图像,
Gi表示作用在PANi-1上的residual module.
③cross-scale fusion:
Fui等于融合规则,它们分别是第i个特征提取层的MSi、PANi和第i - 1个融合层MSPi−1的不同尺度的融合结果。(即上一层的融合结果与本层的pan、ms图像进行融合)
结构如图：
第一个分支即左分支 是MS图像的多尺度特征提取，利用REM1、REM2、REM3、REM4四个残差模块对MS图像进行处理，提取多尺度特征。REMi (i = 1、2、3、4)具体如下：
其中MSi−1为REMi模块的输入; MSi是REMi模块的输出;
h(MSi−1)表示跳越连接; *表示卷积操作; W'MSi-1为REMi模块卷积核，大小为1x1；
跳跃连接中卷积核个数分别为32、64、128、256。此操作用于增加维度和跨尺度传输信息。
F(MSi-1,WMSi-1)表示residual part。
WMSi−1为卷积核;卷积核的大小为3 × 3，residual part分别有32、64、128、256个卷积核。
第三个分支即右分支 是PAN图像的多尺度特征提取，利用REP1、REP2、REP3和REP4四个残差模块对PAN图像进行处理，提取多尺度特征。REPi (i=1、2、3、4)具体如下：
其中PANi−1为REPi模块的输入;PANi是REPi模块的输出;
h(PANi−1)表示跳越连接; *表示卷积操作; W'Pi-1为REPi模块卷积核，大小为1 × 1;
跳跃连接中卷积核个数分别为32、64、128、256。此操作用于增加维度和跨尺度传输信。
F(PANi-1,WPi-1)表示residual part。
WPi−1为卷积核;卷积核的大小为3 × 3，residual part分别有32、64、128、256个卷积核。
第二个分支用于融合，由FMP1、FMP2、FMP3、FMP4、FMP5模块组成，FMP5模块是最后一个卷积层。实现了两个分支的多尺度MS图像、PAN图像和前一层融合结果的融合。
(为了尽可能保留MS图像的光谱信息和PAN图像的空间细节，该网络采用全卷积而不是pooling。由于池化会错过一些信息，这可能会导致光谱失真以及纹理和细节的损失)
融合分支中的FMPi(i=1、2、3、4、5)可以表示为：
MSPi为融合模块FMPi的结果，MSP5 = FMSP为FMP5模块与全网的融合结果。
MSi-1⊕PANi-1⊕MSPi-1（i=2,3,4,5）为FMPi的输入，
其表示MSi-1,PANi-1和MSPi-1在通道上连接的图像
WMSPi−1 (i = 1,2,3,4)为1 × 1卷积核，每个融合层分别有32、64、128、256个卷积核。
WMSP4是最后一个融合层的1 × 1 × 3卷积核。
FMP相当于融合函数。
RDFNet相当于一个强大的融合函数，其中LRMS图像MS0和PAN图像PAN0作为输入，HRMS图像FMSP作为输出。
Residual module,即REP 和 FMP，为了提高RDFNet的精度，残差模块采用了精度更高的组合模式:
首先，执行Batch Norm归一化。
(batchnorm对relu函数最大的贡献是防止了梯度的爆炸或者衰减（脑补一下relu的形态，再脑补一下权重矩阵连乘的结果))
接着，利用ReLu激活函数 进行非线性运算。
最后，进行卷积运算。
另外：
与传统的残差模块不同，ReLU激活函数的最后一层从加法操作移动到残差部分，如图↓。
（激活函数在网络中的位置也会影响剩余网络的性能）
在融合模块中，利用1 × 1卷积层实现多通道信息融合，并利用ReLU激活函数增加融合模型的非线性，提高融合能力。
