【论文笔记】Details or Artifacts: A Locally Discriminative Learning Approach toRealistic Image Super-Reso

细节还是伪纹理：真实图像超分辨率的局部判别方法

来自于CVPR2022，作者Jie Liang， Hui Zeng and Lei Zhang

论文地址：https://arxiv.org/abs/2203.09195

Abstract:

·目前超分想要优异的纹理信息，那GAN（生成对抗网络 generative adversarial networks）就是必经之路。但GAN的训练是不稳定的，加入了GAN会生成丰富的细节，同时也会产生伪纹理（Artifacts），artifacts直接影响人的视觉感受。

·本文中，作者开发了一个框架来区分GAN生成的伪纹理和真实细节，从而生成artifacts map以规范和稳定模型训练过程。我们提出了局部判别学习（Locally Discriminative Learning）可以很容易的插入到现有的SISR（Single image super-resolution）方法并提高性能。

Instruction：

如上图所示：

Type A：大面积平坦区域（左）或大尺度结构（右），这种类型超分比较容易。大面积平坦区域属于低频信息，SR对低频的信息恢复很容易。大尺度结构退化后仍然保留了较为清晰的高频信息，恢复也较为容易。

Type B: 细粒度的纹理，但是该纹理混叠情况严重，无明显结构（例如：动物皮毛，远处的树叶）。这种类型纹理超分较难，但他不要求恢复出的高频信息存在很强的结构信息，更多的是随机分布。也由于纹理的随机分布性，尽管重建后仍为伪纹理，但是视觉感知良好。

Type C: 细粒度纹理，存在混叠，但有清晰地结构信息（例如，细枝、建筑物中的密集窗户）。这种纹理超分很难，他要求不仅要恢复出细节，同时要求细节符合某种结构。当恢复出的细节不符合结构时，认为他是artifacts。

作者认为上述三种类型中，Type A和Type B生成的是细节，需要保留（我的理解是，即使B也生成了伪纹理，但属于随机分布，不影响视觉效果）；Type C生成的是artifacts需要抑制，这需要对生成的纹理进行类别区分，并对不同类别进行不同的处理。为解决上述问题，需要区分什么样的表现是Type A和Type B，什么样的是Type C。

·为实现这一目标，作者分析了三种类型的GAN-SR区域的局部信息，发现SR的结果和真实图像之间的残差局部方差可以做为区分伪纹理和真实细节的有效特征。因此，我们基于残差局部方差构建一个像素级映射，指示每个像素成为伪纹理的概率。

·基于改进后的映射，我们设计了一个局部判别学习（LDL）框架来惩罚伪纹理，而不影响实现细节。

GAN-SR对预测不稳定的体现：

如上图所示，中间灰框只对SISR（Single image super-resolution ）模型使用L1 loss（MAE）进行预训练得来的（只做MAE结果呈模糊状态），加入GAN loss网络讲输出拉入真实高清数据分布上，但在高清数据流上有清晰地（黄框）也有artifact比较明显的（红框）。（体现了GAN的不稳定性）

Methodology：

现有的GAN-SR方法使用三种损失：

其中，

Lrecons,Lpercep,Ladv

分别表示重建损失（例如L1（MAE），L2（MSE））、感知损失以及对抗损失。λ是平衡参数，常设置为0.01,1和0.005。SRGAN一文所分析：仅采用重建损失训练会导致重建结果过于模糊，而对抗损失引入可以重建更多纹理，但同时会引入伪纹理问题。

上图为GAN-SR模型在三种Type上得到的结果，LR（Low Resolution）是通过HR （High Resolution）2*2平均池化（平均池化（avgpooling）可以保留背景信息，却丢失了细节）得到的。由图可以看出，平滑或是大尺度区域的A类可以很好的重建，具有良好的保真度和视觉感受。B类虽然像素没有被很好的重建，但由于HR块中的像素的随机分布性，重建后的patch的视觉感知并不差。然而，对于C类patch，由于结构被破坏，在GAN-SR结果中会在视觉感官上产生令人不愉快的伪纹理。

由图4：

从训练模型角度对三种类型块的MAD（平均绝对差值，衡量失真度（原图与待评估之间的差别），越小越好）信息进行对比，可以看到：A类图像块的训练比较稳定，B类图像存在大波动（意味着有更好的不确定性），C类图像块具有最大波动和不稳定性。

结合前述分析，为使得GAN-SR具有更优异的重建效果，我们需要抑制C类型块的伪影生成，同时保持A和B类型块的纹理重建效果。为达成该目的，我们精心设计了一种pixel-wise map进行伪影与细节的判别并用于引导GAN-SR训练，下图阐述了该map生成过程示意图：

采用EMA时，每次训练的参数进行一个滑动平均，当前迭代所得的网络参数仅占一部分，这样不会引发由某次不稳定而造成了结果不稳定。

Loss and Learning Strategy：

上图给出了具体的训练流程：

低分图片输入后，进入两个模型：上面是通过梯度下降训练的模型，下面是在上面模型的基础上利用EMA技术集成的一个更稳定的模型。低分图片经过这两个模型进行处理之后的输出、与真实图片一起构造伪影图，并根据伪影图构造伪影损失，再加上GAN-SR模型的损失一起构成了LDL模型的损失。最后利用LDL模型的损失对Ψ进行优化，并将Ψ 的参数暂时继承到中，整个过程一直迭代直到收敛。

Experimental results：

各纵列分别以RResNet 为主干，RRDB 为主干和 SwinIR 为主干；横行用LPIPS（感知图像块相似度,也称为“感知损失”，用于度量两张图像之间的差别。值越低表示两张图像越相似，反之，则差异越大）、DISTS 、 FID（生成图片和真实图片的距离，数据越小越好）、 PSNR（峰值信噪比，是一种评价图像质量的度量标准。其值越大，图像失真越少）和 SSIM（结构相似性，是一种衡量两幅图像相似度的指标。相对PSNR而言，SSIM在评价图像质量上更能符合人类的视觉特性。）来衡量，↑ 和 ↓ 分别表示分数越大或越小越好。各行中的Set5 、Set14 、Manga109 、General100、Urban100 和 DIV2K100为数据集。

如表所示：

所提LDL方案可以有效提升感知质量指标(LPIPS, DISTS, FID)与重建精度(PSNR, SSIM)；
SRResNet+LDL在大多数数据集上均优于SFTGAN与SRGAN；RRDB+LDL方案同样具有比其他方案更优的客观指标；SwinIR+LDL的组合同样取得了进一步的性能提升。

从重建结果来看，相比ESRGAN、USRGAN以及SPSR，LDL的结果具有更少的伪影、更好的细节。当然，从图示最后一行来看，LDL方案重建结果仍存在一定伪影，并未完全解决，但提供了一个非常好的前进方向。

上图给出了真实尝尽盲超分的效果对比，可以看到：相比BSRGAN与Real-ESRGAN，RealESRGAN+LDL方案重建结果具有更少的伪影、更清晰的纹理细节。

消融实验：

作者进行消融研究以调查LDL方法中主要成分的作用，包括伪影映射图M，添加稳定因子 $\sigma$ 的映射图，进一步细化的映射图Mrefine和EMA模型。#1 给出了不使用上述任何操作时的基线性能。通过在#2 中引入 M，我们可以观察到感知质量和重建精度的明显性能提升。这证明了在 GAN-SR 中明确区分和惩罚了视觉伪影。 #3 中的 σ·M 和#4 中的 M_refine 的使用都进一步提高了性能。最后，通过在#5 的测试期间使用稳定的 EMA 模型 Ψ_EMA，实现了预期，使得重建精度有所提升。

Conclusion：

在本文中，我们分析了基于GAN的SISR方法中视觉伪影是如何产生的，并提出了一种局部判别学习（LDL）策略来解决这个问题。在GAN-SR模型训练过程中，设计了一个区分视觉伪影和真实细节的框架，并生成了一个伪影图，以在不牺牲真实细节的情况下明确惩罚伪影。所提出的LDL方法可以很容易地插入不同的现成GAN-SR模型中，用于实际SISR任务。在广泛使用的数据集上的大量实验表明，LDL在定量和定性上都优于现有的GAN-SR方法。