参考地址：https://www.jiqizhixin.com/articles/2019-03-15-7
超分辨率研究的意义
超分辨率研究的问题是 将低分辨率的图像重建为高分辨率的图像。这种操作主要有这么几种应用场景：
- 图像压缩方面，在传输过程中可以只传输低分辨率的图片，然后通过重建操作得到高分辨率图像。低分辨率图像相比高分辨率图像来说，减少网络负载。
- 医学图像方面，可以通过设备得到低分辨率图像，通过重建，能更加清晰看到组织、细胞的状态。
- 公安安防方面。这方面主要是由于受天气的影响，存在**图像模糊、**分辨率低问题。通过超分辨率重建，可以恢复清晰的车牌号码、人脸。
- 遥感方面、获取高分辨率图像一直来是这方面的难点、所以希望引入高分辨重建提高图像的分辨率。
- 视频方面
超分辨率重建技术概述
1. 退化模型
这个模型的意思描述了，客观的自然环境下高分辨率如何退化为我们眼中的低分辨率的图片。这个过程包括三个主要的因素：运动变化、成像模糊、降采样。可以通过以下公式来描述这个过程：
L = D B F H + N L = DBFH + N L=DBFH+N
其中L表示低分辨图，H表示高分辨率图，F：运动矩阵、B：模糊作用矩阵、D：降采样矩阵、N：加性噪声。所以图像的超分辨重建是这个过程的逆过程，这给这方面的研究提供了坚实的理论基础。
2. 评价准则
参考资料：https://www.zhihu.com/search?type=content&q=峰值信噪比
图像的评价准则主要是两种：
-
峰值信噪比（Peak signal-to-noise ratio, PSNR）
其中，W，H表示图像的长和宽， x x x表示原图， x ^ \hat{x} x^表示重建后的图像，值越大代表失真越少。 -
结构相似性（Structural Similarity, SSIM）
SSIM从亮度、对比度和结构三方面来评估两幅图像的相似性。
从上面可以看出，值越大失真越少。
3.图像超分辨率三种方法
根据分类准则的不同，可以将图像超分辨率重建技术划分为不同的类别。从输入的低分辨率图像数量角度来看，可以分为单帧图像的超分辨率重建和多帧图像（视频）的超分辨率重建；从变换空间角度来看，可以分为频域超分辨率重建、时域超分辨率重建、色阶超分辨率重建等；从重建算法角度来看，可以分为基于插值的重建、基于重构的重建和基于学习的超分辨率重建。
- 基于插值的超分辨重建
这一类，包括Opencv中的最近邻插值法、双线性插值法和双立方插值法。 - 基于重构的超分辨率重建
这种方法类似于 分类算法中的传统方法。估算变换矩阵，常用方法：迭代反投影法、凸集投影法、最大后验概率法 - 基于学习的超分辨率重建
这种包括流行学习、稀疏编码、深度学习方法。
4.深度学习法
深度学习法的三篇开篇之作：
- SRCNN(Super-Resolution Convolutional Neural Network)
- ESPCN (Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network)
- RGAN (Photo-Realistic Single Image SuperResolution Using a Generative Adversarial Network)
这个暑假，这个方向的论文需要详细了解以下。
