一、图像去噪基础知识

1. 图像去噪模型

2. 图像去噪类型

2.1 噪声类型——融合方式

2.2 噪声类型——概率分布

二、非局部均值图像去噪方法

三、基于图像先验的正则化去噪模型

1. 图像的梯度先验

2. 图像的非局部自相似先验

3. 图像的稀疏性先验

4. 图像的低秩性先验

一、图像去噪基础知识

1. 图像去噪模型

图像在传输、存储和拍摄等过程中，由于电磁波、传输设备存在杂质信号、镜头污渍等外部条件的干扰会产生噪声。从而导致图像不能清晰、真实地反映事物。

图像去噪算法地目的是将图像中的噪声去除，还原出无噪声的图像，并且最大限度地保存图像中原有的细节信息。通常图像去噪问题被当成一个逆问题来处理，给定一张M*N的噪声图像y，通过去噪算法去除图像噪声，恢复未被噪声污染过的图像x。噪声图像可用表达式： $y=x+v$ 来表示。其中 $v$ 表示图像噪声，图像去噪的模型如下图所示[1-3]。

2. 图像去噪类型

2.1 噪声类型——融合方式

噪声的分类方法多种多样，根据噪声与图像信息两者之间的融合方式，能够将噪声模型分成加性噪声和乘性噪声两类。假设给定观测到的噪声图像为 $y(i, j)$ ，原始图像为 $x(i, j)$ ，噪声为 $v(i, j)$ ，则加性噪声模型为：

$y(i, j)=x(i, j)+v(i, j)$

乘性噪声模型为：

$y(i, j)=x(i, j)\cdot v(i, j)+x(i, j)$

由噪声模型可以看出加性噪声和图像信号之间是相加的关系，不管有无图像信号的存在，噪声是客观存在的，因此可知图像信号和噪声信号之间是不相关的。而乘性噪声和图像信号之间是相乘的关系，图像信号存在，则噪声存在，图像信号不存在，噪声便不存在，故乘性噪声和图像信号之间是相关的。

2.2 噪声类型——概率分布

根据噪声服从的概率密度分布，可以将其分为高斯噪声、脉冲噪声和泊松噪声等。

（1）高斯噪声

高斯噪声是一类概率分布服从高斯分布的噪声，其概率密度为：

其中 $v$ 为噪声， $\mu$ 为噪声均值，通常取为0， $\sigma$ 为噪声的标准差，由概率密度函数可以看出高斯噪声有很好的数学性质，该概率密度函数下函数的分布是对称的。现实生活中的噪声大多数能够近似表示为高斯噪声，因此通常研究者们在研究图像去噪算法时大多都使用均值为0，方差为 $\sigma$ 的高斯噪声模拟真实噪声。

（2）脉冲噪声

脉冲噪声的概率密度为：

脉冲噪声点的亮暗程度与a、b的取值有关，当b>a时，则值为a的点表现为暗点，值为b的点表现为亮点。反之则值为b的是暗点，值为a的点是亮点。

（3）泊松噪声

泊松噪声的概率密度函数：

该概率密度下噪声的均值和方差都为 $\lambda$ ，泊松噪声是因光量子测定时存在不确定性而导致的，因此泊松噪声一般在亮度很小或者高倍电子放大线路中会出现。

二、非局部均值图像去噪方法

目前已有的许多图像去噪方法大多是基于“局部平滑”（例如，传统的均值滤波器和高斯滤波器）。虽然这类方法是有效的，但由于缺乏自适应性会导致图像模糊。从下面四幅灰度图像可以看出，它们都含有很多相似重复的纹理信息，考虑在大多数图像中出现的冗余信息，研究人员发现图像的自相似性可以应用于图像去噪领域。2005年，Buades等人首次提出了一种非局部均值（NLM）去噪算法。该算法充分利用图像中的自相似性达到去噪的目的，首先通过计算邻域间的欧式距离得到相似性权值，然后使用相似像素的加权平均得到去噪图像。这种计算权值的方法仅与图像块的相似性有关，与位置无关因此很好的避免了虚假纹理的产生。与传统的去噪算法相比，NLM算法具有算法简单、去噪性能好、易于改进和扩展的特点。

给定一个离散含噪图像 $y=\left \{ y(i), i\in I \right \}$ ，即：

$x^{hat}(i)=\sum_{j\in S_{i}}^{}w_{NL}(i, j)y(j)$

其中， $x^{hat}(\cdot )$ 为去噪后的图像， $S{_{i}}$ 是以像素i为中心的方形搜索窗口， $w_{NL}(i, j)$ 为相似性权重系数，由像素点i和j的邻域相似性决定，该相似性通常利用图像块间的欧氏距离计算得到。因此，图像块相似性的度量如下所示，同时权值需要满足条件： $0\leq w_{NL}(i, j)\leq 1$ 且 $\sum_{j\in S_{i}}^{}w_{NL}(i, j)=1$ .

$w_{NL}(i, j)=\frac{1}{Z(i)}exp(-\frac{\left \| y(N_{i})-y(N_{j}) \right \|_{2}^{2}}{h})$

其中， $Z(i)=\sum_{j\in S_{i}}^{}exp(-\frac{\left \| y(N_{i})-y(N_{j}) \right \|_{2}^{2}}{h})$ ， $y(N_{i})$ 表示以像素i为中心的图像块的灰度值，h控制指数函数的衰减速度并影响滤波程度。由上述公式可知权值 $w_{NL}(i, j)$ 依赖于邻域窗口 $y(N_{i})$ e和 $y(N_{j})$ 的相似度，当权值越大，图像的邻域就越相似。

非局部方法在去噪性能上优于局部方法，特别是对于高斯噪声。然而，NLM方法存在明显的不足，仍然有很大的改进空间，比如：较高的计算复杂度、相似性权重的计算公式受噪声影响较大和去噪参数确定不准等。

三、基于图像先验的正则化去噪模型

对于正则化去噪方法，最重要的一步是找到一个合适的自然图像先验。由于应用的领域不同，人们所关注的图像特征也是不同的，因此需要根据需求来构造合理的正则化去噪模型。在研究过程中，来自不同国家的学者针对图像自身先验进行约束，提出了不同形式的正则化去噪模型。下面介绍一些最有影响力的图像先验知识，包括梯度先验、非局部自相似性先验、稀疏性先验和低秩性先验。

1. 图像的梯度先验

最早将梯度先验引入图像去噪的是Tikhonov正则化方法，该方法根据原始图像是“平滑”这一假设进行去噪的。但是这种光滑约束是各向同性的，在去除噪声的过程中难免平滑掉大量边界以及细节结构。为了防止这种情况的发生。1992年，又有学者提出了基于TV的正则化方法来克服去噪图像的平滑性，这是该领域最有影响力的工作。TV正则项的本质是梯度的L1范数，定义为：

$R_{TV}=\left \| \bigtriangledown x \right \|_{1}$

其中， $\bigtriangledown x$ 是 $x$ 的梯度。进而得到图像的去噪模型：

$arg min_{x}\frac{1}{2}\left \| y-x \right \|_{2}^{2}+\lambda \left \| \bigtriangledown x \right \|_{1}$

这种极小化问题也称为ROF模型，它具有以下几个优点：1）该模型存在唯一解；2）关于x的解空间函数是不连续函数，即允许存在边缘位置的特殊像素点，所以在去噪过程中能较好地保持边缘。由于以上优点，TV模型被广泛用于图像去噪。但是模型也存在着缺陷：1）由于TV模型沿像素梯度方向是平滑地，容易将噪声当作伪纹理而被保存下，因此在平坦区域易产生阶梯效应；2）由于TV模型逐个相邻像素点计算像素差，会导致图像纹理趋于过平滑；3）TV模型中正则化参数的选择是依赖于经验值的，因此选择合适的参数值存在一定的难度。下图是利用了TV正则化后的视频数据恢复算法（HSR-TT）的对比图，选择视频的大小为256*256*30，我们选择第10帧作为对比[5]。

2. 图像的非局部自相似先验

基于自然图像在不同位置包含大量相似图像这一事实，一系列方法利用了图像的非局部自相似（NSS）先验进行去噪。这类正则化去噪模型的开创性工作就是上面所讲的NLM去噪。通过将NLM中的第一步，即像素相关性的估计，视为图像相关图的构成方法，开发了各种形式的基于图拉普拉斯的正则化方法。根据前面介绍的相似性度量公式，NSS先验定义为：

$R_{NSS}(x)=\sum_{x_{i}\in x}^{}\left \| x_{i} -NLM(x_{i})\right \|_{2}^{2}=\sum_{x_{i}\in x}^{}\left \| x_{i}- w_{i}^{T}\kappa _{i}\right \|_{2}^{2}$

其中， $\kappa _{i}$ 是由在一个搜索窗口内所有围绕像素 $x_{i}$ 的中心像素形成的列向量， $w_{i}$ 是一个包含所有相应权重 $w_{ij}$ 的列向量。尽管这类去噪算法取得了巨大的成功，但它们往往无法保持细致的纹理，着极大地降低了图像地视觉质量。

3. 图像的稀疏性先验

由于自然图像具有冗余性，因此可以用字典进行稀疏表示。根据此先验知识，基于冗余字典的稀疏表示的去噪算法已成为近年来研究的热点问题。无噪声图像在字典下表示是稀疏的，而噪声随机的是不可稀疏的，因此图像信息蕴含在少量的系数中。

图像稀疏表示的数学模型是 $x=D\alpha$ ，将输入图像块分解为矩阵D与向量 $\alpha$ 的乘积形式，其中矩阵D由一组基向量组成，向量α中大部分元素为零。由于传统的正交基对图像稀疏表示能力有限，有学者提出了字典的概念，用过完备字典代替正交小波基。这使得图像在冗余基库中可以方便地选择基向量，以更好地实现对复杂图像的稀疏表示。

稀疏表示模型的求解可以转化为优化问题，用L1范数约束，即 $min_{\alpha }\left \| \alpha \right \|_{1}$ $s.t.\, \, \, x=D\alpha$ 。通用的稀疏表示模型为

$\hat{\alpha }=arg\, m\underset{\alpha }{in}\left \| y-D\alpha \right \|_{2}^{2}+\lambda \left \| \alpha \right \|_{1}$

其中， $\alpha$ 是包含稀疏系数向量的矩阵。

稀疏表示模型提供了观察图像的一个新视角，特别是超完备字典的引入更有利于反映图像复杂的结构信息，但它忽略了图形的自相似性。而且，字典的训练过程是非常费时的，同时如何合理求解稀疏表示系数也是该模型的一个重要问题。

4. 图像的低秩性先验

与稀疏表示模型不同，低秩模型将相似的图像块重组为一个矩阵，矩阵每一个列都是一个展开的图像块向量，并利用相似块矩阵的低秩性先验进行图像去噪。

对于一幅含噪图像y，将每组相似图像块向量化成列向量构成矩阵Y( $Y\in R^{m\times n}$ )。我们可以将矩阵Y看作是无噪矩阵X受加性噪声矩阵N干扰后的结果，其中矩阵X的列向量之间相关性很高，具有低秩的性质。在加性噪声模型下，含噪矩阵满足Y=X+N，其中N是随机的噪声干扰矩阵，通常情况下N是满秩的。用于含噪图像恢复的低秩方法可以分成两类：基于低秩矩阵分解的方法和基于核范数最小化的方法。

第一类方法是以SVD分解为核心的，通过限制奇异值的数量或者大小来约束矩阵结构的稀疏性，从而给出图像块矩阵的低秩逼近。

对降噪矩阵 $\hat{X}$ 的估计需要解决的问题是用一个秩为k的低秩矩阵逼近含噪矩阵 $Y$ ，该逼近基于 $Y$ 与 $\hat{X}$ 之间差异的F范数进行最小化且以 $rank(\hat{X})=k$ 作为约束：

$\hat{X}=arg\: m\underset{X}{in}\left \| Y-\tilde{X} \right \|_{F}^{2}$

$s.t.\: \: \: rank(\tilde{X})=k$

上面问题可以由Y的奇异值分解解决，由于奇异值分解的能量压缩性质，信息的主要能量都集中在少数几个较大的奇异值上，而较小的奇异值对应于噪声子空间，将它们设置为零可以得到去噪后的低秩矩阵，问题的关键是如何确定阈值来区分信号与噪声，太大的阈值会使图像过于平滑从而模糊掉边缘及纹理，太小的阈值则难以达到去噪的效果。

另一类使基于核范数最小化（NNM）的方法，该方法以F范数作为数据保真项，可以采用含噪矩阵奇异值的软阈值操作来求解。核范数最小化模型为：

$\hat{X}=arg\: m\underset{X}{in}\left \| Y-X \right \|_{F}^{2}+\lambda \left \| X \right \|_{*}$

其中， $\left \| \cdot \right \|_{F}^{2}$ 表示F范数，并且 $\left \| X \right \|_{*}=\sum_{i}^{}\left \| \sigma _{i} (X)\right \|_{1}$ ，这里 $\sigma _{i}(X)$ 表示X的第i个奇异值。尽管核范数最小化已被广泛应用于解决低秩矩阵逼近的问题，它仍存在一些不足。每个奇异值的权重相等，并且对每个奇异值应用相同的阈值收缩，但是不同的奇异值具有不同的重要性。因此就有学者提出了基于核范数最小化的WNNM模型，该模型可以自适应地将权重分配给不同大小地奇异值，并使用软阈值方法对其进行去噪。给定一个权重向量 $\omega$ ，加权核范数最小化模型可表示为：

$\hat{X}=arg\: m\underset{X}{in}\left \| Y-X \right \|_{F}^{2}+\lambda \left \| X \right \|_{\omega *}$

其中， $\left \| X \right \|_{\omega *}=\sum_{i}^{}\left \| \omega _{i}\sigma _{i}(X) \right \|_{1}$ 。WNNM方法综合考虑了噪声在整个奇异值空间内的能量分布，显示了最先进的去噪结果。但由于WNNM的迭代增强步骤收敛到噪声图像并且迭代次数固定在经验值上，导致计算成本相对较高。此外，WNNM为噪声图像中给定的参考图像块寻找相似块时不考虑噪声因素，导致块匹配可能与参考图像块不完全相似。

上面大多数被提及的方法通过对图像先验进行建模来解决，例如，基于梯度（例如总变差），非局部自相似（例如非局部均值），稀疏建模（例如图像块字典学习）和低秩性（例如加权核范数最小化）。然而，这些技术仍然受到重大限制，例如没有充分挖掘图像特征信息。基于梯度先验去噪方法的重点是局部特征，而忽略图像的全局结构。在许多情况下，这可能会使图像产生阶梯效应。同样，基于非局部自相似性的方法通常采用图像块加权平均，容易导致过度平滑图像。

[1]袁媛. 基于非局部自相似性的去噪算法研究[D].华东师范大学,2018.

[2]范琳伟. 基于非局部均值和正则化模型的图像去噪研究[D].山东大学,2019.

[3]邵欧阳. 基于非局部自相似性和低秩近似理论的地震数据去噪方法研究[D].中国地质大学,2021.DOI:10.27492/d.cnki.gzdzu.2021.000138.

[4]白同磊,张翠芳.外部非局部自相似先验的图像去噪[J].电讯技术,2021,61(02):211-217.

[5]Jing-Hua Yang, Xi-Le Zhao, Tian-Hui Ma, Meng Ding, Ting-Zhu Huang, Tensor train rank minimization with hybrid smoothness regularization for visual data recovery, Applied Mathematical Modelling, Volume 81, 2020,