Low-Rank Regularized Joint Sparsity Modeling for Image Denoising
-
摘要: 非局部稀疏表示模型，如联合稀疏(JS)模型、低秩(LR)模型和组稀疏表示(GSR)模型，通过有效利用图像的非局部自相似(NSS)属性，在图像去噪研究中展现出巨大的潜力。流行的基于字典的JS算法在其目标函数中利用松驰的凸惩罚，避免了NP-hard稀疏编码，但只能得到近似的稀疏表示。这种近似的JS模型未能对潜在的图像数据施加低秩性，从而导致图像去噪质量降低。该文提出一种新颖的低秩正则联合稀疏(LRJS)模型，用于求解图像去噪问题。提出的LRJS模型同时利用非局部相似块的LR和JS先验信息，可以增强非局部相似块之间的相关性(即低秩性)，从而可以更好地抑制噪声，提升去噪图像的质量。为了提高优化过程的可处理性和鲁棒性，该文设计了一种具有自适应参数调整策略的交替最小化算法来求解目标函数。在两个图像去噪问题(包括高斯噪声去除和泊松噪声去除)上的实验结果表明，提出的LRJS方法在客观度量和视觉感知上均优于许多现有的流行或先进的图像去噪算法，特别是在处理具有高度自相似性的图像数据时表现更为出色。提出的LRJS图像去噪算法的源代码通过以下链接下载：
https://pan.baidu.com/s/14bt6u94NBTZXxhWjBHxn6A?pwd=1234 ，提取码：1234。Abstract:Objective Image denoising aims to reduce unwanted noise in images, which has been a long-standing issue in imaging science. Noise significantly degrades image quality, affecting their use in applications such as medical imaging, remote sensing, and image reconstruction. Over recent decades, various image prior models have been developed to address this problem, focusing on different image characteristics. These models, utilizing priors like sparsity, Low-Rankness (LR), and Nonlocal Self-Similarity (NSS), have proven highly effective. Nonlocal sparse representation models, including Joint Sparsity (JS), LR, and Group Sparse Representation (GSR), effectively leverage the NSS property of images. They capture the structural similarity of image patches, even when spatially distant. Popular dictionary-based JS algorithms use a relaxed convex penalty to avoid NP-hard sparse coding, leading to an approximately sparse representation. However, these approximations fail to enforce LR on the image data, reducing denoising quality, especially in cases of complex noise patterns or high self-similarity. This paper proposes a novel Low-Rank Regularized Joint Sparsity (LRJS) model for image denoising, integrating the benefits of LR and JS priors. The LRJS model enhances denoising performance, particularly where traditional methods underperform. By exploiting the NSS in images, the LRJS model better preserves fine details and structures, offering a robust solution for real-world applications. Methods The proposed LRJS model integrates low-rank and JS priors to enhance image denoising performance. By exploiting the NSS property of images, the LRJS model strengthens the dependency between nonlocal similar patches, improving image structure representation and noise suppression. The low-rank prior reflects the smoothness and regularity inherent in the image, whereas the JS prior captures the sparsity of the image patches. Incorporating these priors ensures a more accurate representation of the underlying clean image, enhancing denoising performance. An alternating minimization algorithm is proposed to solve this optimization problem, alternating between the low-rank and JS terms to simplify the optimization process. Additionally, an adaptive parameter adjustment strategy dynamically tunes the regularization parameters, balancing LR and sparsity throughout the optimization. The LRJS model offers an effective approach for image denoising by combining low-rank and JS priors, solved using an alternating minimization framework with adaptive parameter tuning. Results and Discussions Experimental results on two image denoising tasks, Gaussian noise removal ( Fig. 4 ,Fig. 5 ,Table 1 ,Table 2 ) and Poisson denoising (Fig. 6 ,Table 3 ), demonstrate that the proposed LRJS method outperforms several popular and state-of-the-art denoising algorithms in both objective metrics and visual perceptual quality, particularly for images with high self-similarity. In Gaussian noise removal, the LRJS method achieves significant improvements, especially with highly self-similar images. This improvement results from LRJS effectively leveraging the NSS prior, which strengthens the dependencies among similar patches, leading to better noise suppression while preserving image details. Compared with other methods, LRJS demonstrates greater robustness, particularly in retaining fine details and structures often lost with traditional denoising techniques. For Poisson denoising, the LRJS method also yields notable performance gains. It better manages the complexity of Poisson noise compared with other approaches, highlighting its versatility and robustness across different noise types. The visual quality of the denoised images shows fewer artifacts and more accurate recovery of details. Quantitative results in terms of PSNR and SSIM further validate the effectiveness of LRJS, positioning it as a competitive solution in image denoising. Overall, these experimental findings confirm that LRJS offers a reliable and effective approach, particularly for images with high self-similarity and complex noise models.Conclusions The LRJS model proposed in this paper improves image denoising performance by combining LR and JS priors. This dual-prior framework better captures the underlying image structure while suppressing noise, particularly benefiting images with high self-similarity. Experimental results demonstrate that the LRJS method not only outperforms traditional denoising techniques but also exceeds many state-of-the-art algorithms in both objective metrics and visual quality. By leveraging the NSS property of image patches, the LRJS model enhances the dependencies among similar patches, making it particularly effective for tasks requiring the preservation of fine details and structures. The LRJS method significantly enhances the quality of denoised images, especially in complex noise scenarios such as Gaussian and Poisson noise. Its robust alternating minimization algorithm with adaptive parameter adjustment ensures effective optimization, contributing to superior performance. The results further highlight the LRJS model’s ability to preserve image edges, textures, and other fine details often degraded in other denoising algorithms. Compared with existing techniques, the LRJS method demonstrates superior performance in handling high noise levels while maintaining image clarity and detail, making it a promising tool for applications such as medical imaging, remote sensing, and image restoration. Future research could focus on optimizing the model for more complex noise environments, such as mixed noise or real-world noise that is challenging to model. Additionally, exploring more efficient algorithms and integrating advanced techniques, such as deep learning, may further improve the LRJS model’s capability and applicability to diverse denoising tasks. -
1. 引言
图像去噪旨在减少图像中不必要的噪声，这一直是成像科学中长期且重要的问题。在过去的几十年中，各种各样的图像先验建模用于解决图像去噪问题，并得到了广泛的关注[1–8]。
经典的总变分(Total Variation, TV)[1]先验假设图像的梯度服从拉普拉斯分布，这可以有效地消除噪声伪影，但是容易使图像过于平滑，从而丢失许多图像细节。自然图像的另一个重要属性是稀疏性[2]，即自然图像在某些变换域或字典中本质上是稀疏的。基于稀疏先验建模已被证明对图像去噪有效[4]。其中代表性的研究是基于块稀疏表示模型[2]，该模型通过字典学习将每个图像块表示为大部分词条为零的稀疏向量。然而，这种基于块的稀疏表示模型，仅仅考虑了局部图像结构，而忽视了图像块之间的相关性，例如图像的非局部自相似(Nonlocal Self-similarity, NSS)[3,7,9–11]属性。
受到非局部均值(NonLocal Means, NLM)[3]在图像去噪中的开创性工作的推动，组稀疏表示(Group Sparse Representation, GSR)[9]模型采用每个组作为稀疏编码的基本单元，通过利用图像的NSS先验收集许多相似块构建一个组，这在图像去噪研究中引起了大量的关注[9,11]。然而，尽管组系数的每个单独列之间存在着相关性，但是上述提及的基于GSR方法[9,11]只是对组系数的每个单独列施加了稀疏(参见图1(a))，因此限制了它们对实际图像建模的有效性。另一方面，Mairal等人[12]提出了一个联合稀疏(Joint Sparsity, JS)模型，该模型要求每个组中的所有稀疏系数共享相同的支持(参见图1(b))。JS模型已被广泛地应用于解决各种图像复原问题[13,14]。为了避免求解JS模型中的NP-hard问题，许多JS算法[12,14]利用带有松驰的凸惩罚损失函数，例如l2,1范数[12]，这导致它们并不能严格实加行间相关性，从而只能得到近似的稀疏解，因此并不能取得理想的图像复原结果(图1(a)到(c)比较了GSR、理想和近似JS模型之间的稀疏编码)。
考虑到以上提及的问题，本文(作为文献[15]的延伸)提出一种新颖的用于图像去噪的低秩正则联合稀疏(Low-Rank regularized Joint Sparsity, LRJS)模型，它可以更好地增强相似块之间的相关性，从而有效地抑制噪声。本文的主要贡献如下：(1)提出了一种用于图像去噪的LRJS模型，该模型在统一的框架下同时利用非局部相似块的JS和低秩(Low Rank, LR)先验属性(参见图1(d))。(2)设计一种简单有效的具有自适应参数调整策略的交替最小化算法来处理优化问题。(3)在两个图像去噪(包括高斯去噪和泊松去噪)任务上的实验结果，证明了提出的LRJS方法在客观和感知质量上都超越了许多流行的和先进的图像去噪算法，尤其是在面对具有高度自相似性的图像数据时去噪效果更为显著(参见图2)，与其他方法相比，提出的LRJS方法可以更有效地消除视觉伪影并保留更多的图像细节)。
与之前的文献[15]相比，做出了显著的改进。具体而言，通过引入两个新目标函数，将文献[15]中的模型扩展到高斯噪声去除(4.1节)和泊松噪声去除(4.2节)[20]。第4节还介绍了一种具有自适应参数调整策略的交替最小化算法。此外，第5节通过大量的实验结果证明提出的基于LRJS模型的图像去噪算法的优越性。
2. 联合稀疏模型
本节将简要介绍基于字典的JS模型[12]，该模型通常通过两阶段策略来实现：(1) 利用图像的NSS先验对相似块进行分组[12]；(2) 对每个分组实施松驰的凸惩罚。具体来说，给定一张图像 {\boldsymbol{x}} \in {\mathbb{R}^N} ，将其分割为 K 个大小为 \sqrt b \times \sqrt b 的过重叠块，并将每个块拉伸为一个向量 {{\boldsymbol{x}}_i} \in {\mathbb{R}^b},\forall i = 1,2, \cdots ,K 。然后，对于每个样本块 {{\boldsymbol{x}}_i} ，使用欧几里得距离作为相似性准则来搜索其 c 个最相似的块，从而形成一个组 {{\boldsymbol{X}}_i} \in {\mathbb{R}^{b \times c}} ，即 {{\boldsymbol{X}}_i} = [{{\boldsymbol{x}}_{i,1}},{{\boldsymbol{x}}_{i,2}}, \cdots ,{{\boldsymbol{x}}_{i,c}}] ，其中 {{\boldsymbol{x}}_{i,j}} 是样本块 {{\boldsymbol{x}}_i} 的第 j 个相似块(向量形式)。最后，相似于传统的基于块稀疏表示模型[2]，给定一个字典 {{\boldsymbol{D}}_i} ，每个组 {{\boldsymbol{X}}_i} 的稀疏表示则可以通过求解如下最小化问题，
{\hat {\boldsymbol{A}}_i} = \mathop {\arg \min }\limits_{{{\boldsymbol{A}}_i}} \left( {\frac{1}{2}||{{\boldsymbol{X}}_i} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\mathrm{F}}^2 + \lambda ||{{\boldsymbol{A}}_i}|{|_{2,1}}} \right) \forall i, (1) 其中， ||{\text{ }}|{|_{2,1}} 表示 {l_{2,1}} 范数[12]，并且 \lambda 表示正则化参数。通过求解式(1)得到所有的稀疏系数 \left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\}_{i = 1}^n 后，则潜在的图像 x 可以通过 {\boldsymbol{D}}\hat {\boldsymbol{A}} 恢复得到，其中 {\boldsymbol{D}} 与 \hat {\boldsymbol{A}} 分别是 \left\{ {{{\boldsymbol{D}}_i}} \right\}_{i = 1}^n 与 \left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\}_{i = 1}^n 的集合。
3. 低秩正则联合稀疏建模
本节提出一种新颖的LRJS模型，该模型同时探索自然图像的JS与LR属性，以增强非局部相似块之间的相关性(即低秩性)。此外，一种有效的交替最小化算法[1]被用来求解目标函数。
3.1 低秩正则联合稀疏模型
如上文所述，传统的JS模型(参见图1(c))通常利用松驰的凸惩罚损失函数[12]，导致只能得到近似的稀疏解，而无法严格实施行间相关性。因此，传统的JS模型未能在潜在的图像数据上施加低秩性，导致在实际应用中(例如，图像去噪)并不能得到理想的结果。本文提出一种基于双正则的LRJS模型，该模型同时使用JS和LR惩罚，即
\begin{split} \left\{ {{{\hat {\boldsymbol{A}}}_i},{{\hat {\boldsymbol{L}}}_i}} \right\} =\;& \mathop {\arg \min }\limits_{{{\boldsymbol{A}}_i},{{\boldsymbol{L}}_i}} \frac{1}{2}||{{\boldsymbol{X}}_i} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\mathrm{F}}^2 + \lambda ||{{\boldsymbol{A}}_i}|{|_{2,1}} \\ \;&{\text{+ }}\frac{1}{\mu }||{{\boldsymbol{A}}_i} - {{\boldsymbol{L}}_i}||_{\mathrm{F}}^2 + \tau {\mathrm{Rank}}({{\boldsymbol{L}}_i}){\text{ }}\forall i, \\[-1pt] \end{split} (2) 其中， ||{\text{ }}|{|_{2,1}} 用于JS惩罚， {\mathrm{Rank}}({{\boldsymbol{L}}_i}){\text{ }} 表示矩阵的LR逼近函数。 \mu 表示尺度因子，使式(2)的解更加可行。显然，与传统的JS模型(即式(1))不同，每个组稀疏系数矩阵 {{\boldsymbol{A}}_i} 同时实施了LR估计( {{\boldsymbol{L}}_i} )，这将进一步探索每个组 {{\boldsymbol{X}}_i} 的LR属性。最终，相似于式(1)中的JS模型，估计的最优的组稀疏编码 \left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\}_{i = 1}^n 被用来重建潜在的图像 {\boldsymbol{x}} 。
3.2 通过交替最小化算法求解LRJS问题
本节使用交替最小化算法[8]来求解提出的LRJS模型(式(2))中的两个子问题，即 {{\boldsymbol{A}}_i} 子问题和 {{\boldsymbol{L}}_i} 子问题。
3.2.1 {{\boldsymbol{{\boldsymbol{A}}_i}}} 子问题
给定组 {{\boldsymbol{X}}_i} 和LR矩阵 {{\boldsymbol{L}}_i} ，提出的LRJS模型中的 {{\boldsymbol{A}}_i} 子问题可以表述为
\begin{split} {{\hat {\boldsymbol{A}}}_i} = \;&\mathop {\arg \min }\limits_{{{\boldsymbol{A}}_i}} \frac{1}{2}||{{\boldsymbol{X}}_i} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\mathrm{F}}^2 \\ &{\text{+ }}\frac{1}{\mu }||{{\boldsymbol{A}}_i} - {{\boldsymbol{L}}_i}||_{\mathrm{F}}^2 + \lambda ||{{\boldsymbol{A}}_i}|{|_{2,1}}{\text{ }}\forall i. \end{split} (3) 通过式(3)，可以观察到字典 {{\boldsymbol{D}}_i} 在求解 {{\boldsymbol{A}}_i} 子问题过程中起着重要的作用。值得注意的是，传统的JS模型[12]通常为每个组学习一个过完备的字典[2]。然而过完备的字典容易产生不稳定的性能，特别是在图像复原任务中[21]。因此，为了进一步适应图像的局部结构，本文从每个组中学习一个基于主成份分析(Principal Component Analysis, PCA)的字典 {{\boldsymbol{D}}_i} (更多的详情关于PCA字典学习，请参阅文献[22])。由于学习到的PCA字典 {{\boldsymbol{D}}_i} 具有酉性，因此，式(3)可以等价地求解如式(4)问题，
\begin{split} {{\hat {\boldsymbol{A}}}_i} = \;& \mathop {\arg \min }\limits_{{{\boldsymbol{A}}_i}} \frac{1}{2}||{{\boldsymbol{G}}_i} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\rm{F}}^2\\ & + \frac{1}{\mu }||{{\boldsymbol{A}}_i} - {{\boldsymbol{L}}_i}||_{\rm{F}}^2 + \lambda ||{{\boldsymbol{A}}_i}|{|_{2,1}} \\ {\text{ = }}& \mathop {\arg \min }\limits_{{{\boldsymbol{A}}_i}} \frac{1}{2}||{{\boldsymbol R}_{i}} - {{\boldsymbol{A}}_i}||_{\rm{F}}^2 + \mu \lambda ||{{\boldsymbol{A}}_i}|{|_{2,1}}{\text{ }}\forall i, \end{split} (4) 其中， {X_i} = {{\boldsymbol{D}}_i}{{\boldsymbol{G}}_i} 并且 {{\boldsymbol{R}}_i} = (\mu {{\boldsymbol{G}}_i} + 2{{\boldsymbol{L}}_i})/ (\mu {\boldsymbol{I}} + 2{\boldsymbol{I}}) ， {\boldsymbol{I}} 表示单位矩阵。根据文献[23]，式(4)具有一个闭合解，
\begin{split} & {\hat{{\boldsymbol{A}}}}_{i}(j,:)\\ & =\left\{\begin{aligned} & \frac{\left|\right|{\boldsymbol R}_{i}(j,:)|{|}_{2}-\mu \lambda }{\left|\right|{\boldsymbol R}_{i}(j,:)|{|}_{2}}{\boldsymbol R}_{i}(j,:),\text{ }\mu \lambda \lt \left|\right|{\boldsymbol R}_{i}(j,:)|{|}_{2}\\ & {\boldsymbol{0}},\text{ }其它\end{aligned}\right. \end{split} (5) 其中， {{\boldsymbol R}_{i}}(j,:) 表示矩阵 {{\boldsymbol R}_{i}} 的第 j 行。
3.2.2 {{\boldsymbol{L}}_i} 子问题
给定 {{\boldsymbol{A}}_i} , {{\boldsymbol{L}}_i} 子问题被简化为式(6)问题，
{\hat {\boldsymbol{L}}_i} = \mathop {\arg \min }\limits_{{{\boldsymbol{L}}_i}} \frac{1}{2}||{{\boldsymbol{A}}_i} - {{\boldsymbol{L}}_i}||_{\rm{F}}^2 + \frac{{\mu \tau }}{2}{\mathrm{Rank}}({{\boldsymbol{L}}_i}){\text{ }}\forall i. (6) 为了有效地求解式(6)，给出定理1：
定理1[24] 假设 {{\boldsymbol{A}}_i} = {{\boldsymbol{U}}_i}{\varDelta _i}{\boldsymbol{V}}_i^{\mathrm{T}} 是 {{\boldsymbol{A}}_i} \in {\mathbb{R}^{b \times c}} 的奇异值分解， {\Delta _i} = {\mathrm{diag}}({\delta _{i,1}},{\delta _{i,2}}, \cdots ,{\delta _{i,j}}),j = \min (b,c) 。式(6)中的 {{\boldsymbol{L}}_i} 子问题的最优解是 {{\boldsymbol{U}}_i}{{\boldsymbol{\varSigma}} _i}{\boldsymbol{V}}_i^{\mathrm{T}} ，其中 {{\boldsymbol{\varSigma}} _i} = {\mathrm{diag}}({\sigma _{i,1}},{\sigma _{i,2}}, \cdots ,{\sigma _{i,j}}) ，这时，第 {k} 个对角元素 {{\boldsymbol{\sigma}} _{i,k}} 可通过式(7)求解
\mathop {\min }\limits_{{\sigma _{i,k}} \ge 0} \left( {\frac{1}{2}{{({\delta _{i,k}} - {\sigma _{i,k}})}^2} + \frac{{\mu \tau }}{2}{\mathrm{Rank}}({\sigma _{i,k}})} \right){\text{ }}\forall k. (7) 核范数最小化(Nuclear Norm Minimization, NNM[24])通常被用来估计矩阵的秩，即 {\mathrm{Rank}}({\sigma _{i,k}}) = |{\sigma _{i,k}}{|_1} 。然而，对于一些实际问题，包括图像去噪，使用 {l_1} -范数最小化无法实现期望的矩阵秩估计[9,10]。因此，本文直接采用 {l_0} -范数最小化来估计矩阵的秩，即 {\mathrm{Rank}}({\sigma _{i,k}}) = |{\sigma _{i,k}}{|_0} ，这时式(6)中的 {{\boldsymbol{L}}_i} 子问题可以简化为求解式(8)问题，
\mathop {\min }\limits_{{\sigma _{i,k}} \ge 0} \left( {\frac{1}{2}{{({\delta _{i,k}} - {\sigma _{i,k}})}^2} + \frac{{\mu \tau }}{2}|{\sigma _{i,k}}{|_0}} \right){\text{ }}\forall k. (8) 根据文献[15]，式(8)有一个闭合解，即
{\hat \sigma _{i,k}} = {\text{Hard}}({\delta _{i,k}},\sqrt {\mu \tau } ){\text{ }}\forall k, (9) 其中， \text{Hard}(\cdot) 表示硬阈值操作[15]。通过式(9)得到 {\hat {\boldsymbol{\varSigma }}_i} 的解，即 {\hat {\boldsymbol{\varSigma}} _i} = {\mathrm{diag}}({\hat \sigma _{i,1}},{\hat \sigma _{i,2}}, \cdots ,{\hat \sigma _{i,j}}) ，这时 {{\boldsymbol{L}}_i} 子问题的解通过 {\hat {\boldsymbol{L}}_i} = {{\boldsymbol{U}}_i}{\hat {\boldsymbol{\varSigma}} _i}{\boldsymbol{V}}_i^{\mathrm{T}} 获得。
4. 基于LRJS模型的图像去噪
本节利用提出的LRJS模型解决图像去噪问题，包括高斯去噪和泊松去噪。具体来说，图像去噪的目的是从噪声图像 {\boldsymbol{y }}中恢复出潜在的干净图像 {\boldsymbol{x}} ，该过程通过式(10)表示，
{\boldsymbol{y}} = {\boldsymbol{x}} + {\boldsymbol{n}}, (10) 其中， {\boldsymbol{n}} 假定标准差为 {{\boldsymbol{\sigma}} _n} 的加性高斯白噪声[2,3,10]或者具有不同峰值像素强度的乘性泊松噪声[19,25]。
4.1 LRJS模型用于高斯噪声去除
基于最大后验概率估计(Maximum a Posterior, MAP)框架[11]，并引入提出的LRJS模型(式(2))，这时高斯噪声去除的图像去噪问题可以写成式(11)
\begin{split} \left\{ {{\boldsymbol{x}},\left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\},\left\{ {{{\hat {\boldsymbol{L}}}_i}} \right\}} \right\} =\;& \mathop {\arg \min }\limits_{{\boldsymbol{x}},{{\boldsymbol{A}}_i},{{\boldsymbol{L}}_i}} \frac{1}{2}||{\boldsymbol{y}} - {\boldsymbol{x}}||_2^2 \\ & + \sum\nolimits_{i = 1}^K {\{ \frac{1}{{2\eta }}||{{\boldsymbol R}_{i}}{\boldsymbol{x}} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\rm{F}}^2} \\ & + \lambda ||{{\boldsymbol{A}}_i}|{|_{2,1}} + \frac{1}{\mu }||{{\boldsymbol{A}}_i} - {{\boldsymbol{L}}_i}||_{\rm{F}}^2\\ & + \tau {\mathrm{Rank}}({{\boldsymbol{L}}_i})\} , \\[-1pt] \end{split} (11) 其中，第1项表示基于MAP推断的高斯噪声去除的数据保真项。 {{\boldsymbol R}_{i}}{\boldsymbol{x}} = {{\boldsymbol{X}}_i} = [{{\boldsymbol{x}}_{i,1}},{{\boldsymbol{x}}_{i,2}}, \cdots ,{{\boldsymbol{x}}_{i,c}}] 表示第 i 个组，它是第 i 个样本块 {x_i} 按降序搜索到的 c 个相似图像块构建而成。 \eta 是一个尺度因子。值得注意的是，本文的这里以及剩余部分，当某些索引变量括在大括号中时，它表示索引范围内所有变量的集合，例如式(11)中的 \left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\} 表示 \left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\}_{i = 1}^K 。在此，继续使用交替最小化算法[8]来求解式(11)。可以看到，式(11)中图像的高斯噪声去除问题可以转化为求解3个子问题，即 x , {{\boldsymbol{A}}_i} 和 {{\boldsymbol{L}}_i} 子问题，在3.2节已经介绍了如何求解 {{\boldsymbol{A}}_i} 和 {{\boldsymbol{L}}_i} 子问题。对于 x 子问题，通过固定 {{\boldsymbol{A}}_i} ，这时 x 子问题的解可以通过求解式(12)所示最小问题获得，即
\hat x = \mathop {\arg \min }\limits_{\boldsymbol{x}} \frac{1}{2}||{\boldsymbol{y}} - {\boldsymbol{x}}||_2^2 + \sum\nolimits_{i = 1}^K {\frac{1}{{2\eta }}||{{\boldsymbol R}_{i}}{\boldsymbol{x}} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\rm{F}}^2} (12) 很明显，式(12)本质上是一个严格的凸二次函数最小化问题，它有一个闭合解，即
\begin{split} \hat {\boldsymbol{x}} =\;& {\left( {\frac{1}{\eta }\sum\limits_{i = 1}^K {{\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol R}_{i}} + {\boldsymbol{I}}} } \right)^{ - 1}}\\ & \cdot\left( {\frac{1}{\eta }\sum\limits_{i = 1}^K {{\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}} + {\boldsymbol{y}}} \right) \end{split} (13) 其中， {\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol R}_{i}} = \displaystyle\sum\nolimits_{j = 1}^c {{\boldsymbol{R}}_{i,j}^{\mathrm{T}}{{\boldsymbol{R}}_{i,j}}} ，并且 {\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i} = \displaystyle\sum\nolimits_{j = 1}^c {{\boldsymbol{R}}_{i,j}^{\mathrm{T}}{{\boldsymbol{D}}_{i,j}}{{\boldsymbol{A}}_{i,j}}} 。值得注意的是，由于 \left( {\dfrac{1}{\eta } \displaystyle\sum\nolimits_{i = 1}^K {{\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol R}_{i}} + {\boldsymbol{I}}} } \right) 本质上是一个对角矩阵， {\boldsymbol{x}} 子问题可以通过逐元素除法来有效地求解。
4.2 LRJS模型用于泊松噪声去除
泊松噪声具有信号依赖性和乘性特性，这与加性高斯白噪声明显不同[19,25]。一般来说，泊松噪声的概率分布函数可以表示为
{\boldsymbol{P}}(y|x) = \left\{ \begin{gathered} \prod\limits_{i = 1}^N {\frac{{{x_i}^{{y_i}}\exp ( - {x_i})}}{{{y_i}!}},{\text{ }}{x_i} \gt 0} \\ {\delta _0}({y_i}),{\text{ }}{x_i} = 0, \\ \end{gathered} \right. (14) 其中， {\boldsymbol{y}} 和 {\boldsymbol{x}} 分别表示泊松噪声污染的图像和无噪声图像。 {{\boldsymbol{x}}_i} 和 {{\boldsymbol{y}}_i} 分别是 {\boldsymbol{x}} 和 {\boldsymbol{y}} 的第 i 个元素。 {\delta }_{0}(\cdot) 表示克朗克尔三角函数[19]。基于MAP框架并调用式(2)中提出的LRJS模型，这时泊松噪声去除的图像去噪问题可以表示为
\begin{split} \left\{ {\hat {\boldsymbol{x}},\left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\},\left\{ {{{\hat {\boldsymbol{L}}}_i}} \right\}} \right\} =\;& \mathop {\arg \min }\limits_{x,{{\boldsymbol{A}}_i},{{\boldsymbol{L}}_i}} \lt {\boldsymbol{x}} - {\boldsymbol{y}}\log {\boldsymbol{x}},{{\textit{1}}} \gt \\ & + \sum\nolimits_{i = 1}^K {\{ \frac{1}{{2\eta }}||{{\boldsymbol R}_{i}}{\boldsymbol{x}} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\rm{F}}^2} \\ & + \lambda ||{{\boldsymbol{A}}_i}|{|_{2,1}} + \frac{1}{\mu }||{{\boldsymbol{A}}_i} - {{\boldsymbol{L}}_i}||_{\rm{F}}^2 \\ & + \tau {\mathrm{Rank}}({{\boldsymbol{L}}_i})\} \\[-1pt] \end{split} (15) 其中，式(15)中的第1项表示基于MAP推断的泊松去噪的数据保真项，也称为Csiszar I散度模型[19]，已被广泛地应用于泊松噪声去噪算法中[19,25]。 \lt , \gt 表示标准的内积。与式(11)中的高斯噪声去除问题类似，交替最小化算法[1]也被用于求解式(15)。具体地，式(15)可以分解为3个子问题，即 x , {{\boldsymbol{A}}_i} 和 {{\boldsymbol{L}}_i} 子问题。3.2节已经介绍了如何求解 {{\boldsymbol{A}}_i} 子问题和 {{\boldsymbol{L}}_i} 子问题。给定 {{\boldsymbol{A}}_i} ，式(15)中泊松噪声去噪的{\boldsymbol{ }}x 子问题被简化为
\begin{split} \hat {\boldsymbol{x}} =\;& \mathop {\arg \min }\limits_{\boldsymbol{x}} \lt {\boldsymbol{x}} - {\boldsymbol{y}}\log {\boldsymbol{x}},{{\textit{1}}} \gt \\ & + \sum\limits_{i = 1}^K {\frac{1}{{2\eta }}||{{\boldsymbol R}_{i}}{\boldsymbol{x}} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\rm{F}}^2} . \end{split} (16) 可以观察到，由于Csiszar I发散模型的存在[19]，直接求解式(16)是相当困难的。为此，一种有效的交替方向乘法(Alternating Direction Method of Multiplier, ADMM)[26]算法被用来求解基于LRJS模型的泊松噪声去除任务中的 {\boldsymbol{x}} 子问题。具体来说，通过引入一个辅助变量 {\boldsymbol{z}} = {\boldsymbol{x}} ，式(16)可以改写成式(17)所示的约束形式
\begin{split} \hat {\boldsymbol{x}} =\;& \mathop {\arg \min }\limits_{\boldsymbol{x}} \lt {\boldsymbol{x}} - {\boldsymbol{y}}\log {\boldsymbol{x}},{{\textit{1}}} \gt \\ \;&+ \sum\limits_{i = 1}^K {\frac{1}{{2\eta }}||{{\boldsymbol R}_{i}}{\boldsymbol{z}} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\rm{F}}^2} ,{\text{ }}{\mathrm{s.t.}}{\text{ }}{\boldsymbol{z}} = {\boldsymbol{x}} \end{split} (17) 通过调用ADMM算法，这时求解式(17)被转换成如式(18)–式(20)所示3个步骤
\hat {\boldsymbol{x}} \leftarrow \mathop {\arg \min }\limits_{\boldsymbol{x }}\lt x - {\boldsymbol{y}}\log {\boldsymbol{x}},{{\textit{1}}} \gt + \frac{1}{{2\alpha }}||{\boldsymbol{x}} - {\boldsymbol{z}} - {\boldsymbol{g}}||_2^2 (18) \begin{split} \hat z \leftarrow \;& \mathop {\arg \min }\limits_z \sum\limits_{i = 1}^K {\frac{1}{{2\eta }}||{{\boldsymbol R}_{i}}{\boldsymbol{z}} - {{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}||_{\rm{F}}^2} \\ & + \frac{1}{{2\alpha }}||{\boldsymbol{x}} - {\boldsymbol{z}} - {\boldsymbol{g}}||_2^2 \end{split} (19) \hat {\boldsymbol{g}} \leftarrow {\boldsymbol{g}} - ({\boldsymbol{x}} - {\boldsymbol{z}}) (20) 其中， {\boldsymbol{g}} 是拉格朗日乘子， \alpha 是尺度因子。可以明显看出，提出的基于LRJS模型的泊松噪声去噪任务中的 {\boldsymbol{x}} 子问题被转化为求解两个子问题，即 {\boldsymbol{x}} 和 {\boldsymbol{z}} 。幸运的是，这两个问题都有有效的解决方案，下面将对其进行介绍。
4.2.1 z 子问题
给定 {{\boldsymbol{A}}_i} , {\boldsymbol{g}} 和 x ，可以看出求解式(19)中的 {\boldsymbol{z}} 子问题本质上是一个严格的凸二次函数最小化问题，它有一个闭合解，即
\begin{split} \hat {\boldsymbol{z}} =\;& {\left( {\alpha \sum\limits_{i = 1}^K {{\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol R}_{i}} + \eta {\boldsymbol{I}}} } \right)^{ - 1}}\\ & \cdot\left( {\alpha \sum\limits_{i = 1}^K {{\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i}} + \eta {\boldsymbol{x}} - \eta {\boldsymbol{g}}} \right) \end{split} (21) 4.2.2 {\boldsymbol{x }}子问题
通过固定 {\boldsymbol{z}} 和 {\boldsymbol{g}} ，可以观察到式(18)中的 {\boldsymbol{x}} 子问题对于每个元素都有独立的点对点解，可以表示为
\mathop {\arg \min }\limits_{{x_i}} ({x_i} - {y_i}\log {x_i}) + \frac{1}{{2\alpha }}{({x_i} - {z_i} - {g_i})^2} (22) 其中， {b_i} 是任意 {\boldsymbol{b}} 的第 i 个元素。很明显地，式(22)的解可以通过将梯度设置为0来获得，从而得到式(23)的二次方程，
{x_i}^2 - ({z_i} + {g_i} - \alpha ){x_i} - \alpha {y_i} = 0 (23) 可以观察到，式(23)的解有两个实根，由于 {x_i} \gt 0 的约束，选择正根。因此，式(23)的解可以通过式(24)获得，
{\hat x_i} = \frac{{{r_i} + \sqrt {{r_i}^2 + 4\alpha {y_i}} }}{2} (24) 其中， {r_i} = {z_i} + {g_i} - \alpha 。
4.3 自适应参数
对于提出的LRJS的图像去噪模型，即式(11)用于高斯噪声去除和式(15)用于泊松噪声去除。可以清楚地看到，在提出的图像去噪模型中有4个超参数，即 \eta , \mu , \lambda 和 \tau 。一般来说，对于这些参数通常通过经验策略给它们赋予固定的值，然而，这可能导致整个算法的不稳定。为此，本文提出一种自适应参数调整策略，使得提出的图像去噪算法更加的稳定和实用。具体来说，在每次迭代中，二次项的参数 \eta , \mu 与噪声的标准差 {\sigma _e} 成正比，即
{\eta ^{(k)}} = \rho {(\sigma _e^2)^{(k)}},{\text{ }}{\mu ^{(k)}} = \beta {(\sigma _e^2)^{(k)}} (25) 其中， k 表示第 k 次迭代，并且 \rho 和 \beta 表示尺度因子。可以观察到，参数 \eta 和 \mu 依赖于标准差 {\sigma _e} 的估计。在本文中，一种迭代正则化策略[1]被用来估计 \sigma _e^{(k)} ，即
\sigma _e^{(k)} = \psi \sqrt {\sigma _n^2 - ||{{\hat {\boldsymbol{x}}}^{(k)}} - {\boldsymbol{y}}||_2^2} (26) 其中， \psi 表示尺度因子。
由于噪声标准差 {\sigma _n} 在泊松去噪任务中是不可用的，因此本文采用中值准则[27]来估计它。给定一个小波变换，其中 {{{\hat {{m}}}}_{{\mathrm{HH}}}} 是泊松噪声污染图像 {\boldsymbol{y}} 在最精细的小波变换层次上的高-高系数，则噪声标准差可以通过下式来估计
{\sigma _{\boldsymbol{n}}} = {\text{median}}(|{{{\hat {{m}}}}_{{\text{HH}}}}|)/0.674\;5 (27) 其中， {\text{median}}(|{{{\hat {{m}}}}_{{\text{HH}}}}|) 表示 {{{\hat {{m}}}}_{{\text{HH}}}} 绝对值的中位数[27]。
此外，在每次迭代计算中，本文分别通过以下方式自适应地调整稀疏惩罚项和LR惩罚项的正则化参数 \lambda 和 \tau [22]，即
{\lambda ^{(k)}} = \frac{{2\sqrt 2 {{(\sigma _e^{(k)})}^2}}}{{({\psi _i} + \varepsilon )}},{\text{ }}{\tau ^{(k)}} = \frac{{2\sqrt 2 {{(\sigma _e^{(k)})}^2}}}{{({\omega _i} + \varepsilon )}} (28) 其中， {\psi _i} 和 {\omega _i} 分别表示 {\hat {\boldsymbol{A}}_i} 和 {\hat \Delta _i} 的估计标准差。 \varepsilon 表示小常数以避免分母为0。
至此，本文已经使用具有自适应参数调整策略的交替最小化算法，求解基于LRJS模型的图像去噪问题，包括高斯噪声去除和泊松噪声去除。提出的LRJS模型用于高斯噪声去除和泊松噪声去除的详细步骤如算法1与算法2所示。
表 1 基于LRJS的高斯噪声去除算法输入：噪声图像 {\boldsymbol{y}} 。 初始化： {\sigma _n} , {\hat {\boldsymbol{x}}^0} = {\boldsymbol{y}} , {{\boldsymbol{y}}^0} = {\boldsymbol{y }}。 For k = 1 do 迭代正则调整： {\boldsymbol{{y}}^k} = {\hat {\boldsymbol{x}}^{(k - 1)}} + \gamma ({\boldsymbol{y}} - {\hat {\boldsymbol{x}}^{(k - 1)}}) 。 更新噪声标准差 {\sigma _e} 通过式(26)。 For 噪声图像 {\boldsymbol{y}} 中每个块 {y_i} do 收集相似块生成一个组 {{\boldsymbol{Y}}_i} 。 使用PCA从组 {{\boldsymbol{Y}}_i} 中学习一个字典 {{\boldsymbol{D}}_i} 。 获得组稀疏 {{\boldsymbol{A}}_i} 通过计算 {{\boldsymbol{A}}_i} = {\boldsymbol{D}}_i^{\mathrm{T}}{{\boldsymbol{Y}}_i} 。 对组稀疏 {{\boldsymbol{A}}_i} 执行SVD： [{{\boldsymbol{U}}_i},{\Delta _i},{{\boldsymbol{V}}_i}] = {\text{SVD}}({{\boldsymbol{A}}_i}) 。 更新参数 \mu 通过计算式(25)。 更新参数 \tau 通过计算式(28)。 估计LR矩阵 {\hat {\boldsymbol{L}}_i} 通过计算式(9)。 更新参数 \eta 通过计算式(25)。 更新参数 \lambda 通过计算式(28)。 估计组稀疏系数 {\hat {\boldsymbol{A}}_i} 通过计算式(5)。 End for 估计噪声图像 \hat {\boldsymbol{x}} 通过计算式(13)。 End for 输出：最终的去噪图像 \hat {\boldsymbol{x}} 。 表 2 基于LRJS的泊松噪声去除算法输入：噪声图像{\boldsymbol{ y}} 。 初始化：估计 {\sigma _n} 通过计算式(27)， {\hat {\boldsymbol{x}}^0} = {\boldsymbol{y}} ， {{\boldsymbol{y}}^0} = {\boldsymbol{y}} 。 For k = 1 do 迭代正则调整： {{\boldsymbol{y}}^k} = {\hat {\boldsymbol{x}}^{(k - 1)}} + \gamma ({\boldsymbol{y}} - {\hat {\boldsymbol{x}}^{(k - 1)}}) 。 更新噪声标准差 {\sigma _e} 通过式(26)。 For 噪声图像 {\boldsymbol{y}} 中每个块 {y_i} do 收集相似块生成一个组 {{\boldsymbol{Y}}_i} 。 使用PCA从组 {{\boldsymbol{Y}}_i} 中学习一个字典 {{\boldsymbol{D}}_i} 。 获得组稀疏 {{\boldsymbol{A}}_i} 通过计算 {{\boldsymbol{A}}_i} = {\boldsymbol{D}}_i^{\mathrm{T}}{{\boldsymbol{Y}}_i} 。 对组稀疏 {{\boldsymbol{A}}_i} 执行SVD： [{{\boldsymbol{U}}_i},{\Delta _i},{{\boldsymbol{V}}_i}] = {\text{SVD}}({{\boldsymbol{A}}_i}) 。 更新参数 \mu 通过计算式(25)。 更新参数 \tau 通过计算式(28)。 估计LR矩阵 {\hat {\boldsymbol{L}}_i} 通过计算式(9)。 更新参数 \eta 通过计算式(25)。 更新参数 \lambda 通过计算式(28)。 估计组稀疏系数 {\hat {\boldsymbol{A}}_i} 通过计算式(5)。 End for 调用ADMM算法： 初始化： {\boldsymbol{g }}= {{\textit{0}}} ，{\boldsymbol{ z}} = {\hat {\boldsymbol{x}}^{(k)}} 。 更新 \hat {\boldsymbol{z}} 通过计算式(21)。 更新 \hat {\boldsymbol{x}} 通过计算式(24)。 更新 \hat {\boldsymbol{g}} 通过计算式(20)。 End for 输出：最终的去噪图像 \hat {\boldsymbol{x}} 。 5. 实验结果
本节通过一系列数值实验来验证提出的LRJS图像去噪算法的性能，这些实验包括高斯噪声去除和泊松噪声去除。用峰值信噪比(Peak-Signal-to-Noise-Ratio, PSNR)来衡量不同去噪算法的客观质量指标。所有比对方法都使用了原作者源代码的默认参数设置。本文的一些测试图像如图3所示。由于人类视觉系统对彩色图像的亮度变化更为敏感，因此本文只关注彩色图像亮度通道的恢复。
5.1 高斯噪声去除
本节评估提出的LRJS算法用于高斯噪声去除的性能。提出的LRJS算法首先与9种流行的或者先进的图像去噪算法进行比较，包括BM3D[7], LSSC[12], EPLL[28], NCSR[22], GID[29], PGPD[10], aGMM[30], OGLR[31]和NLNCDR[32]。值得注意的是，所有的比对方法都使用了图像的NSS先验[3]，并且LSSC方法还是一种先进的基于JS模型的图像去噪方法。通过测试图3中的12幅广泛使用的图像，来评估所有方法的去噪性能。更具体地说，通过向这12幅测试图像中添加零均值加性高斯白噪声来生成噪声图像，并给出3种不同噪声的去噪结果，即 {\sigma _{\boldsymbol{n}}} ＝20，40，75和100。所有比对方法的平均PSNR结果如表1所示，可以观察到，相比于其他的方法，提出的LRJS方法获得更好的PSNR结果。视觉比较结果如图4所示。可以观察到，BM3D, LSSC, EPLL, GID, PGPD, aGMM和OGLR方法仍然存在不希望出现的视觉伪影，而NCSR和NLNCDR方法则容易出现图像过于平滑的情况。相比之下，提出的LRJS方法不仅可以保留更精细的图像细节，而且还可以有效地消除视觉伪影。此外，本文还评估了LRJS算法在Urban 100数据集[33]上的去噪性能，该数据由100幅具有许多相似结构的图像组成。提出的LRJS算法与7种方法进行比较，包括BM3D[7], NCSR[22], PGPD[10], OGLR[31], Dn-CNN[16], IRCNN[17]和FFDNet[18]。值得注意的是，Dn-CNN, IRCNN和FFDNet是3种先进的基于深度学习的高斯噪声去除方法。所有比较方法去噪的平均PSNR结果如表2所示。可以看出，提出的LRJS算法在所有噪声水平下始终优于其他的方法。视觉比较结果如图5所示。可以观察到，BM3D, NCSR, PGPD和OGLR方法都易于生成一些视觉块效应，尤其是NCSR, PGPD和OGLR方法中具有明显的振铃块效应。此外，Dn-CNN, IRCNN和FFDnet方法通常会过度平滑去噪图像。相比之下，可以清楚地看到，提出的LRJS算法不仅有效地消除噪声，而且还保留了精细的图像细节。
表 1 不同方法用于高斯噪声去除的平均PSNR比较结果(dB){\sigma _{\boldsymbol{n}}} BM3D LSSC EPLL NCSR GID PGPD aGMM OGLR NLNCDR LRJS 20 31.20 31.36 30.72 31.26 30.25 31.30 31.04 31.05 30.44 31.56 40 27.53 27.77 27.16 27.66 26.65 27.79 27.37 27.69 27.04 28.02 75 24.66 24.56 24.01 24.47 23.20 24.71 24.17 24.41 24.02 24.90 100 23.30 23.09 22.66 23.00 21.56 23.36 22.81 22.69 22.72 23.62 表 2 不同方法测试Urban100数据集用于高斯噪声去除的平均PSNR比较结果(dB){\sigma _{\boldsymbol{n}}} BM3D NCSR PGPD OGLR Dn-CNN IRCNN FFDNet LRJS 10 33.39 33.66 33.40 32.94 33.83 33.65 33.42 34.25 20 29.50 29.68 29.47 29.27 29.75 29.64 29.61 30.16 30 27.33 27.39 27.19 27.18 27.44 27.40 27.49 27.85 40 25.44 25.77 25.70 25.67 25.86 25.90 26.03 26.28 50 24.55 24.59 24.59 24.51 24.77 24.75 24.93 25.07 平均 28.04 28.22 28.07 27.91 28.33 28.27 28.30 28.72 5.2 泊松噪声去除
本节测试提出的LRJS算法用于泊松噪声去除。一般来说，泊松噪声去噪方法通常分为两类：间接方法[16,20]和直接方法[19,25]。前者通常通过使用方差稳定变换(Variabce-Stabilizing transform, VST)[34]操作来消除泊松噪声的信号依赖性，然后利用高斯噪声算法来恢复潜在的干净图像。然而，当这种间接方法受到较少光子计数率的影响时，其去噪性能将迅速恶化。提出的LRJS算法属于直接方法，它直接研究泊松噪声的统计属性。
提出的LRJS方法与5种先进的方法在泊松噪声去除任务中进行比较，包括TNRD[20], Dn-CNN[16], IRCNN[17], LRPD[25]和LRS[19]。值得注意的是，TNRD, Dn-CNN和IRCNN是使用VST预处理[34]的间接泊松噪声去噪方法，它们是先进的高斯噪声去除方法。LRPD, LRS和提出的LRJS方法直接基于泊松噪声的统计，并且它们都使用图像的NSS先验[3,7]。尤其是，LRS获得了非常优越的去噪结果，它利用了每个图像组的低秩属性。为了评估所有方法的去噪性能，我们在如图3所示的17幅图像(包括9幅具有高相似性结构的Urban图像)进行了测试，所有比对方法的平均PSNR结果如表3所示。可以看到，提出的LRJS方法比其他方法获得更好的PSNR结果。图6展示图像Barbara的视觉比较结果。可以观察到，TNRD和Dn-CNN方法通常会使图像过度平滑，而IRCNN和LRPD方法则容易产生不良的视觉伪影。虽然LRS方法比TNRD, Dn-CNN, IRCNN和LRPD方法恢复更多的图像细节，但它不能有效地消除泊松噪声。相比之下，提出的LRJS算法不仅能显著地消除泊松噪声，还能有效地保留细小的图像结构和细节。
表 3 不同方法用于泊松噪声去除的平均PSNR比较结果(dB)P TNRD Dn-CNN IRCNN LRPD LRS LRJS 5 19.50 22.31 22.78 21.66 22.23 23.56 10 23.58 23.22 24.67 23.63 24.61 25.44 15 24.11 25.47 25.81 24.29 25.93 26.54 20 24.40 25.95 26.54 25.39 26.83 27.44 5.3 真实图像去噪
本节展示了提出的LRJS算法在真实图像去噪任务中的应用。将提出的LRJS方法与N2N方法[35]进行比较，N2N方法是一种先进的真实图像去噪方法。从图7和图8可以观察到，与N2N方法相比，提出的LRJS方法能够恢复更多的图像细节，并且能够消除不必要的视觉块效应。同时，一种盲图像质量指标(Blind/Referenceless Image Spatial Quality Evalu-ator, BRISQUE[36])被用来评估不同方法的真实去噪性能。需要注意的是，BRISQUE值越低，去噪效果越好。从图7和图8可以看出，提出的LRJS算法获得的BRISQUE值小于N2N方法。因此，提出的LRJS算法能够胜任真实的图像去噪任务。
5.4 消融学习
本节通过删除提出的基于LRJS的图像去噪模型中的LR部分进行消融学习。换句话说，将提出的LRJS模型(即式(2))与JS模型[12](即式(1))进行比较。通过利用LRJS与JS模型执行两种去噪任务，即高斯噪声去除和泊松噪声去除。表4展示LRJS和JS方法在Set12数据集[16]上去噪的平均PSNR结果。可以看出，在所有噪声情况下，提出的LRJS比JS方法取得更好的PSNR结果。因此，这项消融学习证明了提出的LRJS模型同时使用每个图像组的JS和LR属性的有效性。
表 4 消融学习：JS和提出的LRJS模型在Set12数据集上用于图像去噪的平均PSNR结果(dB)高斯噪声去除 泊松噪声去除 {\sigma _{\boldsymbol{n}}} 10 20 30 40 50 75 100 平均 P 1 5 10 15 20 25 30 平均 JS 34.30 31.02 29.06 27.78 26.74 24.96 23.68 28.22 JS 19.37 23.65 25.10 26.29 27.01 27.58 27.93 25.28 LRJS 34.54 31.14 29.21 27.87 26.80 24.98 23.73 28.32 LRJS 20.07 23.86 25.40 26.41 27.14 27.69 28.09 25.52 6. 结束语
传统的基于JS模型的图像去噪方法利用松驰的凸惩罚损失函数只能得到近似的稀疏解，无法严格施加行间相关性(即低秩性)，从而导致图像去噪质量不理想。本文提出了一种新颖的LRJS模型用于图像去噪，该模型在一个统一的框架下，同时利用非局部相似块(形成一个组)的JS和LR属性。此外，本文提出了一种具有自适应参数调整策略的交替最小化算法，求解提出的图像去噪问题。在两个图像去噪任务(包括高斯噪声去除和泊松噪声去除)上的实验结果表明，提出的LRJS算法在客观质量和感知质量上都优于许多流行或先进的图像去噪方法。
-
1 基于LRJS的高斯噪声去除算法
输入：噪声图像 {\boldsymbol{y}} 。 初始化： {\sigma _n} , {\hat {\boldsymbol{x}}^0} = {\boldsymbol{y}} , {{\boldsymbol{y}}^0} = {\boldsymbol{y }}。 For k = 1 do 迭代正则调整： {\boldsymbol{{y}}^k} = {\hat {\boldsymbol{x}}^{(k - 1)}} + \gamma ({\boldsymbol{y}} - {\hat {\boldsymbol{x}}^{(k - 1)}}) 。 更新噪声标准差 {\sigma _e} 通过式(26)。 For 噪声图像 {\boldsymbol{y}} 中每个块 {y_i} do 收集相似块生成一个组 {{\boldsymbol{Y}}_i} 。 使用PCA从组 {{\boldsymbol{Y}}_i} 中学习一个字典 {{\boldsymbol{D}}_i} 。 获得组稀疏 {{\boldsymbol{A}}_i} 通过计算 {{\boldsymbol{A}}_i} = {\boldsymbol{D}}_i^{\mathrm{T}}{{\boldsymbol{Y}}_i} 。 对组稀疏 {{\boldsymbol{A}}_i} 执行SVD： [{{\boldsymbol{U}}_i},{\Delta _i},{{\boldsymbol{V}}_i}] = {\text{SVD}}({{\boldsymbol{A}}_i}) 。 更新参数 \mu 通过计算式(25)。 更新参数 \tau 通过计算式(28)。 估计LR矩阵 {\hat {\boldsymbol{L}}_i} 通过计算式(9)。 更新参数 \eta 通过计算式(25)。 更新参数 \lambda 通过计算式(28)。 估计组稀疏系数 {\hat {\boldsymbol{A}}_i} 通过计算式(5)。 End for 估计噪声图像 \hat {\boldsymbol{x}} 通过计算式(13)。 End for 输出：最终的去噪图像 \hat {\boldsymbol{x}} 。 
下载: 导出CSV
2 基于LRJS的泊松噪声去除算法
输入：噪声图像{\boldsymbol{ y}} 。 初始化：估计 {\sigma _n} 通过计算式(27)， {\hat {\boldsymbol{x}}^0} = {\boldsymbol{y}} ， {{\boldsymbol{y}}^0} = {\boldsymbol{y}} 。 For k = 1 do 迭代正则调整： {{\boldsymbol{y}}^k} = {\hat {\boldsymbol{x}}^{(k - 1)}} + \gamma ({\boldsymbol{y}} - {\hat {\boldsymbol{x}}^{(k - 1)}}) 。 更新噪声标准差 {\sigma _e} 通过式(26)。 For 噪声图像 {\boldsymbol{y}} 中每个块 {y_i} do 收集相似块生成一个组 {{\boldsymbol{Y}}_i} 。 使用PCA从组 {{\boldsymbol{Y}}_i} 中学习一个字典 {{\boldsymbol{D}}_i} 。 获得组稀疏 {{\boldsymbol{A}}_i} 通过计算 {{\boldsymbol{A}}_i} = {\boldsymbol{D}}_i^{\mathrm{T}}{{\boldsymbol{Y}}_i} 。 对组稀疏 {{\boldsymbol{A}}_i} 执行SVD： [{{\boldsymbol{U}}_i},{\Delta _i},{{\boldsymbol{V}}_i}] = {\text{SVD}}({{\boldsymbol{A}}_i}) 。 更新参数 \mu 通过计算式(25)。 更新参数 \tau 通过计算式(28)。 估计LR矩阵 {\hat {\boldsymbol{L}}_i} 通过计算式(9)。 更新参数 \eta 通过计算式(25)。 更新参数 \lambda 通过计算式(28)。 估计组稀疏系数 {\hat {\boldsymbol{A}}_i} 通过计算式(5)。 End for 调用ADMM算法： 初始化： {\boldsymbol{g }}= {{\textit{0}}} ，{\boldsymbol{ z}} = {\hat {\boldsymbol{x}}^{(k)}} 。 更新 \hat {\boldsymbol{z}} 通过计算式(21)。 更新 \hat {\boldsymbol{x}} 通过计算式(24)。 更新 \hat {\boldsymbol{g}} 通过计算式(20)。 End for 输出：最终的去噪图像 \hat {\boldsymbol{x}} 。
下载: 导出CSV
表 1 不同方法用于高斯噪声去除的平均PSNR比较结果(dB)
{\sigma _{\boldsymbol{n}}} BM3D LSSC EPLL NCSR GID PGPD aGMM OGLR NLNCDR LRJS 20 31.20 31.36 30.72 31.26 30.25 31.30 31.04 31.05 30.44 31.56 40 27.53 27.77 27.16 27.66 26.65 27.79 27.37 27.69 27.04 28.02 75 24.66 24.56 24.01 24.47 23.20 24.71 24.17 24.41 24.02 24.90 100 23.30 23.09 22.66 23.00 21.56 23.36 22.81 22.69 22.72 23.62
下载: 导出CSV
表 2 不同方法测试Urban100数据集用于高斯噪声去除的平均PSNR比较结果(dB)
{\sigma _{\boldsymbol{n}}} BM3D NCSR PGPD OGLR Dn-CNN IRCNN FFDNet LRJS 10 33.39 33.66 33.40 32.94 33.83 33.65 33.42 34.25 20 29.50 29.68 29.47 29.27 29.75 29.64 29.61 30.16 30 27.33 27.39 27.19 27.18 27.44 27.40 27.49 27.85 40 25.44 25.77 25.70 25.67 25.86 25.90 26.03 26.28 50 24.55 24.59 24.59 24.51 24.77 24.75 24.93 25.07 平均 28.04 28.22 28.07 27.91 28.33 28.27 28.30 28.72
下载: 导出CSV
表 3 不同方法用于泊松噪声去除的平均PSNR比较结果(dB)
P TNRD Dn-CNN IRCNN LRPD LRS LRJS 5 19.50 22.31 22.78 21.66 22.23 23.56 10 23.58 23.22 24.67 23.63 24.61 25.44 15 24.11 25.47 25.81 24.29 25.93 26.54 20 24.40 25.95 26.54 25.39 26.83 27.44
下载: 导出CSV
表 4 消融学习：JS和提出的LRJS模型在Set12数据集上用于图像去噪的平均PSNR结果(dB)
高斯噪声去除 泊松噪声去除 {\sigma _{\boldsymbol{n}}} 10 20 30 40 50 75 100 平均 P 1 5 10 15 20 25 30 平均 JS 34.30 31.02 29.06 27.78 26.74 24.96 23.68 28.22 JS 19.37 23.65 25.10 26.29 27.01 27.58 27.93 25.28 LRJS 34.54 31.14 29.21 27.87 26.80 24.98 23.73 28.32 LRJS 20.07 23.86 25.40 26.41 27.14 27.69 28.09 25.52
下载: 导出CSV
-
[1] OSHER S, BURGER M, GOLDFARB D, et al. An iterative regularization method for total variation-based image restoration[J]. Multiscale Modeling & Simulation, 2005, 4(2): 460–489. doi: 10.1137/040605412. [2] AHARON M, ELAD M, and BRUCKSTEIN A. K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311–4322. doi: 10.1109/TSP.2006.881199. [3] BUADES A, COLL B, and MOREL J M. A non-local algorithm for image denoising[C]. IEEE Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005: 60–65. doi: 10.1109/CVPR.2005.38. [4] ELAD M, KAWAR B, and VAKSMAN G. Image denoising: The deep learning revolution and beyond—a survey paper[J]. SIAM Journal on Imaging Sciences, 2023, 16(3): 1594–1654. doi: 10.1137/23M1545859. [5] 赵冬冬, 叶逸飞, 陈朋, 等. 基于残差和注意力网络的声呐图像去噪方法[J]. 光电工程, 2023, 50(6): 230017. doi: 10.12086/oee.2023.230017.ZHAO Dongdong, YE Yifei, CHEN Peng, et al. Sonar image denoising method based on residual and attention network[J]. Opto-Electronic Engineering, 2023, 50(6): 230017. doi: 10.12086/oee.2023.230017. [6] 周建新, 周凤祺. 基于改进协同量子粒子群的小波去噪分析研究[J]. 电光与控制, 2022, 29(1): 47–50. doi: 10.3969/j.issn.1671-637x.2022.01.010.ZHOU Jianxin and ZHOU Fengqi. Wavelet denoising analysis based on cooperative quantum-behaved particle swarm optimization[J]. Electronics Optics & Control, 2022, 29(1): 47–50. doi: 10.3969/j.issn.1671-637x.2022.01.010. [7] DABOV K, FOI A, KATKOVNIK V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080–2095. doi: 10.1109/TIP.2007.901238. [8] 罗亮, 冯象初, 张选德, 等. 基于非局部双边随机投影低秩逼近图像去噪算法[J]. 电子与信息学报, 2013, 35(1): 99–105. doi: 10.3724/SP.J.1146.2012.00819.LUO Liang, FENG Xiangchu, ZHANG Xuande, et al. An image denoising method based on non-local two-side random projection and low rank approximation[J]. Journal of Electronics & Information Technology, 2013, 35(1): 99–105. doi: 10.3724/SP.J.1146.2012.00819. [9] ZHANG Jian, ZHAO Debin, and GAO Wen. Group-based sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3336–3351. doi: 10.1109/TIP.2014.2323127. [10] XU Jun, ZHANG Lei, ZUO Wangmeng, et al. Patch group based nonlocal self-similarity prior learning for image denoising[C]. IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 244–252. doi: 10.1109/ICCV.2015.36. [11] ZHA Zhiyuan, YUAN Xin, WEN Bihan, et al. A benchmark for sparse coding: When group sparsity meets rank minimization[J]. IEEE Transactions on Image Processing, 2020, 29: 5094–5109. doi: 10.1109/TIP.2020.2972109. [12] MAIRAL J, BACH F, PONCE J, et al. Non-local sparse models for image restoration[C]. 12th IEEE International Conference on Computer Vision, Kyoto, Japan, 2009: 2272–2279. doi: 10.1109/ICCV.2009.5459452. [13] ZHANG Chengfang, ZHANG Ziyou, FENG Ziliang, et al. Joint sparse model with coupled dictionary for medical image fusion[J]. Biomedical Signal Processing and Control, 2023, 79: 104030. doi: 10.1016/j.bspc.2022.104030. [14] LI Chunzhi and CHEN Xiaohua. A staged approach with structural sparsity for hyperspectral unmixing[J]. IEEE Sensors Journal, 2023, 23(12): 13248–13260. doi: 10.1109/JSEN.2023.3270885. [15] ZHA Zhiyuan, WEN Bihan, YUAN Xin, et al. Low-rank regularized joint sparsity for image denoising[C]. IEEE International Conference on Image Processing, Anchorage, USA, 2021: 1644–1648. doi: 10.1109/ICIP42928.2021.9506726. [16] ZHANG Kai, ZUO Wangmeng, CHEN Yunjin, et al. Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142–3155. doi: 10.1109/TIP.2017.2662206. [17] ZHANG Kai, ZUO Wangmeng, GU Shuhang, et al. Learning deep CNN denoiser prior for image restoration[C]. IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 2808–2817. doi: 10.1109/CVPR.2017.300. [18] ZHANG Kai, ZUO Wangmeng, and ZHANG Lei. FFDNet: Toward a fast and flexible solution for CNN-based image denoising[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4608–4622. doi: 10.1109/TIP.2018.2839891. [19] ZHAO Mingchao, WEN Youwei, NG M, et al. A nonlocal low rank model for Poisson noise removal[J]. Inverse Problems and Imaging, 2021, 15(3): 519–537. doi: 10.3934/ipi.2021003. [20] CHEN Yunjin and PORK T. Trainable nonlinear reaction diffusion: A flexible framework for fast and effective image restoration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1256–1272. doi: 10.1109/TPAMI.2016.2596743. [21] ELAD M and YAVNEH I. A plurality of sparse representations is better than the sparsest one alone[J]. IEEE Transactions on Information Theory, 2009, 55(10): 4701–4714. doi: 10.1109/TIT.2009.2027565. [22] DONG Weisheng, ZHANG Lei, SHI Guangming, et al. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1620–1630. doi: 10.1109/TIP.2012.2235847. [23] CHEN Yong, HE Wei, YOKOYA N, et al. Hyperspectral image restoration using weighted group sparsity-regularized low-rank tensor decomposition[J]. IEEE Transactions on Cybernetics, 2020, 50(8): 3556–3570. doi: 10.1109/TCYB.2019.2936042. [24] CAI Jianfeng, CANDÈS E J, and SHEN Zuowei. A singular value thresholding algorithm for matrix completion[J]. SIAM Journal on Optimization, 2010, 20(4): 1956–1982. doi: 10.1137/080738970. [25] KUMAR G P and SAHAY R R. Low rank Poisson denoising (LRPD): A low rank approach using split Bregman algorithm for Poisson noise removal from images[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Long Beach, USA, 2019: 1907–1916. doi: 10.1109/CVPRW.2019.00242. [26] BOYD S, PARIKH N, CHU E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends® in Machine Learning, 2011, 3(1): 1–122. doi: 10.1561/2200000016. [27] WEN Youwei and CHAN R H. Parameter selection for total-variation-based image restoration using discrepancy principle[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1770–1781. doi: 10.1109/TIP.2011.2181401. [28] ZORAN D and WEISS Y. From learning models of natural image patches to whole image restoration[C]. IEEE International Conference on Computer Vision, Barcelona, Spain, 2011: 479–486. doi: 10.1109/ICCV.2011.6126278. [29] TALEBI H and MILANFAR P. Global image denoising[J]. IEEE Transactions on Image Processing, 2014, 23(2): 755–768. doi: 10.1109/TIP.2013.2293425. [30] LUO Enming, CHAN S H, and NGUYEN T Q. Adaptive image denoising by mixture adaptation[J]. IEEE Transactions on Image Processing, 2016, 25(10): 4489–4503. doi: 10.1109/TIP.2016.2590318. [31] PANG Jiahao and CHEUNG G. Graph Laplacian regularization for image denoising: Analysis in the continuous domain[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1770–1785. doi: 10.1109/TIP.2017.2651400. [32] LIU Haosen and TAN Shan. Image regularizations based on the sparsity of corner points[J]. IEEE Transactions on Image Processing, 2019, 28(1): 72–87. doi: 10.1109/TIP.2018.2862357. [33] HUANG Jiabin, SINGH A, and AHUJA N. Single image super-resolution from transformed self-exemplars[C]. IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 5197–5206. doi: 10.1109/CVPR.2015.7299156. [34] AZZARI L and FOI A. Variance stabilization for noisy+estimate combination in iterative Poisson denoising[J]. IEEE Signal Processing Letters, 2016, 23(8): 1086–1090. doi: 10.1109/LSP.2016.2580600. [35] LEHTINEN J, MUNKBERG J, HASSELGREN J, et al. Noise2Noise: Learning image restoration without clean data[C]. Proceedings of the 35th International Conference on Machine Learning, Stockholm, Sweden, 2018: 2965–2974. [36] MITTAL A, MOORTHY A K, and BOVIK A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695–4708. doi: 10.1109/TIP.2012.2214050. 期刊类型引用(15)
1. 曾敏敏，张兵，张晓宁，朱慧龙，王云飞，郑志伟，林建辉. 决策级融合轴承故障混合智能诊断. 中国测试. 2024(02): 126-135 . 
百度学术2. 刘威，郭直清，姜丰，刘光伟，靳宝，王东. 协同围攻策略改进的灰狼算法及其PID参数优化. 计算机科学与探索. 2023(03): 620-634 . 百度学术3. 戈阳. 融入等温过程的改进灰狼优化算法. 现代电子技术. 2022(17): 117-122 . 百度学术4. 杨扬，李昌平，丁华锋. 高压脉冲破岩放电回路建模及参数辨识. 机械工程学报. 2022(15): 243-251 . 百度学术5. 王颖，朱刘涛，童勤，张强. 基于改进灰狼算法优化多核支持向量回归机及其应用. 计算机系统应用. 2021(01): 256-263 . 百度学术6. 岳攀，林威伟，吴斌平，王佳俊. 基于ACGWO-SVR的高寒地区心墙堆石坝压实质量评价模型. 水利水电技术(中英文). 2021(11): 98-107 . 百度学术7. 戈阳，胡创业. 基于组合变异的平衡灰狼优化算法. 现代信息科技. 2021(18): 106-110 . 百度学术8. 陈东阳. 基于PSO-MLP神经网络的遥信插件质量识别方法研究. 电力系统保护与控制. 2020(03): 164-170 . 百度学术9. 陈毅飞，杨会民，马艳，张新伟，喻晨，王学农. 基于多层感知机的温室内番茄茎直径变化预测模型. 新疆农业科学. 2020(03): 562-571 . 百度学术10. 罗钧，刘泽伟，张平，刘学明，柳政. 基于非线性因子的改进鸟群算法在动态能耗管理中的应用. 电子与信息学报. 2020(03): 729-736 . 
本站查看11. 张保山，周峰，张琳，张搏，鲁娜，杨博帆. 基于最优神经网络结构的故障诊断模型. 兵器装备工程学报. 2020(03): 20-24+50 . 百度学术12. 章杜锡，谢宏，李力. 基于神经网络的变电站异常网络流量识别. 信息技术. 2020(05): 140-144 . 百度学术13. 戴丽珍，付涛，杨刚，杨辉，徐芳萍. 一种改进灰狼算法优化LSSVM的交通流量预测. 小型微型计算机系统. 2020(12): 2672-2676 . 百度学术14. 王勇亮，王挺，姚辰. 基于Kent映射和自适应权重的灰狼优化算法. 计算机应用研究. 2020(S2): 37-40 . 百度学术15. 章磊，姚庆文，徐伟，李燕. 自适应类神经网络控制器在时变系统中的应用. 自动化仪表. 2019(10): 95-99+102 . 百度学术其他类型引用(18)
-
百度学术
计量
- 文章访问数: 305
- HTML全文浏览量: 100
- PDF下载量: 53
- 被引次数: 33
下载:
