1.   引言

图像去噪旨在减少图像中不必要的噪声，这一直是成像科学中长期且重要的问题。在过去的几十年中，各种各样的图像先验建模用于解决图像去噪问题，并得到了广泛的关注^[1–8]。

经典的总变分(Total Variation, TV)^[1]先验假设图像的梯度服从拉普拉斯分布，这可以有效地消除噪声伪影，但是容易使图像过于平滑，从而丢失许多图像细节。自然图像的另一个重要属性是稀疏性^[2]，即自然图像在某些变换域或字典中本质上是稀疏的。基于稀疏先验建模已被证明对图像去噪有效^[4]。其中代表性的研究是基于块稀疏表示模型^[2]，该模型通过字典学习将每个图像块表示为大部分词条为零的稀疏向量。然而，这种基于块的稀疏表示模型，仅仅考虑了局部图像结构，而忽视了图像块之间的相关性，例如图像的非局部自相似(Nonlocal Self-similarity, NSS)^[3,7,9–11]属性。

受到非局部均值(NonLocal Means, NLM)^[3]在图像去噪中的开创性工作的推动，组稀疏表示(Group Sparse Representation, GSR)^[9]模型采用每个组作为稀疏编码的基本单元，通过利用图像的NSS先验收集许多相似块构建一个组，这在图像去噪研究中引起了大量的关注^[9,11]。然而，尽管组系数的每个单独列之间存在着相关性，但是上述提及的基于GSR方法^[9,11]只是对组系数的每个单独列施加了稀疏(参见图1(a))，因此限制了它们对实际图像建模的有效性。另一方面，Mairal等人^[12]提出了一个联合稀疏(Joint Sparsity, JS)模型，该模型要求每个组中的所有稀疏系数共享相同的支持(参见图1(b))。JS模型已被广泛地应用于解决各种图像复原问题^[13,14]。为了避免求解JS模型中的NP-hard问题，许多JS算法^[12,14]利用带有松驰的凸惩罚损失函数，例如${l_{2,1}}$范数^[12]，这导致它们并不能严格实加行间相关性，从而只能得到近似的稀疏解，因此并不能取得理想的图像复原结果(图1(a)到(c)比较了GSR、理想和近似JS模型之间的稀疏编码)。

图 1  稀疏系数对比示意图

下载: 全尺寸图片 幻灯片

考虑到以上提及的问题，本文(作为文献[15]的延伸)提出一种新颖的用于图像去噪的低秩正则联合稀疏(Low-Rank regularized Joint Sparsity, LRJS)模型，它可以更好地增强相似块之间的相关性，从而有效地抑制噪声。本文的主要贡献如下：(1)提出了一种用于图像去噪的LRJS模型，该模型在统一的框架下同时利用非局部相似块的JS和低秩(Low Rank, LR)先验属性(参见图1(d))。(2)设计一种简单有效的具有自适应参数调整策略的交替最小化算法来处理优化问题。(3)在两个图像去噪(包括高斯去噪和泊松去噪)任务上的实验结果，证明了提出的LRJS方法在客观和感知质量上都超越了许多流行的和先进的图像去噪算法，尤其是在面对具有高度自相似性的图像数据时去噪效果更为显著(参见图2)，与其他方法相比，提出的LRJS方法可以更有效地消除视觉伪影并保留更多的图像细节)。

图 2  比较提出的LRJS方法和几种先进的方法的图像去噪结果

下载: 全尺寸图片 幻灯片

与之前的文献[15]相比，做出了显著的改进。具体而言，通过引入两个新目标函数，将文献[15]中的模型扩展到高斯噪声去除(4.1节)和泊松噪声去除(4.2节)^[20]。第4节还介绍了一种具有自适应参数调整策略的交替最小化算法。此外，第5节通过大量的实验结果证明提出的基于LRJS模型的图像去噪算法的优越性。

2.   联合稀疏模型

本节将简要介绍基于字典的JS模型^[12]，该模型通常通过两阶段策略来实现：(1) 利用图像的NSS先验对相似块进行分组^[12]；(2) 对每个分组实施松驰的凸惩罚。具体来说，给定一张图像${\boldsymbol{x}} \in {\mathbb{R}^N}$，将其分割为$K$个大小为$\sqrt b \times \sqrt b$的过重叠块，并将每个块拉伸为一个向量${{\boldsymbol{x}}_i} \in {\mathbb{R}^b},\forall i = 1,2, \cdots ,K$。然后，对于每个样本块${{\boldsymbol{x}}_i}$，使用欧几里得距离作为相似性准则来搜索其$c$个最相似的块，从而形成一个组${{\boldsymbol{X}}_i} \in {\mathbb{R}^{b \times c}}$，即${{\boldsymbol{X}}_i} = [{{\boldsymbol{x}}_{i,1}},{{\boldsymbol{x}}_{i,2}}, \cdots ,{{\boldsymbol{x}}_{i,c}}]$，其中${{\boldsymbol{x}}_{i,j}}$是样本块${{\boldsymbol{x}}_i}$的第$j$个相似块(向量形式)。最后，相似于传统的基于块稀疏表示模型^[2]，给定一个字典${{\boldsymbol{D}}_i}$，每个组${{\boldsymbol{X}}_i}$的稀疏表示则可以通过求解如下最小化问题，

其中，$||{\text{ }}|{|_{2,1}}$表示${l_{2,1}}$范数^[12]，并且$\lambda$表示正则化参数。通过求解式(1)得到所有的稀疏系数$\left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\}_{i = 1}^n$后，则潜在的图像$x$可以通过${\boldsymbol{D}}\hat {\boldsymbol{A}}$恢复得到，其中${\boldsymbol{D}}$与$\hat {\boldsymbol{A}}$分别是$\left\{ {{{\boldsymbol{D}}_i}} \right\}_{i = 1}^n$与$\left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\}_{i = 1}^n$的集合。

3.   低秩正则联合稀疏建模

本节提出一种新颖的LRJS模型，该模型同时探索自然图像的JS与LR属性，以增强非局部相似块之间的相关性(即低秩性)。此外，一种有效的交替最小化算法^[1]被用来求解目标函数。

3.1   低秩正则联合稀疏模型

如上文所述，传统的JS模型(参见图1(c))通常利用松驰的凸惩罚损失函数^[12]，导致只能得到近似的稀疏解，而无法严格实施行间相关性。因此，传统的JS模型未能在潜在的图像数据上施加低秩性，导致在实际应用中(例如，图像去噪)并不能得到理想的结果。本文提出一种基于双正则的LRJS模型，该模型同时使用JS和LR惩罚，即

其中，$||{\text{ }}|{|_{2,1}}$用于JS惩罚，${\mathrm{Rank}}({{\boldsymbol{L}}_i}){\text{ }}$表示矩阵的LR逼近函数。$\mu$表示尺度因子，使式(2)的解更加可行。显然，与传统的JS模型(即式(1))不同，每个组稀疏系数矩阵${{\boldsymbol{A}}_i}$同时实施了LR估计(${{\boldsymbol{L}}_i}$)，这将进一步探索每个组${{\boldsymbol{X}}_i}$的LR属性。最终，相似于式(1)中的JS模型，估计的最优的组稀疏编码$\left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\}_{i = 1}^n$被用来重建潜在的图像${\boldsymbol{x}}$。

3.2   通过交替最小化算法求解LRJS问题

本节使用交替最小化算法^[8]来求解提出的LRJS模型(式(2))中的两个子问题，即${{\boldsymbol{A}}_i}$子问题和${{\boldsymbol{L}}_i}$子问题。

3.2.1   ${{\boldsymbol{{\boldsymbol{A}}_i}}}$子问题

给定组${{\boldsymbol{X}}_i}$和LR矩阵${{\boldsymbol{L}}_i}$，提出的LRJS模型中的${{\boldsymbol{A}}_i}$子问题可以表述为

通过式(3)，可以观察到字典${{\boldsymbol{D}}_i}$在求解${{\boldsymbol{A}}_i}$子问题过程中起着重要的作用。值得注意的是，传统的JS模型^[12]通常为每个组学习一个过完备的字典^[2]。然而过完备的字典容易产生不稳定的性能，特别是在图像复原任务中^[21]。因此，为了进一步适应图像的局部结构，本文从每个组中学习一个基于主成份分析(Principal Component Analysis, PCA)的字典${{\boldsymbol{D}}_i}$(更多的详情关于PCA字典学习，请参阅文献[22])。由于学习到的PCA字典${{\boldsymbol{D}}_i}$具有酉性，因此，式(3)可以等价地求解如式(4)问题，

其中，${X_i} = {{\boldsymbol{D}}_i}{{\boldsymbol{G}}_i}$并且${{\boldsymbol{R}}_i} = (\mu {{\boldsymbol{G}}_i} + 2{{\boldsymbol{L}}_i})/ (\mu {\boldsymbol{I}} + 2{\boldsymbol{I}})$，${\boldsymbol{I}}$表示单位矩阵。根据文献[23]，式(4)具有一个闭合解，

其中，${{\boldsymbol R}_{i}}(j,:)$表示矩阵${{\boldsymbol R}_{i}}$的第$j$行。

3.2.2   ${{\boldsymbol{L}}_i}$子问题

给定${{\boldsymbol{A}}_i}$, ${{\boldsymbol{L}}_i}$子问题被简化为式(6)问题，

为了有效地求解式(6)，给出定理1：

定理1^[24]　假设${{\boldsymbol{A}}_i} = {{\boldsymbol{U}}_i}{\varDelta _i}{\boldsymbol{V}}_i^{\mathrm{T}}$是${{\boldsymbol{A}}_i} \in {\mathbb{R}^{b \times c}}$的奇异值分解，${\Delta _i} = {\mathrm{diag}}({\delta _{i,1}},{\delta _{i,2}}, \cdots ,{\delta _{i,j}}),j = \min (b,c)$。式(6)中的${{\boldsymbol{L}}_i}$子问题的最优解是${{\boldsymbol{U}}_i}{{\boldsymbol{\varSigma}} _i}{\boldsymbol{V}}_i^{\mathrm{T}}$，其中${{\boldsymbol{\varSigma}} _i} = {\mathrm{diag}}({\sigma _{i,1}},{\sigma _{i,2}}, \cdots ,{\sigma _{i,j}})$，这时，第${k}$个对角元素${{\boldsymbol{\sigma}} _{i,k}}$可通过式(7)求解

核范数最小化(Nuclear Norm Minimization, NNM^[24])通常被用来估计矩阵的秩，即${\mathrm{Rank}}({\sigma _{i,k}}) = |{\sigma _{i,k}}{|_1}$。然而，对于一些实际问题，包括图像去噪，使用${l_1}$-范数最小化无法实现期望的矩阵秩估计^[9,10]。因此，本文直接采用${l_0}$-范数最小化来估计矩阵的秩，即${\mathrm{Rank}}({\sigma _{i,k}}) = |{\sigma _{i,k}}{|_0}$，这时式(6)中的${{\boldsymbol{L}}_i}$子问题可以简化为求解式(8)问题，

根据文献[15]，式(8)有一个闭合解，即

其中，$\text{Hard}(\cdot)$表示硬阈值操作^[15]。通过式(9)得到${\hat {\boldsymbol{\varSigma }}_i}$的解，即${\hat {\boldsymbol{\varSigma}} _i} = {\mathrm{diag}}({\hat \sigma _{i,1}},{\hat \sigma _{i,2}}, \cdots ,{\hat \sigma _{i,j}})$，这时${{\boldsymbol{L}}_i}$子问题的解通过${\hat {\boldsymbol{L}}_i} = {{\boldsymbol{U}}_i}{\hat {\boldsymbol{\varSigma}} _i}{\boldsymbol{V}}_i^{\mathrm{T}}$获得。

4.   基于LRJS模型的图像去噪

本节利用提出的LRJS模型解决图像去噪问题，包括高斯去噪和泊松去噪。具体来说，图像去噪的目的是从噪声图像${\boldsymbol{y }}$中恢复出潜在的干净图像${\boldsymbol{x}}$，该过程通过式(10)表示，

其中，${\boldsymbol{n}}$假定标准差为${{\boldsymbol{\sigma}} _n}$的加性高斯白噪声^[2,3,10]或者具有不同峰值像素强度的乘性泊松噪声^[19,25]。

4.1   LRJS模型用于高斯噪声去除

基于最大后验概率估计(Maximum a Posterior, MAP)框架^[11]，并引入提出的LRJS模型(式(2))，这时高斯噪声去除的图像去噪问题可以写成式(11)

其中，第1项表示基于MAP推断的高斯噪声去除的数据保真项。${{\boldsymbol R}_{i}}{\boldsymbol{x}} = {{\boldsymbol{X}}_i} = [{{\boldsymbol{x}}_{i,1}},{{\boldsymbol{x}}_{i,2}}, \cdots ,{{\boldsymbol{x}}_{i,c}}]$表示第$i$个组，它是第$i$个样本块${x_i}$按降序搜索到的$c$个相似图像块构建而成。$\eta$是一个尺度因子。值得注意的是，本文的这里以及剩余部分，当某些索引变量括在大括号中时，它表示索引范围内所有变量的集合，例如式(11)中的$\left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\}$表示$\left\{ {{{\hat {\boldsymbol{A}}}_i}} \right\}_{i = 1}^K$。在此，继续使用交替最小化算法^[8]来求解式(11)。可以看到，式(11)中图像的高斯噪声去除问题可以转化为求解3个子问题，即$x$, ${{\boldsymbol{A}}_i}$和${{\boldsymbol{L}}_i}$子问题，在3.2节已经介绍了如何求解${{\boldsymbol{A}}_i}$和${{\boldsymbol{L}}_i}$子问题。对于$x$子问题，通过固定${{\boldsymbol{A}}_i}$，这时$x$子问题的解可以通过求解式(12)所示最小问题获得，即

很明显，式(12)本质上是一个严格的凸二次函数最小化问题，它有一个闭合解，即

其中，${\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol R}_{i}} = \displaystyle\sum\nolimits_{j = 1}^c {{\boldsymbol{R}}_{i,j}^{\mathrm{T}}{{\boldsymbol{R}}_{i,j}}}$，并且${\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol{D}}_i}{{\boldsymbol{A}}_i} = \displaystyle\sum\nolimits_{j = 1}^c {{\boldsymbol{R}}_{i,j}^{\mathrm{T}}{{\boldsymbol{D}}_{i,j}}{{\boldsymbol{A}}_{i,j}}}$。值得注意的是，由于$\left( {\dfrac{1}{\eta } \displaystyle\sum\nolimits_{i = 1}^K {{\boldsymbol R}_{i}^{\mathrm{T}}{{\boldsymbol R}_{i}} + {\boldsymbol{I}}} } \right)$本质上是一个对角矩阵，${\boldsymbol{x}}$子问题可以通过逐元素除法来有效地求解。

4.2   LRJS模型用于泊松噪声去除

泊松噪声具有信号依赖性和乘性特性，这与加性高斯白噪声明显不同^[19,25]。一般来说，泊松噪声的概率分布函数可以表示为

其中，${\boldsymbol{y}}$和${\boldsymbol{x}}$分别表示泊松噪声污染的图像和无噪声图像。${{\boldsymbol{x}}_i}$和${{\boldsymbol{y}}_i}$分别是${\boldsymbol{x}}$和${\boldsymbol{y}}$的第$i$个元素。${\delta }_{0}(\cdot)$表示克朗克尔三角函数^[19]。基于MAP框架并调用式(2)中提出的LRJS模型，这时泊松噪声去除的图像去噪问题可以表示为

其中，式(15)中的第1项表示基于MAP推断的泊松去噪的数据保真项，也称为Csiszar I散度模型^[19]，已被广泛地应用于泊松噪声去噪算法中^[19,25]。$\lt , \gt$表示标准的内积。与式(11)中的高斯噪声去除问题类似，交替最小化算法^[1]也被用于求解式(15)。具体地，式(15)可以分解为3个子问题，即$x$, ${{\boldsymbol{A}}_i}$和${{\boldsymbol{L}}_i}$子问题。3.2节已经介绍了如何求解${{\boldsymbol{A}}_i}$子问题和${{\boldsymbol{L}}_i}$子问题。给定${{\boldsymbol{A}}_i}$，式(15)中泊松噪声去噪的${\boldsymbol{ }}x$子问题被简化为

可以观察到，由于Csiszar I发散模型的存在^[19]，直接求解式(16)是相当困难的。为此，一种有效的交替方向乘法(Alternating Direction Method of Multiplier, ADMM)^[26]算法被用来求解基于LRJS模型的泊松噪声去除任务中的${\boldsymbol{x}}$子问题。具体来说，通过引入一个辅助变量${\boldsymbol{z}} = {\boldsymbol{x}}$，式(16)可以改写成式(17)所示的约束形式

通过调用ADMM算法，这时求解式(17)被转换成如式(18)–式(20)所示3个步骤

其中，${\boldsymbol{g}}$是拉格朗日乘子，$\alpha$是尺度因子。可以明显看出，提出的基于LRJS模型的泊松噪声去噪任务中的${\boldsymbol{x}}$子问题被转化为求解两个子问题，即${\boldsymbol{x}}$和${\boldsymbol{z}}$。幸运的是，这两个问题都有有效的解决方案，下面将对其进行介绍。

4.2.1   $z$子问题

给定${{\boldsymbol{A}}_i}$, ${\boldsymbol{g}}$和$x$，可以看出求解式(19)中的${\boldsymbol{z}}$子问题本质上是一个严格的凸二次函数最小化问题，它有一个闭合解，即

4.2.2   ${\boldsymbol{x }}$子问题

通过固定${\boldsymbol{z}}$和${\boldsymbol{g}}$，可以观察到式(18)中的${\boldsymbol{x}}$子问题对于每个元素都有独立的点对点解，可以表示为

其中，${b_i}$是任意${\boldsymbol{b}}$的第$i$个元素。很明显地，式(22)的解可以通过将梯度设置为0来获得，从而得到式(23)的二次方程，

可以观察到，式(23)的解有两个实根，由于${x_i} \gt 0$的约束，选择正根。因此，式(23)的解可以通过式(24)获得，

其中，${r_i} = {z_i} + {g_i} - \alpha$。

4.3   自适应参数

对于提出的LRJS的图像去噪模型，即式(11)用于高斯噪声去除和式(15)用于泊松噪声去除。可以清楚地看到，在提出的图像去噪模型中有4个超参数，即$\eta$, $\mu$, $\lambda$和$\tau$。一般来说，对于这些参数通常通过经验策略给它们赋予固定的值，然而，这可能导致整个算法的不稳定。为此，本文提出一种自适应参数调整策略，使得提出的图像去噪算法更加的稳定和实用。具体来说，在每次迭代中，二次项的参数$\eta$,$\mu$与噪声的标准差${\sigma _e}$成正比，即

其中，$k$表示第$k$次迭代，并且$\rho$和$\beta$表示尺度因子。可以观察到，参数$\eta$和$\mu$依赖于标准差${\sigma _e}$的估计。在本文中，一种迭代正则化策略^[1]被用来估计$\sigma _e^{(k)}$，即

其中，$\psi$表示尺度因子。

由于噪声标准差${\sigma _n}$在泊松去噪任务中是不可用的，因此本文采用中值准则^[27]来估计它。给定一个小波变换，其中${{{\hat {{m}}}}_{{\mathrm{HH}}}}$是泊松噪声污染图像${\boldsymbol{y}}$在最精细的小波变换层次上的高-高系数，则噪声标准差可以通过下式来估计

其中，${\text{median}}(|{{{\hat {{m}}}}_{{\text{HH}}}}|)$表示${{{\hat {{m}}}}_{{\text{HH}}}}$绝对值的中位数^[27]。

此外，在每次迭代计算中，本文分别通过以下方式自适应地调整稀疏惩罚项和LR惩罚项的正则化参数$\lambda$和$\tau$^[22]，即

其中，${\psi _i}$和${\omega _i}$分别表示${\hat {\boldsymbol{A}}_i}$和${\hat \Delta _i}$的估计标准差。$\varepsilon$表示小常数以避免分母为0。

至此，本文已经使用具有自适应参数调整策略的交替最小化算法，求解基于LRJS模型的图像去噪问题，包括高斯噪声去除和泊松噪声去除。提出的LRJS模型用于高斯噪声去除和泊松噪声去除的详细步骤如算法1与算法2所示。

表 1  基于LRJS的高斯噪声去除算法

输入：噪声图像${\boldsymbol{y}}$。
初始化：${\sigma _n}$, ${\hat {\boldsymbol{x}}^0} = {\boldsymbol{y}}$, ${{\boldsymbol{y}}^0} = {\boldsymbol{y }}$。
For $k = 1$ do
迭代正则调整： ${\boldsymbol{{y}}^k} = {\hat {\boldsymbol{x}}^{(k - 1)}} + \gamma ({\boldsymbol{y}} - {\hat {\boldsymbol{x}}^{(k - 1)}})$。
更新噪声标准差${\sigma _e}$通过式(26)。
For 噪声图像${\boldsymbol{y}}$中每个块${y_i}$ do
收集相似块生成一个组${{\boldsymbol{Y}}_i}$。
使用PCA从组${{\boldsymbol{Y}}_i}$中学习一个字典${{\boldsymbol{D}}_i}$。
获得组稀疏${{\boldsymbol{A}}_i}$通过计算${{\boldsymbol{A}}_i} = {\boldsymbol{D}}_i^{\mathrm{T}}{{\boldsymbol{Y}}_i}$。
对组稀疏${{\boldsymbol{A}}_i}$执行SVD：$[{{\boldsymbol{U}}_i},{\Delta _i},{{\boldsymbol{V}}_i}] = {\text{SVD}}({{\boldsymbol{A}}_i})$。
更新参数$\mu$通过计算式(25)。
更新参数$\tau$通过计算式(28)。
估计LR矩阵${\hat {\boldsymbol{L}}_i}$通过计算式(9)。
更新参数$\eta$通过计算式(25)。
更新参数$\lambda$通过计算式(28)。
估计组稀疏系数${\hat {\boldsymbol{A}}_i}$通过计算式(5)。
End for
估计噪声图像$\hat {\boldsymbol{x}}$通过计算式(13)。
End for
输出：最终的去噪图像$\hat {\boldsymbol{x}}$。

下载: 导出CSV 

| 显示表格

表 2  基于LRJS的泊松噪声去除算法

输入：噪声图像${\boldsymbol{ y}}$。
初始化：估计${\sigma _n}$通过计算式(27)，${\hat {\boldsymbol{x}}^0} = {\boldsymbol{y}}$，${{\boldsymbol{y}}^0} = {\boldsymbol{y}}$。
For $k = 1$ do
迭代正则调整： ${{\boldsymbol{y}}^k} = {\hat {\boldsymbol{x}}^{(k - 1)}} + \gamma ({\boldsymbol{y}} - {\hat {\boldsymbol{x}}^{(k - 1)}})$。
更新噪声标准差${\sigma _e}$通过式(26)。
For 噪声图像${\boldsymbol{y}}$中每个块${y_i}$ do
收集相似块生成一个组${{\boldsymbol{Y}}_i}$。
使用PCA从组${{\boldsymbol{Y}}_i}$中学习一个字典${{\boldsymbol{D}}_i}$。
获得组稀疏${{\boldsymbol{A}}_i}$通过计算${{\boldsymbol{A}}_i} = {\boldsymbol{D}}_i^{\mathrm{T}}{{\boldsymbol{Y}}_i}$。
对组稀疏${{\boldsymbol{A}}_i}$执行SVD：$[{{\boldsymbol{U}}_i},{\Delta _i},{{\boldsymbol{V}}_i}] = {\text{SVD}}({{\boldsymbol{A}}_i})$。
更新参数$\mu$通过计算式(25)。
更新参数$\tau$通过计算式(28)。
估计LR矩阵${\hat {\boldsymbol{L}}_i}$通过计算式(9)。
更新参数$\eta$通过计算式(25)。
更新参数$\lambda$通过计算式(28)。
估计组稀疏系数${\hat {\boldsymbol{A}}_i}$通过计算式(5)。
End for
调用ADMM算法：
初始化：${\boldsymbol{g }}= {{\textit{0}}}$，${\boldsymbol{ z}} = {\hat {\boldsymbol{x}}^{(k)}}$。
更新$\hat {\boldsymbol{z}}$通过计算式(21)。
更新$\hat {\boldsymbol{x}}$通过计算式(24)。
更新$\hat {\boldsymbol{g}}$通过计算式(20)。
End for
输出：最终的去噪图像$\hat {\boldsymbol{x}}$。

下载: 导出CSV 

| 显示表格

5.   实验结果

本节通过一系列数值实验来验证提出的LRJS图像去噪算法的性能，这些实验包括高斯噪声去除和泊松噪声去除。用峰值信噪比(Peak-Signal-to-Noise-Ratio, PSNR)来衡量不同去噪算法的客观质量指标。所有比对方法都使用了原作者源代码的默认参数设置。本文的一些测试图像如图3所示。由于人类视觉系统对彩色图像的亮度变化更为敏感，因此本文只关注彩色图像亮度通道的恢复。

图 3  实验中的一些测试图像

下载: 全尺寸图片 幻灯片

5.1   高斯噪声去除

本节评估提出的LRJS算法用于高斯噪声去除的性能。提出的LRJS算法首先与9种流行的或者先进的图像去噪算法进行比较，包括BM3D^[7], LSSC^[12], EPLL^[28], NCSR^[22], GID^[29], PGPD^[10], aGMM^[30], OGLR^[31]和NLNCDR^[32]。值得注意的是，所有的比对方法都使用了图像的NSS先验^[3]，并且LSSC方法还是一种先进的基于JS模型的图像去噪方法。通过测试图3中的12幅广泛使用的图像，来评估所有方法的去噪性能。更具体地说，通过向这12幅测试图像中添加零均值加性高斯白噪声来生成噪声图像，并给出3种不同噪声的去噪结果，即${\sigma _{\boldsymbol{n}}}$＝20，40，75和100。所有比对方法的平均PSNR结果如表1所示，可以观察到，相比于其他的方法，提出的LRJS方法获得更好的PSNR结果。视觉比较结果如图4所示。可以观察到，BM3D, LSSC, EPLL, GID, PGPD, aGMM和OGLR方法仍然存在不希望出现的视觉伪影，而NCSR和NLNCDR方法则容易出现图像过于平滑的情况。相比之下，提出的LRJS方法不仅可以保留更精细的图像细节，而且还可以有效地消除视觉伪影。此外，本文还评估了LRJS算法在Urban 100数据集^[33]上的去噪性能，该数据由100幅具有许多相似结构的图像组成。提出的LRJS算法与7种方法进行比较，包括BM3D^[7], NCSR^[22], PGPD^[10], OGLR^[31], Dn-CNN^[16], IRCNN^[17]和FFDNet^[18]。值得注意的是，Dn-CNN, IRCNN和FFDNet是3种先进的基于深度学习的高斯噪声去除方法。所有比较方法去噪的平均PSNR结果如表2所示。可以看出，提出的LRJS算法在所有噪声水平下始终优于其他的方法。视觉比较结果如图5所示。可以观察到，BM3D, NCSR, PGPD和OGLR方法都易于生成一些视觉块效应，尤其是NCSR, PGPD和OGLR方法中具有明显的振铃块效应。此外，Dn-CNN, IRCNN和FFDnet方法通常会过度平滑去噪图像。相比之下，可以清楚地看到，提出的LRJS算法不仅有效地消除噪声，而且还保留了精细的图像细节。

表 1  不同方法用于高斯噪声去除的平均PSNR比较结果(dB)

${\sigma _{\boldsymbol{n}}}$	BM3D	LSSC	EPLL	NCSR	GID	PGPD	aGMM	OGLR	NLNCDR	LRJS
20	31.20	31.36	30.72	31.26	30.25	31.30	31.04	31.05	30.44	31.56
40	27.53	27.77	27.16	27.66	26.65	27.79	27.37	27.69	27.04	28.02
75	24.66	24.56	24.01	24.47	23.20	24.71	24.17	24.41	24.02	24.90
100	23.30	23.09	22.66	23.00	21.56	23.36	22.81	22.69	22.72	23.62

下载: 导出CSV 

| 显示表格

图 4  图像House在噪声标准差为100时，不同方法的去噪视觉比对结果

下载: 全尺寸图片 幻灯片

表 2  不同方法测试Urban100数据集用于高斯噪声去除的平均PSNR比较结果(dB)

${\sigma _{\boldsymbol{n}}}$	BM3D	NCSR	PGPD	OGLR	Dn-CNN	IRCNN	FFDNet	LRJS
10	33.39	33.66	33.40	32.94	33.83	33.65	33.42	34.25
20	29.50	29.68	29.47	29.27	29.75	29.64	29.61	30.16
30	27.33	27.39	27.19	27.18	27.44	27.40	27.49	27.85
40	25.44	25.77	25.70	25.67	25.86	25.90	26.03	26.28
50	24.55	24.59	24.59	24.51	24.77	24.75	24.93	25.07
平均	28.04	28.22	28.07	27.91	28.33	28.27	28.30	28.72

下载: 导出CSV 

| 显示表格

图 5  图像Urban25在噪声标准差为50时，不同方法的去噪视觉比对结果

下载: 全尺寸图片 幻灯片

5.2   泊松噪声去除

本节测试提出的LRJS算法用于泊松噪声去除。一般来说，泊松噪声去噪方法通常分为两类：间接方法^[16,20]和直接方法^[19,25]。前者通常通过使用方差稳定变换(Variabce-Stabilizing transform, VST)^[34]操作来消除泊松噪声的信号依赖性，然后利用高斯噪声算法来恢复潜在的干净图像。然而，当这种间接方法受到较少光子计数率的影响时，其去噪性能将迅速恶化。提出的LRJS算法属于直接方法，它直接研究泊松噪声的统计属性。

提出的LRJS方法与5种先进的方法在泊松噪声去除任务中进行比较，包括TNRD^[20], Dn-CNN^[16], IRCNN^[17], LRPD^[25]和LRS^[19]。值得注意的是，TNRD, Dn-CNN和IRCNN是使用VST预处理^[34]的间接泊松噪声去噪方法，它们是先进的高斯噪声去除方法。LRPD, LRS和提出的LRJS方法直接基于泊松噪声的统计，并且它们都使用图像的NSS先验^[3,7]。尤其是，LRS获得了非常优越的去噪结果，它利用了每个图像组的低秩属性。为了评估所有方法的去噪性能，我们在如图3所示的17幅图像(包括9幅具有高相似性结构的Urban图像)进行了测试，所有比对方法的平均PSNR结果如表3所示。可以看到，提出的LRJS方法比其他方法获得更好的PSNR结果。图6展示图像Barbara的视觉比较结果。可以观察到，TNRD和Dn-CNN方法通常会使图像过度平滑，而IRCNN和LRPD方法则容易产生不良的视觉伪影。虽然LRS方法比TNRD, Dn-CNN, IRCNN和LRPD方法恢复更多的图像细节，但它不能有效地消除泊松噪声。相比之下，提出的LRJS算法不仅能显著地消除泊松噪声，还能有效地保留细小的图像结构和细节。

表 3  不同方法用于泊松噪声去除的平均PSNR比较结果(dB)

$P$	TNRD	Dn-CNN	IRCNN	LRPD	LRS	LRJS
5	19.50	22.31	22.78	21.66	22.23	23.56
10	23.58	23.22	24.67	23.63	24.61	25.44
15	24.11	25.47	25.81	24.29	25.93	26.54
20	24.40	25.95	26.54	25.39	26.83	27.44

下载: 导出CSV 

| 显示表格

图 6  图像Barbara伴随着像素强度峰值$P = 5$的泊松噪声的不同方法的去噪视觉比对结果

下载: 全尺寸图片 幻灯片

5.3   真实图像去噪

本节展示了提出的LRJS算法在真实图像去噪任务中的应用。将提出的LRJS方法与N2N方法^[35]进行比较，N2N方法是一种先进的真实图像去噪方法。从图7和图8可以观察到，与N2N方法相比，提出的LRJS方法能够恢复更多的图像细节，并且能够消除不必要的视觉块效应。同时，一种盲图像质量指标(Blind/Referenceless Image Spatial Quality Evalu-ator, BRISQUE^[36])被用来评估不同方法的真实去噪性能。需要注意的是，BRISQUE值越低，去噪效果越好。从图7和图8可以看出，提出的LRJS算法获得的BRISQUE值小于N2N方法。因此，提出的LRJS算法能够胜任真实的图像去噪任务。

图 7  真实图像去噪场景1

下载: 全尺寸图片 幻灯片

图 8  真实图像去噪场景2

下载: 全尺寸图片 幻灯片

5.4   消融学习

本节通过删除提出的基于LRJS的图像去噪模型中的LR部分进行消融学习。换句话说，将提出的LRJS模型(即式(2))与JS模型^[12](即式(1))进行比较。通过利用LRJS与JS模型执行两种去噪任务，即高斯噪声去除和泊松噪声去除。表4展示LRJS和JS方法在Set12数据集^[16]上去噪的平均PSNR结果。可以看出，在所有噪声情况下，提出的LRJS比JS方法取得更好的PSNR结果。因此，这项消融学习证明了提出的LRJS模型同时使用每个图像组的JS和LR属性的有效性。

表 4  消融学习：JS和提出的LRJS模型在Set12数据集上用于图像去噪的平均PSNR结果(dB)

高斯噪声去除										泊松噪声去除
${\sigma _{\boldsymbol{n}}}$	10	20	30	40	50	75	100	平均		$P$	1	5	10	15	20	25	30	平均
JS	34.30	31.02	29.06	27.78	26.74	24.96	23.68	28.22		JS	19.37	23.65	25.10	26.29	27.01	27.58	27.93	25.28
LRJS	34.54	31.14	29.21	27.87	26.80	24.98	23.73	28.32		LRJS	20.07	23.86	25.40	26.41	27.14	27.69	28.09	25.52

下载: 导出CSV 

| 显示表格

6.   结束语

传统的基于JS模型的图像去噪方法利用松驰的凸惩罚损失函数只能得到近似的稀疏解，无法严格施加行间相关性(即低秩性)，从而导致图像去噪质量不理想。本文提出了一种新颖的LRJS模型用于图像去噪，该模型在一个统一的框架下，同时利用非局部相似块(形成一个组)的JS和LR属性。此外，本文提出了一种具有自适应参数调整策略的交替最小化算法，求解提出的图像去噪问题。在两个图像去噪任务(包括高斯噪声去除和泊松噪声去除)上的实验结果表明，提出的LRJS算法在客观质量和感知质量上都优于许多流行或先进的图像去噪方法。