A Dual-Channel Deep Convolutional Neural Network Model for Random-Valued Impulse Noise Removal

Shaoping XU; Zhenyu LIN; Yan CUI; Ruirui LIU; Xiaohui YANG

doi:10.11999/JEIT190796

Volume 42 Issue 10

Oct. 2020

Turn off MathJax

Article Contents

Article Navigation > Journal of Electronics & Information Technology > 2020 > 42(10): 2541-2548

Huang Ruji. REALIZATION OF DIRECTED FUNDAMENTAL CUTSET MATRIX BY HYPERGRAPH THEORY[J]. Journal of Electronics & Information Technology, 1992, 14(1): 50-60.

Citation:

Shaoping XU, Zhenyu LIN, Yan CUI, Ruirui LIU, Xiaohui YANG. A Dual-Channel Deep Convolutional Neural Network Model for Random-Valued Impulse Noise Removal[J]. Journal of Electronics & Information Technology, 2020, 42(10): 2541-2548. doi: 10.11999/JEIT190796

Huang Ruji. REALIZATION OF DIRECTED FUNDAMENTAL CUTSET MATRIX BY HYPERGRAPH THEORY[J]. Journal of Electronics & Information Technology, 1992, 14(1): 50-60.

Citation:

PDF( 3232 KB)

A Dual-Channel Deep Convolutional Neural Network Model for Random-Valued Impulse Noise Removal

doi: 10.11999/JEIT190796

School of Information Engineering, Nanchang University, Nanchang 330031, China

Funds: The National Natural Science Foundation of China (61662044, 61163023), The Natural Science Foundation of Jiangxi Province (20171BAB202017)

Received Date: 2019-10-16
Rev Recd Date: 2020-07-20

Available Online: 2020-07-30

Publish Date: 2020-10-13

Abstract

Abstract

A Dual-channel Denoising Convolutional Neural Network (D-DnCNN) model for the removal of Random-Valued Impulse Noise (RVIN) is proposed. To obtain the reference image quickly, several Rank-Ordered Logarithmic absolute Difference (ROLD) statistics and one edge feature statistic are first extracted from a local window to construct a RVIN-aware feature vector which can describe the central pixel of the patch is RVIN or not. Next, a noise detector based on Deep Belief Network (DBN) is trained to map the extracted feature vectors to their corresponding noise labels to detect all noise-like pixels in the observed image. Then, under the guidance of noise labels, the Delaunay triangulation-based interpolation algorithm is exploited to restore all detected noise-like pixels quickly and generate a preliminary restored image used as reference image. Finally, the reference image and the noisy image are simultaneously fed into the D-DnCNN model to output its corresponding residual image, and the final restored image can be obtained by subtracting the residual image from the noisy image. Extensive experimental results show that, the denoising effect of the proposed D-DnCNN denoising model outperforms the existing state-of-art switching ones across a range of noise ratios, and it also works better than the ordinary single-channel DnCNN model.
- Image processing,
- Random-Valued Impulse Noise(RVIN),
- Dual-channel Denoising Convolutional Neural Network(D-DnCNN),
- Reference image,
- Noise-aware feature,
- Noise detection,
- Interpolation

FullText(HTML)

1. 引言

现有随机脉冲噪声(Random-Valued Impulse Noise, RVIN)降噪算法^[1]大多数属于所谓的开关型算法，其内部含有显式或隐式的噪声检测模块。图像中的像素点只有在被噪声检测模块^[2]判定为噪声后，才会启动复原操作。早期，根据中心像素点与其邻域像素点之间具有强相关性的统计规律，研究者们提出了一类基于局部统计特征(Local Image Statistic, LIS)统计值^[3-5]的RVIN噪声检测与降噪方法。例如，Garnett等人^[3]提出了一种基于绝对差值排序(Rank-Ordered Absolute Difference, ROAD)统计特征的降噪算法。ROAD统计值是指当前局部窗口中心像素点与其邻域像素点亮度值之间的前 $m$ 个最小绝对差值累积和，将其与预设阈值进行比较即可判断中心像素点是否受RVIN噪声干扰。随后，Dong等人^[4]对ROAD统计值进行对数变换后得到了对数差值排序(Rank-Ordered Logarithmic absolute Difference, ROLD)统计值。ROLD统计值进一步放大了噪声与非噪声之间的差异，能够检测出更多ROAD检测器未能检测出的噪声点。在此基础上，利用边缘保持正则化(Edge-Preserving Regularization, EPR)技术实现RVIN噪声的去除。为获得较高的检测正确率和较好的复原效果，ROLD-EPR算法采用迭代策略实现，在迭代过程中不断下调阈值检测新的噪声点并用EPR技术进行复原。虽然ROLD-EPR算法的降噪效果不错，但是迭代的实现策略使得它的执行效率偏低。近年来，鉴于机器学习强大的非线性逼近能力以及泛化能力，在RVIN噪声检测方面取得了许多成功的应用实例。例如，在文献[5]中，研究者利用支持向量机构建的检测模型直接基于LIS图像特征给出相应的噪声标签，然后根据噪声检测结果利用修复(inpainting)算法对噪声图像进行复原，执行效率比较高。类似地，文献[6]利用人工神经网络实现RVIN噪声的检测。虽然执行效率比较高，但是检测正确率有待提高。总之，对于开关型的RVIN降噪算法来说，噪声检测精度是影响开关型脉冲噪声降噪算法性能的关键影响因素。

近年来，DnCNN^[7], FFDNet^[8]和CBDNet^[9]等基于数据驱动的卷积神经网络(Convolutional Neural Network, CNN)降噪模型在图像降噪领域表现出了比传统方法更优的降噪效果。例如，Zhang等人^[7]提出了一个基于深度卷积神经网络的降噪网络(Denoising Convolutional Neural Network, DnCNN)模型。DnCNN模型以噪声图像及其对应的残差图像(噪声图像与无失真图像之间的差值图像)作为模型的输入与输出，采用残差学习(residual learning)技术训练模型参数。模型训练完成后，将噪声图像减去模型所获得的残差图像即可得到复原图像。该方法具有较好的降噪能力和较高的执行效率。从文献[7-9]所提出的各种网络降噪模型可知，深度卷积神经网络具有强大的非线性映射能力，能够充分利用从大量训练数据中获得的先验知识完成图像降噪任务。虽然他们原本是用于处理高斯噪声的降噪算法，但将训练对(Training Pairs, TP)中输入图像调整为受RVIN干扰的噪声图像，也可用于处理RVIN噪声，且在GPU(Graphics Processing Unit)并行计算技术支持下可以具有极高的执行效率。总的来说，受GPU支持的CNN深度降噪网络模型表现出了比经典RVIN降噪算法更优的降噪能力，且具有更高的执行效率。因此，利用CNN端到端非开关型技术实现RVIN噪声的快速去除是一个非常有潜力的研究方向，可以避免人工提取特征值及人工设置阈值并可提高RVIN降噪算法的执行效率。尽管如此，这类基于CNN卷积神经网络训练的非开关型RVIN降噪模型在结构上仅以噪声图像本身作为降噪网络的输入，可利用的信息比较有限，在一定程度上影响了降噪效果。

受文献[10]中为提高开关型RVIN降噪算法的降噪效果而引入所谓参考图像(reference image)的启发，本文提出了一种基于残差学习(residual learning)和端到端训练技术的双通道非开关型降噪卷积神经网络(Dual-channel Denoising Convolutional Neural Network, D-DnCNN)模型用于RVIN的降噪。D-DnCNN降噪模型所采用的网络结构与参数配置与文献[7]中的DnCNN模型结构基本相同，最大的区别在于网络的输入部分，其接受噪声图像及其对应的参考图像(噪声图像的初步复原图像)两幅图像作为模型输入(即双通道)。实验结果表明：与主流的开关型RVIN降噪算法相比，引入参考图像的D-DnCNN非开关型深度RVIN降噪模型的降噪性能提升显著。相较于普通的单通道DnCNN降噪模型也很明显，充分表明了引入参考图像对RVIN深度降噪模型性能的提升是有极大帮助的。相较于文献[10]中使用参考图像的复杂过程，参考图像在D-DnCNN模型中作为输入噪声图像的补充(仅需经简单的联接操作后输入模型即可)，在使用方式上非常简便。

2. ROLD统计值

ROLD统计值是由Dong等人在文献[4]中首次提出的一种LIS统计值，该统计特征值是构建各类RVIN噪声检测器的基础，在之后的各类RVIN降噪算法中得到了广泛的应用。具体地，假设 ${y_{i,j}}$ 表示噪声图像中的某个像素点，以该像素点为中心的局部窗口的大小为 $\left( {2N + 1} \right) \times \left( {2N + 1} \right)$ ，则该窗口内像素点的坐标集合可以定义为

${\varOmega _N} = \left\{ {\left( {s,t} \right)| - N \le s,t \le N} \right\}$

(1)

这样，符号 $\varOmega _N^0 = {\varOmega _N}\backslash \left( {0,0} \right)$ 用来表示去心的邻域坐标集合。将当前像素点与其邻域像素点亮度值之间的绝对差值的对数记为

${\tilde D_{s,t}}({y_{i,j}}) = {\log _a}|{y_{i + s,j + t}} - {y_{i,j}}|,\forall (s,t) \in \varOmega _N^0$

(2)

从式(2)可知， $\forall a > 1$ , ${\tilde D_{s,t}}$ 的取值均在 $( - \infty ,0]$ 区间内。因此，应用截断函数和线性变换函数将 ${\tilde D_{s,t}}$ 的取值范围控制在 $[0,1]$ 之间

$\begin{split} {D_{s,t}}({y_{i,j}}) \equiv & 1 + \dfrac{{\max \{ {{\log }_a}|{y_{i + s,j + t}} - {y_{i,j}}|, - b\} }}{b},\\ & \forall (s,t) \in \varOmega _N^0 \end{split}$

(3)

其中，参数 ${{a}}$ 和 ${{b}}$ 这两个参数被设置为 ${{a = 2}}$ , ${{b = 5}}$ 。该参数设置能反映出若像素点之间亮度值相差 ${\rm{8/256 = (1/2}}{{\rm{)}}^5}$ (图像中像素点亮度值的取值范围需归一化为[0,1]之间)将不会引起人眼注意的特点。对于 $\forall (s,t) \in \varOmega _N^{\rm{0}}$ ，将窗口内所有的 ${D_{s,t}}$ 进行升序排序，且第 $k$ 个最小的 ${D_{s,t}}$ 记为 ${R_k}({y_{i,j}})$ 。这样，ROLD统计值可以被定义为前 $m$ 个最小对数绝对差值之和

${\rm{ROL}}{{\rm{D}}_m}({y_{i,j}}) = \sum\limits_{k = 1}^m {{R_k}({y_{i,j}})}$

(4)

将当前中心像素点的ROLD值与预设阈值 $T$ 进行大小比较即可用于判定出当前像素点是否为噪声

$L({y_{i,j}}) = \left\{ \begin{aligned} & {1,}\ \ {{\rm{ROL}}{{\rm{D}}_m}({y_{i,j}}) > T} \\ & {0,}\ \ {{\rm{ROL}}{{\rm{D}}_m}({y_{i,j}}) \le T} \end{aligned} \right.$

(5)

其中，标签1表示噪声，0为正常像素点。由式(5)的工作原理可知，其检测结果与阈值 $T$ 的取值密切相关。对于一张噪声图像来说，很难依据一个固定阈值将所有的RVIN噪声检出，文献[4]中提出的ROLD-EPR降噪算法通过设置多个阈值采用迭代方式逐步检测出噪声像素点。故降噪性能受阈值设置影响，且执行效率比较低。

3. 双通道RVIN深度降噪模型

3.1 基本思想与实现步骤

考虑到噪声图像本身所蕴含的信息有限，受开关型RVIN降噪算法为提高降噪效果引入所谓参考图像^[10]的启发，本文拟在DnCNN降噪模型^[7]的输入层增加一个辅助(参考图像)通道，借助参考图像中所包含的关于无失真图像近似的结构信息和纹理细节来补充噪声图像中丢失的特征信息，强化DnCNN网络模型的降噪能力以及泛化能力，这种方法被称之为基于双通道卷积神经网络的RVIN降噪模型(即D-DnCNN模型)。

D-DnCNN模型完成RVIN降噪的核心的工作是参考图像制备。为获得参考图像，首先采用预训练的深度置信网络(Deep Belief Network, DBN)^[11]噪声检测器得到给定噪声图像对应的噪声标签二值掩模矩阵(mask)。与文献[6]相比，使用描述能力更强大的特征矢量和噪声标签映射网络使得本文所提出的DBN噪声检测器能具有更高的检测正确率。然后，依据噪声标签掩模矩阵利用Delaunay三角剖分插值算法即可快速获得初步复原图像作为参考图像使用。最后，将噪声图像本身和参考图像两者联接(concatenate)在一起输入预先训练的D-DnCNN模型，之后把参考图像减去D-DnCNN降噪模型的输出即可获得最终的复原图像。

与普通单通道DnCNN降噪模型利用残差图像方式不同，D-DnCNN模型使用参考图像而不是噪声图像减去模型输出(即残差图像)获得最终的复原图像，有利于获得更好的降噪效果。这是因为参考图像相对于噪声图像来说，图像质量高出很多，包含了大量与无失真图像近似的纹理边缘细节信息。另外，与开关型RVIN降噪算法使用参考图像时复杂的处理过程相比，D-DnCNN模型这部分工作体现在深度卷积网络的参数中。一旦模型训练完成，在降噪时网络模型参数无需用户再设置，使用上非常方便。

3.2 制备参考图像

3.2.1 RVIN噪声特征矢量

由上文可知，ROLD噪声检测器仅使用 ${\rm{ROL}}{{\rm{D}}_m}$ 值与预设阈值 $T$ 进行比较以判定中心像素点是否受噪声干扰。然而， ${\rm{ROL}}{{\rm{D}}_m}$ 单一的1个特征值描述能力比较弱，使得噪声检测器的错检率和漏检率较高。通过研究发现：若将 ${\rm{ROL}}{{\rm{D}}_1}$ ～ ${\rm{ROL}}{{\rm{D}}_m}$ 这 $m$ 个不同阶统计值组合起来构成刻画局部窗口中心像素点是否为噪声的特征矢量 ${{F}} = \left( {{\rm{ROL}}{{\rm{D}}_1}{\rm{ ROL}}{{\rm{D}}_2}{\rm{ }} ··· \;{\rm{ROL}}{{\rm{D}}_m}} \right)$ ，有助于增强对RVIN噪声的描述能力，进而提高噪声检测的正确率。此外，考虑到ROLD检测器区分噪声点和边缘像素点的能力还有待进一步提高，引入一个用于描述图像边缘信息的特征，称为边缘特征统计值。边缘特征值形式上可描述为

${\rm{EF}} = {\log _2}\left( {\min \left( {\sum\limits_{k = 1}^{2K} {d_k^{\rm{h}}} ,\sum\limits_{n = 1}^{2K} {d_k^{\rm{v}}} ,\sum\limits_{n = 1}^{2K} {d_k^{\rm{l}}} ,\sum\limits_{n = 1}^{2K} {d_k^{\rm{r}}} } \right) + 1} \right)$

(6)

其中， $d_k^{\rm{h}}$ , $d_k^{\rm{v}}$ , $d_k^{\rm{l}}$ 和 $d_k^{\rm{r}}$ 分别表示中心像素点与其水平、垂直、左斜对角线及右斜对角线这4个方向上的邻域像素点之间的差值。假设局部窗口大小为 $K \times K$ ，中心像素点记为 ${y_{i,j}}$ ，则有

$d_k^{\rm{h}} = \left| {{y_{i,j}} - {y_{i,(j - K + k)}}} \right|$

(7)

$d_k^{\rm{v}} = \left| {{y_{i,j}} - {y_{(i - K + k),j}}} \right|$

(8)

$d_k^{\rm{l}} = \left| {{y_{i,j}} - {y_{(i - K + k),(j - K + k)}}} \right|$

(9)

$d_k^{\rm{r}} = \left| {{y_{i,j}} - {y_{(i - K + k),(j + K - k)}}} \right|$

(10)

其中， $0 \le k \le 2K$ 。如果边缘特征值较小，那么中心像素点 ${y_{i,j}}$ 属于边缘像素点，否则， ${y_{i,j}}$ 为噪声点。因此，从某一图块上提取的用于刻画中心像素点是否为RVIN噪声的统计特征矢量形式为

${{F}} = \left( {{\rm{ROL}}{{\rm{D}}_1}{\rm{ ROL}}{{\rm{D}}_2}{\rm{ }} ··· {\rm{ ROL}}{{\rm{D}}_m}{\rm{ EF}}} \right)$

(11)

3.2.2 检测模型的训练

从图块中提取出RVIN噪声特征矢量后，就可以基于DBN深度置信网络^[11]构建检测模型将该特征矢量准确而高效地映射为噪声标签。DBN网络通常由1个输入层、多个隐藏层以及1个输出层组成。其中，DBN网络中每两个相邻的隐藏层构成一个受限波尔曼机(Restricted Boltzmann Machine, RBM)，前一个RBM的输出作为下一个RBM的输入，依次堆叠构成映射能力很强的深层神经网络。为了构建基于DBN的噪声检测模型，首先对大量原始无失真图像添加不同比例的随机脉冲噪声构成噪声图像集，然后从噪声图像集中的每一张图像上提取若干个图块，所提取的图块大小参数为 $5 \times 5$ ，这是ROLD统计值获得最佳性能的参数值^[4]。从每个图块中提取描述其中心像素点是否为噪声的特征矢量并记录对应的噪声标签，共同构成训练数据集 $\left\{ {\left( {{{{F}}_1},{L_1}} \right)\left( {{{{F}}_2},{L_2}} \right) ··· \left( {{{{F}}_n},{L_n}} \right)} \right\}\! \!\subset\! {{{R}}^{m + 1}}\! \!\times\! {{R}}$ , ${L_i} \!\in\! \left\{ {0, 1} \right\}$ 。以特征矢量作为DBN网络的输入，噪声标签作为网络模型的输出，拟合得到一个函数 $\varphi ({{F}})$ 使得该噪声检测模型的预测值 ${\hat L_i}$ 逼近于目标值 ${L_i}$ 。根据不同网络参数配置下所训练的DBN噪声检测模型的检测准确率和执行效率，最终确定将DBN网络的输入层神经元个数设置为13(即12个ROLD统计值和1个EF特征值)，各隐含层神经元个数分别设置为8, 4和2(共使用3层RBM)，最后在回归层上重建输出得到最终的噪声标签。

为了验证所提出的DBN噪声检测模型的预测准确性是否满足制备参考图像的要求，在Set12测试图像集^[7]进行实验。分别使用DBN噪声检测模型对添加了20%, 40%和60%的RVIN噪声干扰的各个噪声图像上进行检测，并记录漏检像素点个数(Miss)、误检像素点个数(False)和检测准确率(Accuracy)，如表1所示。从表1可以看出，对添加了不同比例RVIN噪声干扰的各个图像，DBN检测模型的平均预测准确性基本上都达到了90%以上，这已经达到且超过了经典ROLD算法的性能^[4]，为后续利用Delaunay三角剖分插值算法制备参考图像打下了很好的基础。

表 1 DBN网络在Set12测试集图像上的预测准确性

图像	20%噪声			40%噪声			60%噪声			检测正确率均值
图像	False	Miss	Accuracy	False	Miss	Accuracy	False	Miss	Accuracy	检测正确率均值
Cameraman	838	2257	0.9528	1914	3952	0.9105	3863	4062	0.8791	0.9141
House	209	1896	0.9679	911	3665	0.9302	2430	4123	0.9000	0.9327
Peppers	400	2524	0.9554	1254	4402	0.9137	3462	4489	0.8787	0.9159
Starfish	536	3217	0.9427	1594	5753	0.8879	5558	4647	0.8443	0.8916
Monarch	489	2776	0.9502	1773	4788	0.8999	4291	4313	0.8687	0.9063
Airplane	1108	2516	0.9447	1979	4514	0.9009	4286	4203	0.8705	0.9054
Parrot	588	2723	0.9495	1877	4465	0.9032	4374	4204	0.8691	0.9073
Lena	755	8303	0.9654	2342	15574	0.9317	9976	17336	0.8958	0.9310
Barbara	2219	12393	0.9443	8329	22147	0.8837	25515	18555	0.8319	0.8866
Boat	1758	10620	0.9564	5318	19001	0.9072	16137	18645	0.8673	0.9103
Man	1714	9717	0.9564	3976	17712	0.9173	13760	18459	0.8771	0.9169
Couple	2027	11049	0.9501	5553	19695	0.9037	16993	19032	0.8626	0.9055

下载: 导出CSV

| 显示表格

3.2.3 参考图像的生成

如图1所示，对于给定一幅噪声图像，首先以光栅扫描方式顺序提取重叠图块(overlapped patches)，然后利用预训练的DBN噪声检测器判定各图块对应中心像素点的噪声标签，最后将噪声标签按照提取的逆顺序重组后即可构成二值噪声标签矩阵(Mask)，0表示像素点未受噪声干扰，1表示像素点受噪声干扰。在快速获得给定噪声图像的二值噪声标签矩阵后，即可利用Delaunay三角剖分插值算法依据噪声标签矩阵对噪声图像进行快速修复。如图2示，通过Delaunay插值简单复原受40%RVIN噪声干扰的Lena图像，复原图像(即图2(d))中所含有能引起人眼不适的噪声像素点已经明显减少了很多(尽管仔细观察还有一些)。图2(d)其峰值信噪比(Peak Signal to Noise Ratio, PSNR)值可以达到29.98 dB，这表明其与原始无失真图像图2(a)基本相似，故能提供大量有效的图像细节信息，以它作为参考图像可以为下一阶段的双通道D-DnCNN降噪打下坚实的基础。

图 1 基于DBN的噪声标签矩阵生成流程

下载: 全尺寸图片幻灯片

图 2 利用Delaunay三角剖分插值算法对Lena噪声图像复原效果

下载: 全尺寸图片幻灯片

3.3 带参考通道的DnCNN模型

如图3所示，在DnCNN网络模型的基础上增加了一条辅助通道(第1个卷积层的卷积核大小改为 $3 \times 3 \times 2$ ，接受2个通道的图像数据，其余模型参数均保持不变)，得到D-DnCNN双通道降噪卷积神经网络模型。现有包括DnCNN降噪模型在内的各种深度降噪模型的输入通常只有给定噪声图像，网络训练学习的难度较大。与此不同，本文利用Delaunay插值算法复原的图像作为参考图像，与噪声图像组合共同输入到DnCNN深度卷积神经网络模型中，输出仍然为残差图像。参考图像中包含了更多的与无失真图像相似的边缘纹理细节，可用来补充噪声图像中丢失的细节信息并减低网络训练学习的难度，从而实现一种降噪能力更强的RVIN降噪模型。D-DnCNN深度模型结构(除增加1个输入通道外)以及训练参数设置与DnCNN模型相同。

图 3 带辅助通道的CNN深度卷积神经网络的RVIN降噪模型框架

下载: 全尺寸图片幻灯片

4. 实验分析

4.1 测试配置

为了验证所提出的基于双通道卷积神经网络RVIN降噪模型的降噪能力和执行效率，将其与ROLD-EPR算法^[4]、ASWM算法^[12]、ROR-NLM算法^[13]、WCSR算法^[14]、ALOHA算法^[15]、WIN5-RB算法^[16]、RED-Net算法^[17]和LSM-NLR算法^[18]进行比较。此外，为了验证利用参考图像辅助的双通道D-DnCNN降噪模型是否比仅使用噪声图像作为输入的单通道CNN降噪模型(Single-channel Denoising Convolutional Neural Network, S-DnCNN)具有更强的降噪能力，将S-DnCNN降噪模型也列为对比算法，这样共有9种RVIN降噪算法参与对比，且在来自BSD(Berkeley Segmentation Dataset)数据库中的68张纹理图像集^[19]上完成对比实验。

4.2 降噪效果

首先，通过对原始BSD68无失真纹理图像分别施加10%～60%的RVIN噪声，计算不同噪声比例下各个RVIN降噪算法对噪声图像降噪后图像的PSNR均值，结果如表2所示，最优值加粗显示。从表2可以看出： D-DnCNN模型获得的降噪效果在绝大多数噪声比例上仍然是最优的，有显著优势。

表 2 不同噪声比例下各个降噪算法在BSD68测试图像集上所获得的PSNR均值 (dB)

算法	噪声比例(%)
算法	10	20	30	40	50	60
ROLD-EPR	30.24	28.26	26.97	25.96	25.04	23.98
ASWM	28.90	27.99	27.01	25.82	23.84	21.05
ROR-NLM	27.29	26.67	25.88	24.69	22.73	20.14
WCSR	30.11	27.93	26.55	25.51	24.52	23.49
ALOHA	31.75	29.04	25.13	23.74	21.81	18.79
WIN5-RB	34.67	31.46	29.02	27.11	25.46	23.68
RED-Net	33.11	30.68	28.87	27.29	25.81	24.37
LSM-NLR	28.86	26.85	25.59	24.63	23.76	22.86
S-DnCNN	35.76	32.41	30.10	27.79	26.15	24.20
本文D-DnCNN	35.71	32.72	30.56	28.62	26.76	25.31

下载: 导出CSV

| 显示表格

其次，为了测试所提出的D-DnCNN算法的普适性，本文利用真实噪声图像集SIDD^[20]进行测试，该测试集包含30000幅由5个摄像机在10个场景下拍摄的真实噪声图像。具体地，利用本文提出的D-DnCNN和S-DnCNN分别对其中随机的10幅噪声图像进行了降噪效果测试，并记录这10张图像上所获得的PSNR值，如表3所示。由表3可以看出:由于真实噪声图像的噪声水平值较低(但不满足高斯分布特点)，导致降噪后图像的PSNR值相对之前测试图像数据集上要高一些。在此情况下，本文提出的D-DnCNN算法比S-DnCNN算法平均要高1.11dB左右，这表明D-DnCNN算法仍然能对图像降噪效果进一步提升，采用双通道技术能有效提高图像降噪的效果。

表 3 D-DnCNN与S-DnCNN算法在真实噪声图像集上降噪效果PSNR对比(dB)

对比算法	图像编号										均值
对比算法	1	2	3	4	5	6	7	8	9	10	均值
S-DnCNN	46.85	43.79	52.98	49.64	47.54	43.52	52.47	43.58	42.24	40.66	46.32
本文D-DnCNN	47.45	44.56	54.20	50.32	48.27	44.10	53.81	45.26	43.17	43.17	47.43

下载: 导出CSV

| 显示表格

最后，为了更加直观地分析D-DnCNN降噪模型的视觉效果，利用各个对比算法对施加了40%的RVIN噪声的Lena图像进行降噪，整体降噪后图像及对应的局部(眼睛)放大区域的视觉效果图如图4所示。从图4中放大的子图可以看出：D-DnCNN算法表现出了最佳的降噪效果及边缘保持能力。综合表2和表3以及图4，D-DnCNN算法的降噪能力显著优于其他各类RVIN降噪算法，较S-DnCNN算法的降噪效果也有较大幅度的提升。

图 4 各算法对Lena图像降噪的效果对比

下载: 全尺寸图片幻灯片

需要说明的是：从图4(l)可以看出，D-DnCNN算法重建后的图像在纹理细节丰富的地方存在趋于平滑的问题，其原因在于D-DnCNN算法在制备参考图像的过程中参考图像质量并不是最佳的。为了改善这个问题，可以尝试从以下两个方面对D-DnCNN算法进行改进：(1)提高参考图像的图像质量(前处理)。考虑使用降噪效果更好的算法来制备参考图像，从而减轻D-DnCNN算法降噪图像趋于平滑的现象。(2)对D-DnCNN算法降噪后图像进行再增强(后处理)。具体过程为：利用D-DnCNN算法得到降噪图像后，通过将降噪图像再次输入到预先训练好的图像质量提升(Booster)网络中，进行图像质量的2次提升。上述两种处理方法均可有效解决D-DnCNN算法降噪后图像趋于平滑的问题。考虑到整个降噪算法的执行效率，本文以Delaunay三角剖分插值的方法获得参考图像，根据需要采用Booster网络完成后处理工作。

4.3 执行时间

为了比较各RVIN降噪算法的执行时间，记录各对比算法在Lena图像(大小为512 × 512)上的多次平均执行时间，结果如表4所示。从表4中可以看出：D-DnCNN算法的执行时间排名第2，仅次于S-DnCNN(由于制备参考图像占用了一定时间)。由表2和表3可以看出，D-DnCNN降噪效果是最佳的。因此，综合考虑降噪效果和执行效率两个方面，D-DnCNN算法较其他算法更具综合优势。

表 4 各算法执行时间的比较(s)

算法	执行时间	算法	执行时间
ROLD-EPR	5.6	WIN5RB	22.8
ASWM	86.3	LSM-NLR	257.2
ROR-NLM	43.1	RED-Net	5.3
WCSR	1085.1	S-DnCNN	4.1
ALOHA	1875.2	D-DnCNN	5.3

下载: 导出CSV

| 显示表格

5. 结束语

本文提出了一种被称为D-DnCNN的双通道卷积神经网络RVIN降噪模型。D-DnCNN随机脉冲降噪算法的主要优点有：(1)选择以深度卷积神经网络技术构建非开关型的RVIN降噪算法可以有效克服传统开关型RVIN降噪算法需要人工设置阈值参数的缺点，其降噪效果比主流的开关型RVIN降噪算法具有显著优势；(2)利用一张原始无失真图像大致相似的参考图像与噪声图像一起输入D-DnCNN，可以很大程度上提供关于噪声图像丢失的细节信息，从而可以进一步提高S-DnCNN深度降噪模型的降噪效果。考虑到算法的整体执行效率，D-DnCNN算法目前采用Delaunay三角剖分插值算法来完成参考图像的制备，导致降噪后图像存在平滑趋势。在未来的工作中，可以考虑采用降噪性能更佳的降噪算法来制备参考图像，以进一步提高D-DnCNN算法的降噪性能。

References(20)

References

马济通, 邱天爽, 李蓉, 等. 脉冲噪声下基于Renyi熵的分数低阶双模盲均衡算法[J]. 电子与信息学报, 2018, 40(2): 378–385. doi: 10.11999/JEIT170366

MA Jitong, QIU Tianshuang, LI Rong, et al. Dual-mode blind equalization algorithm based on Renyi entropy and fractional lower order statistics under impulsive noise[J]. Journal of Electronics &Information Technology, 2018, 40(2): 378–385. doi: 10.11999/JEIT170366

徐少平, 张贵珍, 李崇禧, 等. 基于深度置信网络的随机脉冲噪声快速检测算法[J]. 电子与信息学报, 2019, 41(5): 1130–1136. doi: 10.11999/JEIT180558

XU Shaoping, ZHANG Guizhen, LI Chongxi, et al. A fast random-valued impulse noise detection algorithm based on deep belief network[J]. Journal of Electronics &Information Technology, 2019, 41(5): 1130–1136. doi: 10.11999/JEIT180558

GARNETT R, HUEGERICH T, CHUI C, et al. A universal noise removal algorithm with an impulse detector[J]. IEEE Transactions on Image Processing, 2005, 14(11): 1747–1754. doi: 10.1109/TIP.2005.857261

DONG Yiqiu, CHAN R H, and XU Shufang. A detection statistic for random-valued impulse noise[J]. IEEE Transactions on Image Processing, 2007, 16(4): 1112–1120. doi: 10.1109/TIP.2006.891348

ROY A, SINGHA J, DEVI S S, et al. Impulse noise removal using SVM classification based fuzzy filter from gray scale images[J]. Signal Processing, 2016, 128: 262–273. doi: 10.1016/j.sigpro.2016.04.007

SOLEIMANY S and HAMGHALAM M. A novel random-valued impulse noise detector based on MLP neural network classifier[C]. 2017 Artificial Intelligence and Robotics, Qazvin, Iran, 2017: 165–169. doi: 10.1109/RIOS.2017.7956461.

ZHANG Kai, ZUO Wangmeng, CHEN Yunjin, et al. Beyond a Gaussian denoiser: Residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142–3155. doi: 10.1109/TIP.2017.2662206

ZHANG Kai, ZUO Wangmeng, and ZHANG Lei. FFDNet: Toward a fast and flexible solution for CNN-based image denoising[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4608–4622. doi: 10.1109/TIP.2018.2839891

GUO Shi, YAN Zifei, ZHANG Kai, et al. Toward convolutional blind denoising of real photographs[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 1712–1722. doi: 10.1109/CVPR.2019.00181.

YU Hancheng, ZHAO Li, and WANG Haixian. An efficient procedure for removing random-valued impulse noise in images[J]. IEEE Signal Processing Letters, 2008, 15: 922–925. doi: 10.1109/LSP.2008.2005051

SUN Jiande, LIU Xiaocui, WAN Wenbo, et al. Video hashing based on appearance and attention features fusion via DBN[J]. Neurocomputing, 2016, 213: 84–94. doi: 10.1016/j.neucom.2016.05.098

AKKOUL S, LEDEE R, LECONGE R, et al. A new adaptive switching median filter[J]. IEEE Signal Processing Letters, 2010, 17(6): 587–590. doi: 10.1109/LSP.2010.2048646

XIONG Bo and YIN Zhouping. A universal denoising framework with a new impulse detector and nonlocal means[J]. IEEE Transactions on Image Processing, 2012, 21(4): 1663–1675. doi: 10.1109/TIP.2011.2172804

CHEN C L P, LIU Licheng, CHEN Long, et al. Weighted couple sparse representation with classified regularization for impulse noise removal[J]. IEEE Transactions on Image Processing, 2015, 24(11): 4014–4026. doi: 10.1109/TIP.2015.2456432

JIN K H and YE J C. Sparse and low-rank decomposition of a Hankel structured matrix for impulse noise removal[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1448–1461. doi: 10.1109/TIP.2017.2771471

LIU Peng and FANG Ruogu. Learning pixel-distribution prior with wider convolution for image denoising[EB/OL]. https://arxiv.org/abs/1707.09135, 2017.

MAO Xiaojiao, SHEN Chunhua, and YANG Yubin. Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections[C]. The 30th International Conference on Neural Information Processing Systems, Barcelona, Spain, 2016: 2810–2818.

HUANG Tao, DONG Weisheng, XIE Xuemei, et al. Mixed noise removal via Laplacian scale mixture modeling and nonlocal low-rank approximation[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3171–3186. doi: 10.1109/TIP.2017.2676466

ARBELÁEZ P, MAIRE M, FOWLKES C, et al. Contour detection and hierarchical image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(5): 898–916. doi: 10.1109/TPAMI.2010.161

YUE Zongsheng, YONG Hongwei, ZHAO Qian, et al. Variational denoising network: Toward blind noise modeling and removal[EB/OL]. https://arxiv.org/abs/1908.11314v1, 2019.

Relative Articles

Supplements(0)

Cited By

Cited by

Periodical cited type(2)

1.	姚翔宇，刘希晨，昝乡镇，许鹏，刘文斌. 深度学习在DNA存储读段重建的应用. 广州大学学报(自然科学版). 2024(03): 1-7 .
2.	张大璐，葛奇，冯一博，陈为刚. DNA数据存储的科研概况国际对比与分析. 中国生物工程杂志. 2022(06): 116-129 .

Other cited types(3)

Proportional views

Proportional views

通讯作者: 陈斌, bchen63@163.com

1.
沈阳化工大学材料科学与工程学院沈阳 110142

Figures(4) / Tables(4)

Get Citation

PDF

XML

Article Metrics

Article views (2175) PDF downloads(73)