1.   引言

拍摄图像时，相机与物体的相对运动往往会造成图像模糊，严重影响图像在实际生活中的应用效果。图像去模糊作为一种改善图像质量的方式，广泛应用于医学图像、交通监控等领域。图像去模糊是图像处理中典型的病态反问题，旨在从模糊图像中恢复出相应的清晰图像。近年来，这项技术受到广泛的关注和研究，但由于现实场景中模糊核的复杂多变性，从真实模糊图像中恢复清晰图像仍具有挑战性。

图像去模糊过程可看作从解空间中寻找最优解的过程，传统方法利用不同的自然图像先验(如L0-范数梯度先验^[1])约束解空间，通过最大后验估计模型的迭代寻找最优解。然而传统方法中采用的迭代优化方式计算繁琐，实时性差；且过于简单的模糊模型假设会导致模糊核的不准确估计，降低算法性能。近年来，随着深度学习的发展，卷积神经网络(Convolutional Neural Networks, CNN)广泛地应用于图像去模糊领域。根据图像块信息，Sun等人^[2]利用CNN预测图像的局部模糊核，通过非盲解卷积去除非均匀运动模糊。Gong等人^[3]利用全卷积网络估计模糊图像的运动场，从估计的运动场中恢复清晰图像。Nah等人^[4]提出一种端到端(无核估计)的图像处理方法，该方法遵循由粗到精的思想，逐步恢复清晰图像。Kupyn等人^[5]采用带有梯度惩罚和感知损失的Wasserstein GAN(Wasserstein Generative Adversarial Networks)去除运动模糊，恢复更多的纹理信息。Kupyn等人^[6]进一步改进网络，将特征金字塔网络作为DeblurGAN-v2(Deblurring Generative Adversarial Networks Version 2)的核心构建块，此网络可与各种骨干网络配合使用，在性能和效率之间取得平衡。Tao等人^[7]提出尺度递归的思想，利用不同尺度的图像共同训练网络，实现网络参数共享，运动去模糊效果显著。梁晓萍等人^[8]利用头脑风暴优化算法自动搜寻BP(Back Propagation)神经网络更佳的初始权值和阈值，提升网络性能。

近期的研究主要从改进网络结构、引入多尺度和增大感受野等角度改善图像重建算法的性能。Tao等人^[7]引入网络参数共享机制，在减少参数的同时获得更好的效果。Ronneberger等人^[9]提出一种编-解码结构的网络(Unet网络)，充分利用上下文信息，在图像语义分割中获得较好的性能。Nah等人^[4]将多尺度应用到去模糊网络中，逐渐去除不同程度的模糊。Chen等人^[10]将平滑的扩张卷积嵌入到网络中，在保持参数量不变的情况下，通过增大感受野提高区域性能，但随着网络深度的增加，扩张卷积仅考虑使用棋盘格模式对位置进行稀疏采样，从而导致部分信息丢失^[11]。Jin等人^[12]采用重采样卷积操作确保网络的第1层就具有大的感受野，但是随着图像尺寸的增加，网络的效率大幅降低，且没有增加图像特征的稀疏性。

受上述研究的启发，本文提出一种基于深度多级小波变换的图像盲去模糊算法，在小波域下学习模糊图像和清晰图像4个子带之间的映射关系，以端到端的方式实现动态场景去模糊。本文的工作如下：(1) 将小波变换嵌入到编码阶段以减少特征图的尺寸，确保网络具有大的感受野。在解码阶段采用小波逆变换，将低分辨率特征图上采样为高分辨率特征图，可有效地避免池化层造成的图像信息损失^[11]。此外，图像在小波域中具有稀疏性，网络学习稀疏特征到稀疏特征的映射^[13]，可有效地提高网络的学习效率。(2) 利用多尺度扩张稠密块(Multi-scale Dilated Dense Block, MDDB)，在保证参数不变的前提下提取图像的多尺度深层特征，同时通过稠密连接消除扩张卷积引起的网格伪影。引入的多尺度结构提高了网络对模糊程度的鲁棒性，使恢复的图像更加清晰。(3) 编-解码结构之间的跳跃连接通过增加信息流的传递来融合网络浅层和深层的特征。本文提出的特征融合块(Feature Fusion Block, FFB)引入了动态选择机制^[14]，允许每个神经元根据输入信息自适应地调整浅层特征与深层特征之间的比重，提高特征融合的有效性。(4) 图像在小波域与空间域具有不同的表示方式，与小波域相比，图像在空间域内含有更加精细的图像细节信息。为补充小波域忽略的图像细节信息，本文提出空间域重建模块(Spatial Domain Reconstruction Module, SDRM)，在空间域内学习模糊图像与清晰图像之间的映射关系，进一步提高重构图像的质量。

2.   网络结构

本文的网络结构如图1所示，在该网络中，首先利用模块A在小波域中去除模糊图像中的模糊，小波系数的稀疏性可简化去模糊过程，同时通过增大感受野来提高大模糊核导致的运动模糊的鲁棒性；然后利用模块B在空间域重建图像，得到去模糊图像。

图 1  网络结构

下载: 全尺寸图片 幻灯片

其中，${{x}}$和${{y}}$分别是模糊图像和去模糊图像，${G_{\rm{A}}}( \cdot )$和${G_{\rm{B}}}\left( \cdot \right)$分别表示模块A和模块B的输出，${\delta _{\rm{A}}}$和${\delta _{\rm{B}}}$分别表示模块A和模块B中的超参数。网络中的滤波器的大小为3×3，激活函数为Leaky ReLU，以Tanh激活层作为最后的输出层。

2.1   多尺度扩张稠密块(MDDB)

本文采用MDDB提取图像的多尺度特征，同时进一步增大网络的感受野，提升网络性能。如图2所示，MDDB由一个卷积层和3个多尺度扩张块组成。卷积层减少特征图的通道数，多尺度扩张块提取图像的多尺度特征。每个多尺度扩张块利用4个大小不同的滤波器提取不同尺度的特征，采用级联操作融合多尺度信息，并使用大小为1×1的滤波器以解决特征级联引起的参数过多的问题。为减少网络的计算量，本文采用扩张率($s$)分别为1, 2, 3和4的扩张卷积^[10]代替普通卷积以获取大尺度特征。

图 2  多尺度扩张稠密块

下载: 全尺寸图片 幻灯片

其中，${{{h}}_n}$表示第$n$个多尺度扩张块的输出，${{{h}}_{n,s}}$表示第$n$个多尺度扩张块中扩张率为$s$的扩张卷积提取的特征，${f_{1 \times 1}}$表示大小为1×1的卷积层，${\xi _n}$表示第$n$个多尺度扩张块中大小为1×1的卷积层的超参数，${\rm{C}}( \cdot )$表示级联操作。扩张卷积会使网络产生网格伪影，降低网络的性能，所以本文在多尺度扩张块之间加入稠密跳跃连接^[15,16]，通过增加信息流的传递来补偿扩张卷积的稀疏采样。

其中，${{{f}}_{\rm{ms}}}$为MDDB提取的深层特征，${{{h}}_0}$表示多尺度扩张稠密块中卷积层的输出。

2.2   特征融合块(FFB)

编-解码结构中存在丰富的上下文信息，有效地融合这些信息可使网络产生更清晰的结果。若简单地采用特征图相加或级联操作融合编-解码的图像特征，会造成大量的信息冗余。最近的方法利用图像通道间^[17]/空间^[18]的相互依赖性自适应地校正通道/空间的特征响应，或引入动态选择机制提高网络的表征能力^[14]。本文使用FFB在通道上动态选择编-解码的特征进行融合，减少信息冗余的同时提升网络性能。如图3所示，FFB分为融合和选择两个阶段。融合阶段采用特征图相加的方式简单地融合编码阶段的浅层特征和解码阶段的深层特征，然后利用平均池化获取融合特征的全局信息，并经过大小为1×1的卷积层在低维空间进行进一步的转换；选择阶段分别采用两个大小为1×1的卷积层学习编-解码阶段对应通道的权重${{a}},{{b}} \in {\mathbb{R}^{c \times 1}}$，利用softmax运算进行归一化，并将权重作用到相应通道上得到融合特征${{v}} = \left[ {{{{v}}_1},{{{v}}_2}, ··· ,{{{v}}_{{c}}}} \right],{{{v}}_{{c}}} \in {\mathbb{R}^{H \times W}}$。

图 3  特征融合块

下载: 全尺寸图片 幻灯片

2.3   图像重建模块

模块A是具有对称编-解码结构的小波域重建模块，编码阶段包括3个编码模块(Encoder Module, EM)，每个EM均由卷积层和3个残差块^[19]堆叠而成。EM中引入的小波变换将图像尺寸降为原来的1/4，利用卷积层改变特征图的通道数，通过残差块提取丰富且稀疏的图像特征。

其中，${{{x}}_i}$和${E_i}({{{x}}_i};{d_i})$分别表示第$i$个EM的输入和输出，${f_{\rm{c}}}\left( \cdot \right)$表示第$i$个EM中卷积层的输出，${f_{{\rm{res}}k}}\left( \cdot \right)$表示第$i$个EM中第$k$个残差块的输出，DWT(·)表示2维离散Haar小波变换，${\theta _i} = \{ {\theta _{0,i}},{\theta _{1,i}},{\theta _{2,i}},{\theta _{3,i}}\}$表示第$i$个EM中卷积层的超参数。Haar小波变换利用4个不同的滤波器${{{f}}_{\rm{LL}}}$, ${{{f}}_{\rm{LH}}}$, ${{{f}}_{\rm{HL}}}$, ${{{f}}_{\rm{HH}}}$将图像分解成逼近原始图像的低频子带、水平子带、垂直子带和对角子带4个部分^[12]，滤波器的定义如式(5)所示。

解码阶段包括3个解码模块(Decoder Module, DM), DM的结构与EM的完全对称。利用小波变换的可逆性，在增加图像分辨率的同时保留了图像的细节信息。

其中，${{{x}}_m}$和${D_m}({{{x}}_m};{\eta _m})$分别表示第$m$个DM的输入和输出, ${\rm{IDWT}}( \cdot )$表示2维离散小波逆变换，${\eta _m} = \{ {\eta _{0,m}}, {\eta _{1,m}}, {\eta _{2,m}},{\eta _{3,m}}\}$表示第$m$个DM中卷积层的超参数。为进一步提升网络的去模糊性能，本文在编-解码之间加入多尺度扩张稠密块(MDDB)以提取深层特征${{{f}}_{\rm{ms}}}$，并将${{{f}}_{\rm{ms}}}$用于解码阶段以获得更多的高频细节信息。同时利用特征融合块(FFB)自适应地选择编-解码的特征以实现有效的特征融合。

其中，${{{f}}_{\rm{d}}}$表示模块A中解码阶段的输出，${{{y}}_{\rm{A}}}$表示模块A的输出，${e_i}$表示编码器中第$i$个EM提取的图像特征，$\left\{ {{\theta _1},{\theta _2},{\theta _3},\rho ,{\eta _1},{\eta _2},{\eta _3},{\varphi _1},{\varphi _2}} \right\}$表示模块A中卷积层的超参数。

模块B是一个空间域重建模块，在空间域学习图像特征，获取小波域忽略的更精细的图像细节信息。模块B由卷积层和残差块堆叠而成，首先通过卷积层提取图像的浅层特征，然后利用残差块提取更丰富的特征，最后通过卷积层在空间域重建去模糊图像。

其中，${{y}}$表示模块B的输出，$\left\{ {{\delta _1},{\delta _2},{\delta _3}} \right\}$表示模块B中卷积层的超参数。

3.   训练与测试

本文采用的训练集是GoPro训练集^[3]，从GoPro训练集中随机选取图像，并随机裁剪成$320 \times 320 \times 3$的图像块，batch size设为24。为提高模型的鲁棒性，利用随机旋转、随机上下翻转、添加加性高斯噪声进行数据扩充处理，其中旋转角度为0°, 90°, 180°, 270°，噪声的均值为0，标准差为(0, 5)。此外，本文利用小尺度的模糊核与训练样本的卷积来增强训练样本的多样性。测试集是GoPro测试集、DVD测试集^[18]和真实模糊图像^[20]。在训练过程中，本文使用${l_2}$范数损失函数来优化网络，网络的优化方法为Adam，所有实验在Pytorch深度学习框架下进行训练，在Inter Core i7-8700 CPU，主频3.2 GHz，内存64 GB，显卡NVIDIA QUADRO RTX 5000平台下完成。

值得注意的是，本文采用模块化训练方法获取网络模型，在保证其他模块参数不变的前提下，逐一训练网络的各个模块。首先在不添加多尺度扩张稠密块(MDDB)，特征融合模块(FFB)和空间域重建模块(Spatial Domain Reconstruction Module, SDRM)的情况下训练网络其他模块，初始学习率为1e^–4，当网络训练趋于稳定时调整学习率为5e^–5，再次趋于稳定时调整学习率为5e^–6；然后分别将MDDB, FFB和SDRM添加到网络中进行单独训练，训练周期为1300 epochs，初始学习率设置为1e^–4，分别在400 epochs和900 epochs调整学习率为5e^–5和5e^–6；最后统一训练网络中的所有模块，微调网络参数，训练周期和学习率调整策略与多尺度模块的相同。

4.   结果与分析

4.1   实验结果比较

为说明算法的性能，本文与近年来提出的去模糊算法进行比较，如DeblurGAN-v2^[6]、SRN^[7]等，分别在GoPro测试集、DVD测试集进行测试，采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构相似度(Structural SIMilarity index, SSIM)作为评价指标。GoPro测试集包含1111个模糊-清晰图像对，主要由相机的抖动和物体的运动造成，可以有效地模拟动态场景下真实的运动模糊。DVD测试集由多种设备(如iPhone6s, GoPro)收集，包括1496对模糊-清晰图像，所涉及的动态场景与GoPro测试集的不同。GoPro, DVD测试集上的实验对比结果分别如表1，表2，表3所示，GoPro测试集、DVD测试集、真实模糊图像上的视觉对比结果分别如图4，图5所示。

表 1  各算法在GoPro测试数据集上的定量评估

评价指标	文献[2]	文献[1]	文献[5]	文献[4]	文献[6]	文献[7]	本文
PSNR	24.64	25.10	28.70	29.08	29.55	30.26	31.39
SSIM	0.842	0.890	0.958	0.914	0.934	0.934	0.952

下载: 导出CSV 

| 显示表格

表 2  各算法在GoPro测试数据集上的运行时间(s)

评价指标	文献[4]	文献[6]	文献[7]	本文
时间	2.16	0.14	0.64	0.23

下载: 导出CSV 

| 显示表格

表 3  文献[7]与本文算法在DVD测试数据集上的定量评估

评价指标	文献[7]	本文
PSNR	29.34	29.97
SSIM	0.914	0.921

下载: 导出CSV 

| 显示表格

图 4  各个算法在GoPro测试集上的恢复结果对比

下载: 全尺寸图片 幻灯片

图 5  文献[7]与本文算法在DVD数据集和真实数据集上的恢复结果对比

下载: 全尺寸图片 幻灯片

由表1，表2可以看出，与Tao等人^[7]得到的结果相比，本文的PSNR提高1.13 dB, SSIM提高0.018，运行时间减少0.41 s。在重构图像的质量方面，本文算法明显优于其他算法；在算法的重构效率方面，本文算法同样优于其他算法(除Kupyn等人^[6]提出的DeblurGAN-v2外)。由表3可以看出，本文算法在不同场景下具有更强的鲁棒性。

本文还在GoPro测试集、DVD测试集和真实的模糊图像上与各个算法进行视觉比较。在GoPro测试集上的视觉对比结果如图4所示，在大的非均匀运动模糊的情况下，本文算法在GoPro测试集上恢复出结果具有更加清晰的条纹和边缘，如在第2行和第6行的红色框中重建了清晰的脸部轮廓和数字形状，没有严重的颜色伪迹和图像失真。在DVD测试集和真实的模糊图像上的视觉对比结果如图5所示，相比于Tao等人^[7]得到的去模糊图像，本文算法恢复的图像的局部模糊更少，颜色更加逼真，结构更加清晰。

4.2   各个模块对网络性能的影响

为评价各个模块的有效性，本文在GoPro测试集上进行对比试验，采用W-MS, W-FF, W-SDR, W-C3和W-B这5个基准模型说明多尺度扩张稠密块(MDDB)，特征融合模块(FFB)和空间域重建模块(SDRM)对网络性能的影响。W-MS, W-FF和W-SDR分别表示只包含MDDB, FFB和SDRM的网络模型，W-C3表示用3个卷积层代替MDDB的网络模型，其网络深度与W-MS的相同，W-B表示不引入3种模块的网络模型。各模块的对比结果如表4所示。

表 4  各基准模型在GoPro测试集上的定量结果

模型	W-B	W-C3	W-MS	W-FF	W-SDR	本文
多尺度	×	×	√	×	×	√
特征融合	×	×	×	√	×	√
空间域图像重构	×	×	×	×	√	√
嵌入卷积	×	√	×	×	×	×
PSNR	30.98	31.02	31.10	31.09	31.13	31.39
SSIM	0.949	0.949	0.950	0.950	0.950	0.952

下载: 导出CSV 

| 显示表格

由表4可得，在不引入MDDB, FFB和SDRM的情况下，PSNR可达到30.98 dB，这说明将小波变换嵌入到编-解码结构中可有效地提升网络的性能。其原因主要包括以下3个方面：⑴将小波变换嵌入到编-解码结构中会增大网络的感受野，可有效地利用图像的上下文信息产生边缘更加清晰的结果，同时小波变换的可逆性避免了图像信息的丢失。⑵图像在小波域具有稀疏性，利用小波变换进行下采样增强了图像特征的稀疏性，提高网络的学习能力。⑶小波变换在小波子带中提供的垂直、水平和对角线边缘信息，可用于学习图像的轮廓和细节特征。MDDB, FFB和SDRM的引入使平均PSNR分别提高0.12 dB, 0.11 dB和0.15 dB，平均SSIM均提高0.001，使网络获得高质量的重构图像。

4.3   训练方法对网络性能的影响

本文分别采用整体训练和模块化训练的方式训练网络，对比了这两种训练方法对网络性能的影响。GoPro测试集上的定量结果如表5所示，相比于整体训练的网络，模块化训练的网络的PSNR提高0.34 dB, SSIM提高0.003。对于本文算法来说，模块化训练可以使网络各个模块分别达到最优以确保网络整体产生更好的结果，对网络的性能起到积极的推动作用。

表 5  两种训练方法在GoPro测试集上的定量对比

训练方法	整体训练	模块化训练
PSNR	31.05	31.39
SSIM	0.949	0.952

下载: 导出CSV 

| 显示表格

5.   结束语

本文提出一种基于深度多级小波变换的图像盲去模糊算法，通过正/逆小波变换实现上采样/下采样操作，在增大网络感受野的同时利用图像在小波域中的稀疏性，降低了映射的复杂程度。为了在小波域重建高质量图像，本文通过多尺度扩张稠密块引入多尺度结构，实现了多尺度深层特征的提取与重用。同时，本文还利用特征融合块自适应地选择编-解码的特征进行有效的特征融合。由于图像在小波域和空间域的表示方式存在差异，本文采用空间域重建模块融合这两种不同的特征表示以进一步提高重构图像的质量。在训练时，采用模块化训练的方式进一步提高网络的性能。GoPro测试集和DVD测试集上的实验结果表明，本文方法恢复的图像具有更好的视觉效果，并且在不同场景下具有更强的鲁棒性。