基于多尺度特征结合细节恢复的单幅图像去雾方法

张世辉; 路佳琪; 宋丹丹; 张晓微

doi:10.11999/JEIT210868

基于多尺度特征结合细节恢复的单幅图像去雾方法

doi: 10.11999/JEIT210868

张世辉^{1, 2},
路佳琪^1, ,,
宋丹丹¹,
张晓微¹

1.
燕山大学信息科学与工程学院秦皇岛 066004
2.
河北省计算机虚拟技术与系统集成重点实验室秦皇岛 066004

基金项目: 中央引导地方科技发展资金项目(216Z0301G)，河北省自然科学基金(F2019203285)

详细信息

作者简介:
张世辉：男，教授，博士生导师，研究方向为视觉信息处理、模式识别

路佳琪：女，硕士生，研究方向为雾天图像处理、计算机视觉

宋丹丹：女，硕士生，研究方向为对抗样本攻防、计算机视觉

张晓微：男，硕士生，研究方向为对抗样本攻防、计算机视觉

通讯作者:
路佳琪　1078271268@qq.com

中图分类号: TN911.73; TP391
计量
- 文章访问数: 1074
- HTML全文浏览量: 763
- PDF下载量: 203
- 被引次数: 14
出版历程
- 收稿日期: 2021-08-23
- 修回日期: 2021-12-13
- 录用日期: 2021-12-14
- 网络出版日期: 2021-12-27
- 刊出日期: 2022-11-14

Single Image Dehazing Method Based on Multi-scale Features Combined with Detail Recovery

1.
School of Information Science and Engineering, Yanshan University, Qinhuangdao 066004, China
2.
The Key Laboratory for Computer Virtual Technology and System Integration of Hebei Province, Qinhuangdao 066004, China

Funds: The Central Government Guided Local Funds for Science and Technology Development (216Z0301G), The Natural Science Foundation of Hebei Province (F2019203285)

摘要

摘要: 为提高单幅图像去雾方法的准确性及其去雾结果的细节可见性，该文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。首先，根据雾在图像中的分布特性及成像原理，设计多尺度特征提取模块及多尺度特征融合模块，从而有效提取有雾图像中与雾相关的多尺度特征并进行非线性加权融合。其次，构造基于所设计多尺度特征提取模块和多尺度特征融合模块的端到端去雾网络，并利用该网络获得初步去雾结果。再次，构造基于图像分块的细节恢复网络以提取细节信息。最后，将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果融合得到最终清晰的去雾图像，实现对去雾后图像视觉效果的增强。实验结果表明，与已有代表性的图像去雾方法相比，所提方法能够对合成图像及真实图像中的雾进行有效去除，且去雾结果细节信息保留完整。
- 图像去雾 /
- 细节恢复 /
- 多尺度特征 /
- 非线性加权融合
Abstract: In order to improve the accuracy of the single image dehazing method and the detail visibility of its dehazing results, a single image dehazing method based on multi-scale features combined with detail recovery is proposed. Firstly, according to the distribution characteristics and imaging principles of haze in images, the multi-scale feature extraction module and the multi-scale feature fusion module are designed to extract effectively the haze-related multi-scale features in the hazy image and perform nonlinear weighted fusion. Secondly, the end-to-end dehazing network based on the designed multi-scale feature extraction module and multi-scale feature fusion module are constructed, and the preliminary dehazing results are obtained by using this network. Then, a detail recovery network based on image blocking is constructed to extract detail information. Finally, the detail information extracted from the detail recovery network is fused with the preliminary dehazing results obtained from the dehazing network to obtain the final clear dehazed image, which can enhance the visual effect of the dehazing images. The experimental results show that compared with the existing representative image dehazing methods, the proposed method can effectively remove the haze in the synthetic images and the real-world images, and the detailed information of the dehazing results is kept.
- Image dehazing /
- Detail recover /
- Multi-scale features /
- Non-linear weighted fusion

HTML全文

1. 引言

近年来，随着工业化进程的加快，大量废气排放致使大气污染较为严重，使得雾天等恶劣天气越发频繁出现。因此，去雾方法成为一个广受学者关注的重要研究课题^[1]。与良好天气下拍摄的图像相比，有雾天气下拍摄的图像往往呈现出模糊不清、对比度下降以及颜色失真等现象，并且对目标跟踪^[2]、场景理解^[3]等诸多后续任务的执行有较大影响，同时严重阻碍了计算机视觉系统发挥效用。因此，对有雾图像进行去雾处理具有十分重要的研究意义和应用价值。

图像去雾可分为多幅图像去雾和单幅图像去雾，但多幅图像去雾问题需要同一场景下的多幅图像信息，在实际中较难获得，局限性较大，故目前学者更多地进行单幅图像去雾方法研究。现有的单幅图像去雾方法主要分为以下3类：

(1) 基于图像增强的去雾方法。该类方法没有考虑有雾图像的退化机理，仅通过增强其对比度、饱和度和清晰度等，使图像更符合人类的视觉感受。常用的基于图像增强的去雾方法有直方图均衡化算法^[4]、Retinex算法^[5]、同态滤波^[6]和小波变换^[7]等。虽然该类算法有较好的适用性，但会对图像的细节信息和颜色等方面造成损害，整体去雾效果一般。

(2) 基于先验知识的去雾方法。该类方法主要基于手工设计的先验知识或假设进行图像去雾，去雾效果相对自然。Fattal^[8]假设在局部区域内，图像的反射率是恒定不变的，且场景中的颜色与空气介质之间相互独立，并利用独立成分分析和马尔可夫模型达到去雾目的，但此方法仅能在薄雾场景中取得良好效果。He等人^[9]通过对大量室外无雾图像进行实验分析后，发现无雾图像的局部区域内至少一个颜色通道的值接近于0，将其命名为暗通道先验理论，并基于此理论结合大气散射模型实现图像去雾。但当图像中场景物体与大气光相似时，会造成此先验信息失效。随后，针对暗通道先验去雾算法的不足，学者提出了一系列的改进算法^[10,11]。Zhu等人^[12]通过观察发现雾的存在会导致图像饱和度降低和亮度增加，并据此提出了颜色衰减先验，进而构建回归模型估计景深以实现对图像中雾的去除。虽然基于先验知识的去雾方法取得了一定程度的成功，但该类方法并不能很好地处理所有情况，当假定的先验不成立时，去雾后图像会存在伪影现象，去雾效果较差。

(3) 基于学习思想的去雾方法。该类方法可分为应用大气散射模型的方法以及端到端的方法。早期工作集中于应用大气散射模型的方法，即直接利用深度卷积神经网络估计待去雾图像的透射图和大气光值，然后应用大气散射模型实现图像去雾。Cai等人^[13]结合现有的先验知识与假设提出DehazeNet，该网络用于估计有雾图像的透射图，随后使用大气散射模型实现清晰图像的重构。Li等人^[14]重新设计大气散射模型，把透射图 ${\boldsymbol{t}}(x)$ 和大气光值 $A$ 集成到新变量 $k$ 中，构建了一个轻量级的去雾网络。然而，上述应用大气散射模型的去雾方法由于需要对透射图 ${\boldsymbol{t}}(x)$ 和大气光值 $A$ 同时进行预测，故容易形成误差的累积，导致去雾不彻底或出现伪影现象。为克服以上问题，学者提出端到端去雾框架以直接从输入的有雾图像预测清晰的无雾图像。Qu等人^[15]将图像去雾问题简化为图像到图像的翻译问题进而提出了增强的pix2pix去雾网络(Enhanced Pix2pix Dehazing Network, EPDN)，该去雾网络由多分辨率生成器模块、增强器模块和多尺度判别器模块组成，其增强器可以进一步增强去雾效果。Liu等人^[16]基于可训练的预处理模块、主干模块和后处理模块提出了一种端到端的网格去雾网络Griddehazenet。Das等人^[17]针对非均匀有雾图像提出一种快速的深度多patch分层网络，该方法可以较快地还原非均匀有雾图像。Qin等人^[18]提出了特征融合注意力网络(Feature Fusion Attention Network, FFA-Net)，应用注意力机制自适应学习不同特征信息的权重以实现图像去雾。虽然上述端到端方法可以在一定程度上去除有雾图像中的雾，但在去雾过程中由于过度专注图像去雾，易将原图像中的某些细节信息一同去除，缺乏保持原有细节纹理信息的能力。

针对上述问题，本文提出一种端到端的单幅图像去雾方法。与现有方法所依据的在一个统一网络框架内实现去雾和保留细节的思路不同，本文将去雾和细节恢复视为两个独立的任务，使用基于多尺度特征的去雾网络进行图像去雾，并结合细节恢复网络恢复因去雾而丢失的细节信息，从而得到具有更清晰纹理细节的去雾图像。

2. 方法概述

本文所提基于多尺度特征结合细节恢复的单幅图像去雾方法总体思想如下。首先，设计并构建基于多尺度特征提取和融合的去雾网络，将有雾图像输入至去雾网络获得初步去雾结果。其次，构造基于图像分块的细节恢复网络，将有雾图像及初步去雾结果输入至细节恢复网络以进一步提取细节信息。最后，融合提取出的细节信息和初步去雾结果得到最终清晰的去雾图像。所提去雾方法总体流程如图1所示。

图 1 所提单幅图像去雾方法流程

下载: 全尺寸图片幻灯片

3. 基于多尺度特征结合细节恢复的单幅图像去雾方法

3.1 利用去雾网络获取初步去雾结果

为实现初步图像去雾，本文首先提出多尺度特征提取模块(Multi-Scale Feature Extraction Module, MSFEM)及多尺度特征融合模块(Multi-Scale Feature Fusion Module, MSFFM)。其中，MSFEM通过使用不同膨胀率的平滑扩张卷积^[19]调整感受野大小，从而实现多尺度特征的提取；MSFFM利用残差块和双重注意力机制以促进不同尺度特征之间的非线性加权融合。然后，基于所提出的MSFEM与MSFFM构建并训练端到端的去雾网络，利用训练好的去雾网络即可获取初步去雾结果。

3.1.1 提出多尺度特征提取模块(MSFEM)

由于不同尺度的图像特征具有不同的语义信息，因此充分提取、利用多尺度特征可提高去雾图像的质量。提取多尺度特征可通过不同卷积核调整感受野大小来实现，然而过大的卷积核会降低模型的计算效率。膨胀率为 $r$ 的扩张卷积通过在卷积核中相邻元素间插入 $r - 1$ 个0以达到扩大感受野的目的，而且没有引入其他的计算量和参数。但由于扩张卷积核需插入大量的0，致使相邻像素间的相关性变弱，会导致产生“网格效应”现象并降低去雾性能。为了缓解这种情况，MSFEM引入平滑扩张卷积以扩大感受野。平滑扩张卷积与扩张卷积不同的是其在扩张卷积之前插入了卷积核大小为 $2r - 1$ 的可分离共享卷积，增加了距离较近的像素之间的相互影响，从而加强了输入单元间的依赖关系，扩大感受野的同时缓解了“网格效应”现象，有利于获得更平滑的去雾效果。因此MSFEM采用不同膨胀率的平滑扩张卷积以获得具有不同感受野大小的特征，在不增加计算复杂度和参数规模的情况下，实现了多尺度特征的提取操作。

所提的MSFEM结构如图2所示。MSFEM为2行4列的结构，每行表示不同的深度，每列对应不同膨胀率的平滑扩张卷积，用于提取不同尺度的特征。将每列标记为 $C \in \{ 1,2,3,4\}$ ，其对应的膨胀率为 $r = 2C - 1$ 。 $C$ 值越小的列感受野越小，小尺度感受野更多保留局部细节信息， $C$ 值越大的列感受野越大，大尺度感受野更多保留全局上下文信息。图2中 ${\boldsymbol{f}}_{{\rm{IN}}}^{\rm{E}}$ 为MSFEM的输入特征， ${\boldsymbol{f}}_{{\text{OUT}}}^{\text{E}}$ 为MSFEM的输出特征。

图 2 MSFEM结构

下载: 全尺寸图片幻灯片

首先， ${\boldsymbol{f}}_{{\rm{IN}}}^{\rm{E}}$ 输入至第1行的4列，不同列提取不同尺度的特征，实现多尺度特征初步提取，公式定义为

${\boldsymbol{f}}_1^{2C - 1} = {\text{SIR}}_1^{2C - 1}({\boldsymbol{f}}_{{\rm{IN}}}^{\rm{E}}){\kern 1pt} ,{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} C = 1,2,3,4$

(1)

其中， ${\text{SIR}}_{m}^{n}(\cdot)$ 表示当前MSFEM中第 $m$ 行膨胀率为 $n$ 的平滑扩张卷积及其后续实例归一化(instancenormalization)层和ReLU操作， ${\boldsymbol{f}}_m^n$ 表示经 ${\text{SIR}}_{m}^{n}(\cdot)$ 提取出的特征。

其次，为进一步提高网络的表达能力，同时促进不同尺度特征的集成，本文使用了层间多尺度特征融合。 ${\boldsymbol{f}}_1^{2C - 1}$ 分别通过其局部相邻的不同尺度平滑扩张卷积层，从而进一步提取多尺度特征，公式定义为

${\boldsymbol{f}}_2^{2C - 1} = \left\{ \begin{aligned} & {{\text{SIR}}_2^{2C - 1}\left({\boldsymbol{f}}_1^{2(C + 1) - 1}\right), \qquad\qquad\qquad\quad\; C = 1} \\ &{{\text{SIR}}_2^{2C - 1}\left({\text{cat}} \left[{\boldsymbol{f}}_1^{2(C - 1) - 1},{\boldsymbol{f}}_1^{2(C + 1) - 1}\right]\right), C = 2,3} \\ & {{\text{SIR}}_2^{2C - 1}\left({\boldsymbol{f}}_1^{2(C - 1) - 1}\right), \qquad\qquad\qquad\quad\; C = 4} \end{aligned} \right.$

(2)

其中， ${\text{cat}}$ 为特征连接操作。

最后，引入局部残差连接以增强模型性能，防止训练不稳定，最终提取出丰富的多尺度特征，公式定义为

${\boldsymbol{f}}_{{\rm{OUT}}}^{\rm{E}} = {\text{cat}}{\kern 1pt} {\kern 1pt} [{\boldsymbol{f}}_2^1 + {\boldsymbol{f}}_{{\rm{IN}}}^{\rm{E}},{\boldsymbol{f}}_2^3 + {\boldsymbol{f}}_{{\rm{IN}}}^{\rm{E}},{\boldsymbol{f}}_2^5 + {\boldsymbol{f}}_{{\rm{IN}}}^{\rm{E}},{\boldsymbol{f}}_2^7 + {\boldsymbol{f}}_{{\rm{IN}}}^{\rm{E}}]$

(3)

所提MSFEM具有足够的灵活性，可充分提取多尺度特征，有利于实现对有雾图像中雾的良好去除。

3.1.2 提出多尺度特征融合模块(MSFFM)

通过MSFEM提取出大量多尺度特征后，若不同尺度的特征相互独立且无法相互作用，则会显著降低模型的性能，故本文设计了MSFFM，旨在促进多尺度特征的交互和融合。

由于暗通道先验指出无雾图像的局部区域内至少一个颜色通道的值接近于0，这说明在图像去雾任务中不同通道特征具有不同的权重。同时，考虑到通道注意力机制(Squeeze-and-Excitation, SE)首先通过全局平均池化操作将每个2维的特征图转变成一个实数，代表当前通道的全局信息，然后通过两个全连接层及sigmoid函数学习各通道之间的依赖关系并生成权重，最后将该权重与其对应的特征通道进行相乘，以实现加强包含有用信息的通道特征并抑制对当前任务用处不大的通道特征。而有效通道注意力(Efficient Channel Attention, ECA)^[20]模块对通道注意力模块进行改进，通过一种不降维的局部跨通道交互策略在对不同通道分配不同权重的同时，提高了模块的效率及性能。故本文将有效通道注意力模块引入到图像去雾领域，使用ECA机制指导多尺度特征的加权融合。

此外，分析已有去雾后图像可知，雾的浓度会对去雾问题产生较大影响。同时，考虑到像素注意力机制(Pixel Attention, PA)^[18]首先将 $C \times H \times W$ 的输入特征通过两个卷积层以及sigmoid函数变为 $1 \times H \times W$ 的输出特征，其代表了各像素点的权重信息，然后将输入特征与其对应像素权重相乘，以实现对不同的像素分配不同的权重，使浓雾区域像素得到更多的注意，以达到更好的去雾效果。故进一步引入像素注意力机制指导多尺度特征的加权融合。

所构造的MSFFM结构如图3所示。 ${\boldsymbol{f}}_{{\rm{IN}}}^{\rm{F}}$ 为MSFFM的输入特征， ${\boldsymbol{f}}_{{\rm{OUT}}}^{\rm{F}}$ 为MSFFM的输出特征，其中，MSFEM的输出特征即为MSFFM输入特征，故 ${\boldsymbol{f}}_{{\rm{IN}}}^{\rm{F}} = {\boldsymbol{f}}_{{\rm{OUT}}}^{\rm{E}}$ 。MSFEM提取出的多尺度特征通过MSFFM进行融合后的特征可表示为

图 3 MSFFM结构

下载: 全尺寸图片幻灯片

${\boldsymbol{f}}_{{\rm{OUT}}}^{\rm{F}} = {\text{PA}}\left( {{\text{ECA}}\left( {{\text{RB}}\left( {{\text{Conv}}\left( {{\boldsymbol{f}}_{{\rm{IN}}}^{\rm{F}}} \right)} \right)} \right)} \right) + {\text{Conv}}\left( {{\boldsymbol{f}}_{{\rm{IN}}}^{\rm{F}}} \right)$

(4)

其中， $\text{Conv}(\cdot)$ , $\text{RB}(\cdot)$ , $\text{ECA}(\cdot)$ 和 $\text{PA}(\cdot)$ 分别为卷积、残差块、有效通道注意力机制及像素注意力机制对应函数。

MSFFM在进行多尺度特征融合时为在提取出重要特征的同时减少计算量，首先使用核大小为 $1 \times 1$ 的卷积层减小特征维数，其次采用残差块实现多尺度特征的非线性融合，再次通过双重注意力机制ECA和PA指导多尺度特征的加权融合，最后使用局部残差连接提升模型的性能以及训练的稳定性。

所提MSFFM可将不同尺度特征包含的不同信息进行充分的交互和融合，有利于提高去雾图像的质量。

3.1.3 构建去雾网络

为实现对有雾图像中雾的有效去除，本文基于所提多尺度特征提取模块和多尺度特征融合模块设计了一种去雾网络架构，其结构如图4所示。去雾网络的输入是一个有雾图像，该有雾图像首先经过由卷积层组成的浅层特征提取结构，然后输入至两个组结构中，通过 $3 \times 3$ 卷积将组结构的输出特征进行融合，再通过可变形卷积以扩展具有自适应形状的感受野，最后使用重构部分及全局残差连接获得初步去雾图像。

图 4 去雾网络的整体结构

下载: 全尺寸图片幻灯片

在去雾网络中，每个组结构由5个串行的基础块组成，提取的特征可表示为

${{\boldsymbol{f}}}_{i,j}=\left\{\begin{aligned} & {B}_{i,j}({{\boldsymbol{f}}}_{\text{in}}),\quad\;\; i=1,j=1 \\ & {B}_{i,j}({{\boldsymbol{f}}}_{i-1,5}),\;i=2,j=1 \\ & {B}_{i,j}({{\boldsymbol{f}}}_{i,j-1}),\;其他 \end{aligned}\right.$

(5)

其中， ${{\boldsymbol{f}}_{i,j}}$ 为第 $i \in \{ 1,2\}$ 个组结构中第 $j \in \{ 1,2,\cdots,5\}$ 个基础块提取出的特征， ${B}_{i,j}(\cdot )$ 为第 $i$ 个组结构中第 $j$ 个基础块进行的操作， ${{\boldsymbol{f}}_{{\text{in}}}}$ 为第1个组结构中第1个基础块输入的浅层特征。基础块由多尺度特征提取模块(MSFEM)、多尺度特征融合模块(MSFFM)以及局部残差连接组成，具体结构如图5所示。

图 5 基础块结构

下载: 全尺寸图片幻灯片

此外，为使网络学习有雾图像 ${{\boldsymbol{I}}_{{\text{haze}}}}$ 与对应清晰图像 ${{\boldsymbol{I}}_{{\text{gt}}}}$ 之间的映射关系，促使去雾网络生成较为清晰的初步去雾图像，需通过最小化损失函数 ${L_{\text{h}}}$ 来训练去雾网络。本文基于 ${L_1}$ 损失构造的损失函数定义为

${L_{\text{h}}} = \frac{1}{N}\sum\limits_{i = 1}^N {\left\| {{\boldsymbol{I}}_{{\text{gt}}}^i{\kern 1pt} - {\kern 1pt} D({\boldsymbol{I}}_{{\text{haze}}}^i)} \right\|}$

(6)

其中， $N$ 表示样本训练数目， $D(\cdot)$ 表示去雾网络。利用训练好的去雾网络，即可得到初步去雾图像 ${{\boldsymbol{I}}_{{\text{de}}}}$ 。

3.2 利用细节恢复网络提取细节信息

由于去雾网络存在去雾不足或过度去雾等不可避免的误差，因此初步去雾图像存在颜色信息偏差及纹理信息丢失的现象。因此本文构建了基于图像分块的细节恢复网络，通过聚合图像不同空间区域多个图像块的特征，从而获得图像各区域的细节信息，包括颜色信息及纹理信息。

所构建的细节恢复网络结构如图6所示。首先，将有雾图像与初步去雾结果在通道维度上进行连接并作为细节恢复网络的输入，该操作一方面可以获取有雾图像中潜在细节信息，另一方面可促使细节恢复网络寻找并提取初步去雾结果中由于去雾而丢失的细节信息。其次，将连接结果分割为 ${\boldsymbol{I}}_{{\text{left}}}^{{\text{up}}}$ , ${\boldsymbol{I}}_{{\text{right}}}^{{\text{up}}}$ , ${\boldsymbol{I}}_{{\text{left}}}^{{\text{bottom}}}$ 和 ${\boldsymbol{I}}_{{\text{right}}}^{{\text{bottom}}}$ 4个等大的图像块，并将4个来自不同区域的图像块分别输入至编码器中得到各自区域的特征。再次，将4部分中空间相邻的特征水平连接后，进行垂直连接得到最终聚合后的特征表示。最后，将聚合后的特征表示输入至解码器中得到最终提取的细节信息。

图 6 细节恢复网络的整体结构

下载: 全尺寸图片幻灯片

细节恢复网络中的编码器由卷积层和卷积块组成，具体结构如图6所示。卷积块中包含2个卷积层和1个ReLU层，且添加了跳跃连接以保留更多的细节信息，同时可将其传递至更深的层次。解码器结构上与编码器相似，但其中用反卷积层替换一个卷积层，并在解码器中添加一个增强模块^[15]，该模块采用金字塔池化来集成不同尺度下的细节特征。其输入特征通过平均池化层按4倍, 8倍, 16倍, 32倍的因子进行下采样，从而构建一个4尺度的金字塔。然后通过 $1 \times 1$ 卷积层降维，再对4个输出进行上采样恢复至原始大小，并将其与原始特征进行连接。最后，对连接后的特征图进行 $3 \times 3$ 卷积操作。

此外，本文通过最小化损失函数 ${L_{\text{d}}}$ 来训练细节恢复网络，以进一步提取出丢失的细节信息。将基于 ${L_1}$ 损失构造的损失函数定义为

${L_{\text{d}}} = \frac{1}{N}\sum\limits_{i = 1}^N {\left\| {\left( {{\boldsymbol{I}}_{{\text{de}}}^i + R\left( {{\boldsymbol{I}}_{{\text{haze}}}^i,{\boldsymbol{I}}_{{\text{de}}}^i} \right)} \right) - {\boldsymbol{I}}_{{\text{gt}}}^i} \right\|}$

(7)

其中， ${{\boldsymbol{I}}_{{\text{de}}}}$ 表示通过去雾网络获得的初步去雾图像， $R(\cdot)$ 为细节恢复网络。利用训练好的细节恢复网络，即可得到细节信息 ${\boldsymbol{\hat I}}$ 。

3.3 融合获取最终去雾图像

为了生成清晰的最终去雾图像，需对去雾网络获取的初步去雾结果 ${{\boldsymbol{I}}_{{\text{de}}}}$ 及细节恢复网络提取出的细节信息 ${\boldsymbol{\hat I}}$ 进行融合，由于像素级的相加融合可以直接利用各网络提取出来的特征，从而对特征信息做到最大限度的保留，同时可以更多地保留细节信息，使最终去雾图像的细节呈现比较丰富，故本文将初步去雾结果 ${{\boldsymbol{I}}_{{\text{de}}}}$ 与细节信息 ${\boldsymbol{\hat I}}$ 通过相加操作进行融合。融合公式定义为

${{\boldsymbol{I}}_{{\text{clear}}}} = {{\boldsymbol{I}}_{{\text{de}}}} + {\boldsymbol{\hat I}}$

(8)

融合后即可得到最终清晰的去雾图像 ${{\boldsymbol{I}}_{{\text{clear}}}}$ 。

4. 实验与结果分析

4.1 实验设置及数据集

所提方法的实验硬件环境为Intel® Xeon(R) Gold-5118 CPU @ 2.30 GHz、内存64 GB、显卡型号NVIDIA RTX 2080 Ti。实验软件环境为Ubuntu14.0, CUDA9.0, Python3.6.7和Pytorch1.0.0。实验参数设置上，将初始学习率设置为 $1 \times {10^{ - 4}}$ ，采用余弦退火策略来调整学习率。使用Adam优化器进行优化，batchsize设置为4。训练时使用总体损失函数 ${L_{{\text{total}}}} = {L_{\text{h}}} + {L_{\text{d}}}$ 对去雾网络及细节恢复网络进行并行训练。

本文选用图像去雾领域有代表性的RESIDE^[21]数据集中的室内训练集(Indoor Training Set, ITS)和室外训练集(Outdoor Training Set, OTS)对网络进行训练，合成客观测试集(Synthetic Objective Testing Set, SOTS)对网络进行测试。室内训练集ITS共包含1399幅清晰图像及由其生成的13990幅合成有雾图像。室外训练集OTS共包含8477幅清晰图像及其生成的296695幅合成有雾图像。测试集SOTS包含500幅室内有雾图像及500幅室外有雾图像。同时，为了测试模型的泛化能力，本文直接使用ITS上训练的模型在Middlebury^[22]数据集上进行测试，该数据集包含23幅有雾图像。此外，选用NTIRE 2018-Dehazing challenge数据集对提出的模型进行评估，该数据集包括室内数据集I-HAZE^[23]及室外数据集O-HAZE^[24]，分别包含30幅真实有雾图像和45幅真实有雾图像用于训练与测试。本文将从定性和定量两个角度，对所提方法进行消融实验与分析，并将本文方法与现有代表性的去雾方法DCP^[9], DeHazeNet^[13], AOD-Net^[14], GridDehazeNet^[16], FFA-Net^[18] 及MSBDN^[25]进行对比实验与分析。

4.2 消融实验

为验证所提方法中各个组件的有效性，分别从定性和定量角度对提出的多尺度特征提取模块(MSFEM)、多尺度特征融合模块(MSFFM)以及细节恢复网络进行了消融实验，具体包括以下3组实验：(1)仅使用去雾网络且该网络中基本块仅包含MSFEM及局部残差连接(MSFEM)；(2)仅使用去雾网络，但该网络中基本块包含MSFEM, MSFFM及局部残差连接(MSFEM + MSFFM)；(3)本文所提方法，即同时使用完整的去雾网络和细节恢复网络，并将细节恢复网络提取出的细节信息与去雾网络得到的初步去雾结果进行融合(MSFEM + MSFFM +细节恢复网络)。消融实验结果对比如图7所示，其中图7(a)是有雾图像，图7(b)是Ground Truth，图7(c)至图7(e)分别对应上述3组实验。从图7可以看出，图7(c)的去雾结果仍有少量雾的残留，尤其在各图像的标框放大区域最为明显，其中第1行图像凳子把手周围墙面颜色偏暗，出现轻微的颜色失真现象，第3行图像红色沙发靠背区域去雾不彻底。图7(d)的去雾结果虽然相对较为彻底，但细节信息模糊且色彩恢复不足，如第2行图像标框放大区域红色墙面颜色偏暗。与图7(c)和图7(d)相比，图7(e)的去雾效果最接近于Ground Truth，且标框处显示的细节信息最为清晰，因此可验证所提方法中各个组件的有效性。

图 7 消融实验结果比较

下载: 全尺寸图片幻灯片

此外，选取峰值信噪比(Peak Signal to Noise Ratio, PSNR)和结构相似性(Structural SIMilarity index, SSIM)对实验结果进行定量分析，这两个客观评价指标值越大，表明图像去雾效果越好。表1展示了不同配置消融实验在3种数据集上的量化评估结果，其中加粗字体为最优值。根据表1可知，其中第3组实验，即本文所提方法在SOTS及Middlebury数据集上均取得了最好的去雾效果，且MSFEM, MSFFM及细节恢复网络这3个结构均对网络性能有重要的影响，它们的组合对于提升网络性能有明显作用。

表 1 不同配置消融实验的PSNR和SSIM指标对比

数据集	MSFEM		MSFEM+MSFFM		MSFEM+MSFFM+细节恢复网络
数据集	PSNR $\uparrow$	SSIM $\uparrow$	PSNR $\uparrow$	SSIM $\uparrow$	PSNR $\uparrow$	SSIM $\uparrow$
SOTS(Indoor)	33.06	0.977	33.52	0.979	35.16	0.988
SOTS(Outdoor)	29.11	0.966	32.64	0.979	33.78	0.985
Middlebury	16.53	0.840	16.61	0.843	17.48	0.864

下载: 导出CSV

| 显示表格

4.3 与已有去雾方法实验对比与分析

4.3.1 基于合成图像与已有去雾方法实验对比与分析

为进一步验证本文方法对合成有雾图像的有效性，图8展示了所提方法与现有代表性去雾方法比较的实验结果。分析图8可知，由于DCP属于基于先验知识的去雾方法，其恢复的图像中一些区域存在严重的颜色失真问题，这导致去雾图像整体视觉效果较差，尤其在图8(b)中第1行图像的天花板、桌面及第2行图像的左侧墙面和右下角的桌面最为明显。DeHazeNet及AOD-Net属于基于学习思想且应用大气散射模型的去雾方法，没有受到先验信息的约束，故基本不存在颜色失真问题，但去雾不彻底。其中，DeHazeNet方法的去雾结果有大量雾的残留且在细节上呈现出模糊现象，如图8(c)中第1行图像的墙面和柜子。AOD-Net方法的去雾结果也存在大量雾无法去除，且去雾图像整体亮度偏低，图8(d)中第1行图像的墙面及吊灯和第3行图像的人都因为雾的残留而无法显示出细节信息。GridDehazeNet, FFA-Net及MSBDN属于基于学习思想的端到端去雾方法，不受先验信息的约束且无需对大气散射模型中的两个变量同时进行估计，减少了误差累积，故整体去雾效果优于前几种方法，但去雾结果仍然存在处理不到位的地方。其中，GridDehazeNet方法的去雾结果部分区域存在偏色现象，如图8(e)中第1行图像左上角天花板区域颜色过暗，第2行图像墙面变色。FFA-Net方法整体去雾效果良好，但部分区域较模糊导致细节不明显，如图8(f)中第3行图像中间人头部上方的树叶及第4行图像左上角的红色高楼区域都有雾的残留，亮度较低且细节信息不明显。MSBDN方法去雾不彻底，如图8(g)中第2行图像中桌子的左侧以及第3行图像中间人头部上方的树叶及墙面都有雾的残留。本文所提方法在去雾过程中同时考虑到图像去雾和细节恢复，所得去雾结果最为清晰且细节信息保留完整，视觉效果明显优于其他几种方法。由此可以验证本文方法对合成图像去雾的有效性。

图 8 本文方法与已有方法在合成图像上的比较

下载: 全尺寸图片幻灯片

为进一步评估本文方法的性能，依旧选取PSNR和SSIM两个客观评价指标对实验结果进行定量分析。表2给出了不同方法在5种数据集上的量化评估结果，其中加粗字体为最优值，加下划线字体为次优值。由表2可以看出，在SOTS(Outdoor), Middlebury及O-HAZE数据集上本文方法的PSNR和SSIM达到最优值，在SOTS(Indoor)及I-HAZE数据集上本文方法达到次优值。在SOTS(Indoor)数据集上，FFA-Net方法的值略高于本文方法，其原因在于，FFA-Net方法通过大量基础块的堆叠形成较深的网络结构，使其对具有大量样本数量的ITS和OTS训练集有较好的数据拟合能力，因此对与训练样本数据分布相同的合成数据去雾效果较好，故在测试集SOTS上取得了较高的指标。但过深的网络结构往往会造成过拟合现象，使其对数据分布不同的合成数据集Middlebury以及真实有雾图像的去雾效果一般，故整体而言所提方法略优于FFA-Net方法。在I-HAZE数据集上，MSBDN方法的值略高于本文方法，由于I-HAZE数据集样本数量较少，网络模型训练难度较大，故在该数据集上指标普遍较低。相比之下，MSBDN方法基于boosting和误差反馈的体系结构对该数据集更为有效，但对于除I-HAZE数据集外，本文方法在其他数据集上及真实有雾图像上的去雾效果优于MSBDN方法。故客观指标进一步验证了所提方法的有效性。

表 2 各算法的PSNR和SSIM指标对比

数据集	客观指标	DCP^[9]	DeHazeNet^[13]	AOD-Net^[14]	GridDehazeNet^[16]	FFA-Net^[18]	MSBDN^[25]	所提方法
SOTS(Indoor)	PSNR $\uparrow$	16.61	19.82	20.51	32.16	36.39	32.51	35.16
SOTS(Indoor)	SSIM $\uparrow$	0.855	0.821	0.816	0.984	0.989	0.977	0.988
SOTS(Outdoor)	PSNR $\uparrow$	19.14	24.75	24.14	30.86	33.57	33.64	33.78
SOTS(Outdoor)	SSIM $\uparrow$	0.861	0.927	0.920	0.982	0.984	0.982	0.985
Middlebury	PSNR $\uparrow$	11.94	–	13.94	16.94	13.76	17.34	17.48
Middlebury	SSIM $\uparrow$	0.762	–	0.743	0.856	0.698	0.862	0.864
I-HAZE	PSNR $\uparrow$	11.99	14.58	15.34	16.53	15.26	23.93	20.73
I-HAZE	SSIM $\uparrow$	0.528	0.688	0.704	0.768	0.696	0.891	0.813
O-HAZE	PSNR $\uparrow$	13.27	15.77	16.45	16.75	21.36	24.36	25.80
O-HAZE	SSIM $\uparrow$	0.576	0.697	0.684	0.766	0.869	0.749	0.875

下载: 导出CSV

| 显示表格

4.3.2 基于真实图像与已有去雾方法实验对比与分析

为验证本文方法对真实有雾图像的有效性，图9展示了所提方法与上述代表性去雾方法的对比结果(注：由于真实图像没有Ground Truth，故只能进行定性分析)。从图9可以看出，DCP方法的去雾结果中存在颜色失真的情况，尤其在图9(b)中第1行图像及第3行图像的天空区域最为明显。DeHazeNet方法去雾不彻底，图9(c)中第2行图像路面以及第3行图像的天安门区域最为明显。AOD-Net方法的去雾结果存在细节丢失的问题，图9(d)中第1行图像和第3行图像整体亮度较暗，细节不明显。GridDehazeNet方法的去雾结果部分区域存在偏色现象，如图9(e)中第3行图像的天空区域。FFA-Net方法去雾不彻底且细节模糊，图9(f)中第2行图像的垃圾桶明显丢失细节信息以及树枝部分有大量雾的残留，第3行图像天安门以及天空区域颜色偏暗，有大量的雾没有去除。MSBDN方法对于景深较大的地方去雾效果较差，如图9(g)中第1行图像远方的天空区域和右上角的塔楼以及第2行图像景深较大处的树枝都存在大量雾的残留，第3行图像由于过度去雾导致整体颜色偏暗，对比度降低，细节不明显。本文所提方法的去雾图像清晰自然且细节信息保存良好，能够基本保持图像整体较好的视觉效果。由此验证了本文方法对真实图像去雾的有效性。

图 9 本文方法与已有方法在真实图像上的比较

下载: 全尺寸图片幻灯片

4.4 方法运行时间及参数量分析

为对所提方法的运行时间和参数量进行分析，本文选择与去雾效果较好的3个现有代表性去雾方法进行了对比。运行时间是指在包含500幅620×460有雾图像的SOTS(Indoor)数据集上进行图像去雾的平均时间。为便于进行对比实验，我们使用GridDehazeNet^[16], FFA-Net^[18]以及MSBDN^[25]所公布的源码对各方法进行复现，并在相同的实验环境下运行，对比结果如表3所示。由表3可知所提方法对单幅图像进行去雾需要约0.22 s，在所有对比方法中排第2位，模型参数量为4.89 M，在所有对比方法中排第3位。由于本文方法在去雾过程中不仅需要图像去雾还需进行细节恢复，故运行时间略长于MSBDN方法，但参数量低于MSBDN，而GridDehazeNet及FFA-Net方法虽有较少的参数量但运行时间较长，即本文方法较为综合，整体性能略优于3种对比方法。

表 3 不同算法的运行时间和参数量对比

	GridDehazeNet^[16]	FFA-Net^[18]	MSBDN^[25]	所提方法
运行时间(s)	0.32	0.33	0.05	0.22
参数量(M)	0.96	4.46	31.35	4.89

下载: 导出CSV

| 显示表格

5. 结论

本文提出一种基于多尺度特征结合细节恢复的单幅图像去雾方法。所提方法的贡献主要体现在3个方面：(1) 提出多尺度特征提取模块及多尺度特征融合模块，使用不同膨胀率的并行平滑扩张卷积获得多尺度特征，并应用残差块和双重注意力机制对提取到的多尺度特征进行非线性加权融合，实现更好的特征提取和利用，从而达到较好的去雾效果；(2)基于所提出多尺度特征提取模块及多尺度特征融合模块，设计了去雾网络以解决单幅图像去雾问题，该网络可以对图像中雾特征进行深层次的提取，从而保证对有雾图像中雾的初步去除；(3) 将细节恢复融入到图像去雾问题中，构建了细节恢复网络用于提取细节信息，并将细节信息融入初步去雾图像，在对单幅图像进行有效去雾的同时，更好地保留了图像中的细节信息，该思路是一种有益的尝试。实验结果表明，所提方法实现了对雾的有效去除，且细节信息得到优化，视觉效果真实自然。

图 1 所提单幅图像去雾方法流程

下载: 全尺寸图片幻灯片

图 2 MSFEM结构

下载: 全尺寸图片幻灯片

图 3 MSFFM结构

下载: 全尺寸图片幻灯片

图 4 去雾网络的整体结构

下载: 全尺寸图片幻灯片

图 5 基础块结构

下载: 全尺寸图片幻灯片

图 6 细节恢复网络的整体结构

下载: 全尺寸图片幻灯片

图 7 消融实验结果比较

下载: 全尺寸图片幻灯片

图 8 本文方法与已有方法在合成图像上的比较

下载: 全尺寸图片幻灯片

图 9 本文方法与已有方法在真实图像上的比较

下载: 全尺寸图片幻灯片

表 1 不同配置消融实验的PSNR和SSIM指标对比

数据集	MSFEM		MSFEM+MSFFM		MSFEM+MSFFM+细节恢复网络
数据集	PSNR $\uparrow$	SSIM $\uparrow$	PSNR $\uparrow$	SSIM $\uparrow$	PSNR $\uparrow$	SSIM $\uparrow$
SOTS(Indoor)	33.06	0.977	33.52	0.979	35.16	0.988
SOTS(Outdoor)	29.11	0.966	32.64	0.979	33.78	0.985
Middlebury	16.53	0.840	16.61	0.843	17.48	0.864

下载: 导出CSV

表 2 各算法的PSNR和SSIM指标对比

数据集	客观指标	DCP^[9]	DeHazeNet^[13]	AOD-Net^[14]	GridDehazeNet^[16]	FFA-Net^[18]	MSBDN^[25]	所提方法
SOTS(Indoor)	PSNR $\uparrow$	16.61	19.82	20.51	32.16	36.39	32.51	35.16
SOTS(Indoor)	SSIM $\uparrow$	0.855	0.821	0.816	0.984	0.989	0.977	0.988
SOTS(Outdoor)	PSNR $\uparrow$	19.14	24.75	24.14	30.86	33.57	33.64	33.78
SOTS(Outdoor)	SSIM $\uparrow$	0.861	0.927	0.920	0.982	0.984	0.982	0.985
Middlebury	PSNR $\uparrow$	11.94	–	13.94	16.94	13.76	17.34	17.48
Middlebury	SSIM $\uparrow$	0.762	–	0.743	0.856	0.698	0.862	0.864
I-HAZE	PSNR $\uparrow$	11.99	14.58	15.34	16.53	15.26	23.93	20.73
I-HAZE	SSIM $\uparrow$	0.528	0.688	0.704	0.768	0.696	0.891	0.813
O-HAZE	PSNR $\uparrow$	13.27	15.77	16.45	16.75	21.36	24.36	25.80
O-HAZE	SSIM $\uparrow$	0.576	0.697	0.684	0.766	0.869	0.749	0.875

下载: 导出CSV

表 3 不同算法的运行时间和参数量对比

	GridDehazeNet^[16]	FFA-Net^[18]	MSBDN^[25]	所提方法
运行时间(s)	0.32	0.33	0.05	0.22
参数量(M)	0.96	4.46	31.35	4.89

下载: 导出CSV

参考文献(25)

[1]	姚婷婷, 梁越, 柳晓鸣, 等. 基于雾线先验的时空关联约束视频去雾算法[J]. 电子与信息学报, 2020, 42(11): 2796–2804. doi: 10.11999/JEIT190403 YAO Tingting, LIANG Yue, LIU Xiaoming, et al. Video dehazing algorithm via haze-line prior with spatiotemporal correlation constraint[J]. Journal of Electronics &Information Technology, 2020, 42(11): 2796–2804. doi: 10.11999/JEIT190403
[2]	谭建豪, 殷旺, 刘力铭, 等. 引入全局上下文特征模块的DenseNet孪生网络目标跟踪[J]. 电子与信息学报, 2021, 43(1): 179–186. doi: 10.11999/JEIT190788 TAN Jianhao, YIN Wang, LIU Liming, et al. DenseNet-siamese network with global context feature module for object tracking[J]. Journal of Electronics &Information Technology, 2021, 43(1): 179–186. doi: 10.11999/JEIT190788
[3]	余淼, 胡占义. 高阶马尔科夫随机场及其在场景理解中的应用[J]. 自动化学报, 2015, 41(7): 1213–1234. doi: 10.16383/j.aas.2015.c140684 YU Miao and HU Zhanyi. Higher-order markov random fields and their applications in scene understanding[J]. Acta Automatica Sinica, 2015, 41(7): 1213–1234. doi: 10.16383/j.aas.2015.c140684
[4]	STARK J A. Adaptive image contrast enhancement using generalizations of histogram equalization[J]. IEEE Transactions on Image Processing, 2000, 9(5): 889–896. doi: 10.1109/83.841534
[5]	JIANG B, WOODELL G A, and JOBSON D J. Novel multi-scale retinex with color restoration on graphics processing unit[J]. Journal of Real-Time Image Processing, 2015, 10(2): 239–253. doi: 10.1007/s11554-014-0399-9
[6]	SEOW M J and ASARI V K. Ratio rule and homomorphic filter for enhancement of digital colour image[J]. Neurocomputing, 2006, 69(7/9): 954–958. doi: 10.1016/j.neucom.2005.07.003
[7]	DAUBECHIES I. The wavelet transform, time-frequency localization and signal analysis[J]. IEEE Transactions on Information Theory, 1990, 36(5): 961–1005. doi: 10.1109/18.57199
[8]	FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3): 1–9. doi: 10.1145/1360612.1360671
[9]	HE Kaiming, SUN Jian, and TANG Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341–2353. doi: 10.1109/TPAMI.2010.168,
[10]	杨燕, 王志伟. 基于均值不等关系优化的自适应图像去雾算法[J]. 电子与信息学报, 2020, 42(3): 755–763. doi: 10.11999/JEIT190368 YANG Yan and WANG Zhiwei. Adaptive image dehazing algorithm based on mean unequal relation optimization[J]. Journal of Electronics &Information Technology, 2020, 42(3): 755–763. doi: 10.11999/JEIT190368
[11]	WANG Jinbao, HE Ning, ZHANG Lulu, et al. Single image dehazing with a physical model and dark channel prior[J]. Neurocomputing, 2015, 149: 718–728. doi: 10.1016/j.neucom.2014.08.005
[12]	ZHU Qingsong, MAI Jiaming, and SHAO Ling. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522–3533. doi: 10.1109/TIP.2015.2446191
[13]	CAI Bolun, XU Xiangmin, JIA Kui, et al. DehazeNet: An end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187–5198. doi: 10.1109/TIP.2016.2598681
[14]	LI Boyi, PENG Xiulian, WANG Zhangyang, et al. AOD-Net: All-in-one dehazing network[C]. IEEE International Conference on Computer Vision, Venice, Italy, 2017: 4780–4788.
[15]	QU Yanyun, CHEN Yizi, HUANG Jingying, et al. Enhanced pix2pix dehazing network[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 8160–8168.
[16]	LIU Xiaohong, MA Yongrui, SHI Zhihao, et al. GridDehazeNet: Attention-based multi-scale network for image dehazing[C]. IEEE International Conference on Computer Vision, Seoul, Korea (South), 2019: 7314–7323.
[17]	DAS S D and DUTTA S. Fast deep multi-patch hierarchical network for nonhomogeneous image dehazing[C]. IEEE Conference on Computer Vision and Pattern Recognition Workshops, Seattle, USA, 2020: 1994–2001.
[18]	QIN Xu, WANG Zhilin, BAI Yuanchao, et al. FFA-Net: Feature fusion attention network for single image dehazing[C]. 34th AAAI Conference on Artificial Intelligence, New York, USA, 2020: 11908–11915.
[19]	WANG Zhengyang and JI Shuiwang. Smoothed dilated convolutions for improved dense Prediction[C]. 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, London, United Kingdom, 2018: 2486–2495.
[20]	WANG Qilong, WU Banggu, ZHU Pengfei, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 11531–11539.
[21]	LI Boyi, REN Wenqi, FU Dengpan, et al. Benchmarking single-image dehazing and beyond[J]. IEEE Transactions on Image Processing, 2019, 28(1): 492–505. doi: 10.1109/TIP.2018.2867951
[22]	SCHARSTEIN D, HIRSCHMÜLLER H, KITAJIMA Y, et al. High-resolution stereo datasets with subpixel-accurate ground truth[C]. 36th German Conference on Pattern Recognition, Münster, Germany, 2014: 31–42.
[23]	ANCUTI C, ANCUTI C O, TIMOFTE R, et al. I-HAZE: A dehazing benchmark with real hazy and haze-free indoor images[C]. Advanced Concepts for Intelligent Vision Systems, 19th International Conference, ACIVS 2018, Poitiers, France, 2018: 620–631.
[24]	ANCUTI C O, ANCUTI C, TIMOFTE R, et al. O-HAZE: A dehazing benchmark with real hazy and haze-free outdoor images[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Salt Lake City, USA, 2018: 867–875.
[25]	DONG Hang, PAN Jinshan, XIANG Lei, et al. Multi-scale boosted dehazing network with dense feature fusion[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, USA, 2020: 2154–2164.

施引文献

期刊类型引用(4)

1.	康璐瑶，邵振华，吴保露. 雾气环境下基于引导滤波的中压开关图像检测. 科技创新与应用. 2025(04): 51-55 . 百度学术
2.	袁姮，颜廷昊. 并行多尺度注意力映射图像去雾算法. 激光与光电子学进展. 2024(04): 101-112 . 百度学术
3.	王德文，陈威，苏攀. 基于粗到细的多尺度单幅图像去雾方法. 智能系统学报. 2024(05): 1102-1110 . 百度学术
4.	杜红萱，刘庆一，任延德，王艳，张亚楠，白培瑞. MSCRHO-Net：一种有效去除皮肤镜图像毛发遮挡的深度学习模型. 中国生物医学工程学报. 2024(06): 662-672 . 百度学术

其他类型引用(10)

资源附件(0)

访问统计

图(9) / 表(3)

计量

文章访问数: 1074
HTML全文浏览量: 763
PDF下载量: 203
被引次数: 14

1. 引言
2. 方法概述
3. 基于多尺度特征结合细节恢复的单幅图像去雾方法
3.1 利用去雾网络获取初步去雾结果
3.2 利用细节恢复网络提取细节信息
3.3 融合获取最终去雾图像
4. 实验与结果分析
4.1 实验设置及数据集
4.2 消融实验
4.3 与已有去雾方法实验对比与分析
4.4 方法运行时间及参数量分析
5. 结论

1. 引言
2. 方法概述
3. 基于多尺度特征结合细节恢复的单幅图像去雾方法
3.1 利用去雾网络获取初步去雾结果
3.2 利用细节恢复网络提取细节信息
3.3 融合获取最终去雾图像
4. 实验与结果分析
4.1 实验设置及数据集
4.2 消融实验
4.3 与已有去雾方法实验对比与分析
4.4 方法运行时间及参数量分析
5. 结论

参考文献(25)

施引文献

资源附件(0)

访问统计

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于多尺度特征结合细节恢复的单幅图像去雾方法

doi: 10.11999/JEIT210868

通讯作者:
路佳琪　1078271268@qq.com

计量

Single Image Dehazing Method Based on Multi-scale Features Combined with Detail Recovery

1. 引言

2. 方法概述

3. 基于多尺度特征结合细节恢复的单幅图像去雾方法

3.1 利用去雾网络获取初步去雾结果

3.1.1 提出多尺度特征提取模块(MSFEM)

3.1.2 提出多尺度特征融合模块(MSFFM)

3.1.3 构建去雾网络

3.2 利用细节恢复网络提取细节信息

3.3 融合获取最终去雾图像

4. 实验与结果分析

4.1 实验设置及数据集

4.2 消融实验

4.3 与已有去雾方法实验对比与分析

4.3.1 基于合成图像与已有去雾方法实验对比与分析

4.3.2 基于真实图像与已有去雾方法实验对比与分析

4.4 方法运行时间及参数量分析

5. 结论

期刊类型引用(4)

其他类型引用(10)

计量

目录

1. 引言

2. 方法概述

3. 基于多尺度特征结合细节恢复的单幅图像去雾方法

3.1 利用去雾网络获取初步去雾结果

3.2 利用细节恢复网络提取细节信息

3.3 融合获取最终去雾图像

4. 实验与结果分析

4.1 实验设置及数据集

4.2 消融实验

4.3 与已有去雾方法实验对比与分析

4.4 方法运行时间及参数量分析

5. 结论

留言板

基于多尺度特征结合细节恢复的单幅图像去雾方法

doi: 10.11999/JEIT210868

通讯作者: 路佳琪 1078271268@qq.com

计量

出版历程

Single Image Dehazing Method Based on Multi-scale Features Combined with Detail Recovery

1. 引言

2. 方法概述

3. 基于多尺度特征结合细节恢复的单幅图像去雾方法

3.1 利用去雾网络获取初步去雾结果

3.1.1 提出多尺度特征提取模块(MSFEM)

3.1.2 提出多尺度特征融合模块(MSFFM)

3.1.3 构建去雾网络

3.2 利用细节恢复网络提取细节信息

3.3 融合获取最终去雾图像

4. 实验与结果分析

4.1 实验设置及数据集

4.2 消融实验

4.3 与已有去雾方法实验对比与分析

4.3.1 基于合成图像与已有去雾方法实验对比与分析

4.3.2 基于真实图像与已有去雾方法实验对比与分析

4.4 方法运行时间及参数量分析

5. 结论

期刊类型引用(4)

其他类型引用(10)

计量

出版历程

目录

1. 引言

2. 方法概述

3. 基于多尺度特征结合细节恢复的单幅图像去雾方法

3.1 利用去雾网络获取初步去雾结果

3.2 利用细节恢复网络提取细节信息

3.3 融合获取最终去雾图像

4. 实验与结果分析

4.1 实验设置及数据集

4.2 消融实验

4.3 与已有去雾方法实验对比与分析

4.4 方法运行时间及参数量分析

5. 结论

通讯作者:
路佳琪　1078271268@qq.com