Video Dehazing Algorithm via Haze-line Prior with Spatiotemporal Correlation Constraint

Tingting YAO; Yue LIANG; Xiaoming LIU; Qing HU

doi:10.11999/JEIT190403

Volume 42 Issue 11

Nov. 2020

Turn off MathJax

Article Contents

Article Navigation > Journal of Electronics & Information Technology > 2020 > 42(11): 2796-2804

Li Chao. CLOCK CONTROLLED SEQUENCES OVER GF(p)[J]. Journal of Electronics & Information Technology, 1994, 16(2): 189-192.

Citation:

Tingting YAO, Yue LIANG, Xiaoming LIU, Qing HU. Video Dehazing Algorithm via Haze-line Prior with Spatiotemporal Correlation Constraint[J]. Journal of Electronics & Information Technology, 2020, 42(11): 2796-2804. doi: 10.11999/JEIT190403

Li Chao. CLOCK CONTROLLED SEQUENCES OVER GF(p)[J]. Journal of Electronics & Information Technology, 1994, 16(2): 189-192.

Citation:

PDF( 6820 KB)

Video Dehazing Algorithm via Haze-line Prior with Spatiotemporal Correlation Constraint

doi: 10.11999/JEIT190403

College of Information Science and Technology, Dalian Maritime University, Dalian 116026, China

Funds: The Fundamental Research Funds for the Central Universities (3132020208), The National Natural Science Foundation of China (31700742)

Received Date: 2019-06-05
Rev Recd Date: 2020-06-22

Available Online: 2020-07-17

Publish Date: 2020-11-16

Abstract

Abstract

Because of the existent video dehazing algorithm lacks the analysis of the video structure correlation constraint and inter-frame consistency, it is easy to cause the dehazing results of continuous frames to have sudden changes in color and brightness. Meanwhile, the edge of foreground target is also prone to degradation. Focus on the aforementioned problems, a novel video dehazing algorithm via haze-line prior with spatiotemporal correlation constraint is proposed, which improves the accuracy and robustness of video dehazing result by bringing the structural relevance and temporal consistency of each frame. Firstly, the dark channel and haze-line prior are utilized to estimate the atmospheric light vector and initial transmission image of each frame. Then a weighted least square edge preserving smoothing filter is introduced to smooth the initial transmission image and eliminate the influence of singularities and noises on the estimated results. Furthermore, the camera parameters are calculated to describe the time series variation of the transmission image between continuous frames, and the independently obtained transmission image of each frame is corrected with temporal correlation constraint. Finally, according to the physical model, the video dehazing results are obtained. The experimental results of qualitative and quantitative comparison show that the proposed algorithm could make the inter-frame transition more smooth, and restore the color of each frame more accurately. Besides, more details are displayed at the edge of the dehazing results.
- Video dehazing,
- Spatial smoothing,
- Temporal correlation constraint,
- Haze-line prior

FullText(HTML)

1. 引言

近年来，雾霾现象的频繁发生影响了光学图像和视频的成像质量，对内陆城市、海湾港口等视频监控系统的信息处理造成了严重干扰。如何运用有效的去雾算法实现原始有雾视频的清晰化处理具有重要的理论研究意义和实际应用价值，成为国内外学者的重点研究方向之一^[1]。

现有视频去雾算法通常分为3类^[1]。第1类方法是将视频看作单帧图像集合，通过对每帧图像进行独立去雾实现对整个视频的去雾处理。传统方法主要利用Retinex算法、形态学滤波、曲波变换等图像增强技术进行单帧图像下的去雾处理^[2-5]。为了提高去雾效果，He等人^[6]进一步在雾图模型下提出了基于暗通道先验假设的图像去雾方法。该算法具有高效鲁棒等优点，因此衍生出一系列基于该理论的改进算法^[7-10]。基于单帧图像的视频去雾方法逻辑清晰、结构简单，然而处理过程仅对每帧图像进行单独计算，忽略了帧间时序关联，容易导致生成的视频去雾结果不连贯，相邻帧间去雾图像在背景区域存在颜色和亮度的突变。

第2类方法主要基于融合技术实现视频去雾。这类方法首先对视频中每帧图像前背景区域分别进行增强处理，然后运用融合技术获得去雾结果。例如，John等人^[11]提出了基于视频前背景分离的去雾算法。该方法首先对背景区域进行增强处理得到全局亮度参数，然后利用估计的亮度参数对每帧图像进行前景加强，最后利用小波融合获得视频去雾结果。Yoon等人^[12]通过使用多相水平集的方法代替软抠图，实现视频前背景区域分离。进一步提出颜色校正方法解决连续帧间去雾结果容易出现颜色畸变这一问题，从而获得更加连贯的视频去雾结果。总体而言，这类方法相比于单帧图像独立求解去雾性能更好，但需要对前背景区域进行预先分离，在雾天视频下，由于很难获得准确的前景区域提取结果，进而影响了最终视频去雾效果。

第3类方法通常首先估计一个通用的去雾模型，然后将其应用于后续各帧的去雾处理中。例如，郭璠等人^[13]基于背景变化不明显这一假设，利用背景图的传输率实现整个监控视频的去雾模型构建。刘海波等人^[14]在此基础上进一步加入暗通道先验和Retinex方法提高去雾效果。马忠丽等人^[15]提出雾罩理论，将雾看作清晰图像上加载的1层薄纱，通过第1帧图像求出通用雾罩模型，并将其用于后续各帧图像清晰化处理中。基于通用去雾模型的方法可以提高视频去雾算法求解效率，然而各种去雾模型均依赖不同的假设条件，如视频中背景区域变化不明显或视频每帧图像雾的分布均相同等。在对真实视频进行处理时，上述假设很难成立，因此得到的去雾结果存在一定偏差，前景目标的边缘区域也存在一定的退化现象。

通过上述分析可以发现，现有视频去雾算法获得的去雾结果在颜色亮度上通常存在一定的突变，前景目标边缘处也存在退化现象。通过在视频去雾求解过程中引入连续帧间所具有的内在时空关联约束，可以有效解决上述问题，提高去雾算法的准确性。基于此，本文提出一种基于雾线先验的时空关联约束视频去雾算法。通过对雾线先验估计获得的初始透射率图进行空间平滑和时序关联优化，从而在雾图模型下获得更加准确连贯的视频去雾结果。定性和定量的实验结果表明，相比其他算法，本文方法获得的去雾结果帧间过渡更加自然，单帧图像物体边缘的细节纹理还原也更加准确。

2. 雾图模型及雾线先验

本节首先简单介绍雾图模型和雾线先验的物理原理及对应求解公式。

2.1 雾图模型

使用 $x$ 表示每个像素点索引， ${{I}}(x)$ 表示经过雾散射后得到的有雾图像， ${{J}}(x)$ 表示原始无雾图像，根据雾的物理成像原理， ${{I}}(x)$ 与 ${{J}}(x)$ 的关系可以使用雾图模型^[6]表示为

${{I}}(x) = {{J}}(x){{\alpha}} (x){\rm{ + }}{{A}}(1{\rm{ - }}{{\alpha}} (x))$

(1)

式中， ${{A}}$ 表示大气光向量， ${{\alpha}} (x)$ 表示透射率图。由式(1)可知，已知有雾图像 ${{I}}(x)$ ，通过先验信息计算出大气光向量 ${{A}}$ 和透射率图 ${{\alpha}} (x)$ 后，即可最终推算出原始无雾图像 ${{J}}(x)$ 。当大气分布均匀时，传输率图 ${{\alpha}} (x)$ 可以进一步表示为^[16]

${{\alpha}} (x) = {{\rm{e}}^{{\rm{ - }}{{\beta}} {{z}}(x)}}$

(2)

式中， $\beta$ 表示由传输介质密度决定的大气散射系数， ${{z}}(x)$ 表示图像中不同景物到摄像机的距离。为了简化该公式，可以使用景深图近似表示 ${{z}}(x)$ ^[16]。

2.2 雾线先验

对于清晰图像，在RGB颜色空间中具有相似颜色的像素点可以通过聚类运算形成团状分布。但对于有雾图像，如图1所示，受雾干扰具有相似颜色的像素在RGB空间中呈直线分布(也被称为雾线)。不同颜色的像素点形成的雾线会相交于一点，该点即为大气光向量 ${{A}}$ ，这一现象称为雾线先验^[17]。基于雾线先验，可以对雾图模型进行同等变换，获得

图 1 雾线示意图

下载: 全尺寸图片幻灯片

${{{I}}_{{\rm{haze - line}}}}(x) = {{I}}(x) - {{A}} = {{\alpha}} (x)({{J}}(x) - {{A}})$

(3)

为了更直观地表达 ${{{I}}_{{\rm{haze - line}}}}(x)$ ，可以将原始RGB坐标系转换到以大气光向量 ${{A}}$ 为原点的球面坐标系下。此时每个像素点的 ${{{I}}_{{\rm{haze - line}}}}(x)$ 值可以表示为

${{{I}}_{\rm{haze - line}}}(x{\rm{) = [}}{{r}}(x),{{\phi}} (x),{{\theta}} (x{\rm{)]}}$

(4)

式中， ${{r}}(x)$ 表示球面坐标系下像素点 $x$ 到原点的距离(即 ${\rm{||}}{{I}}(x){\rm{ - }}{{A}}{\rm{||}}$ ), ${{\phi }}$ 和 ${{\theta}}$ 为像素点在球面坐标系下的经度角和纬度角。由式(3)可以看出，对于给定的无雾图像 ${{J}}(x)$ 和大气光向量 ${{A}}$ ，当前帧中不同像素点的 ${{{I}}_{{\rm{haze - line}}}}(x)$ 值只与透射率图 ${{\alpha}} (x)$ 有关。根据雾线先验，在球面坐标下进一步转换为透射率图 ${{\alpha}} (x)$ 的变化仅与 ${{r}}(x)$ 的取值相关。因此，通过将具有相似经纬度角的像素点进行聚类，即可获得若干条雾线的集合。每条雾线在物理成像上可以视为是由具有相似颜色、不同透射率的像素点组成的集合。

3. 本文算法

基于雾图模型和雾线先验假设，本文提出一种时空关联约束视频去雾算法。算法总体框图如图2所示，对于包含n帧图像的有雾视频 ${\{}{{{I}}^{i}}(x)|{i = }$ ${1,2,} ··· ,n {\}}$ ，采用暗通道先验估计获得视频中第 $i$ 帧图像的大气光向量 ${{{A}}^{i}}$ ，并基于雾线先验求取初始透射率图 ${\tilde {{\alpha}} ^{i}}(x)$ 。为了提高去雾算法准确性，引入时空关联约束项对初始透射率图 ${\tilde {{\alpha}} ^{i}}(x)$ 进行优化更新。首先在空间域上，使用基于加权最小二乘法的边缘保持平滑滤波器对初始透射率图进行平滑优化，去除奇异点和噪声干扰，得到 ${{\alpha}} _{{\rm{so}}}^i(x)$ 。进一步通过引入相机参数和第 $i$ 帧大气散射系数 ${\beta ^{i}}$ 求取连续帧间的时序关联约束，获得时序优化后的透射率图 ${{\alpha}} _{{\rm{ult}}}^i(x)$ 。最终，结合大气光向量 ${{{A}}^{i}}$ 和优化的透射率图 ${{\alpha}} _{{\rm{ult}}}^i(x)$ 通过式(1)得到视频中第 $i$ 帧图像的去雾结果。

图 2 本文算法总体框图

下载: 全尺寸图片幻灯片

3.1 估计大气光向量和初始透射率图

大气光向量 ${{A}}$ 一般可以直接利用图像中最亮的像素点进行估计求取，但该方法求解鲁棒性较差。为了提高大气光向量的估计准确性，本文采用文献[6]的方法，利用暗通道先验进行大气光向量估计。首先利用暗通道图挑选出前0.1%的最亮像素，然后在第 $i$ 帧有雾图像 ${{{I}}^{i}}(x)$ 中找出最亮像素的对应位置，求取该帧图像下的大气光向量 ${{{A}}^{i}}$ 的估计值。

进一步利用雾线先验计算第 $i$ 帧的初始透射率图。通过单位球对RGB空间进行均匀采样。在球面坐标系下，将具有相似经纬度角的像素进行聚类，获得若干条雾线集合。对于某条确定雾线H(即 $\{ {x_H}{\rm{|}}{x_H} \in H{\rm{\} }}$ )，计算球面坐标系下该雾线上所有像素点到原点的距离，获得每个像素点对应的 ${{{r}}^{i}}({x_H})$ 取值。根据雾线先验理论， ${{{r}}^{i}}({x_H})$ 只与透射率图 ${\tilde {{\alpha}} ^{i}}({x_H})$ 有关，因此同一雾线上所有像素点的初始透射率图可以表示为

${\tilde {{\alpha}} ^{i}}({x_H}) = \frac{{{{{r}}^{i}}({x_H})}}{{{{r}}_{\max }^{i}({x_H})}}$

(5)

其中， ${{r}}_{\max }^{i}({x_H})$ 表示同一雾线上受雾干扰影响最小的像素点到原点的距离。实际计算中，使用雾线H上 ${{{r}}^{i}}({x_H})$ 的最大值 ${{r}}_{\max }^{i}{\rm{ = max}}\left\{ {{{{r}}^{i}}({x_H})} \right\}$ 实现像素点的初始透射率估计。

3.2 时空关联约束下的透射率图优化

根据式(5)可以依次求取每个像素点对应的初始透射率值。由于计算过程是对每个像素点进行独立求解，因此容易受奇异值和噪声干扰导致求出的 ${\tilde {{\alpha}} ^{i}}(x)$ 在连续空间中存在突变。为了增加透射率图的空间平滑性，这里引入基于加权最小二乘法的边缘保持平滑滤波器^[17]进行空间平滑滤波处理

$\begin{split} {{\alpha}} _{{\rm{so}}}^{i}(x) = \,&\mathop {{\rm{argmin}}}\limits_{{{{\alpha}} ^{i}}_{{\rm{so}}}({{x}})} \sum\limits_{{x}} {\frac{{{{{\rm{[}}{{\alpha}} _{{\rm{so}}}^{i}(x) - {{\tilde {{\alpha}} }^{i}}(x{\rm{)]}}}^{\rm{2}}}}}{{{{{\sigma}} ^{\rm{2}}}(x)}}} \\ & {\rm{ + }}{\lambda }\sum\limits_x {\sum\limits_{{y} \in {{N}_x}} {\frac{{{{{\rm{[}}{{\alpha}} _{{\rm{so}}}^{i}(x) - {{\alpha}} _{{\rm{so}}}^{i}({y}{\rm{)]}}}^{\rm{2}}}}}{{{\rm{||}}{{{I}}^{i}}(x) - {{{I}}^{i}}({y}{\rm{)|}}{{\rm{|}}^{\rm{2}}}}}} } \end{split}$

(6)

式中， $\lambda$ 为平衡数据项与平滑项的加权参数， ${N_x}$ 为像素点 $x$ 的空间近邻， ${{\sigma}} (x)$ 为初始透射率图 ${\tilde {{\alpha}} ^{i}}(x)$ 的标准偏差。图3(a)和图3(b)分别给出了第 $i$ 帧图像的初始透射率图 ${\tilde {{\alpha}} ^{i}}(x)$ 和空间平滑后的透射率图 ${{\alpha}} _{{\rm{so}}}^{i}(x)$ 对比图。由图可以看出，经过空间平滑优化后，透射率图具有更强的空间连续性。

图 3 同一帧各阶段透射率图对比

下载: 全尺寸图片幻灯片

连续帧图像在时间上也具有较强的一致性。为了进一步引入帧间关联约束，本文利用SfM(Structure from Motion)算法^①，根据拍摄获取的连续帧中目标移动的空间和几何关系，推导获得相机拍摄参数 $\left\{ {{{{K}}^{i}},{{{R}}^{i}},{{{t}}^{i}}|{i} = 1,2, ··· ,n} \right\}$ 和大气散射系数 ${\beta ^{i}}$ ，从而构建连续帧间像素点的时域映射关联。其中， ${{{K}}^{i}}$ 表示相机内参矩阵， ${{{R}}^{i}}$ 为旋转矩阵， ${{{t}}^{i}}$ 是平移矩阵。上述参数的详细推导求解过程可参见文献[16,18]。

利用估计出的相机参数 $\left\{ {{{{K}}^{i}},{{{R}}^{i}},{{{t}}^{i}}|{i} = 1,2, ··· ,n} \right\}$ ，本文使用文献[16]提出的映射函数，刻画连续帧间有雾图像中像素点 $x$ 在时间 $i \to j$ 时刻下的透射率变化

$\begin{split} {{{\varphi}} ^{_{{i} \to j}}}(x,{{\alpha}} _{{\rm{so}}}^{i}(x)) =\,& {\rm{exp((}}{\hat {{r}}^{i,j}}{)^{\rm{T}}}{({{{K}}^{i}})^{{\rm{ - 1}}}}{{\tau}} (x{\rm{)lg(}}{{\alpha}} _{{\rm{so}}}^{i}(x{\rm{)) }} \\ & +{\beta ^{i}}(({\hat {{r}}^{i,j}}{)^{\rm{T}}}{{{t}}^{i}} - {{t}}_{_{\rm{3}}}^j))\\[-10pt] \end{split}$

(7)

式中， ${{\alpha}} _{{\rm{so}}}^{i}(x)$ 表示第 $i$ 帧像素点 $x$ 平滑后的透射率， ${({\hat {{r}}^{i,j}})^{\rm{T}}}$ 表示矩阵 ${{{R}}^j}{({{{R}}^{i}})^{\rm{T}}}$ 的最后一行， ${{\tau}} (x)$ 为像素点 $x$ 的齐次坐标， ${{t}}_{_{\rm{3}}}^j$ 为第 $j$ 帧相机参数中平移矩阵 ${{{t}}^j}$ 的第3列， ${\beta ^{i}}$ 为大气散射系数。

连续帧间同一像素点的透射率在时间尺度下具有一定的一致性，因此本文对获得的第 $i$ 帧透射率图进行时序关联修正。引入时序关联一致项 ${{E}}({{{z}}^{i}}(x))$ ，刻画连续帧间透射率图的变化规律

$\begin{split} {{E}}({{{z}}^{i}}(x)) =\,& \frac{{\rm{1}}}{{|\varPhi ({i})|}}\sum\limits_{j \in \varPhi ({i})} \sum\limits_x {\rm{||}}{{\hat {{\alpha}} }^{{i} \to j}}(x) \\ & -{{{I}}^j}({{{l}}^{{i} \to j}}(x,{{{z}}^{i}}(x{\rm{)))||}} \end{split}$

(8)

${\hat {{\alpha}} ^{{i} \to j}}(x) = ({{{I}}^{i}}(x) - {{{A}}^{i}})\frac{{{{{\varphi}} ^{_{{i} \to j}}}(x,{{\alpha}} _{\rm{so}}^i(x))}}{{{{\alpha}} _{\rm{so}}^i(x)}} + {{{A}}^{i}}$

(9)

$\begin{split} \;{{{l}}^{i \to j}}(x,{{{z}}^{i}}(x)) =\,& {{{K}}^j}{{{R}}^j}{({{{R}}^{i}})^{\rm{T}}}{({{{K}}^{i}})^{{\rm{ - 1}}}}{{\tau}} (x{\rm{) }} \\ & +\frac{{{{{K}}^j}({{{t}}^j}{\rm{ - }}{{{R}}^j}{{({{{R}}^{i}})}^{\rm{T}}}{{{t}}^{i}})}}{{{{{z}}^{i}}(x)}} \end{split}$

(10)

式中， $\varPhi ({i})$ 表示第 ${i}$ 帧的时序邻域， $|\varPhi ({i})|$ 是邻域帧的总数。 ${\hat {{\alpha}} ^{{i} \to j}}(x)$ 刻画了像素点 $x$ 在第 $i$ 帧的透射率对第 $j$ 帧透射率的影响， ${{{l}}^{i \to j}}(x,\,{{{z}}^{i}}(x))$ 表示根据像素点 $x$ 在第 $i$ 帧下的景深信息 ${{{z}}^{i}}(x)$ 估计获得的第 $j$ 帧下的景深映射。

式(9)、式(10)中的 ${{\alpha}} _{{\rm{so}}}^{i}(x)$ 和 ${{{z}}^{i}}(x)$ 可以通过式(2)相互转化。综上可知，利用相机参数可以在透射率的求解中有效引入相邻帧透射率值对当前帧的影响，从而在时间邻域内获得更新后的第 $i$ 帧透射率图 ${{\alpha}} _{{\rm{ult}}}^{i}(x)$

${{\alpha}} _{{\rm{ult}}}^{i}(x) = \mathop {{\rm{argmin}}}\limits_{{{\alpha}} _{_{\bf{so}}}^{i}({{x}})} {{E}}({{{z}}^{i}}(x{\rm{)) = }}\mathop {{\rm{argmin}}}\limits_{{{\alpha}} _{_{\bf{so}}}^{i}({{x}})} {{E}}({{\alpha}} _{{\rm{so}}}^{i}(x))$

(11)

其中， ${{E}}{\rm{(}} \cdot {\rm{)}}$ 为表示时序关联一致性的能量函数。图3(c)进一步给出了根据时序关联约束优化求解获得的最终透射率图。由图可以看出，经过时序关联约束后，透射率图更加准确，细节信息更加丰富。最终，利用估计的大气光向量 ${{{A}}^{i}}$ 和求取的 ${{\alpha}} _{{\rm{ult}}}^i(x)$ ，代入式(1)即可得到视频第 $i$ 帧的去雾结果。

4. 实验与结果分析

本文分别使用文献[16]给出的视频去雾数据集与实际拍摄获得的有雾视频进行算法测试和分析。文献[16]数据集共包含Bali, Blenheim, Playground, Stele和Motocycle 等在内5段陆地有雾视频。该视频集中最长视频帧数为220帧，最短帧数为100帧。为了更加全面地证明算法去雾性能，本文进一步给出实际拍摄的Ship和Beach两段海上有雾视频实验对比。其中Ship视频包含390帧图像，Beach视频包含299帧图像。海雾相比于陆地上的雾具有水汽含量更高、雾浓度更大等特点，可以更好地检测去雾算法的应用性。本文所采用的测试样本均为现实生活中的雾天实拍视频，与人造雾天视频相比，雾的分布更加真实，去雾难度更大。式(6)中加权参数 $\lambda {\rm{ = 0}}{\rm{.1}}$ ，像素点 $x$ 的空间近邻 ${N_x}{\rm{ = 4}}$ ，式(8)中时间邻域帧的总数设定为 $|\varPhi ({i})|{\rm{ = 20}}$ ，为了使视频的去雾效果更加连续，使用视频第1帧图像的大气光向量 ${{A}}$ 作为整个视频的大气光向量值。实验在Matlab 2018b上进行算法编程，机器CPU为3.6 GHz AMD^® Ryzen™ 2600X。为了证明算法的有效性，选取5种不同去雾算法^{[16,17,19-21]}进行实验对比分析。为保证公平性，所有对比算法均从作者主页下载获得，实验参数与作者论文保持一致。

4.1 定性分析

本文定性分析分为2部分。第1部分给出连续2帧下的视频去雾结果，证明本文算法获得的连续帧间去雾结果过渡更加自然。第2部分给出不同数据集下随机选取的单帧图像去雾结果，验证本文算法在不同场景下均能获得较好的去雾性能。

图4左侧和右侧分别给出了视频Ship和Beach中连续两帧的去雾效果对比。如图4所示，文献[16]算法由于计算获得的连续帧图像透射率图变化较大，因此连续帧下去雾图像的明暗分布会产生一定差异。文献[17]算法、文献[19]算法、文献[20]算法由于对大气光向量和透射率图的估计不够准确，因此容易在去雾图像天空等区域出现偏色现象，并进一步引起相邻帧图像整体色彩出现不同程度的偏差。文献[21]算法虽然很好地保持了去雾结果的帧间连续性，但得到的总体结果容易出现过亮现象，并丢失了部分图像细节信息。相比上述算法，本文算法通过空间平滑和时序关联约束提高了每一帧透射率图的计算准确性，因此去雾图像帧间过渡更加自然，色彩恢复更加准确，抑制了明显的色彩和明暗突变现象的发生。

图 4 视频Ship和Beach连续帧下去雾结果对比

下载: 全尺寸图片幻灯片

图5进一步给出了视频Blenheim, Playground, Stele和Motocycle中随机选取的单帧图像去雾结果。如图所示，文献[16]算法对视频Playground中天空和大楼部分的恢复出现了一定的偏色现象。文献[17]算法和文献[20]算法去雾结果容易出现颜色偏差，例如在视频Motocycle中出现图像整体偏绿或偏暗的现象。文献[19]算法的去雾结果整体略显模糊，恢复效果不够理想。文献[21]算法获得的去雾图像亮度较高，并产生一定的锐化现象。本文算法通过引入雾线先验和时空关联约束，能够在多个场景中获得更加准确鲁棒的去雾效果，在色彩恢复和细节纹理的保持上均具有较大优势。

图 5 单帧图像去雾结果对比

下载: 全尺寸图片幻灯片

4.2 定量分析

为了更加客观地比较不同算法的去雾效果，本文采用信息熵、视觉对比测量(Visual Contrast Measure, VCM)、结构相似度(Structural SIMilarity, SSIM)、直方图相关系数(Histogram Correlation Coefficient, HCC)和通用图像质量指标(Universal Quality Index, UQI)这5个指标对不同算法的去雾效果进行全面客观的定量分析。其中信息熵描述了图像的平均信息量，数值越高表示图像包含的信息量越大，去雾效果越好。VCM是一种量化图像可见程度的方法，数值越高表示去雾后的图像越清晰。SSIM和UQI是评价有雾图像和去雾图像结构相似性的指标，其数值大小反映了两幅图像在结构上的关系，数值越高表示去雾后的图像结构越合理。HCC是衡量去雾图像色彩恢复的指标，数值越高表示去雾图像色彩恢复越准确。

本文对上述7个数据集，共计1454帧图像进行去雾效果定量分析。使用不同算法对视频中所有帧图像进行去雾处理，计算每个评价指标在每个视频数据集下的平均值和方差。实验结果如表1所示，同一评价指标的最优值用加粗表示，次优值用下划线表示。总体而言，在5个评价指标下，本文算法获得的最优和次优解总数最多。具体地，在Blenheim, Playground, Stele和Motocyle这4个薄雾视频中，本文算法在SSIM, HCC和UQI指标下均得到了最优或次优值。在Bali浓雾视频中，本文算法去雾结果在SSIM和HCC的数值上和原始有雾图像存在一定偏差，但在VCM、信息熵和UQI共3项评价指标中均获得了最优值。在Ship和Beach海上视频中，本文算法5项指标基本能获得最优或次优解，去雾性能优于其他算法。

表 1 各算法在不同评价指标下的性能对比

视频集	算法	VCM	SSIM	HCC	信息熵	UQI
Bali	文献[16]算法	47.7398±4.3502	0.6614±0.0459	–0.3173±0.0485	6.8571±0.1641	0.5923±0.0425
	文献[17]算法	30.1254±5.6277	0.5526±0.0215	–0.2960±0.0326	7.3794±0.0792	0.4669±0.0225
	文献[19]算法	41.6247±4.9448	0.8693±0.0041	–0.0813±0.0581	7.5121±0.0447	0.8061±0.0086
	文献[20]算法	37.4402±4.0238	0.6221±0.0214	–0.1968±0.1061	6.5753±0.1445	0.5889±0.0335
	文献[21]算法	49.7812±4.4782	0.7001±0.1116	–0.0312±0.0639	7.5413±0.0572	0.8819±0.0101
	本文算法	51.3852±6.3223	0.6679±0.0249	–0.2532±0.0251	7.9253±0.1322	0.8938±0.0285
Blenheim	文献[16]算法	35.5897±2.2001	0.8686±0.0129	0.0667±0.0165	6.5025±0.1967	0.7960±0.0258
	文献[17]算法	37.5815±1.6224	0.8260±0.0366	0.4688±0.0945	7.0697±0.0903	0.7661±0.0373
	文献[19]算法	26.0153±1.9259	0.9123±0.0035	0.4406±0.0231	7.0390±0.0716	0.8332±0.0209
	文献[20]算法	18.2786±2.2769	0.8215±0.0262	0.2759±0.0339	6.4305±0.0602	0.7721±0.0449
	文献[21]算法	64.9899±1.7827	0.6632±0.0094	0.0377±0.0135	6.2305±0.1637	0.7239±0.0108
	本文算法	40.0056±0.9116	0.9764±0.0022	0.7940±0.0969	7.4379±0.0434	0.9549±0.0131
Playground	文献[16]算法	50.2886±6.4619	0.8954±0.0129	–0.0276±0.0249	5.9694±0.4580	0.9021±0.0123
	文献[17]算法	31.9030±8.1211	0.7788±0.0575	0.0115±0.1177	7.4964±0.0911	0.7529±0.0703
	文献[19]算法	43.6243±3.5659	0.9205±0.0086	0.1664±0.0519	7.2406±0.1060	0.8967±0.0142
	文献[20]算法	35.5237±3.2426	0.7807±0.0182	–0.1450±0.0595	6.9652±0.0930	0.7728±0.0309
	文献[21]算法	51.8038±5.3890	0.6917±0.0258	–0.0457±0.0417	6.8567±0.2089	0.8213±0.0204
	本文算法	54.4761±10.9746	0.9546±0.0230	0.0587±0.0506	7.1156±0.1721	0.9379±0.0421
Stele	文献[16]算法	30.7638±15.7369	0.3649±0.0288	0.4263±0.1234	6.8163±0.0828	0.7349±0.0476
	文献[17]算法	44.2502±3.1428	0.7392±0.0199	0.0577±0.0443	7.1132±0.0828	0.7665±0.0296
	文献[19]算法	51.0145±5.4531	0.8529±0.0109	0.3319±0.0846	6.5512±0.1477	0.7671±0.0174
	文献[20]算法	40.8246±4.8187	0.8214±0.0157	0.2711±0.1034	6.2814±0.1242	0.7805±0.0233
	文献[21]算法	75.7723±3.8898	0.5875±0.0166	0.0227±0.0419	7.3425±0.1065	0.7881±0.0252
	本文算法	29.9452±3.0779	0.9045±0.0222	0.4791±0.1163	7.9275±0.0933	0.8580±0.0361
Motocycle	文献[16]算法	35.9520±15.9557	0.6854±0.0389	–0.0101±0.0254	6.9864±0.0507	0.5594±0.0292
	文献[17]算法	49.8669±5.5066	0.7500±0.0324	0.3960±0.0882	7.4345±0.0583	0.8401±0.0319
	文献[19]算法	33.4659±11.3533	0.8693±0.0047	0.2797±0.0475	7.0304±0.0646	0.8535±0.0114
	文献[20]算法	25.9303±7.0241	0.3705±0.0650	–0.3172±0.3156	5.7929±0.3812	0.1670±0.0547
	文献[21]算法	69.1006±4.9147	0.5231±0.0146	0.0111±0.0299	7.6674±0.1062	0.7442±0.0219
	本文算法	52.0758±8.0932	0.7720±0.0281	0.5653±0.0896	7.2598±0.0992	0.8955±0.0261
Ship	文献[16]算法	38.8112±11.4819	0.7648±0.1141	0.0505±0.1817	7.5924±0.1369	0.6952±0.1243
	文献[17]算法	33.9529±3.1727	0.8063±0.0162	0.0147±0.0551	7.5878±0.0791	0.7969±0.0267
	文献[19]算法	35.1544±10.5172	0.8396±0.0104	0.0313±0.0449	7.5395±0.0431	0.7682±0.0134
	文献[20]算法	33.8128±3.7508	0.5602±0.0496	–0.3243±0.0212	6.8355±0.1586	0.3912±0.0669
	文献[21]算法	53.0535±4.7626	0.6343±0.0167	–0.1062±0.0099	6.8996±0.1023	0.7783±0.0097
	本文算法	46.0955±3.6169	0.8365±0.0125	0.2137±0.0863	7.8230±0.0131	0.7985±0.0206
Beach	文献[16]算法	16.2818±4.7095	0.9786±0.0096	0.7025±0.0864	7.3837±0.0457	0.9702±0.0133
	文献[17]算法	38.2337±5.4335	0.7396±0.0096	–0.2957±0.0371	7.4769±0.0844	0.6582±0.0159
	文献[19]算法	9.4401±2.4871	0.8823±0.0050	0.0043±0.0454	7.4627±0.0237	0.8078±0.0062
	文献[20]算法	22.7816±3.3244	0.4762±0.4821	–0.3919±0.0207	6.4422±0.2008	0.2868±0.0615
	文献[21]算法	32.7816±8.8543	0.7221±0.0207	0.0181±0.0082	7.4134±0.0851	0.8845±0.0031
	本文算法	28.2158±5.8622	0.9802±0.0154	0.8117±0.0881	7.8108±0.0240	0.9415±0.0197

下载: 导出CSV

| 显示表格

最后，本文给出了不同去雾算法的运行时间对比结果，测试视频单帧图像大小设定为480×270。对比结果如表2所示，本文算法运行效率排名第3，在保证去雾效果的同时，具有相对较高的计算效率。后续可以通过在GPU上进行并行处理，进一步提高算法的时间效率。

表 2 各算法计算效率对比

算法	文献[16]算法	文献[17]算法	文献[19]算法	文献[20]算法	文献[21]算法	本文算法
时间(s)	182.2654	1.0985	0.1076	1.8250	0.2601	1.0502

下载: 导出CSV

| 显示表格

5. 结束语

为解决现有算法视频去雾结果在连续帧间存在颜色和亮度的突变问题，本文提出一种基于雾线先验的时空关联约束视频去雾算法。该算法通过雾线先验估计初始透射率，利用空间平滑约束和时序关联约束对每一帧图像的透射率图进行优化更新，提高总体去雾效果。实验结果表明，相比其他算法，本文算法得到的视频去雾结果颜色更加准确，帧间过渡更加自然，并且更好地保留了图像的边缘细节。如何在不降低去雾性能的前提下进一步提高视频去雾的计算求解效率是后续研究的重点。

References(21)

References

XU Yong, WEN Jie, FEI Lunke, et al. Review of video and image defogging algorithms and related studies on image restoration and enhancement[J]. IEEE Access, 2015, 4: 165–188. doi: 10.1109/ACCESS.2015.2511558

YU Tianhe, MENG Xue, ZHU Ming, et al. An improved multi-scale retinex fog and haze image enhancement method[C]. 2016 International Conference on Information System and Artificial Intelligence, Hong Kong, China, 2016: 557–560. doi: 10.1109/ISAI.2016.0124.

LI Yaning, WANG Junping, GAO Kang, et al. Fast morphological filtering haze removal method from a single image[J]. Journal of Computational Information Systems, 2015, 11(16): 5799–5806. doi: 10.12733/jcis14861

QIAO Tong, REN Jinchang, WANG Zheng, et al. Effective denoising and classification of hyperspectral images using curvelet transform and singular spectrum analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(1): 119–133. doi: 10.1109/TGRS.2016.2598065

黄果, 许黎, 陈庆利, 等. 非局部多尺度分数阶微分图像增强算法研究[J]. 电子与信息学报, 2019, 41(12): 2972–2979. doi: 10.11999/JEIT190032

HUANG Guo, XU Li, CHEN Qingli, et al. Research on non-local multi-scale fractional differential image enhancement algorithm[J]. Journal of Electronics &Information Technology, 2019, 41(12): 2972–2979. doi: 10.11999/JEIT190032

HE Kaiming, SUN Jian, and TANG Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341–2353. doi: 10.1109/TPAMI.2010.168

杨爱萍, 王南, 庞彦伟, 等. 人工光源条件下夜间雾天图像建模及去雾[J]. 电子与信息学报, 2018, 40(6): 1330–1337. doi: 10.11999/JEIT170704

YANG Aiping, WANG Nan, PANG Yanwei, et al. Nighttime haze removal based on new imaging model with artificial light sources[J]. Journal of Electronics &Information Technology, 2018, 40(6): 1330–1337. doi: 10.11999/JEIT170704

江巨浪, 孙伟, 王振东, 等. 基于透射率权值因子的雾天图像融合增强算法[J]. 电子与信息学报, 2018, 40(10): 2388–2394. doi: 10.11999/JEIT171032

JIANG Julang, SUN Wei, WANG Zhendong, et al. Integrated enhancement algorithm for hazy image using transmittance as weighting factor[J]. Journal of Electronics &Information Technology, 2018, 40(10): 2388–2394. doi: 10.11999/JEIT171032

MA Xiao, SHAO Limin, XU Guanlei, et al. Intelligent defogging method based on clustering and dark channel prior[C]. 2018 IEEE 3rd International Conference on Image, Vision and Computing, Chongqing, China, 2018: 149–156. doi: 10.1109/ICIVC.2018.8492842.

杨燕, 王志伟. 基于均值不等关系优化的自适应图像去雾算法[J]. 电子与信息学报, 2020, 42(3): 755–763. doi: 10.11999/JEIT190368

YANG Yan and WANG Zhiwei. Adaptive image dehazing algorithm based on mean unequal relation optimization[J]. Journal of Electronics &Information Technology, 2020, 42(3): 755–763. doi: 10.11999/JEIT190368

JOHN J and WILSCY M. Enhancement of weather degraded video sequences using wavelet fusion[C]. The 7th IEEE International Conference on Cybernetic Intelligent Systems, London, England, 2008: 1–6. doi: 10.1109/UKRICIS.2008.4798926.

YOON I, KIM S, KIM D, et al. Adaptive defogging with color correction in the HSV color space for consumer surveillance system[J]. IEEE Transactions on Consumer Electronics, 2012, 58(1): 111–116. doi: 10.1109/TCE.2012.6170062

郭璠, 蔡自兴, 谢斌. 基于雾气理论的视频去雾算法[J]. 电子学报, 2011, 39(9): 2019–2025.

GUO Fan, CAI Zixing, and XIE Bin. Video defogging algorithm based on fog theory[J]. Acta Electronica Sinica, 2011, 39(9): 2019–2025.

刘海波, 杨杰, 吴正平, 等. 改进的基于雾气理论的视频去雾[J]. 光学精密工程, 2016, 24(7): 1789–1798. doi: 10.3788/OPE.20162407.1789

LIU Haibo, YANG Jie, WU Zhengping, et al. Improved video defogging based on fog theory[J]. Optics and Precision Engineering, 2016, 24(7): 1789–1798. doi: 10.3788/OPE.20162407.1789

马忠丽, 文杰, 郝亮亮. 海面舰船场景的视频图像海雾去除算法[J]. 系统工程与电子技术, 2014, 36(9): 1860–1867. doi: 10.3969/j.issn.1001-506X.2014.09.31

MA Zhongli, WEN Jie, and HAO Liangliang. Video image defogging algorithm for surface ship scenes[J]. Systems Engineering and Electronics, 2014, 36(9): 1860–1867. doi: 10.3969/j.issn.1001-506X.2014.09.31

LI Zhuwen, TAN Ping, TAN R T, et al. Simultaneous video defogging and stereo reconstruction[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015: 4988–4997. doi: 10.1109/CVPR.2015.7299133.

BERMAN D, TREIBITZ T, AVIDAN S, et al. Non-local image dehazing[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 1674–1682. doi: 10.1109/CVPR.2016.185.

KATO T, SHIMIZU I, and PAJDLA T. Selecting image pairs for SfM by introducing jaccard similarity[C]. The 15th IAPR International Conference on Machine Vision Applications (MVA), Nagoya, Japan, 2017: 25–29. doi: 10.23919/MVA.2017.7986764.

CAI Bolun, XU Xiangmin, and TAO Dacheng. Real-time video dehazing based on spatio-temporal MRF[C]. The 17th Pacific-Rim Conference on Multimedia on Advances in Multimedia Information Processing, Cham, 2016: 315–325. doi: 10.1007/978-3-319-48896-7_31.

ZHAO Dong, XU Long, YAN Yihua, et al. Multi-scale optimal fusion model for single image dehazing[J]. Signal Processing: Image Communication, 2019, 74: 253–265. doi: 10.1016/j.image.2019.02.004

YU Teng, SONG Kang, MIAO Pu, et al. Nighttime single image dehazing via pixel-wise alpha blending[J]. IEEE Access, 2019, 7: 114619–114630. doi: 10.1109/ACCESS.2019.2936049

Relative Articles

Supplements(0)

Cited By

Proportional views

Proportional views

通讯作者: 陈斌, bchen63@163.com

1.
沈阳化工大学材料科学与工程学院沈阳 110142

Figures(5) / Tables(2)

Get Citation

PDF

XML

Article Metrics

Article views (2011) PDF downloads(114)