高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于背景光修正成像模型的水下图像复原

周妍 顾鑫涛 李庆武

周妍, 顾鑫涛, 李庆武. 基于背景光修正成像模型的水下图像复原[J]. 电子与信息学报, 2022, 44(10): 3363-3371. doi: 10.11999/JEIT211012
引用本文: 周妍, 顾鑫涛, 李庆武. 基于背景光修正成像模型的水下图像复原[J]. 电子与信息学报, 2022, 44(10): 3363-3371. doi: 10.11999/JEIT211012
ZHOU Yan, GU Xintao, LI Qingwu. Underwater Image Restoration Based on Background Light Corrected Image Formation Model[J]. Journal of Electronics & Information Technology, 2022, 44(10): 3363-3371. doi: 10.11999/JEIT211012
Citation: ZHOU Yan, GU Xintao, LI Qingwu. Underwater Image Restoration Based on Background Light Corrected Image Formation Model[J]. Journal of Electronics & Information Technology, 2022, 44(10): 3363-3371. doi: 10.11999/JEIT211012

基于背景光修正成像模型的水下图像复原

doi: 10.11999/JEIT211012
基金项目: 国家重点研发计划(2018YFC0406903),国家自然科学基金(41706103),江苏省自然科学基金(BK20170306)
详细信息
    作者简介:

    周妍:女,副教授,研究方向为水下环境感知与图像处理

    顾鑫涛:男,硕士生,研究方向为水下图像处理

    李庆武:男,教授,研究方向为智能感知与信息处理

    通讯作者:

    周妍 yanzhou@hhu.edu.cn

  • 中图分类号: TN911.73; TP391

Underwater Image Restoration Based on Background Light Corrected Image Formation Model

Funds: The National Key R&D Program of China (2018YFC0406903), The National Natural Science Foundation of China (41706103), The Natural Science Foundation of Jiangsu Province (BK20170306)
  • 摘要: 光在水下传播时由于受到水体吸收和散射作用的影响,导致水下图像质量严重退化。为了有效去除色偏和模糊,改善水下图像质量,该文提出一种基于背景光修正成像模型的水下图像复原方法。该方法基于对雾天图像的观察,提出了水下图像背景光偏移假设,并基于此建立背景光修正成像模型;随后使用单目深度估计网络获得场景深度的估计,并结合背景光修正的水下成像模型,利用非线性最小二乘拟合获得水下偏移分量的估计值从而实现水下图像去水;最后优化去水后的含雾图像的透射率,并结合修正后的背景光实现图像复原。实验结果表明,该文方法在恢复水下图像颜色和去除散射光方面效果良好。
  • 水体对光的吸收和散射效应使得水下光学图像具有色偏严重、光照不均、细节模糊、对比度低等问题[1]。因此,水下直接采集得到的光学图像不仅难以满足消费者的应用需求,而且限制了特征匹配和目标识别算法的性能[2]

    现有的水下图像增强方法主要分为基于图像处理技术的增强方法[3,4]和基于物理模型的复原方法[5-8]。基于图像处理的方法包括直方图均衡、线性拉伸等;而基于物理模型的方法主要包括暗通道去雾、雾线模型等。单幅水下图像复原通常利用先验假设来解决不适定问题。Peng等人[9]发现散射效应作用下图像的模糊程度随着距离的增加而增加,他们忽略了传输的光谱依赖性而通过图像的模糊度来估计场景深度。He等人[6]假设在小图像块内,至少有一个像素在某些颜色通道中具有较低的值,并且使用最小值来估计透射率。Berman等人[7]基于雾线先验假设将图像表示为以背景光为中心的球坐标形式,并选取每根雾线中距离背景光最远处的像素点作为对清晰像素点的估计。

    针对恶劣环境中水下图像的复原问题,本文首先依据对雾天成像的观察发现大量雾天图像的大气光在RGB坐标轴中拟合为一条直线,并基于此提出了水下背景光偏移假设。随后,依据水下背景光偏移假设提出背景光修正的水下成像模型,将水下图像分解为雾天图像和水下偏移分量两部分。再者,使用单目深度估计网络获得水下图像深度图,并利用非线性最小二乘拟合获得水下偏移分量的估计值从而实现水下图像去水。最后,优化去水后含雾图像的透射率并结合修正后的背景光进行图像复原。

    本文从相关文献的实验图像以及谷歌搜索中获得了大量自然含雾图像组成的数据集,手动标记每张图像无穷远处的大气光并记录其3通道值。图1(a)展示了数据集中部分自然含雾图像示例。其中,每幅雾图中红色五角星处为手动标记的无穷远处的大气光,标记像素点在RGB坐标轴中的表示如图1(b)所示。通过观察可以发现,不同自然含雾图像无穷远处的大气光的3通道值都近似相等,且它们在RGB坐标轴中的拟合直线近似为通过原点的正立方体对角线。本文将这根直线定义为雾度线,即图1(b)中的虚线。

    图 1  自然含雾图像的大气光

    然而,水下图像无穷远处的背景光显然不符合地面雾天图像大气光的观察结果。与地面雾天成像相比,不同水体对光具有不同的吸收和散射作用,从而导致水下图像的背景光通常具有不同程度的色偏。基于上述观察结果,本文提出了水下图像背景光偏移假设:地面无穷远处的真实大气光位于雾度线上,经大气散射作用后沿雾度线衰减,随后由于水体对光的吸收和散射作用,其从雾度线上发生偏移并最终获得实际拍摄得到的水下图像背景光。图2所示为水下背景光偏移的假设过程。其中,点A为地面成像时的大气光,点BA点沿着雾度线衰减后的结果,点Bc则代表点B发生偏移后的真实水下背景光。

    图 2  水下背景光偏移示意图

    为了进一步验证上述假设,如图3(a)图3(b)所示,分别选取雾天图像和水下图像中场景深度不同的各7块区域,求取每一区域内所有像素各通道的平均值。其中,每幅图像中黑色方框内的局域均值为图像的背景光。如图3(c)所示,两幅图像不同场景深度处的局域通道均值可拟合为两条不同的直线(雾天图像为绿色虚线,水下图像为蓝色虚线)。值得注意的是,雾天图像的背景光位于上文定义的雾度线(图3(c)中的黑色实线)上,而水下图像的背景光会依据水体的不同而发生变化。随着场景深度的增加,它们的局域通道均值都沿着拟合的直线向对应图像的背景光方向移动。

    图 3  雾天图像和水下图像不同场景深度处像素均值对比

    综上所述,基于水下背景光偏移假设可以得到如图4所示的建模示意图。当在地面大气中成像时,受大气散射作用的影响,随着场景深度的增大,真实像素点Jc(x)被推向位于雾度线上的背景光B,得到雾天图像中的像素点Ic(x);而当同一真实像素点Jc(x)在水下成像时,受到水体的吸收和散射作用的影响,依据水下背景光偏移假设,背景光从雾度线上发生偏移,原本被推向B的像素点因此被推向了Bc,最终成为水下图像中的像素点Ic(x)

    图 4  水下背景光偏移假设建模示意图

    水下成像模型的一般表达式为[10]

    Ic=Dc+Bc
    (1)

    其中,Ic为水下直接拍摄得到的图像;Dc为目标物体反射的直接分量;Bc为后向散射分量。式(1)可进一步细化为

    Ic=JceβDz+Bc(1eβBz)
    (2)

    其中,Jc为目标物体的反射光强;z为目标物体到相机之间的距离,即场景深度;βD为目标物体反射光的衰减系数;βB为背景光的衰减系数;Bc为水下图像无穷远处的背景光。依据水下背景光偏移假设,可将式(2)中水下图像背景光Bc修正为雾天图像背景光B。且由于在地面大气中成像时,直接分量衰减系数和后向散射分量衰减系数被视作相同的[6],则修正后得到的背景光位于雾度线上的雾天图像Ic可表示为

    Ic=JceβBz+B(1eβBz)
    (3)

    从而水下图像Ic与修正后的雾天图像Ic的差值即可视作由于传输介质改变而产生的水下偏移分量Bbias

    Bbias=IcIc
    (4)

    式(4)可细化并变形为

    Bbias=(BcB)(1eβBz)+(JceβDzJceβBz)
    (5)

    综上所述,基于水下背景光偏移假设构建的背景光修正的水下成像模型可表示为

    Ic=Ic+Bbias=(Dc+Bc)+[(BcBc)+(DcDc)]
    (6)

    其中,Dc为修正后得到的雾天图像中的直接分量;Bc为修正后得到的雾天图像中的后向散射分量。式(6)可进一步细化为关于修正前后的背景光的表达式

    Ic=[JceβBz+B(1eβBz)]+[(BcB)(1eβBz)+(JceβDzJceβBz)]
    (7)

    由背景光修正的水下成像模型式(6)可知,只要合理估计水下偏移分量Bbias的值,即可实现水下图像去水,从而将水下图像复原问题转化为雾天图像复原问题。

    3.2.1   场景深度估计

    文献[10]使用一种3维重建方法来生成场景深度图并将其用于水下图像的复原。该方法生成的深度值通常是非常精确的,因此其被普遍地应用于地形重建等领域。然而针对水下图像复原的大多数方法并不需要如此精确的绝对深度值,常见的利用暗通道或亮度通道估计得到的精度相对较低的深度图在应用于水下图像复原时同样取得了令人瞩目的成就。因此,本文利用单目深度估计网络 (Monodepth2[11]),将自适应直方图均衡预处理后的单幅水下图像作为输入,获得相应的深度图输出[5]。与利用3维重建方法得到的以米为单位的绝对深度不同,单目深度估计网络输出的是归一化的相对深度[12]。因此必须根据输出的相对深度估计绝对深度。由于水下的能见度随着场景深度的增加而迅速下降,即直接分量随景深的增加呈指数衰减而后向散射分量随景深的增加呈指数增大,当场景深度超出一定范围时,后向散射分量占据主体地位且趋近于饱和。此时,随着景深的进一步增大,像素值的变化可忽略不计。因此我们定义了一个最大能见距离(默认值为10 m),以此来衡量相对深度。此外,通过观察水下RGBD数据集[10]中利用3维重建得到的景深图,发现所有景深图中的深度距离都不是从0开始的。这是因为水下成像时相机受特定视场的限制,深度较小的物体通常不可见。为此定义了一个最小成像距离(默认值为1 m)。最后,将单目深度估计网络输出的相对深度图线性映射到最小成像距离和最大能见距离之间从而获得绝对深度。与使用3维重建方法获得的非常精确的绝对深度相比,本文利用单目深度估计网络输出的相对深度图以及人工设置的最大能见和最小成像距离,生成了精度相对较低的绝对深度估计值,其在满足水下图像复原需要的同时,降低了测量成本和时间成本,在后续的复原步骤中同样取得了较好的效果。

    3.2.2   水下背景光修正

    基于3.2.1节得到的深度图,选取场景中最远处的1%像素点的平均值作为水下全局背景光Bc的估计[13]。随后,依据水下背景光偏移假设的逆推过程,在RGB坐标轴中应用几何校正方法将水下图像全局背景光Bc修正为雾天图像背景光B:在图2所示的坐标轴中,以坐标原点为圆心,原点到水下全局背景光Bc的距离为半径做圆,并将其与雾度线的交点B视作含雾图像Ic无穷远处的背景光。

    3.2.3   水下偏移分量Bbias的估计

    考虑到当水下图像Ic中某一像素点x处场景反射的直接信号几乎被完全吸收,即直接分量Dc趋近于0时,该像素点处的Ic(x)可近似为后向散射分量Bc(x)[8]。因此,本文估计水下偏移分量ˆBbias的思路如下:将原图依据场景深度划分为10个均匀的区域,寻找每个区域中RGB 3元组最小的1%处的像素点,并用集合Ω表示。这些像素点Ic(Ω)被视为场景反射的直接分量几乎被完全吸收,像素值趋近于后向散射分量,即Ic(Ω)Bc(Ω)。而水下图像的后向散射分量Bc和基于水下背景光偏移假设修正后得到的雾天图像的后向散射分量Bc的表达式分别为

    Bc=Bc(1eβBz)
    (8)
    Bc=B(1eβBz)
    (9)

    其中,BcBc均为关于场景深度z的增函数,随着z的增大呈指数增加,在无穷远处分别取得最大值BcB。本节依据背景光偏移假设,利用几何方法将水下背景光Bc修正为位于雾度线上的雾天背景光B。则当场景深度取集合Ω中某一确定z值时,该处的后向散射分量Bc(z)Bc(z)也符合几何校正关系。因此,利用几何校正法将Bc(Ω)修正为Bc(Ω),并将校正前后的差值视作水下偏移分量ˆBbias的估计值。

    与在地面大气中成像不同,在水体中成像时,直接分量衰减系数βD在景深较小时略大于后向散射分量衰减系数βB,而随着景深的增大,两者趋近于相等[10]。为方便估计,本文利用残差项JceβDz来近似表示水下偏移分量表达式(5)中水下图像直接分量Dc到雾天图像直接分量Dc的微小偏移,从而水下偏移分量ˆBbias可建模为

    ˆBbias=(BcB)(1eβBz)+JceβDz
    (10)

    其中,Bc为估计得到的水下全局背景光,B为利用几何校正法由Bc修正得到的雾天图像背景光。依据上文方法获得部分离散点的水下偏移分量估计值ˆBbias及其对应的场景深度z,即可得到一组数据(z1,ˆBbias,1), (z2,ˆBbias,2), (z3,ˆBbias,3), ···, (zn,ˆBbias,n)。利用非线性最小二乘拟合式(10)所示的曲线,采用残差平方和最小原则,即最小化为

    S=ni=1[ˆBbias,i(BcB)(1eβBzi)JceβDzi]2
    (11)

    这里,利用最优化方法,将式(11)作为目标函数,将其中的未知参数βB, JcβD视作变量,从而转为3维无约束最优化问题。采用多维无约束最优化搜索方法来系统地调整未知参数,使得S最小时的βB, JcβD的值即为所求。在合理估计水下偏移分量后,依据式(6),将输入图像减去水下偏移分量即可得到含雾图像。

    由之前的观察结果可知,背景光位于雾度线上的含雾图像Ic可近似视为地面雾天成像。至此,本文方法实现了水下图像去水,并将水下图像复原问题转化为雾天图像复原问题。对于去水后背景光位于雾度线上的雾天图像Ic,以背景光B为中心均匀地向四周发散雾线,并利用霍夫投票将所有像素点投票给不同的雾线[14]。由此,可以将式(3)表示为以背景光B为中心的球坐标形式

    Ic(x)=[r(x),θ(x),ϕ(x)]
    (12)

    其中,(θ(x),ϕ(x))为预先设定的不同角度的均匀雾线,r(x)则代表雾线中每一像素点到背景光B的距离[15]。对于任何一根给定雾线H,若属于该雾线的所有像素点x中包含清晰像素点,则将这根雾线中的所有像素点复原到以清晰像素点为中心的紧密簇中。通常我们定义每根雾线中距离背景光最远的像素点为清晰像素点,其到背景光的距离为

    ˆrmax(x)=maxxH{r(x)}
    (13)

    然而在针对水下图像复原的实验中,本文发现部分距离背景光B最远处的像素点通常具有较小的像素值。这是因为,与在地面上成像不同,水下成像受水体对光的吸收作用的影响,成像后的图像通常光照不均且部分区域的像素点的值趋近于0,我们称之为暗像素点,即图5中黄色圆点所示的像素点。依据霍夫投票[14],非局域暗像素点同样参与投票,并最终被划分入不同的雾线中。并且这些暗像素点通常是其所在雾线中距离背景光B最远的像素点,将属于该雾线的其他像素点都复原到以暗像素点为中心的紧密簇中会使得复原后图像中部分区域偏暗,从而导致细节丢失。

    图 5  每根雾线中清晰像素点的选取

    由于背景光通常为图像中亮度最大的点,因此,本文定义d的值为背景光B到亮度为0的像素点(RGB坐标原点)距离的一半,用于界定每根雾线中距离背景光最远处的像素点作为对清晰像素点的估计是否合适。对于一根给定雾线H,若该雾线中距离背景光B最远的像素点到背景光的距离ˆrmax(x)d,则认为此时距离背景光最远处的像素点亮度较低,不适合作为对这根雾线中清晰像素点的估计,进而可以通过调整μ的值将其映射到亮度更高的像素点处,依据实验所得的经验值,本文取μ=0.85。否则,则认为选取该雾线中距离背景光最远处的像素点作为对清晰像素点的估计是合适的。改进后每根雾线中清晰像素点到背景光B的距离为

    ˆrJc(x)={maxxH{r(x)},ˆrmax(x)dμmaxxH{r(x)},ˆrmax(x)>d
    (14)

    从而优化后的透射率表达式为

    ˆt(x)=min{max{r(x)/ˆrJc(x),t0},1}
    (15)

    其中,t0为防止透射率较低导致复原效果较差而人工设置的阈值,本文取t0 = 0.2。最终,可以通过式(16)来获取复原后的清晰光学图像

    Jc(x)=Ic(x)(B+εc)(1ˆt(x))ˆt(x)
    (16)

    其中,εc为考虑到含雾图像不一定完美符合背景光位于雾度线上的假设而设置的可调节误差值,范围在(0,0.05)。综上所述,本文所提算法框架如图6所示。

    图 6  本文算法框架图

    为验证提出的复原方法的有效性, 本文制作了一个包含多种颜色的色卡板,使用专业水下相机(相机型号为OLYMPUS IM005)在不同水体中进行了水下实验,如图7(b)所示。其中,水体1为常见的流动湖水,拍摄距离为1 m;水体2为能见度较低的不流动池塘,拍摄距离为0.5 m;水体3和水体4是在实验室水箱中加入不同浓度的硫酸铜模拟得到的两种偏蓝色水体,拍摄距离为1 m。在所有水体中相机均在距离水面0.5 m深处拍摄目标物体。考虑到照明条件的影响,在所有水体中相机均使用了闪光灯。对于这组不同水体中拍摄的图像,本文应用了以下方法:多尺度视网膜增强[4] 、通道迁移加暗通道去雾[16],以及色彩补偿加多尺度融合[17]分别对它们进行处理。在将其复原后的结果与本文方法进行比较的同时,还与空气中拍摄的参考图进行对比。为了定量分析不同水体中图像复原结果的有效性和鲁棒性,本文选用国际照明委员会(CIE)开发的CIEDE2000色差公式来评价复原后的结果。参考如图7(a)所示在空气中拍摄的色卡原图,通过手动定位,测量空气中的参考图与复原后的每幅图像中对应色块之间的色差。值得注意的是,CIEDE2000的值越小则代表复原后的结果与空气中拍摄的色卡的色差越小。由图7表1可知,较其他方法而言,本文方法在不同水体中的处理结果与空气中原图的差距更小,在不同水体中对色卡的复原结果均能得到最优或次优的CIEDE2000色差值。并且由于结合了背景光修正、水下偏移分量去除以及图像去雾,本文方法在处理不同水体中的图像时更加稳健。

    图 7  不同水体中各算法复原结果与空气中原图对比
    表 1  不同水体中各算法复原结果的CIEDE2000色差指标对比
    文献[4]文献[16]文献[17]本文算法
    水体116.140323.696422.446116.8627
    水体223.105028.819132.167722.4738
    水体314.053716.118828.161611.9412
    水体414.739816.260527.446112.2755
    下载: 导出CSV 
    | 显示表格
    4.2.1   定性分析

    为进一步说明本文算法的优越性,本文选取了4种常用的水下图像复原方法与本文算法进行对比。所有实验图像均来自相关论文或真实水下数据集,限于篇幅,文中给出了部分实验结果,如图8所示。其中,Image1—Image 4为常见的低质量水下图像,Image5—Image 6为低照度图像。从图8所示的实验结果来看,所有复原方法均不同程度地提高了水下图像的视觉效果,处理后的水下图像清晰度和对比度均有所提高。

    图 8  水下降质图像复原对比

    其中,文献[16]在利用颜色通道迁移进行预处理的基础上使用暗通道去雾算法去模糊,尽可能地保留原始图像的细节,然而该方法可能造成颜色通道的过度增强,如图8(b)中Image1和Image3经过此算法复原后的图像中部分区域出现白色高光,导致细节丢失。文献[17]在颜色补偿的基础上对图像进行多尺度融合从而增强细节,该方法通过颜色补偿一定程度上校正了原始图像的色偏,然而多尺度融合的步骤在突出图像细节的同时也放大了图像中的噪声,如图8(c)中Image1和Image6经过此方法复原后的结果均出现了不同程度的噪声,并且该方法复原后的图像整体偏暗,其在处理低照度图像时拥有最差的视觉效果。文献[18]基于直方图分布先验改善图像的对比度和亮度,并基于最小信息损失原则恢复水下图像的可见性、颜色及自然外观。如图8(d)所示,该方法复原后的图像色彩更加丰富,然而Image4和Image5经过此方法复原后背景处均出现了红色伪影。文献[19]利用图像的亮度分量估计场景深度,再结合场景深度获得后向散射分量,最后对去除后向散射分量的图像进行颜色校正。如图8(e)所示,该方法能够突出远景和近景处的细节且亮度较为均匀,然而使用该方法处理后的Image4和Image5色偏去除效果较差,处理后的结果仍有明显色偏,并且经过该方法复原后Image5中的鱼群和礁石难以分辨。

    相较而言,本文方法将水下图像复原问题转化为雾天图像复原问题,有效地去除了水下图像的色偏和模糊,显著地提高了图像的对比度。当应用于图8中Image5~Image6所示的低照度水下图像时也获得了较好的效果,复原后图像的亮度得到了提高,光照更加均匀,细节部分也更加突出。

    4.2.2   定量分析

    为进一步验证本文方法的性能,本文选取了4种常用的水下图像评价指标:平均梯度(Average Gradient, AG)、图像信息熵(Information Entropy, IE)、水下图像增强评价指标(Underwater Color Image Quality Evaluation, UCIQE)、水下彩色图像质量评价指标(Underwater Image Quality Measurement, UIQM)。其中,平均梯度是指图像边界两侧灰度值的差异,即灰度变化率,平均梯度值越高的图像越清晰。图像信息熵反映了图像中的平均信息量,携带更多信息的图像拥有更高的图像信息熵值。UCIQE用于评估算法恢复水下图像色度、饱和度和对比度的综合性能;而UIQM则是基于人眼视觉系统激励,以RGB色彩空间中的色彩、清晰度以及对比度为测量指标。这两种评价方法通过将各自的测量指标线性组合而得到最终的值,对于颜色平衡,饱和度、清晰度和对比度更高的图像,其UCIQE和UIQM的值更高。基于此,本文将不同方法的复原结果进行客观评价,比较结果如表2所示。从表2可以看出,5种复原方法复原后的图像与原始图像相比各项指标均有所提升。其中,本文方法处理后图像的平均梯度指标较其他方法而言最高,这表明处理后图像的灰度变化率较高,可以很好地区分图像的边界差异。同时,通过信息熵指标可以看出,本文方法较其他方法而言显著地提高了图像的信息量,因此复原后的图像中细节信息更加丰富。而在UCIQE和UIQM指标中,本文方法均获得了最优值或次优值,这表明复原后的图像色彩更加均衡,拥有更好的视觉效果。

    表 2  各方法客观评价指标平均值比较
    方法低质量水下图像低照度水下图像
    AGIEUCIQEUIQMAGIEUCIQEUIQM
    原图6.42312.17440.40303.51516.09671.30270.44212.3293
    文献[16]6.90844.76420.59574.35806.83643.74800.55922.5836
    文献[17]7.31895.13870.60984.71967.25173.90230.58063.0269
    文献[18]7.27305.00590.57374.67116.49052.65230.57552.6256
    文献[19]7.08605.05100.58474.49006.90613.41080.57662.9130
    本文算法7.32385.14820.62804.66477.53114.27540.57243.0785
    下载: 导出CSV 
    | 显示表格

    针对水下图像颜色失真和模糊等问题,本文提出了一种基于水下背景光偏移假设的水下图像复原算法。首先,通过对比雾天图像和水下图像背景光的观察结果提出水下背景光偏移假设,并建立背景光修正的水下成像模型;随后,利用单目深度估计网络生成水下图像的景深图,结合深度图获得水下图像背景光的估计值,并利用几何校正方法将水下背景光修正为雾天背景光;再者,利用非线性最小二乘拟合获得水下偏移分量,并基于背景光修正的水下成像模型实现水下图像去水;最后,优化去水后的含雾图像的透射率,并结合修正后的背景光计算最终的复原结果。实验结果证明,所提方法在水下图像色偏校正和模糊去除方面效果良好。

  • 图  1  自然含雾图像的大气光

    图  2  水下背景光偏移示意图

    图  3  雾天图像和水下图像不同场景深度处像素均值对比

    图  4  水下背景光偏移假设建模示意图

    图  5  每根雾线中清晰像素点的选取

    图  6  本文算法框架图

    图  7  不同水体中各算法复原结果与空气中原图对比

    图  8  水下降质图像复原对比

    表  1  不同水体中各算法复原结果的CIEDE2000色差指标对比

    文献[4]文献[16]文献[17]本文算法
    水体116.140323.696422.446116.8627
    水体223.105028.819132.167722.4738
    水体314.053716.118828.161611.9412
    水体414.739816.260527.446112.2755
    下载: 导出CSV

    表  2  各方法客观评价指标平均值比较

    方法低质量水下图像低照度水下图像
    AGIEUCIQEUIQMAGIEUCIQEUIQM
    原图6.42312.17440.40303.51516.09671.30270.44212.3293
    文献[16]6.90844.76420.59574.35806.83643.74800.55922.5836
    文献[17]7.31895.13870.60984.71967.25173.90230.58063.0269
    文献[18]7.27305.00590.57374.67116.49052.65230.57552.6256
    文献[19]7.08605.05100.58474.49006.90613.41080.57662.9130
    本文算法7.32385.14820.62804.66477.53114.27540.57243.0785
    下载: 导出CSV
  • [1] LI Changli, TANG Shiqing, KWAN H K, et al. Color correction based on CFA and enhancement based on Retinex with dense pixels for underwater images[J]. IEEE Access, 2020, 8: 155732–155741. doi: 10.1109/ACCESS.2020.3019354
    [2] 郭银景, 吴琪, 苑娇娇, 等. 水下光学图像处理研究进展[J]. 电子与信息学报, 2021, 43(2): 426–435. doi: 10.11999/JEIT190803

    GUO Yinjing, WU Qi, YUAN Jiaojiao, et al. Research progress on underwater optical image processing[J]. Journal of Electronics &Information Technology, 2021, 43(2): 426–435. doi: 10.11999/JEIT190803
    [3] LIMARE N, LISANI J L, MOREL J M, et al. Simplest color balance[J]. Image Processing on Line, 2011, 1: 297–315. doi: 10.5201/ipol.2011.llmps-scb
    [4] JOBSON D J, RAHMAN Z, and WOODELL G A. A multiscale Retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965–976. doi: 10.1109/83.597272
    [5] GIBSON J. Improving sea-thru with monocular depth estimation methods[EB/OL]. https://github.com/hainh/sea-thru/blob/master/report.tex, 2020.
    [6] HE Kaiming, SUN Jian, and TANG Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341–2353. doi: 10.1109/TPAMI.2010.168
    [7] BERMAN D, LEVY D, AVIDAN S, et al. Underwater single image color restoration using haze-lines and a new quantitative dataset[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(8): 2822–2837. doi: 10.1109/TPAMI.2020.2977624
    [8] AKKAYNAK D and TREIBITZ T. Sea-thru: A method for removing water from underwater images[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Los Angeles, USA, 2019: 1682–1691.
    [9] PENG Y T, ZHAO Xiangyun, and COSMAN P C. Single underwater image enhancement using depth estimation based on blurriness[C]. 2015 IEEE International Conference on Image Processing (ICIP), Quebec City, Canada, 2015: 4952–4956.
    [10] AKKAYNAK D and TREIBITZ T. A revised underwater image formation model[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 6723–6732.
    [11] GODARD C, AODHA O M, FIRMAN M, et al. Digging into self-supervised monocular depth estimation[C]. 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019: 3827–3837.
    [12] ZHAO Chaoqiang, SUN Qiyu, ZHANG Chongzhen, et al. Monocular depth estimation based on deep learning: An overview[J]. Science China Technological Sciences, 2020, 63(9): 1612–1627. doi: 10.1007/s11431-020-1582-8
    [13] 蔡晨东, 霍冠英, 周妍, 等. 基于场景深度估计和白平衡的水下图像复原[J]. 激光与光电子学进展, 2019, 56(3): 031008.

    CAI Chendong, HUO Guanying, ZHOU Yan, et al. Underwater image restoration method based on scene depth estimation and white balance[J]. Laser &Optoelectronics Progress, 2019, 56(3): 031008.
    [14] BERMAN D, TREIBITZ T, and AVIDAN S. Single image dehazing using haze-lines[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(3): 720–734. doi: 10.1109/TPAMI.2018.2882478
    [15] BERMAN D, TREIBITZ T, and AVIDAN S. Non-local image dehazing[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 1674–1682.
    [16] ANCUTI C O, ANCUTI C, DE VLEESCHOUWER C, et al. Color channel transfer for image dehazing[J]. IEEE Signal Processing Letters, 2019, 26(9): 1413–1417. doi: 10.1109/LSP.2019.2932189
    [17] ANCUTI C O, ANCUTI C, DE VLEESCHOUWER C, et al. Color balance and fusion for underwater image enhancement[J]. IEEE Transactions on Image Processing, 2018, 27(1): 379–393. doi: 10.1109/TIP.2017.2759252
    [18] LI Chongyi, GUO Jichang, CONG Runmin, et al. Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior[J]. IEEE Transactions on Image Processing, 2016, 25(12): 5664–5677. doi: 10.1109/TIP.2016.2612882
    [19] 王丹, 张子玉, 赵金宝, 等. 基于场景深度估计的自然光照水下图像增强方法[J]. 机器人, 2021, 43(3): 364–372. doi: 10.13973/j.cnki.robot.200275

    WANG Dan, ZHANG Ziyu, ZHAO Jinbao, et al. An enhancement method for underwater images under natural illumination based on scene depth estimation[J]. Robot, 2021, 43(3): 364–372. doi: 10.13973/j.cnki.robot.200275
  • 期刊类型引用(4)

    1. 周玲,刘庆敏,金凯杰,赵文义,张卫东. 水下图像复原和增强方法研究进展. 中国图象图形学报. 2025(01): 51-65 . 百度学术
    2. 杨震,李美红,赵芳,陈恩典. 基于大坝施工的水下地形可视域拓扑特征与数字孪生模型. 河南科学. 2024(01): 1-7 . 百度学术
    3. 张天驰,刘宇轩. 深度学习驱动的水下图像处理研究进展. 计算机科学. 2024(S1): 283-294 . 百度学术
    4. 朱清华,王建英. 基于多级特征全局一致性的多焦距图像融合去雾方法. 现代电子技术. 2023(01): 49-53 . 百度学术

    其他类型引用(11)

  • 加载中
图(8) / 表(2)
计量
  • 文章访问数:  1249
  • HTML全文浏览量:  298
  • PDF下载量:  249
  • 被引次数: 15
出版历程
  • 收稿日期:  2021-09-23
  • 修回日期:  2022-03-11
  • 录用日期:  2022-03-22
  • 网络出版日期:  2022-03-24
  • 刊出日期:  2022-10-19

目录

/

返回文章
返回