Processing math: 12%
高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于移位窗口多头自注意力U型网络的低照度图像增强方法

孙帮勇 赵兴运 吴思远 于涛

孙帮勇, 赵兴运, 吴思远, 于涛. 基于移位窗口多头自注意力U型网络的低照度图像增强方法[J]. 电子与信息学报, 2022, 44(10): 3399-3408. doi: 10.11999/JEIT211131
引用本文: 孙帮勇, 赵兴运, 吴思远, 于涛. 基于移位窗口多头自注意力U型网络的低照度图像增强方法[J]. 电子与信息学报, 2022, 44(10): 3399-3408. doi: 10.11999/JEIT211131
SUN Bangyong, ZHAO Xingyun, WU Siyuan, YU Tao. Low-light Image Enhancement Method Based on Shifted Window Multi-head Self-attention U-shaped Network[J]. Journal of Electronics & Information Technology, 2022, 44(10): 3399-3408. doi: 10.11999/JEIT211131
Citation: SUN Bangyong, ZHAO Xingyun, WU Siyuan, YU Tao. Low-light Image Enhancement Method Based on Shifted Window Multi-head Self-attention U-shaped Network[J]. Journal of Electronics & Information Technology, 2022, 44(10): 3399-3408. doi: 10.11999/JEIT211131

基于移位窗口多头自注意力U型网络的低照度图像增强方法

doi: 10.11999/JEIT211131
基金项目: 国家自然科学基金(62076199),陕西省重点研发计划(2021GY-027),中国科学院光谱成像技术重点实验室基金(LSIT201801D)
详细信息
    作者简介:

    孙帮勇:男,博士,副教授,研究方向为多光谱成像技术、计算机视觉

    赵兴运:男,硕士生,研究方向为计算机视觉、深度学习

    吴思远:男,硕士,工程师,研究方向为计算机视觉、光谱成像

    于涛:男,副研究员,博士生导师,研究方向为光谱成像技术

    通讯作者:

    于涛 yutao@opt.ac.cn

  • 中图分类号: TN911.73; TP391

Low-light Image Enhancement Method Based on Shifted Window Multi-head Self-attention U-shaped Network

Funds: The National Natural Science Foundation of China (62076199), The Key R&D Project of Shaan'xi Province (2021GY-027), The Key Laboratory of Spectral Imaging Technology of Chinese Academy of Sciences (LSIT201801D)
  • 摘要: 针对低照度图像增强模型中的亮度提升、噪声抑制以及保持纹理颜色一致性等难点问题,该文提出一种基于移位窗口自注意力机制的低照度图像增强方法。该文以U型结构为基本框架,以移位窗口多头自注意力模型为基础,构建了由编码器、解码器以及跳跃连接组成的图像增强网络。该网络将自注意力机制的特征提取优势应用到低照度图像增强领域,建立图像特征信息之间的长期依赖关系,能够有效获取全局特征。将所提方法与当前流行的算法进行定量和定性对比试验,主观感受上,该文方法显著提升了图像亮度,抑制图像噪声效果明显并较好地保持了纹理细节和颜色信息;在峰值信噪比(PSNR)、结构相似性(SSIM)和图像感知相似度(LPIPS)等客观指标方面,该方法较其他方法的最优值分别提高了0.35 dB, 0.041和0.031。实验结果表明,该文所提方法能够有效提升低照度图像的主观感受质量和客观评价指标,具有一定的应用价值。
  • 利用现有成像传感器在弱光条件下所获取的图像,多存在低对比度、噪声大、颜色细节失真等缺陷,导致该类图像的视觉感受质量较差,同时也会降低图像分割、目标识别及视频监控等后续图像处理任务精度。低照度图像增强算法,能够提升弱光条件下退化图像的视觉感受质量,形成近似于正常光照条件下的图像质量,因此在计算机视觉相关领域具有较强应用前景,已成为图像处理领域的研究热点之一。

    低照度图像提升方法的关键,在保持原低照度图像结构和不同位置亮度相关性的基础上,提升图像的整体亮度值并重建颜色信息。研究发现,低照度图像增强方法主要分为3类,即基于底层图像处理的方法、基于视网膜(Retinex)理论的方法和深度学习类的图像增强方法。基于底层图像处理的低照度增强方法,直接利用线性函数提高图像亮度,虽然图像全局的亮度得到提升,但是由于不考虑图像亮度的空间分布,常导致增强图像高亮区域过饱和、细节丢失严重等缺陷。后来,研究者又采用非线性映射函数提升图像亮度,例如Kim等人[1]、Celik[2]所提出的直方图均衡化(Histogram Equalization, HE)方法。这类非线性函数通过调整参数改变图像亮度的提升幅度,以不同程度增加高亮区域和低亮区域的亮度信息,一定程度保证了增强后的图像质量。该类算法操作简单、效率高,但增强图像常存在伪影缺陷,真实感不强。

    基于Retinex理论的低照度图像增强方法,通过模拟人眼视觉系统,将低照度图像分解为照明分量和反射分量,通过调整照明分量提升图像亮度和对比度。其中,Jobson等人[3]提出单尺度Retinex算法(Single-Scale Retinex, SSR),将高斯核作为卷积核对低照度图像进行卷积操作,得到的结果近似表示为反射分量。同年,Jobson等人[4]又提出多尺度Retinex算法(Multi-Scale Retinex, MSR),MSR是SSR的改进算法,其采用不同尺度的高斯滤波,对滤波结果进行加权平均以估计照明图像。Wang等人[5]提出保留图像自然度的Retinex算法,利用Retinex理论和log双边转换使光照分量映射更加接近自然色。Li等人[6]提出鲁棒的Retinex算法,通过加入一个噪声项来处理弱光图像增强。该类算法在照明调节方面和低噪声消除方面具有一定的效果,但算法模型较为复杂,需要人工设定合适的参数,无法自适应处理图像的多样性。

    基于深度学习的低照度图像增强方法,关键利用大规模训练数据集对最佳网络模型进行学习,建立低照度图像和正常光照图像之间的复杂映射关系。Lore等人[7]最先提出使用深度自编码器网络来增强低照度图像,提升亮度的同时消除一定噪声。Wei等人[8]基于Retinex理论提出Retinex网络(Retinex decomposition for low-light enhancement Network, RetinexNet),采用两个子网络将低照度图像分解成照明分量与反射分量,并对照明分量进行调整。Zhang等人[9]在RetinexNet基础上提出点燃黑暗网络(Kindling the Darkness, KinD),对图像分解与重建结构进行优化,并添加图像恢复网络用于去除图像噪声。Chen等人[10]提出学习网络(learning to See In the Dark, SID),直接对传感器数据进行低照度图像增强。Wang等人[11]提出深度光照估计网络(Underexposed Photo Enhancement using Deep illumination estimation, DeepUPE),通过学习图像-光照映射关系来预测平滑的光照映射。Jiang等人[12]提出无监督对抗网络(Enlighten Generative Adversarial Network, EnlightenGAN),利用全局-局部鉴别器和自正则化注意力机制,实现了网络结构不需要成对图像数据集训练,能够适应真实的图像状态,应用领域更加广泛。尽管基于深度学习的方法在一定程度上弥补了前两类方法的不足,针对多数低照度图像都能够取得较好的视觉效果,但是,现阶段对于较暗条件下拍摄的低照度图像,该类方法仍不能有效抑制图像噪声,难以产生令人满意的视觉质量。

    基于以上研究发现,当前低照度图像增强方法主要面临两个难题:(1)如何在不同曝光区域自适应提升图像亮度,解决图像的光照不均匀问题;(2)如何有效抑制图像噪声并保持颜色纹理细节的一致性,提高图像信噪比。本文针对以上两个低照度增强问题,建立了一种基于移位窗口多头自注意力U型低照度图像增强网络。针对自适应提升图像亮度问题,本文设计了移位窗口多头自注意力模块,利用多头自注意力机制的特征提取优势,对输入输出的全局依赖关系进行建模,在学习图像亮度提升模型的同时,针对图像照明不足区域的噪声进行抑制。对于保持图像颜色纹理细节一致性问题,本文将网络整体框架设置为U型结构,利用下采样模块,增加深层网络的感受野大小,使模型学习到图像的全局特征。此外,为了缓解深层网络在提取较高语义特征时丢失部分浅层信息的缺陷,本文加入跳跃连接,在编码器和解码器子网络的相同尺寸的特征映射上进行聚合,使网络解码部分依然拥有网络的浅层特征信息。利用U型网络架构学习到的图像全局特征,在恢复图像时更好地保持图像颜色纹理细节的一致性。本文其余结构如下:第2节介绍低照度图像成像模型;第3节详细讲述本文提出的算法;第4节阐述实验结果与分析;第5节为本文的结论。

    根据物体呈现色彩感知的光学原理,人眼形成色彩感觉基于3种因素:光、物体对光的反射以及人的视觉感知。特定光谱能量分布的可见光照射到物体上,在各波长位置上一定比例的光子被吸收,另一部分则被反射进入人眼,刺激视神经传递到大脑,在参考光源的对比下形成物体的色彩信息。与物体呈现色彩原理类似,数字相机成像中的图像传感器模拟人的视觉感受器,将读取到的光信号转变为数字信号形成图像。如图1所示,低照度图像成像过程中,多存在遮蔽物等因素阻碍光源充分照射到目标物,当部分入射光分量到达物体表面,根据物体自身的物质特性吸收部分入射光并将其余光线反射,反射光线经过空气介质传播到相机,根据相机的成像响应模型将光信号转变为数字信号形成数字图像。

    图 1  低照度图像成像模型

    低照度环境下进行数字成像,多存在光源来源复杂、照度不均匀等问题,造成成像数字图像的总体亮度值极低,可见度和对比度损失严重,并伴大量随机噪声;有时由于光照分布不均匀,部分区域照明充足而周边区域却亮度极低,从而出现细节丢失等问题。由以上成像模型分析可知,导致低照度图像的主要成因是:入射光线不足;反射光从反射物体表面到相机传感器之间的光衰减;相机成像传感器对反射光的非线性响应函数。以下对该3个成因进行分析。

    数字成像是一个将目标物表面光辐射强度转换为图像灰度的过程,其本质是光信号、电信号和数字信号的转换,所形成的数字图像信号强度主要取决于目标物体本身的亮度和成像传感器的光电转换特性。对于非自发光目标,物体本身的亮度与环境光辐射强度和表面吸收特性相关。数字成像时,物体表面亮度转化为图像灰度的过程可描述为

    f(x,y)=i(x,y)r(x,y) (1)

    其中,f(x,y)代表数字图像灰度值;i(x,y)代表照度分量,即入射到物体表面的光通量,主要由环境光源决定;r(x,y)代表反射分量,由物体的表面特性决定,·代表乘法运算。在夜晚、避光房间等光线不足环境下采集图像时,光源照射在物体表面的光通量强度很低,照度分量i(x,y)很小,导致图像灰度值f(x,y)范围较小、分辨力差,从而形成退化的低照度图像。

    入射光照射在物体表面,产生的反射光在到达相机镜头之前的传播路径中,存在光衰减现象。光衰减主要受大气透射系数、空气中雾霾或尘土等颗粒以及成像景深等影响,较显著的光衰减会导致图像物体反射光进入镜头不充分,而与目标物无关的大气散射光则可能进入相机,这将导致数字图像出现细节丢失、质量下降等退化问题。一般,在理想的大气环境下,不考虑雾、霾、尘土等粒子的光线散射影响,光衰减过程可以表示为

    D=Rt (2)

    其中,R代表反射物体的反射光,· 代表乘法运算,t代表光线衰减函数,可定义为

    t=eβz (3)

    其中,z代表反射物体与相机之间的距离,β代表大气衰减系数,主要取决于拍摄时的大气环境。

    相机拍摄图像的处理流程如图2所示,物体反射的光线进入相机镜头后,通过线性映射在图像传感器的表面形成辐照度E,利用快门控制一定时间后达到图像传感器足够的曝光量,在图像传感器上进行光电转换得到模拟信号,最后经过模数转换等步骤形成每个像素的颜色值。

    图 2  数字成像过程

    数字成像过程中,辐照度E映射到像素值Z的过程是一个非线性过程,称为相机响应函数(Camera Response Function, CRF)。由于人眼对图像中间阶调的灰度敏感,为了模拟人眼感受,相机响应曲线一般呈S型曲线,提高对中间灰度的辨识度,而对较低和较高的数值不敏感。在低照度环境下,正常曝光时间内到达相机传感器的光子数量较少,所获取的图像灰度集中在CRF较低的不敏感区域;同时对于部分极度微弱的光线环境,其光信号甚至可能无法引起相机传感器响应,这将造成大量的图像细节丢失。尽管可以通过调整光圈、延长快门时间来增加进入相机镜头的曝光量,或者调整相机感光度增加对光的灵敏度,来提升成像图像整体的亮度,但利用这些手段拍摄的图像多伴随明显颗粒感、复杂噪声、颜色失真等问题。

    针对低照度成像中的传感器响应不充分、颜色失真、复杂噪声等问题,利用传统模型对低照度图像直接校正存在较大难度。考虑到深度网络在建立复杂非线性映射关系的优势,本文采用深度学习方法提出一种基于移位窗口多头自注意力U型网络的低照度增强方法。针对低照度图像的一系列退化问题,设计了移位窗口多头自注意力模块,并配合编码器解码器网络结构,不仅能够自适应提升图像亮度、抑制噪声,并且还较好地保持图像颜色纹理细节的一致性,有效提高了图像的视觉感受质量和其他客观评价指标。

    本文所提低照度图像增强网络以U型架构为框架,主要由嵌入(Embedding)层、编码器、解码器、跳跃连接和扩张(Expanding)层组成,与现有的大量低照度提升方法不同,该网络采用了移位窗口多头自注意力模块,可以更充分地提取图像特征并学习低照度图像和参考图像的复杂映射关系。如图3所示,所建立的增强网络是一种端到端结构,输入为待增强的低照度图像,输出为同尺度正常亮度的重建图像。

    图 3  低照度图像增强网络结构图

    图3,本文所提低照度图像增强网络包含图像预处理、特征学习、图像重建等过程。首先,利用Embedding模块进行像素预处理,低照度图像被划分为多个大小为4×4的非重叠图像块(patch),每个patch内的像素值排列为一个向量,从而将输入的像素级低照度图像转化为patch嵌入,以便于下一步提取图像语义信息。然后,预处理后的嵌入图像块被输入到3层结构的编码器,编码器应用了典型的U型神经网络(U-Network, U-Net)[13]结构。编码器每层由移位窗口多头自注意力模块和下采样模块组成,其中移位窗口多头自注意力模块负责特征表示学习,有效提取预处理图像的特征信息,捕获长期依赖关系,而下采样模块主要负责降低特征尺寸并增维。同时,本文在编码器与解码器之间单独增加一个移位窗口多头自注意力模块,对编码器获取的长期依赖关系进行融合,防止编码器可能出现的不收敛情况。类似地,解码器也采用3层结构,每层由上采样模块和移位窗口多头自注意力模块组成,其中上采样模块负责增加特征尺度并降维,移位窗口多头自注意力模块负责从语义特征中恢复图像信息。最后,利用Expanding模块将解码器输出特征图分辨率恢复到输入分辨率并映射为红绿蓝(Red Green and Blue, RGB)3通道,所重建的图像达到正常亮度范围。

    本文所建立低照度提升网络的主要特色,采用移位窗口多头自注意力模块进行特征提取和学习,利用自注意力机制的特征提取优势,获取有用的图像特征,建立图像特征的长期依赖关系,有效保证了网络模型建立正确的非线性映射关系。移位窗口多头自注意力模块由传统多头自注意力模块改进而来,其通过划分窗口将输入图像划分为不同的窗口,并在每个窗口内部利用多头自注意力模块捕获依赖关系,同时又利用移位窗口策略,完成了不同窗口之间的内容交互,极大地减少了网络的计算复杂度。在窗口内单独进行自注意力计算,无法获取整体图像全局特征信息,移位窗口策略是将输入图像采用像素循环位移方式,循环位移半个窗口大小,对输入图像进行像素位置改变,再通过划分窗口将移位后输入图像划分为不同的窗口,确保划分窗口内与未移位窗口划分,分别包含输入图像不同位置区域的特征信息,保证不同窗口内信息交互。移位窗口多头自注意力模块如图4所示,由正则化层(Layer Normalization, LN)、窗口多头自注意力(Windows based Multi-head Self-Attention, W-MSA)、移位窗口多头自注意力(Shifted Window based Multi-head Self-Attention, SW-MSA)、前馈网络层和残差连接组成。其中,LN正则化层主要作用是进行批量正则化处理,对输入数据进行归一化处理,从而保证输入层数据分布的规则性。W-MSA和SW-MSA代表在不同区域窗口内进行自注意力计算,自注意力[14]计算可表示为

    图 4  移位窗口多头自注意力模块结构图
    {\rm{Attention}}({\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}) = {\text{SoftMax}}\left(\frac{{{\boldsymbol{Q}}{{\boldsymbol{K}}^{\text{T}}}}}{{\sqrt d }} + {\boldsymbol{B}}\right){\boldsymbol{V}} (4)

    其中,Q代表查询矩阵,K代表键矩阵,V代表值矩阵,d代表查询矩阵或键矩阵的维度。B代表位置矩阵,取自偏置矩阵{\boldsymbol{B}} \in {{{R}}^{(2M - 1)(2M + 1)}}M代表输入嵌入块内patch的数量。

    本文所提移位窗口多头自注意力模块基于当前流行的自注意力机制改进而来,具有如下优势:(1)采用窗口划分,将自注意力计算由整张图像限制在划分窗口内,并通过移位窗口策略,确保不同窗口之间的信息交互,极大地降低了自注意力计算复杂度,使之网络变得轻量化。(2)尝试将自注意力机制用于图像处理领域,并针对低照度图像增强任务取得了较好的结果。

    考虑到低照度图像增强任务的特殊性,以准确重建图像亮度范围、提高颜色真实性及消除噪声等为目标,本文构建了一种综合性损失函数。该损失函数主要由 {L_{\text{1}}} [15]损失函数、结构相似性(Structural SIMilarity index, SSIM)[16]损失函数、感知损失[17]函数和感知颜色损失[18]函数组成,被表示为

    {L_{{\text{total}}}} = (1 - {\lambda _{\text{s}}} - {\lambda _{\text{p}}} - {\lambda _{\text{c}}}){L_{\text{1}}} + {\lambda _{\text{s}}}{L_{{\text{ssim}}}} + {\lambda _{\text{p}}}{L_{{\text{perc}}}} + {\lambda _{\text{c}}}{L_{{\text{colour}}}} (5)

    其中, {L_{\text{1}}} 代表像素级别 {L_{\text{1}}} 范数损失, {L_{{\text{ssim}}}} 代表结构相似性损失, {L_{{\text{perc}}}} 代表感知损失, {L_{{\text{colour}}}} 代表感知颜色损失, {\lambda _{\text{s}}} , {\lambda _{\text{p}}} , {\lambda _{\text{c}}} 代表相对应的损失系数。为了更好地平衡各种损失函数,以便获得更好的网络性能,经过大量实验,本文最终设置 {\lambda _{\text{s}}} =0.25, {\lambda _{\text{p}}} =0.2, {\lambda _{\text{c}}} =0.05。

    {L_{\text{1}}} 损失:本文采用 {L_{\text{1}}} 损失函数减少预测图像与真实图像之间的差异,提高目标轮廓的对比度以及均匀区域的平滑性,处理异常值,提高模型性能

    {L_{\text{1}}}{\text{ = }}\sqrt {\parallel {I_{{\text{gt}}}} - {I_{\text{h}}}{\parallel ^2} + {\rm{C}}}, \;\;{\rm{C}} = {10^{ - 6}} (6)

    其中, {I_{{\text{gt}}}} 代表真实图像, {I_{\text{h}}} 代表预测图像,{\rm{C}}为非零常数。

    结构相似性损失:本文采用结构相似性SSIM损失函数从亮度、对比度和图像结构3个方面来衡量真实图像和预测图像的结构损失,有助于恢复图像的结构和局部细节。SSIM值范围为0~1,其中值越高表示相似性越好

    {L_{{\text{ssim}}}} = 1 - \frac{1}{N}\sum\limits_{{\text{img}}} \left(\frac{{2{\mu _x}{\mu _y} + {{\rm{C}}_1}}}{{{\mu _x}^2 + {\mu _y}^2 + {{\rm{C}}_{\text{1}}}}} \cdot \frac{{2{\sigma _{xy}} + {{\rm{C}}_{\text{2}}}}}{{\sigma _x^2 + \sigma _y^2 + {{\rm{C}}_2}}}\right) (7)

    其中, \mu \sigma _{}^2 分别代表图像像素平均值和方差,{{\rm{C}}_1}, {{\rm{C}}_{\text{2}}}为常量。

    感知损失:本文采用结构感知损失约束真实图像和预测图像之间的差异,保持图像感知和细节的真实性,同时保持感知和语义保真度

    {L_{{\text{perc}}}}({I_{{\text{gt}}}},{I_{\text{h}}}) = \frac{1}{{{C_j}{H_j}{W_j}}}\parallel \varphi ({I_{{\text{gt}}}}) - \varphi ({I_{\text{h}}}){\parallel _1} (8)

    其中, {I_{{\text{gt}}}} 代表真实图像, {I_{\text{h}}} 代表预测图像, {H_j} {W_j} 分别代表第 j 特征图的高度和宽度, {C_j} 代表通道, {\varphi _j}() 代表在预先训练的VGG16(Visual Geometry Group16)模型中第 j 卷积层获得的特征图。

    感知颜色损失:本文采用感知颜色损失约束增强结果与真实图像在欧几里得空间中的颜色差异,促使增强结果产生与参考图像相似的颜色,保证增强结果的颜色一致性

    {L_{{\text{colour}}}} = \Delta E({I_{{\text{gt}}}},{I_{\text{h}}}) (9)

    其中, {I_{{\text{gt}}}} 代表真实图像, {I_{\text{h}}} 代表预测图像, \Delta E 代表颜色色差计算。

    本文实验数据使用Wei等人[8]提供的低照度图像数据集(LOw-Light dataset, LOL),LOL数据集图像分为室内和室外两种场景,是在微光环境条件下获取的真实微光图像。为了适应网络模型,对LOL整体数据集进行裁切处理,每张图像被裁切为224像素×448像素。实验采用裁切后LOL数据集中前689对图像作为训练集,后100对图像作为测试集。另外,为了提高模型的泛化能力,训练集中又加入900对人工合成图像。

    本文实验环境配置如下,在Windows 10系统下采用Nvidia GTX 2080显卡,运用Python编程语言和Pytorch框架实现网络搭建。网络参数设置中,批处理大小为6,epoch为1000次,使用ADAM优化器进行优化,前300轮生成模型的学习率为0.0001,后700轮次模型的学习率每隔300轮次缩小为原来的0.5。

    本文采用3个不同的有参考客观评价指标:峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似性(SSIM)和图像感知相似度(Learned Perceptual Image Patch Similarity, LPIPS)[19]指标。PSNR是计算对应像素点间的误差,即基于误差敏感的图像质量评价,测量图像之间的保真度。SSIM更多地考虑图像结构,分别从亮度、对比度、结构3方面度量图像相似性。目标图像和生成图像的相似性,两者越相似,SSIM和PSNR的评分越高。LPIPS利用深度神经网络来评价生成图像质量,评价图像特征之间的感知距离,其数值越高意味着两幅图差异越大,越低意味着越相似。

    为了验证本文所提方法的有效性,分别将本文方法与当前较为流行的算法进行对比实验,对比算法有多分支微光增强网络(Multi-Branch Low-Light image/video Enhancement Network, MBLLEN)[20],RetinexNet[8],KinD[9]、全局照明和细节保护网络(Global Lighting And Detail protection Network, GLADNet) [21]、自监督增强网络(Self-supervised Image Enhancement network, SIE) [22]、零参考增强网络(Zero-reference Deep Curve Estimation for low-light image enhancement, Zero-DCE)[23]。MBLLEN算法核心思想是提取不同层次的丰富特征,通过多个子网络进行增强,最后通过多分支融合产生输出图像。RetinexNet算法基于经典Retinex理论,采用两个子网络将低照度图像分解成照明分量与反射分量,并对照明分量进行调整。KinD算法在RetinexNet算法基础上,对图像分解与重建结构进行优化,并添加图像恢复网络用于去除图像噪声。GLADNet算法的核心思想是先计算出低照度输入图像的全局光照估计,然后在光照估计图的指导下调整光照,并通过与原始输入的级联来补充细节。SIE算法是一种基于深度学习的自监督低照度图像增强方法,只用低照度图像进行训练。Zero-DCE算法通过设计无参考损失函数,使得网络在没有任何参考图像的情况下能够进行端到端训练。以上选取的算法,分别采用当前计算机视觉领域流行的不同方法,在低照度图像增强领域非常具有代表性。对比实验主要分为两部分,分别从主观评价、客观评价两方面进行比较。考虑到公平性,实验时使用对比算法所提供的公开可用代码和所推荐参数设置。

    4.3.1   主观评价

    首先在LOL测试集上,将本文输出结果视觉效果图与对比算法输出结果进行主观比较。如图5所示,选取部分具有代表性图像的可视化结果,重点对比低照度图像噪声干扰、颜色失真以及正确提升图像对比度等常见问题。明显可以看出,RetinexNet算法的输出效果最差,输出图像不仅存在严重的噪声,并伴随图像部分区域过度曝光现象,具有非常差的视觉感受。MBLLEN, SIE, Zero-DCE算法的输出效果比RetinexNet算法的输出效果视觉感受要好,基本能够正确提升图像亮度,但提升亮度力度不够,与参考图像相比均整体亮度偏暗,且图像细节方面存在部分轻微噪声和颜色失真现象。GLADNet算法的输出效果与前几种算法相比,增加了图像亮度提升的力度,造成输出图像整体亮度高于参考图像,同时引起更加严重的颜色失真现象,输出图像整体色调偏黄。针对低照度图像光照不均匀问题,以上算法均不能准确提升图像亮度,并伴随噪声干扰以及颜色失真问题。KinD算法与本文算法在图像亮度提升方面,均能够准确提升不同区域图像亮度,与参考图像相比几乎无差异,在噪声抑制方面,都能够获得良好的视觉效果。在保持颜色一致性方面,KinD算法与本文算法的输出结果在大部分场景下与参考图像在颜色细节方面保持一致,但还存在部分场景颜色失真现象。例如针对绿色植被场景,KinD算法与本文算法的输出结果均与参考图像存在颜色差异,如图5的图像2所示,KinD算法和本文算法针对树叶的输出结果与参考图像相比,输出结果整体颜色稍微偏暗,树叶之间的层次感不强,存在轻微颜色失真,但整体来看,本文算法比KinD算法具有更舒服的视觉效果。

    图 5  不同算法处理后可视化结果

    综上所述,本文算法在大部分场景下都能做到图像细节及纹理信息的精准还原,但针对图像大面积区域图像颜色单一,层次信息强,例如草地、树木以及绿色植被等这类图像。本文算法的输出结果同样存在颜色失真现象,其主要原因是这类图像大面积区域颜色较为单一,但又存在细微的明暗差别,且层次信息丰富,本文算法在抑制噪声的同时,削弱了图像的层次信息,导致输出结果在该区域层次感不强,颜色恢复细节不到位。总体来看,本文算法依然能够取得较好的视觉效果,在图像亮度提升、噪声抑制、颜色恢复以及保持图像结构纹理方面占有一定的优势。

    4.3.2   客观评价

    本文采用PSNR, SSIM和LPIPS 3种有参考图像质量评价指标对本文算法与对比算法进行客观评价,采用LOL测试集,客观评价结果如表1所示。可以看出本文所提出的方法在PSNR, SSIM和LPIPS 3个指标方面都取得了更好的结果,较对比算法中最优值分别提高了0.35 dB, 0.041, 0.031。证明了本文所提出的方法在低照度图像亮度提升、噪声去除以及纹理细节恢复等方面具有一定的优势。

    表 1  不同算法处理后客观评价指标结果图
    序号MBLLENRetinexNetKinDGLADNetSIEZero-DCE本文算法
    PSNR(dB)17.7316.4619.9519.5017.1318.5320.30
    SSIM0.7060.4940.8130.7560.7310.6590.854
    LPIPS0.2500.4410.1380.2400.2590.2340.107
    下载: 导出CSV 
    | 显示表格

    为了使网络学习到最优模型,本文分别对编码器3层结构中每一层移位窗口自注意力模块数量以及损失函数系数进行消融实验。在表2表3中,分别量化了不同编码器结构以及不同损失函数系数的有效性。通过主观评价和客观指标对比可以看出,当编码器每层架构中的移位窗口多头自注意力模块的个数为[2, 2, 6],以及损失函数系数 {\lambda _{\text{s}}} =0.25, {\lambda _{\text{p}}} =0.2, {\lambda _{\text{c}}} =0.05时,本文网络模型获得了最优效果,消融实验中部分代表性测试图像的视觉效果如图6所示。

    表 2  不同编码器结构在测试集上客观评价指标
    编码器不同层中移位窗口
    自注意力模块数量
    PSNR(dB)SSIMLPIPS
    [2, 2, 2]19.490.8430.121
    [2, 2, 6]20.300.8540.107
    [2, 4, 6]20.100.8490.122
    下载: 导出CSV 
    | 显示表格
    表 3  不同损失函数系数在测试集上客观评价指标
    损失函数系数PSNR
    (dB)
    SSIMLPIPS
    {\lambda _{\text{s}}} =0.2, {\lambda _{\text{p}}} =0.1, {\lambda _{\text{c}}} =0.0520.180.8430.144
    {\lambda _{\text{s}}} =0.15, {\lambda _{\text{p}}} =0.05, {\lambda _{\text{c}}} =0.02519.820.8300.158
    {\lambda _{\text{s}}} =0.25, {\lambda _{\text{p}}} =0.2, {\lambda _{\text{c}}} =0.0520.300.8540.107
    下载: 导出CSV 
    | 显示表格
    图 6  不同编码器结构/损失函数系数处理后的可视化结果

    图6可以看出,当编码器结构为[2, 2, 2]时,增强后的图像明显出现颜色不一致、图像整体过亮等情况,并存在轻微噪声。当编码器结构为[2, 4, 6]时,增强后的图像较[2, 2, 2]结构时有了明显的改进,但依然存在图像整体偏亮,轻微的颜色偏差。当损失函数系数 {\lambda _{\text{s}}} =0.2, {\lambda _{\text{p}}} =0.1, {\lambda _{\text{c}}} =0.05时,增强后的图像能够正确提升图像亮度,但存在颜色不一致现象。当损失函数系数 {\lambda _{\text{s}}} =0.15, {\lambda _{\text{p}}} =0.05, {\lambda _{\text{c}}} =0.02时,增强后的图像能够保持图像颜色的一致性,但图像整体偏亮。当编码器结构为[2, 2, 6],损失函数系数为 {\lambda _{\text{s}}} =0.25, {\lambda _{\text{p}}} =0.2, {\lambda _{\text{c}}} =0.05时,增强后的图像在亮度提升,噪声去除以及保持颜色纹理细节方面较上述方案均有更好的视觉效果,并与参考图像基本保持一致,只存在轻微的细节差别。

    本文旨在解决低照度图像亮度提升、噪声抑制以及颜色细节恢复等问题,提出了一种基于移位窗口多头自注意力机制的U型网络框架,来实现低照度图像的亮度信息重建。所建立的低照度增强网络利用多头自注意力机制的特征提取优势,构建特征间的长依赖关系,更全、更广地提取图像语义特征;同时利用编/解码器结构,采用分层提取不同层次语义特征,来获取更大的感受野,获得更广泛的全局信息;通过跳跃连接,将对应相同尺度编/解码器的不同语义特征进行融合,充分保留图像纹理及颜色特征,拥有更好的图像恢复效果。最后通过大量的实验,主观和客观地比较本文方法与当前流行算法对低照度图像的处理效果,结果表明,本文方法均取得较好的增强效果,基本解决了低照度图像亮度提升、噪声抑制以及颜色细节恢复等问题,但依然存在一定进步的空间。在后续工作中,将进一步对本文模型进行改进,使之拥有更好的泛化性能。

  • 图  1  低照度图像成像模型

    图  2  数字成像过程

    图  3  低照度图像增强网络结构图

    图  4  移位窗口多头自注意力模块结构图

    图  5  不同算法处理后可视化结果

    图  6  不同编码器结构/损失函数系数处理后的可视化结果

    表  1  不同算法处理后客观评价指标结果图

    序号MBLLENRetinexNetKinDGLADNetSIEZero-DCE本文算法
    PSNR(dB)17.7316.4619.9519.5017.1318.5320.30
    SSIM0.7060.4940.8130.7560.7310.6590.854
    LPIPS0.2500.4410.1380.2400.2590.2340.107
    下载: 导出CSV

    表  2  不同编码器结构在测试集上客观评价指标

    编码器不同层中移位窗口
    自注意力模块数量
    PSNR(dB)SSIMLPIPS
    [2, 2, 2]19.490.8430.121
    [2, 2, 6]20.300.8540.107
    [2, 4, 6]20.100.8490.122
    下载: 导出CSV

    表  3  不同损失函数系数在测试集上客观评价指标

    损失函数系数PSNR
    (dB)
    SSIMLPIPS
    {\lambda _{\text{s}}} =0.2, {\lambda _{\text{p}}} =0.1, {\lambda _{\text{c}}} =0.0520.180.8430.144
    {\lambda _{\text{s}}} =0.15, {\lambda _{\text{p}}} =0.05, {\lambda _{\text{c}}} =0.02519.820.8300.158
    {\lambda _{\text{s}}} =0.25, {\lambda _{\text{p}}} =0.2, {\lambda _{\text{c}}} =0.0520.300.8540.107
    下载: 导出CSV
  • [1] KIM W, JEONG J, and YOU J. Contrast enhancement using histogram equalization based on logarithmic mapping[J]. Optical Engineering, 2012, 51(6): 067002. doi: 10.1117/1.OE.51.6.067002
    [2] CELIK T. Spatial entropy-based global and local image contrast enhancement[J]. IEEE Transactions on Image Processing, 2014, 23(12): 5298–5308. doi: 10.1109/TIP.2014.2364537
    [3] JOBSON D J, RAHMAN Z, and WOODELL G A. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451–462. doi: 10.1109/83.557356
    [4] JOBSON D J, RAHMAN Z, and WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965–976. doi: 10.1109/83.597272
    [5] WANG Shuhang, ZHENG Jin, HU Haimiao, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3538–3548. doi: 10.1109/TIP.2013.2261309
    [6] LI Mading, LIU Jiaying, YANG Wenhan, et al. Structure-revealing low-light image enhancement via robust retinex model[J]. IEEE Transactions on Image Processing, 2018, 27(6): 2828–2841. doi: 10.1109/TIP.2018.2810539
    [7] LORE K G, AKINTAYO A, and SARKAR S. LLNet: A deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650–662. doi: 10.1016/j.patcog.2016.06.008
    [8] WEI Chen, WANG Wenjing, YANG Wenhan, et al. Deep retinex decomposition for low-light enhancement[C]. 2018 British Machine Vision Conference, Newcastle, UK, 2018: 1–12.
    [9] ZHANG Yonghua, ZHANG Jiawan, and GUO Xiaojie. Kindling the darkness: A practical low-light image enhancer[C]. The 27th ACM International Conference on Multimedia, Nice, France, 2019: 1632–1640.
    [10] CHEN Chen, CHEN Qifeng, XU Jia, et al. Learning to see in the dark[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 3291–3300.
    [11] WANG Ruixing, ZHANG Qing, FU C, et al. Underexposed photo enhancement using deep illumination estimation[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 6842–6850.
    [12] JIANG Yifan, GONG Xinyu, LIU Ding, et al. EnlightenGAN: Deep light enhancement without paired supervision[J]. IEEE Transactions on Image Processing, 2021, 30: 2340–2349. doi: 10.1109/TIP.2021.3051462
    [13] RONNEBERGER O, FISCHER P, and BROX T. U-Net: Convolutional networks for biomedical image segmentation[C]. The 18th International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), Munich, Germany, 2015: 234–241.
    [14] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]. The 31st International Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 6000–6010.
    [15] LAI Weisheng, HUANG Jiabin, AHUJA N, et al. Fast and accurate image super-resolution with deep laplacian pyramid networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(11): 2599–2613. doi: 10.1109/TPAMI.2018.2865304
    [16] WANG Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612. doi: 10.1109/TIP.2003.819861
    [17] JOHNSON J, ALAHI A, and LI F F. Perceptual losses for real-time style transfer and super-resolution[C]. The 14th European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 694–711.
    [18] LUO M R, CUI G, and RIGG B. The development of the CIE 2000 colour-difference formula: CIEDE2000[J]. Color Research and Application, 2001, 26(5): 340–350. doi: 10.1002/col.1049
    [19] ZHANG R, ISOLA P, EFROS A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 586–595.
    [20] LV Feifan, LU Feng, WU Jianhua, et al. MBLLEN: Low-light image/video enhancement using CNNs[C]. 2018 British Machine Vision Conference, Newcastle, UK, 2018: 1–13.
    [21] WANG Wenjing, WEI Chen, YANG Wenhan, et al. GLADNet: Low-light enhancement network with global awareness[C]. The 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018), Xi'an, China, 2018: 751–755.
    [22] ZHANG Yu, DI Xiaoguang, ZHANG Bin, et al. Self-supervised image enhancement network: Training with low light images only[EB/OL]. https://arxiv.org/pdf/2002.11300.pdf, 2020.
    [23] GUO Chunle, LI Chongyi, GUO Jichang, et al. Zero-reference deep curve estimation for low-light image enhancement[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 1777–1786.
  • 期刊类型引用(4)

    1. 郭蕾. 改进ORB图像匹配联合最佳缝合线在数字媒体视频图像拼接中的应用. 自动化与仪器仪表. 2024(05): 102-105 . 百度学术
    2. 王玮,董富江. 改进U-Net神经网络下LII质量增强方法. 计算机仿真. 2024(09): 200-204 . 百度学术
    3. 薛峰,陶海峰. 三维虚拟图像中动态特征增强算法设计. 吉林大学学报(信息科学版). 2024(05): 840-846 . 百度学术
    4. 杜兵芳. 基于数学形态学的零样本低照度图像特征增强方法. 湖北文理学院学报. 2023(11): 8-12+20 . 百度学术

    其他类型引用(6)

  • 加载中
图(6) / 表(3)
计量
  • 文章访问数:  1065
  • HTML全文浏览量:  769
  • PDF下载量:  146
  • 被引次数: 10
出版历程
  • 收稿日期:  2021-10-14
  • 修回日期:  2021-12-03
  • 录用日期:  2021-12-07
  • 网络出版日期:  2021-12-10
  • 刊出日期:  2022-10-19

目录

/

返回文章
返回