基于深度卷积神经网络的无参考低照度图像增强

陈勇; 陈东; 刘焕淋; 黄美永; 汪波

doi:10.11999/JEIT210386

基于深度卷积神经网络的无参考低照度图像增强

doi: 10.11999/JEIT210386

陈勇^1, ,,
陈东¹,
刘焕淋²,
黄美永¹,
汪波¹

1.
重庆邮电大学工业物联网与网络化控制教育部重点实验室重庆 400065
2.
重庆邮电大学光纤通信技术重点实验室重庆 400065

基金项目: 国家自然科学基金(51977021)，重庆市技术创新与应用发展专项(cstc2019jscx-mbdX0004)

详细信息

作者简介:
陈勇：男，1963年生，教授，博士，研究方向为图像处理与模式识别

陈东：男，1995年生，硕士，研究方向为图像处理

刘焕淋：女，1970年生，教授，博士生导师，研究方向为信息处理

黄美永：女，1997年生，硕士生，研究方向为图像处理

汪波：男，1995年生，硕士生，研究方向为图像处理

通讯作者:
陈勇　chenyong@cqupt.edu.cn

中图分类号: TN911.73; TP391.41
计量
- 文章访问数: 774
- HTML全文浏览量: 710
- PDF下载量: 181
- 被引次数: 10
出版历程
- 收稿日期: 2021-05-07
- 修回日期: 2022-03-21
- 网络出版日期: 2022-03-24
- 刊出日期: 2022-06-21

Unreferenced Low-lighting Image Enhancement Based on Deep Convolutional Neural Network

1.
Key Laboratory of Industrial Internet of Things and Network Control, Ministry of Education, Chongqing University of Posts and Telecommunications, Chongqing 400065, China
2.
School of Communication and Information Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China

Funds: The National Natural Science Foundation of China (51977021), Chongqing Key Technology Innovation Project (cstc2019jscx-mbdX0004)

摘要

摘要: 针对低照度图像增强算法在实现细节增强的同时对噪声抑制考虑的不足问题，该文提出一种基于深度卷积神经网络的无参考低照度图像增强方法。首先，基于Retinex理论从输入的低照度图像中提取照射分量和反射分量，并分别对二者进行优化，随后将优化后的照射分量和反射分量相乘得到增强后的图像；同时，将3D块匹配(BM3D)的去噪效果融合进反射分量的优化过程中；最后，采用无参考图像训练的方式，并配合改进后的趋势一致性损失对网络参数进行更新。实验结果表明，该文算法相较于现有的主流算法，可有效地提升低照度图像的对比度和亮度，同时保持图像的自然性。
- 图像增强 /
- 低照度 /
- Retinex /
- 卷积神经网络 /
- 趋势一致
Abstract: To address the shortcomings of existing low illumination image enhancement algorithms in achieving detail enhancement while considering noise suppression, a reference-free low-illumination image enhancement method based on deep convolutional neural networks is proposed in the paper. First, the illumination and reflection components are extracted from the input low-illumination image based on Retinex theory and optimised separately, after which the optimised illumination and reflection components are multiplied to obtain the enhanced image. loss to update the network parameters, meanwhile, the denoising effect of Block Matching 3D (BM3D ) is integrated into the optimization process of reflection components. The experimental results show that the algorithm in this paper can effectively enhance the contrast and brightness of low-illumination images compared to existing mainstream algorithms, while maintaining the naturalness of the images.
- Image enhancement /
- Low light /
- Retinex /
- Convolutional Neural Network(CNN) /
- Consistent trend

HTML全文

1. 引言

低照度环境通常指较差的照明条件，例如多云、夜间和室内等场景。此外，由于拍摄设备成像过程中，不可避免地引入成像噪声。而由于低照度图像本身的照度比较低，会突出设备成像过程中引入的噪声，于是这些噪声在低照度图像中尤为明显。因此，对低照度图像进行适当的增强和去噪显得十分必要^[1-3]。

目前低照度图像增强方法主要分为基于Retinex理论^[4]的方法和基于去雾模型的方法。胡正平等人^[5]采用极大灰度频数抑制和动态直方图均衡相结合的方式对传统直方图均衡技术进行改进，实现对过度增强情况的抑制，同时做到用户对于对比度增强的可控性。为实现对于图像的照射分量和反射分量的准确估计，Fu等人^[6]提出了一种加权变分模型(Simultaneous Reflectance and Illumination Estimation, SRIE)，同时对图像的照射分量和反射分量进行估计，并对噪声进行了一定程度的抑制；Guo等人^[7]在低照度图像增强(Low Light Image Enhancement, LIME)中认为只需对照射分量进行约束即可获得较好的增强图像，具体过程为通过结构先验不断修正原始光照射，从而获得最终的照射分量，最后将反射分量通过3D 块匹配(Block Matching 3D, BM3D)^[8]降噪后作为增强的结果，然而先增强后去噪的做法可能会产生图像的细节信息因去噪而丢失的情况。近年来有学者开始尝试将数据驱动方法与Retinex理论相结合并取得不俗的效果。2017年，Lore等人^[9]提出了经典的堆叠稀疏降噪自动编码机框架来训练低照度网(Low Light Net, LLNet)，以实现低照度图像增强；Chen等人^[10]构建了一个由短曝光和长曝光图像对组成的数据集，并设计了一个全连接卷积神经网络在该数据集上进行端到端的训练，取得了超越传统方法的增强效果；Wei等人^[11]在RetinexNet中使用深度卷积神经网络提取输入图像的反射分量和照射分量，并通过损失函数的约束实现较好的增强结果；Ma等人^[12]利用一个分解网络和两个判别网络搭建生成对抗网络实现不成对图像训练，进而达到图像增强的目的。上述的数据驱动方法均采用有参考图像的训练方式，导致最终的增强结果常受到参考图像的制约，即参考图像质量的高低将直接影响增强结果的好坏。最近，Guo等人^[13]提出不使用参考图像可以直接对网络进行训练，损失函数的设计成为关键；文献[14]将低照度图像反转并当作雾天图像处理，并将处理的结果反转后得到增强的结果；Dong等人^[15]将上述方法进一步拓展到对低照度视频的处理中并取得一定的效果，但将低照度图像反转后视作雾天图像来进行图像增强，同样缺乏较强的物理模型支撑。

针对上述存在的问题，本文利用深度卷积神经网络从低照度图像中提取照射分量和反射分量；将经BM3D去噪的效果与反射分量的优化网络相结合实现增强图像细节信息的同时对图像中噪声进行抑制；最后，采用无参考图像训练的方式，并设计一种新的趋势一致性损失函数对输出图像的趋势一致性约束，在一定程度上突破参考图像对增强结果的制约。

2. 本文方法

基于Retinex理论，本文设计一个深度卷积神经网络。Retinex理论认为图像传感器所获得的图像S 可以看作一个反射分量R和一个照射分量I 的乘积，即可表述为

${\boldsymbol{S}} = {\boldsymbol{R}}{\text{o}}{\boldsymbol{I}}$

(1)

其中， ${\text{o}}$ 表示点对点的元素相乘；反射分量R包含有所拍摄对象的本质特征。而照射分量I 则代表照射在所拍摄对象上的光照分布情况。

对于正常的自然光照下的图像而言，其光照分布应当是连续变化的，并能够保留图像的大部分边缘信息^[16]。在考虑噪声的低照度增强方法中，一般认为可以将噪声归类为加性噪声，主要存在于反射分量R中^[17]，即需要对提取到的反射分量R进行噪声抑制处理，得到噪声较少、纹理细节更丰富的 ${{\boldsymbol{R}}'}$

${\boldsymbol{S}} = {{\boldsymbol{R}}'}{\text{o}}{\boldsymbol{I}}$

(2)

为此，将BM3D去噪过程融入到反射分量的优化中，在无参考图像的情况下通过损失函数的约束实现低照度图像增强。图1给出了所设计网络整体框架。

图 1 网络整体框架

下载: 全尺寸图片幻灯片

网络整体框架主要由分解网络和优化网络两部分组成，其中优化网络又由反射分量优化网络和照射分量调整网络组成。输入的低照度图 ${\boldsymbol{S}}$ 像首先经由分解网络分别提取照射分量I和反射分量R，再将这两个分量分别输入到照射分量优化网络和反射分量优化网络中进行优化处理，最后将优化后的两个分量 $\hat {\boldsymbol{I}}$ 和 $\hat {\boldsymbol{R}}$ 相乘得到最终的增强后的图像 $\hat {\boldsymbol{S}}$ 。下面分别就分解网络和优化网络的设计思想进行描述。

2.1 分解网络

分解网络由两个分支组成，上层分支用于提取反射分量，下层分支用于提取照射分量，如图2所示。图中DownSample为下采样层，用于缩小输入的特征图的尺寸，卷积核大小为4×4，步长为2；Deconv为反卷积层，用于扩大输入的特征图的尺寸，卷积核大小为4×4，步长为2；Concat为拼接层，用于按通道拼接传递来的特征图；其余均为普通尺寸不变卷积层，图中每一层之后的数字表示该层的通道数，卷积核大小均为3×3。

图 2 分解网络

下载: 全尺寸图片幻灯片

分解网络的任务是从输入的低照度图像中提取出其对应的照射分量和反射分量，而这是一个高度病态的问题，必须通过合理设计损失函数对网络的输出进行一定的约束。依据Retinex理论，照射分量应当具有平滑特性，而反射分量应当尽可能保留输入图像的纹理细节特征^[18]。因此对于初始反射分量的损失函数为

${\boldsymbol{L}}_{{\text{rs}}}^{\text{D}} = {\left\| {\nabla {\boldsymbol{R}} - \nabla {\boldsymbol{S}}} \right\|_1}$

(3)

其中， $\nabla$ 表示1阶差分算子， ${\boldsymbol{S}}$ 为输入的低照度图像，R表示分解网络输出的反射分量， ${\left\| \cdot \right\|_1}$ 表示1范数，本文的梯度计算包括水平方向和垂直方向，最终的梯度计算结果为两个方向的计算结果之和。该损失函数度量的是边界、纹理等变化信息的差异。本文将其最小化来约束反射分量，使其和原图尽可能相近。

对于照射分量的约束，本文采用文献[19]中的计算式来实现对照射的平滑，即

${\boldsymbol{L}}_{{\text{is}}}^{\text{D}} = {\left\| {\frac{{\nabla {\boldsymbol{I}}}}{{\max (\left| {\nabla {\boldsymbol{S}}} \right|,{\boldsymbol{\varepsilon}} )}}} \right\|_1}$

(4)

其中， ${\varepsilon }$ 表示很小的正数(本文取0.0001)， $\left| \cdot \right|$ 表示取绝对值。由该损失函数可知，当需要计算的像素点位于图像中目标物体的边缘处时，由该函数计算出的值将较小，即惩罚较小，而当需要计算的位置在图像的较平坦区域时，惩罚将变大，由此实现照射分量的平滑。

既然照射分量和反射分量是由输入图像分解得到的，则依据Retinex理论，二者的乘积理应与输入图像一致，即 ${\boldsymbol{S}} - {\boldsymbol{R}}{\text{o}}{\boldsymbol{I}}$ 的值趋于0。为此，构造了重建损失函数

${\boldsymbol{L}}_{{\text{rec}}}^{\text{D}} = {\left\| {{\boldsymbol{S}} - ({\boldsymbol{R}} + 0.0001){\text{o}}({\boldsymbol{I}} + 0.0001)} \right\|_1}$

(5)

为了避免网络在进行反向误差传递时，参数发生过度振荡，对于反射分量R和照射分量I分别加0.0001。分解网络的总体损失函数可表示为

${{\boldsymbol{L}}^{\text{D}}} = 0.01 \times {\boldsymbol{L}}_{{\text{rs}}}^{\text{D}} + 0.15 \times {\boldsymbol{L}}_{{\text{is}}}^{\text{D}} + {\boldsymbol{L}}_{{\text{rec}}}^{\text{D}}$

(6)

其中，加权系数是通过实验来确定的。

2.2 优化网络

优化网络中的下采样层、反卷积层和拼接层的卷积核大小及步长与分解网络中的设置相同。该网络由反射分量优化网络和照射分量调整网络两部分组成，其中照射分量调整网络由一组尺寸不变的卷积层组成，对于该网络参数的调整将由优化网络整体的损失函数实现。反射分量优化网络的任务是进一步提升反射分量中的纹理细节信息同时对噪声进行抑制，具体如图3所示。

图 3 反射分量优化网络

下载: 全尺寸图片幻灯片

经BM3D算法去噪后，图像的细节信息将会有一些损失。对此，利用深度卷积网络提取纹理信息强的特点，对上述缺陷进行一定程度的弥补。如图3将去噪之后的反射分量提取不同大小尺寸融入到网络的不同卷积层中，在抑制噪声的同时增强反射分量的纹理信息。由于采取无参考图像的方式对网络进行训练，缺少正常光照图像对于网络输出的引导，因此需要通过合理设计的损失函数对于最终的增强结果进行约束，使得网络能够向着正确的方向收敛。受文献[14]启发，设计了如下3种损失函数。

2.2.1 空间一致性损失

一般对于反射图的约束都是基于输出反射图的梯度图与输入图像的梯度图之间的相似性，二者的相似性越高，则代表反射图中纹理和边缘信息与输入的低照度图像的纹理和边缘信息越相近^[11]。但是，对于低照度图像，由于输入的低照度图像中纹理细节受到照射分量和反射分量的共同作用，由低照度图像计算出的梯度图的值相较于正常照射图像的梯度图的值必然是偏小的，因此，为使得反射分量能够保留更多的细节信息，应当适当放宽对于反射分量的梯度限制。为验证上述想法，从低照度 (LOw-Light, LOL)数据集^[11]中选取一对低照度图像和正常照射图像，在图4(b)和图4(d)相同的位置如随机选取所对应的200和400处(图4的红线)分别计算其梯度得到200和400处变化趋势如图4(e)和图4(f)，从图4(e)和图4(f)可以看出，正常光照的图像和低照度图像的变化趋势，在某些像素的邻域中存在稍些波动，但在整体上是呈现一致的。在某些像素的邻域中存在的波动，是由低照度使得一些目标物体的边缘等细节变得模糊所导致的。虽然低照度图像的光照相对于正常光照发生了变化，但纹理趋势依然是一致的。如果严格要求低照度图的梯度图与正常照度图像的梯度图完全一致，由于低照度图像的梯度在一些细节处较平滑，则基于Retinex理论，分解低照度图所获得的照射分量的梯度图，将在这些细节存在波动，未达到所期望的均匀的照射分量。基于上述思考，在常规的图像梯度图计算的基础上提出趋势图计算方式

图 4 不同光照下图像同一位置的梯度变化趋势

下载: 全尺寸图片幻灯片

${\bar \nabla _{{d}}}{{f}}({{x}},{{y}}) = \left\{ {\begin{array}{*{20}{c}} {{{t}},}&{\nabla {{{f}}_{{d}}}({{x}},{{y}}) > 0} \\ {0,}&{\nabla {{{f}}_{{d}}}({{x}},{{y}}) = 0} \\ { - {{t}},}&{\nabla {{{f}}_{{d}}}({{x}},{{y}}) < 0} \end{array}} \right.,{{d}} \in \left\{ {{{h}},{{w}}} \right\}$

(7)

其中， ${\nabla _d}f(x,y)$ 表示在图像 $\left( {x,y} \right)$ 处的某一方向上的1阶梯度值； $d$ 表示图像的某一方向，包括垂直方向 $h$ 和水平方向 $w$ ； $t$ 是一个变量，表示当梯度大于0或者小于0时，图像的变化趋势是一致的，只需关注它的符号即可。本文设为5。

通过上述分析，最终的增强结果是由调整后的照射分量和反射分量相乘而得的，其纹理信息可能会有一定的损失，同时为解决全局计算对于局部区域的代表性不足，本文采取在图像的随机多个区域进行局部计算，具体损失函数为

$\begin{split} {\boldsymbol{L}}_{{\text{sp}}}^{{\text{on}}} =& \frac{1}{{{K}}}\sum\limits_{i = 1}^K {\sum\limits_{j \in \aleph (i)} {{{\left( {\left| {(\bar \nabla {{\hat {\boldsymbol{S}}}_i} - \bar \nabla {{\hat {\boldsymbol{S}}}_j})} \right| - \left| {(\bar \nabla {{\boldsymbol{S}}_i} - \bar \nabla {{\boldsymbol{S}}_j})} \right|} \right)}^2}} } \\ & + \lambda \times {\left| {\nabla \hat {\boldsymbol{S}} - \nabla {\boldsymbol{S}}} \right|_1}\\[-15pt] \end{split}$

(8)

其中， $K$ 表示随机选取的局部区域数量(本文选择16)， $\aleph \left( i \right)$ 表示第 $i$ 个局部区域的4个邻域所组成的集合(包括上下左右4个邻域，邻域大小和局部区域大小均为4×4)， $\bar \nabla {{\boldsymbol{S}}_i}$ 和 $\bar \nabla {{\boldsymbol{S}}_i}$ 分别表示最终输出的增强图像 $\hat {\boldsymbol{S}}$ 和输入的低照度图像 ${\boldsymbol{S}}$ 在灰度空间中相同位置的某一局部区域中平均趋势值， ${\hat {\boldsymbol{S}}_j}$ 表示增强图像中第 $i$ 的局部区域的第 $j$ 个邻域中平均趋势值。

2.2.2 曝光控制损失

为对增强结果的曝光程度进行限制，本文首先将输出的增强图像由RGB空间转换为灰度空间，再在灰度图像中随机选取10个不重叠的局部区域，经归一化处理使得每一个局部区域的平均像素值趋于0.6，其损失函数为

${\boldsymbol{L}}_{{\text{exp}}}^{{\text{on}}} = \frac{1}{{{N}}}\sum\limits_{k = 1}^N {\left| {{{{Y}}_k} - {{E}}} \right|}$

(9)

其中，N表示随机选取的不重叠局部区域数目(本文设置为10，区域大小为16×16)， ${{Y}}_{k}$ 表示第k个局部区域的像素值均值， $E$ 表示曝光等级。曝光等级表示图像的平均亮度情况，根据图像中所有像素的亮度值取平均来计算，将曝光等级从0～1分为10个等级。其中，1为正常曝光，0为极低照度(本文 $E$ 选择为0.6)。

2.2.3 色彩一致性损失

为遏制增强图像中的色彩失真现象，可以使得增强图像中不同通道的平均像素值占比与输入的低照度图像中的占比趋于一致，其损失函数为

$\left. \begin{split} &{\boldsymbol{L}}_{{\text{col}}}^{{\text{on}}} = \sum\limits_{\left( {p,q} \right) \in \omega } {{{\left( {{{{Y}}^p} - {{{Y}}^q}} \right)}^2}} \\ & {\boldsymbol{\omega}} = \left\{ {\left( {{\boldsymbol{R}},{\boldsymbol{G}}} \right),\left( {{\boldsymbol{R}},{\boldsymbol{B}}} \right),\left( {{\boldsymbol{B}},{\boldsymbol{G}}} \right)} \right\} \end{split}\right\}$

(10)

其中， $Y$ 表示某一通道的像素值均值， $p$ 和 $q$ 属于RGB3通道中的1个，两两为一组。

所提算法总的损失函数为

${{\boldsymbol{L}}^{{\text{on}}}} = {\boldsymbol{L}}_{{\text{sp}}}^{{\text{on}}} + {\boldsymbol{L}}_{{\text{exp}}}^{{\text{on}}} + 0.5 \times {\boldsymbol{L}}_{{\text{col}}}^{{\text{on}}}$

(11)

3. 实验分析

3.1 实验设计

实验配置为：Intel(R) Xeon(R) E5-2620 v4 CPU，4块NVIDIA GTX 1080 Ti GPU，64 GB内存。网络训练阶段使用GPU，测试阶段使用CPU。

网络的输入图像大小为256×256×3，训练样本为100个，训练周期为200代，学习率初始设置为0.002，采用Adam算法对网络进行优化，Adam参数设置为：b1=0.9, b2=0.999。本文模型的训练时间为30 h。训练样本的图像数据集来自Synthetic Low Light^[20]中的低照度图像，共计22471张，其中80%作为训练数据集，其余作为测试数据集；由于合成的低照度图像不能完全等同于真实场景下的低照度图像，因此，本文还从主流的低照度图像增强论文中收集了一些真实场景下的低照度图像，共计30张作为补充测试使用。

选择 (Dong)^[15]、同时估计反射分量和照射分类( Simultaneous Reflectance and Illumination Estimation, SRIE)^[6]、对抗生成网络和Retinex模型 (Generative Adversarial Network and Retinex Mode, RetinexGAN)^[12]和低照度图像增强 (Low-light image Enhancement, LIME)^[7]作为本文的对比算法，其算法的参数设置均采用作者原文中的设置。评价指标为峰值信噪比(Peak Signal to Noise Ratio, PSNR)、结构相似度(Structural SIMilarity, SSIM)^[21]、自然图像质量评价(Natural Image Quality Evaluator, NIQE)^[22]，三者组合起来可以在一定程度上较为全面地反映增强图像的增强效果。其中PSNR和SSIM是全参考评价指标，即二者的输入都为增强图像和参考图像，输出为相应指标的得分；而NIQE是无参考评价指标，即其输入只有增强图像，输出为指标得分。其中，PSNR主要用于从全局衡量增强图像与参考图像之间的相似性，其值越大代表增强效果越好；SSIM从亮度、对比度和结构3方面衡量增强图像和参考图像之间的相似性，其值越高代表增强结果越接近参考图像；NIQE主要用于评价增强图像的自然程度，其值越低代表增强图像效果越佳，具体计算方式为计算增强图像特征模型参数和预先建立的模型参数之间的距离。为验证本文算法的有效性，将从主观评价和客观评价进行实验。

3.2 主观评价

3.2.1 合成的低照度图像的增强

如图5和图6所示，本文首先展现了不同算法对测试集中部分图像的处理效果。以图5输入图像的人脸为例，对比的其他算法均未能很好地表现出人脸的结构，但本文的处理结果可以清晰地看出其中的人脸构型，所提算法的处理结果在细节表现上与参考图像更为接近。此外，针对参考图6中汽车周围的噪点分布情况，以LIME的处理结果为例，其处理的效果明显过度曝光，其噪声的抑制较差；而RetinexGAN的处理结果虽未发生过度曝光，但图像的整体亮度和噪声抑制均逊于所提算法的处理效果。

图 5 不同算法对于在合成的低照度图像的处理结果(1)

下载: 全尺寸图片幻灯片

图 6 不同算法对于在合成的低照度图像的处理结果(2)

下载: 全尺寸图片幻灯片

3.2.2 真实场景下的低照度图像的增强

图7展示不同算法在真实场景下的处理效果。相对于Dong的处理结果，本文的结果没有明显的轮廓现象；相较于SRIE的处理结果，本文算法的整体效果更为明亮；LIME方法对图像的右上角的屋顶部分的增强明显不足，而所提算法却实现了较好的增强；RetinexGAN的结果虽然整体亮度较高，但图像出现了明显的色彩失真。

图 7 不同算法对于真实低照度图像的处理结果

下载: 全尺寸图片幻灯片

综上所述，所提算法在主观感受上取得在图像亮度提升、噪声抑制和色彩保持上的平衡的综合效果。

3.3 客观评价

为进一步验证本文算法的有效性，本文选择了低照度图像增强领域中较为常用PSNR, SSIM和NIQE作为评判标准。所有指标的得分均为在测试集上获得的平均得分其结果如表1所示。

表 1 不同算法处理结果的客观评价指标得分

评价指标	Dong^[15]	SRIE^[6]	LIME^[7]	RetinexGAN^[12]	本文算法
PSNR	15.70325	13.122	15.9062	16.482	16.41
SSIM	0.5712	0.5059	0.5748	0.4447	0.62
NIQE	8.9217	7.324	8.31	8.5134	7.721

下载: 导出CSV

| 显示表格

由表1可以看出，在PSNR和SSIM的得分上本文取得了最好成绩，由此可知所提算法在细节信息的保持上取得了较好的成绩，验证了本文所提出的趋势一致性的有效性。虽然本文算法在NIQE上未取得最优结果，但与较为突出的RetinexGAN和LIME的得分较为接近，表明本文算法还具有一定的保持图像自然性的能力，但对于输出图像的色彩约束尚需进一步改进。综上所述，本文算法在提升图像亮度、降低噪声干扰和保持图像自然性上取得了较好的平衡。

图8展示的是本文算法在测试集上对于PSNR, SSIM和NIQE的得分分布情况，从图中可以看出本文的算法对于大部分图像的得分均较高，验证了本文算法具有较强的鲁棒性。

图 8 本文算法在测试集上的各项指标得分分布情况

下载: 全尺寸图片幻灯片

3.4 算法复杂度

表2给出不同算法对不同大小的测试集图像的处理时间。Dong的算法涉及图像的不同空间变换，相应的执行时间也较长；SRIE和LIME均采用变分理论进行图像增强，相对于本文算法采用的数据驱动方法在时间上具有一定的优势；与同类型的RetinexGAN相比，由于本文算法的模型结构较为复杂，算法处理时间会占更多的开销。进一步改善图像质量同时降低算法复杂度是下一步研究的重点。

表 2 算法处理时间对比(s)

图像大小	Dong^[15]	SRIE^[6]	LIME^[7]	RetinexGAN^[12]	本文算法
256×256	2.295	1.761	0.142	2.297	2.056
480×320	4.942	2.707	0.175	3.701	3.875
720×540	12.256	5.559	0.272	8.766	8.986

下载: 导出CSV

| 显示表格

3.5 泛化能力

为验证本文算法的泛化能力，本文从LOL数据集中随机选取30张图像进行测试，具体结果如表3所示。

表 3 不同算法在LOL数据集上的测试结果

评价指标	Dong^[15]	SRIE^[6]	LIME^[7]	RetinexGAN^[12]	本文算法
PSNR	16.120	11.8551	16.920	16.574	16.863
SSIM	0.693	0.495	0.504	0.457	0.711

下载: 导出CSV

| 显示表格

从表3可以看出，本文算法在SSIM上取得最好成绩，在PSNR上与最优的LIME较为接近，由此可见所提算法在LOL数据集依然能取得较好结果，验证了本文算法具有良好的泛化能力。

4. 结束语

通过分析正常照度图像的梯度图与低照度图像的梯度图之间的关系，对梯度图计算方式进行改进，提出并构造了趋势一致性损失。同时为实现噪声抑制的需求，将BM3D的去噪效果融合进反射分量优化网络中。最后，采用无参考图像训练的方式，使得增强结果在一定程度上突破参考图像的限制，达到更好的增强效果。实验结果的主客观分析表明所提算法能够在增强低照度图像亮度和细节信息的同时，保持图像的自然性。但对于输出图像的色彩约束依然不足，尚需进一步研究使得输出图像的色彩更加丰富。

图 1 网络整体框架

下载: 全尺寸图片幻灯片

图 2 分解网络

下载: 全尺寸图片幻灯片

图 3 反射分量优化网络

下载: 全尺寸图片幻灯片

图 4 不同光照下图像同一位置的梯度变化趋势

下载: 全尺寸图片幻灯片

图 5 不同算法对于在合成的低照度图像的处理结果(1)

下载: 全尺寸图片幻灯片

图 6 不同算法对于在合成的低照度图像的处理结果(2)

下载: 全尺寸图片幻灯片

图 7 不同算法对于真实低照度图像的处理结果

下载: 全尺寸图片幻灯片

图 8 本文算法在测试集上的各项指标得分分布情况

下载: 全尺寸图片幻灯片

表 1 不同算法处理结果的客观评价指标得分

评价指标 Dong^[15] SRIE^[6] LIME^[7] RetinexGAN^[12] 本文算法

PSNR 15.70325 13.122 15.9062 16.482 16.41
SSIM 0.5712 0.5059 0.5748 0.4447 0.62
NIQE 8.9217 7.324 8.31 8.5134 7.721

下载: 导出CSV

表 2 算法处理时间对比(s)

图像大小 Dong^[15] SRIE^[6] LIME^[7] RetinexGAN^[12] 本文算法

256×256 2.295 1.761 0.142 2.297 2.056
480×320 4.942 2.707 0.175 3.701 3.875
720×540 12.256 5.559 0.272 8.766 8.986

下载: 导出CSV

表 3 不同算法在LOL数据集上的测试结果

评价指标 Dong^[15] SRIE^[6] LIME^[7] RetinexGAN^[12] 本文算法

PSNR 16.120 11.8551 16.920 16.574 16.863
SSIM 0.693 0.495 0.504 0.457 0.711

下载: 导出CSV

参考文献(22)

[1]	张敏辉, 杨剑. 评价SAR图像去噪效果的无参考图像质量指标[J]. 重庆邮电大学学报:自然科学版, 2018, 30(4): 530–536. doi: 10.3979/j.issn.1673-825X.2018.04.014 ZHANG Minhui and YANG Jian. A new referenceless image quality index to evaluate denoising performance of SAR images[J]. Journal of Chongqing University of Posts and Telecommunications:Natural Science Edition, 2018, 30(4): 530–536. doi: 10.3979/j.issn.1673-825X.2018.04.014
[2]	徐弦秋, 刘宏清, 黎勇, 等. 基于RGB通道下模糊核估计的图像去模糊[J]. 重庆邮电大学学报:自然科学版, 2018, 30(2): 216–221. doi: 10.3979/j.issn.1673-825X.2018.02.009 XU Xianqiu, LIU Hongqing, LI Yong, et al. Image deblurring with blur kernel estimation in RGB channels[J]. Journal of Chongqing University of Posts and Telecommunications:Natural Science Edition, 2018, 30(2): 216–221. doi: 10.3979/j.issn.1673-825X.2018.02.009
[3]	张功国, 吴建, 易亿, 等. 基于集成卷积神经网络的交通标志识别[J]. 重庆邮电大学学报:自然科学版, 2019, 31(4): 571–577. doi: 10.3979/j.issn.1673-825X.2019.04.019 ZHANG Gongguo, WU Jian, YI Yi, et al. Traffic sign recognition based on ensemble convolutional neural network[J]. Journal of Chongqing University of Posts and Telecommunications:Natural Science Edition, 2019, 31(4): 571–577. doi: 10.3979/j.issn.1673-825X.2019.04.019
[4]	LAND E H and MCCANN J J. Lightness and retinex theory[J]. Journal of the Optical Society of America, 1971, 61(1): 1–11. doi: 10.1364/JOSA.61.000001
[5]	胡正平, 刘博, 王成儒. 基于极大灰度频数抑制结合动态直方图均衡的图像增强算法[J]. 电子与信息学报, 2009, 31(6): 1327–1331. doi: 10.3724/SP.J.1146.2008.00580 HU Zhengping, LIU Bo, and WANG Chengru. Image enhancement algorithm combines maximum gray frequency restrict with dynamic histogram equalization[J]. Journal of Electronics &Information Technology, 2009, 31(6): 1327–1331. doi: 10.3724/SP.J.1146.2008.00580
[6]	FU Xueyang, ZENG Delu, HUANG Yue, et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2782–2790.
[7]	GUO Xiaojie, LI Yu, and LING Haibin. LIME: Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982–993. doi: 10.1109/TIP.2016.2639450
[8]	DABOV K, FOI A, KATKOVNIK V, et al. Image denoising by sparse 3-D transform-domain collaborative filtering[J]. IEEE Transactions on Image Processing, 2007, 16(8): 2080–2095. doi: 10.1109/TIP.2007.901238
[9]	LORE K G, AKINTAYO A, and SARKAR S. LLNet: A deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650–662. doi: 10.1016/j.patcog.2016.06.008
[10]	CHEN Chen, CHEN Qifeng, XU Jia, et al. Learning to see in the dark[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 3291–3300.
[11]	WEI Chen, WANG Wenjing, YANG Wenhan, et al. Deep retinex decomposition for low-light enhancement[C]. British Machine Vision Conference 2018, Newcastle, UK, 2018.
[12]	MA Tian, GUO Ming, YU Zhenhua, et al. RetinexGAN: Unsupervised low-light enhancement with two-layer convolutional decomposition networks[J]. IEEE Access, 2021, 9: 56539–56550. doi: 10.1109/ACCESS.2021.3072331
[13]	GUO Chunle, LI Chongyi, GUO Jichang, et al. Zero-reference deep curve estimation for low-light image enhancement[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 1777–1786.
[14]	陈勇, 詹帝, 刘焕淋. 基于物理模型与边界约束的低照度图像增强算法[J]. 电子与信息学报, 2017, 39(12): 2962–2969. doi: 10.11999/JEIT170267 CHEN Yong, ZHAN Di, and LIU Huanlin. Enhancement algorithm for low-lighting images based on physical model and boundary constraint[J]. Journal of Electronics &Information Technology, 2017, 39(12): 2962–2969. doi: 10.11999/JEIT170267
[15]	DONG Xuan, WANG Guan, PANG Yi, et al. Fast efficient algorithm for enhancement of low lighting video[C]. 2011 IEEE International Conference on Multimedia and Expo, Barcelona, Spain, 2011: 1–6.
[16]	WANG Liqian, XIAO Liang, LIU Hongyi, et al. Variational Bayesian method for retinex[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3381–3396. doi: 10.1109/TIP.2014.2324813
[17]	REN Xutong, YANG Wenhan, CHENG Wenhuang, et al. LR3M: Robust low-light enhancement via low-rank regularized retinex model[J]. IEEE Transactions on Image Processing, 2020, 29: 5862–5876. doi: 10.1109/TIP.2020.2984098
[18]	WANG Yang, CAO Yang, ZHA Zhengjun, et al. Progressive retinex: Mutually reinforced illumination-noise perception network for low-light image enhancement[C]. The 27th ACM International Conference on Multimedia, Nice, France, 2019: 2015–2023.
[19]	ZHANG Yonghua, ZHANG Jiawan, and GUO Xiaojie. Kindling the darkness: A practical low-light image enhancer[C]. The 27th ACM International Conference on Multimedia, Nice, France, 2019: 1632–1640.
[20]	LV Feifan and LU Feng. Attention-guided low-light image enhancement[J]. arXiv: 1908.00682, 2019.
[21]	WANG Zhou, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612. doi: 10.1109/tip.2003.819861
[22]	MITTAL A, SOUNDARARAJAN R, and BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209–212.

施引文献

期刊类型引用(4)

1.	田子建，吴佳奇，张文琪，陈伟，周涛，杨伟，王帅. 基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法. 煤炭科学技术. 2024(01): 297-310 . 百度学术
2.	李景景，杜梅，孙滨. 基于卷积神经网络的红外与可见光图像融合方法. 激光杂志. 2024(02): 135-139 . 百度学术
3.	常列，常淼. 基于改进Retinex算法的海底地貌图像增强方法. 自动化技术与应用. 2024(09): 77-80 . 百度学术
4.	张显石，宋健，宋泗锦，李永杰. 生物视觉启发的低照度视频自适应增强设计与FPGA加速实现. 电子与信息学报. 2023(08): 2739-2748 . 本站查看

其他类型引用(6)

资源附件(0)

访问统计

图(8) / 表(3)

计量

文章访问数: 774
HTML全文浏览量: 710
PDF下载量: 181
被引次数: 10

1. 引言
2. 本文方法
2.1 分解网络
2.2 优化网络
3. 实验分析
3.1 实验设计
3.2 主观评价
3.3 客观评价
3.4 算法复杂度
3.5 泛化能力
4. 结束语

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于深度卷积神经网络的无参考低照度图像增强

doi: 10.11999/JEIT210386

通讯作者:
陈勇　chenyong@cqupt.edu.cn

计量

Unreferenced Low-lighting Image Enhancement Based on Deep Convolutional Neural Network

1. 引言

2. 本文方法

2.1 分解网络

2.2 优化网络

2.2.1 空间一致性损失

2.2.2 曝光控制损失

2.2.3 色彩一致性损失

3. 实验分析

3.1 实验设计

3.2 主观评价

3.2.1 合成的低照度图像的增强

3.2.2 真实场景下的低照度图像的增强

3.3 客观评价

3.4 算法复杂度

3.5 泛化能力

4. 结束语

期刊类型引用(4)

其他类型引用(6)

计量

目录

1. 引言

2. 本文方法

2.1 分解网络

2.2 优化网络

3. 实验分析

3.1 实验设计

3.2 主观评价

3.3 客观评价

3.4 算法复杂度

3.5 泛化能力

4. 结束语

留言板

基于深度卷积神经网络的无参考低照度图像增强

doi: 10.11999/JEIT210386

通讯作者: 陈勇 chenyong@cqupt.edu.cn

计量

出版历程

Unreferenced Low-lighting Image Enhancement Based on Deep Convolutional Neural Network

1. 引言

2. 本文方法

2.1 分解网络

2.2 优化网络

2.2.1 空间一致性损失

2.2.2 曝光控制损失

2.2.3 色彩一致性损失

3. 实验分析

3.1 实验设计

3.2 主观评价

3.2.1 合成的低照度图像的增强

3.2.2 真实场景下的低照度图像的增强

3.3 客观评价

3.4 算法复杂度

3.5 泛化能力

4. 结束语

期刊类型引用(4)

其他类型引用(6)

计量

出版历程

目录

1. 引言

2. 本文方法

2.1 分解网络

2.2 优化网络

3. 实验分析

3.1 实验设计

3.2 主观评价

3.3 客观评价

3.4 算法复杂度

3.5 泛化能力

4. 结束语

通讯作者:
陈勇　chenyong@cqupt.edu.cn