图
1
网络整体框架
| Citation: | Yin Wenyan, Wang Wenbing. THE RADIATION CHARACTERISTICS OF ELECTRIC DIPOLE ANTENNA IN TWO-LAYER CHIRAL SLABS BOUNDED BY A PERFECTLY CONDUCTING PLANE[J]. Journal of Electronics & Information Technology, 1994, 16(4): 432-438.
|
低照度环境通常指较差的照明条件，例如多云、夜间和室内等场景。此外，由于拍摄设备成像过程中，不可避免地引入成像噪声。而由于低照度图像本身的照度比较低，会突出设备成像过程中引入的噪声，于是这些噪声在低照度图像中尤为明显。因此，对低照度图像进行适当的增强和去噪显得十分必要[1-3]。
目前低照度图像增强方法主要分为基于Retinex理论[4]的方法和基于去雾模型的方法。胡正平等人[5]采用极大灰度频数抑制和动态直方图均衡相结合的方式对传统直方图均衡技术进行改进，实现对过度增强情况的抑制，同时做到用户对于对比度增强的可控性。为实现对于图像的照射分量和反射分量的准确估计，Fu等人[6]提出了一种加权变分模型(Simultaneous Reflectance and Illumination Estimation, SRIE)，同时对图像的照射分量和反射分量进行估计，并对噪声进行了一定程度的抑制；Guo等人[7]在低照度图像增强(Low Light Image Enhancement, LIME)中认为只需对照射分量进行约束即可获得较好的增强图像，具体过程为通过结构先验不断修正原始光照射，从而获得最终的照射分量，最后将反射分量通过3D 块匹配(Block Matching 3D, BM3D)[8]降噪后作为增强的结果，然而先增强后去噪的做法可能会产生图像的细节信息因去噪而丢失的情况。近年来有学者开始尝试将数据驱动方法与Retinex理论相结合并取得不俗的效果。2017年，Lore等人[9]提出了经典的堆叠稀疏降噪自动编码机框架来训练低照度网(Low Light Net, LLNet)，以实现低照度图像增强；Chen等人[10]构建了一个由短曝光和长曝光图像对组成的数据集，并设计了一个全连接卷积神经网络在该数据集上进行端到端的训练，取得了超越传统方法的增强效果；Wei等人[11]在RetinexNet中使用深度卷积神经网络提取输入图像的反射分量和照射分量，并通过损失函数的约束实现较好的增强结果；Ma等人[12]利用一个分解网络和两个判别网络搭建生成对抗网络实现不成对图像训练，进而达到图像增强的目的。上述的数据驱动方法均采用有参考图像的训练方式，导致最终的增强结果常受到参考图像的制约，即参考图像质量的高低将直接影响增强结果的好坏。最近，Guo等人[13]提出不使用参考图像可以直接对网络进行训练，损失函数的设计成为关键；文献[14]将低照度图像反转并当作雾天图像处理，并将处理的结果反转后得到增强的结果；Dong等人[15]将上述方法进一步拓展到对低照度视频的处理中并取得一定的效果，但将低照度图像反转后视作雾天图像来进行图像增强，同样缺乏较强的物理模型支撑。
针对上述存在的问题，本文利用深度卷积神经网络从低照度图像中提取照射分量和反射分量；将经BM3D去噪的效果与反射分量的优化网络相结合实现增强图像细节信息的同时对图像中噪声进行抑制；最后，采用无参考图像训练的方式，并设计一种新的趋势一致性损失函数对输出图像的趋势一致性约束，在一定程度上突破参考图像对增强结果的制约。
基于Retinex理论，本文设计一个深度卷积神经网络。Retinex理论认为图像传感器所获得的图像S 可以看作一个反射分量R和一个照射分量I 的乘积，即可表述为
| S=RoI | (1) |
其中，
对于正常的自然光照下的图像而言，其光照分布应当是连续变化的，并能够保留图像的大部分边缘信息[16]。在考虑噪声的低照度增强方法中，一般认为可以将噪声归类为加性噪声，主要存在于反射分量R中[17]，即需要对提取到的反射分量R进行噪声抑制处理，得到噪声较少、纹理细节更丰富的
| S=R′oI | (2) |
为此，将BM3D去噪过程融入到反射分量的优化中，在无参考图像的情况下通过损失函数的约束实现低照度图像增强。图1给出了所设计网络整体框架。
网络整体框架主要由分解网络和优化网络两部分组成，其中优化网络又由反射分量优化网络和照射分量调整网络组成。输入的低照度图
分解网络由两个分支组成，上层分支用于提取反射分量，下层分支用于提取照射分量，如图2所示。图中DownSample为下采样层，用于缩小输入的特征图的尺寸，卷积核大小为4×4，步长为2；Deconv为反卷积层，用于扩大输入的特征图的尺寸，卷积核大小为4×4，步长为2；Concat为拼接层，用于按通道拼接传递来的特征图；其余均为普通尺寸不变卷积层，图中每一层之后的数字表示该层的通道数，卷积核大小均为3×3。
分解网络的任务是从输入的低照度图像中提取出其对应的照射分量和反射分量，而这是一个高度病态的问题，必须通过合理设计损失函数对网络的输出进行一定的约束。依据Retinex理论，照射分量应当具有平滑特性，而反射分量应当尽可能保留输入图像的纹理细节特征[18]。因此对于初始反射分量的损失函数为
| LDrs=‖∇R−∇S‖1 | (3) |
其中，
对于照射分量的约束，本文采用文献[19]中的计算式来实现对照射的平滑，即
| LDis=‖∇Imax | (4) |
其中，
既然照射分量和反射分量是由输入图像分解得到的，则依据Retinex理论，二者的乘积理应与输入图像一致，即
| {\boldsymbol{L}}_{{\text{rec}}}^{\text{D}} = {\left\| {{\boldsymbol{S}} - ({\boldsymbol{R}} + 0.0001){\text{o}}({\boldsymbol{I}} + 0.0001)} \right\|_1} | (5) |
为了避免网络在进行反向误差传递时，参数发生过度振荡，对于反射分量R和照射分量I分别加0.0001。分解网络的总体损失函数可表示为
| {{\boldsymbol{L}}^{\text{D}}} = 0.01 \times {\boldsymbol{L}}_{{\text{rs}}}^{\text{D}} + 0.15 \times {\boldsymbol{L}}_{{\text{is}}}^{\text{D}} + {\boldsymbol{L}}_{{\text{rec}}}^{\text{D}} | (6) |
其中，加权系数是通过实验来确定的。
优化网络中的下采样层、反卷积层和拼接层的卷积核大小及步长与分解网络中的设置相同。该网络由反射分量优化网络和照射分量调整网络两部分组成，其中照射分量调整网络由一组尺寸不变的卷积层组成，对于该网络参数的调整将由优化网络整体的损失函数实现。反射分量优化网络的任务是进一步提升反射分量中的纹理细节信息同时对噪声进行抑制，具体如图3所示。
经BM3D算法去噪后，图像的细节信息将会有一些损失。对此，利用深度卷积网络提取纹理信息强的特点，对上述缺陷进行一定程度的弥补。如图3将去噪之后的反射分量提取不同大小尺寸融入到网络的不同卷积层中，在抑制噪声的同时增强反射分量的纹理信息。由于采取无参考图像的方式对网络进行训练，缺少正常光照图像对于网络输出的引导，因此需要通过合理设计的损失函数对于最终的增强结果进行约束，使得网络能够向着正确的方向收敛。受文献[14]启发，设计了如下3种损失函数。
一般对于反射图的约束都是基于输出反射图的梯度图与输入图像的梯度图之间的相似性，二者的相似性越高，则代表反射图中纹理和边缘信息与输入的低照度图像的纹理和边缘信息越相近[11]。但是，对于低照度图像，由于输入的低照度图像中纹理细节受到照射分量和反射分量的共同作用，由低照度图像计算出的梯度图的值相较于正常照射图像的梯度图的值必然是偏小的，因此，为使得反射分量能够保留更多的细节信息，应当适当放宽对于反射分量的梯度限制。为验证上述想法，从低照度 (LOw-Light, LOL)数据集[11]中选取一对低照度图像和正常照射图像，在图4(b)和图4(d)相同的位置如随机选取所对应的200和400处(图4的红线)分别计算其梯度得到200和400处变化趋势如图4(e)和图4(f)，从图4(e)和图4(f)可以看出，正常光照的图像和低照度图像的变化趋势，在某些像素的邻域中存在稍些波动，但在整体上是呈现一致的。在某些像素的邻域中存在的波动，是由低照度使得一些目标物体的边缘等细节变得模糊所导致的。虽然低照度图像的光照相对于正常光照发生了变化，但纹理趋势依然是一致的。如果严格要求低照度图的梯度图与正常照度图像的梯度图完全一致，由于低照度图像的梯度在一些细节处较平滑，则基于Retinex理论，分解低照度图所获得的照射分量的梯度图，将在这些细节存在波动，未达到所期望的均匀的照射分量。基于上述思考，在常规的图像梯度图计算的基础上提出趋势图计算方式
| {\bar \nabla _{{d}}}{{f}}({{x}},{{y}}) = \left\{ {\begin{array}{*{20}{c}} {{{t}},}&{\nabla {{{f}}_{{d}}}({{x}},{{y}}) > 0} \\ {0,}&{\nabla {{{f}}_{{d}}}({{x}},{{y}}) = 0} \\ { - {{t}},}&{\nabla {{{f}}_{{d}}}({{x}},{{y}}) < 0} \end{array}} \right.,{{d}} \in \left\{ {{{h}},{{w}}} \right\} | (7) |
其中，
通过上述分析，最终的增强结果是由调整后的照射分量和反射分量相乘而得的，其纹理信息可能会有一定的损失，同时为解决全局计算对于局部区域的代表性不足，本文采取在图像的随机多个区域进行局部计算，具体损失函数为
| \begin{split} {\boldsymbol{L}}_{{\text{sp}}}^{{\text{on}}} =& \frac{1}{{{K}}}\sum\limits_{i = 1}^K {\sum\limits_{j \in \aleph (i)} {{{\left( {\left| {(\bar \nabla {{\hat {\boldsymbol{S}}}_i} - \bar \nabla {{\hat {\boldsymbol{S}}}_j})} \right| - \left| {(\bar \nabla {{\boldsymbol{S}}_i} - \bar \nabla {{\boldsymbol{S}}_j})} \right|} \right)}^2}} } \\ & + \lambda \times {\left| {\nabla \hat {\boldsymbol{S}} - \nabla {\boldsymbol{S}}} \right|_1}\\[-15pt] \end{split} | (8) |
其中，
为对增强结果的曝光程度进行限制，本文首先将输出的增强图像由RGB空间转换为灰度空间，再在灰度图像中随机选取10个不重叠的局部区域，经归一化处理使得每一个局部区域的平均像素值趋于0.6，其损失函数为
| {\boldsymbol{L}}_{{\text{exp}}}^{{\text{on}}} = \frac{1}{{{N}}}\sum\limits_{k = 1}^N {\left| {{{{Y}}_k} - {{E}}} \right|} | (9) |
其中，N表示随机选取的不重叠局部区域数目(本文设置为10，区域大小为16×16)，
为遏制增强图像中的色彩失真现象，可以使得增强图像中不同通道的平均像素值占比与输入的低照度图像中的占比趋于一致，其损失函数为
| \left. \begin{split} &{\boldsymbol{L}}_{{\text{col}}}^{{\text{on}}} = \sum\limits_{\left( {p,q} \right) \in \omega } {{{\left( {{{{Y}}^p} - {{{Y}}^q}} \right)}^2}} \\ & {\boldsymbol{\omega}} = \left\{ {\left( {{\boldsymbol{R}},{\boldsymbol{G}}} \right),\left( {{\boldsymbol{R}},{\boldsymbol{B}}} \right),\left( {{\boldsymbol{B}},{\boldsymbol{G}}} \right)} \right\} \end{split}\right\} | (10) |
其中，
所提算法总的损失函数为
| {{\boldsymbol{L}}^{{\text{on}}}} = {\boldsymbol{L}}_{{\text{sp}}}^{{\text{on}}} + {\boldsymbol{L}}_{{\text{exp}}}^{{\text{on}}} + 0.5 \times {\boldsymbol{L}}_{{\text{col}}}^{{\text{on}}} | (11) |
实验配置为：Intel(R) Xeon(R) E5-2620 v4 CPU，4块NVIDIA GTX 1080 Ti GPU，64 GB内存。网络训练阶段使用GPU，测试阶段使用CPU。
网络的输入图像大小为256×256×3，训练样本为100个，训练周期为200代，学习率初始设置为0.002，采用Adam算法对网络进行优化，Adam参数设置为：b1=0.9, b2=0.999。本文模型的训练时间为30 h。训练样本的图像数据集来自Synthetic Low Light[20]中的低照度图像，共计22471张，其中80%作为训练数据集，其余作为测试数据集；由于合成的低照度图像不能完全等同于真实场景下的低照度图像，因此，本文还从主流的低照度图像增强论文中收集了一些真实场景下的低照度图像，共计30张作为补充测试使用。
选择 (Dong)[15]、 同时估计反射分量和照射分类( Simultaneous Reflectance and Illumination Estimation, SRIE)[6]、对抗生成网络和Retinex模型 (Generative Adversarial Network and Retinex Mode, RetinexGAN)[12]和低照度图像增强 (Low-light image Enhancement, LIME)[7]作为本文的对比算法，其算法的参数设置均采用作者原文中的设置。评价指标为峰值信噪比(Peak Signal to Noise Ratio, PSNR)、结构相似度(Structural SIMilarity, SSIM)[21]、自然图像质量评价(Natural Image Quality Evaluator, NIQE)[22]，三者组合起来可以在一定程度上较为全面地反映增强图像的增强效果。其中PSNR和SSIM是全参考评价指标，即二者的输入都为增强图像和参考图像，输出为相应指标的得分；而NIQE是无参考评价指标，即其输入只有增强图像，输出为指标得分。其中，PSNR主要用于从全局衡量增强图像与参考图像之间的相似性，其值越大代表增强效果越好；SSIM从亮度、对比度和结构3方面衡量增强图像和参考图像之间的相似性，其值越高代表增强结果越接近参考图像；NIQE主要用于评价增强图像的自然程度，其值越低代表增强图像效果越佳，具体计算方式为计算增强图像特征模型参数和预先建立的模型参数之间的距离。为验证本文算法的有效性，将从主观评价和客观评价进行实验。
如图5和图6所示，本文首先展现了不同算法对测试集中部分图像的处理效果。以图5输入图像的人脸为例，对比的其他算法均未能很好地表现出人脸的结构，但本文的处理结果可以清晰地看出其中的人脸构型，所提算法的处理结果在细节表现上与参考图像更为接近。此外，针对参考图6中汽车周围的噪点分布情况，以LIME的处理结果为例，其处理的效果明显过度曝光，其噪声的抑制较差；而RetinexGAN的处理结果虽未发生过度曝光，但图像的整体亮度和噪声抑制均逊于所提算法的处理效果。
图7展示不同算法在真实场景下的处理效果。相对于Dong的处理结果，本文的结果没有明显的轮廓现象；相较于SRIE的处理结果，本文算法的整体效果更为明亮；LIME方法对图像的右上角的屋顶部分的增强明显不足，而所提算法却实现了较好的增强；RetinexGAN的结果虽然整体亮度较高，但图像出现了明显的色彩失真。
综上所述，所提算法在主观感受上取得在图像亮度提升、噪声抑制和色彩保持上的平衡的综合效果。
为进一步验证本文算法的有效性，本文选择了低照度图像增强领域中较为常用PSNR, SSIM和NIQE作为评判标准。所有指标的得分均为在测试集上获得的平均得分其结果如表1所示。
由表1可以看出，在PSNR和SSIM的得分上本文取得了最好成绩，由此可知所提算法在细节信息的保持上取得了较好的成绩，验证了本文所提出的趋势一致性的有效性。虽然本文算法在NIQE上未取得最优结果，但与较为突出的RetinexGAN和LIME的得分较为接近，表明本文算法还具有一定的保持图像自然性的能力，但对于输出图像的色彩约束尚需进一步改进。综上所述，本文算法在提升图像亮度、降低噪声干扰和保持图像自然性上取得了较好的平衡。
图8展示的是本文算法在测试集上对于PSNR, SSIM和NIQE的得分分布情况，从图中可以看出本文的算法对于大部分图像的得分均较高，验证了本文算法具有较强的鲁棒性。
表2给出不同算法对不同大小的测试集图像的处理时间。Dong的算法涉及图像的不同空间变换，相应的执行时间也较长；SRIE和LIME均采用变分理论进行图像增强，相对于本文算法采用的数据驱动方法在时间上具有一定的优势；与同类型的RetinexGAN相比，由于本文算法的模型结构较为复杂，算法处理时间会占更多的开销。进一步改善图像质量同时降低算法复杂度是下一步研究的重点。
为验证本文算法的泛化能力，本文从LOL数据集中随机选取30张图像进行测试，具体结果如表3所示。
从表3可以看出，本文算法在SSIM上取得最好成绩，在PSNR上与最优的LIME较为接近，由此可见所提算法在LOL数据集依然能取得较好结果，验证了本文算法具有良好的泛化能力。
通过分析正常照度图像的梯度图与低照度图像的梯度图之间的关系，对梯度图计算方式进行改进，提出并构造了趋势一致性损失。同时为实现噪声抑制的需求，将BM3D的去噪效果融合进反射分量优化网络中。最后，采用无参考图像训练的方式，使得增强结果在一定程度上突破参考图像的限制，达到更好的增强效果。实验结果的主客观分析表明所提算法能够在增强低照度图像亮度和细节信息的同时，保持图像的自然性。但对于输出图像的色彩约束依然不足，尚需进一步研究使得输出图像的色彩更加丰富。
|
Engheta N, et al. Microwave and Optical Technology Letters, 1992,5(1):31-34.[2]Toacano A, et al. J. Elect. Waves and Applic., 1992, 6(5/6): 751-759.[3]尹文言,等.电波科学学报,1993,(1): 29-36.[4]钟顺时.微带天线理论和应用.西安:电子科技大学出版社,1991年6月.
|
YANG Hongyu, SONG Chengyu, WANG Peng, ZHAO Yongkang, HU Ze, CHENG Xiang, ZHANG Liang. Website Fingerprinting Attacks and Defenses on Tor: A Survey[J]. Journal of Electronics & Information Technology, 2024, 46(9): 3474-3489. doi: 10.11999/JEIT240091
下载:
DownLoad: