Image Enhancement under Transformer Oil Based on Multi-Scale Weighted Retinex
-
摘要: 针对变压器油下图像存在颜色失真、亮度低和细节失真问题，该文提出一种多尺度加权Retinex变压器油下图像增强算法。首先，为了缓解变压器油下图像颜色失真问题，提出一种混合动态颜色通道补偿算法，根据拍摄图像各通道的衰减状态对衰减通道进行动态补偿。然后，为了解决细节失真问题，提出一种锐化权重加权策略。最后，该文创新性采用金字塔多尺度融合策略对不同尺度Retinex反射分量和相应权重图进行加权融合得到变压器油下清晰图像。实验结果表明所提算法可以有效解决变压器油下图像复杂退化问题。Abstract:
Objective: Large oil-immersed transformers are critical in power systems, with their operational status essential for maintaining grid stability and reliability. Periodic inspections are necessary to identify and resolve transformer faults and ensure normal operation. However, manual inspections require significant human and material resources. Moreover, conventional inspection methods often fail to promptly detect or accurately locate internal faults, which may ultimately affect transformer lifespan. Robots equipped with visual systems can replace manual inspections for fault identification inside oil-immersed transformers, enabling timely fault detection and expanding the inspection range compared to manual methods. However, high-definition visual imaging is crucial for effective fault detection using robots. Transformer oil degrades and discolors under high-temperature, high-pressure conditions, with these effects varying over time. The oil color typically shifts from pale yellow to reddish-brown, and the types and forms of suspended particles evolve dynamically. These factors cause complex light attenuation and scattering, leading to color distortion and detail loss in captured images. Additionally, the sealed metallic structure of oil-immersed transformers requires robots to rely on onboard artificial light sources during inspections. The limited illumination from these sources further reduces image brightness, hindering clarity and impacting fault detection accuracy. To address issues such as color distortion, low brightness, and detail loss in images captured under transformer oil, this paper proposes a multi-scale weighted Retinex algorithm for image enhancement. Methods: This paper proposes a multi-scale weighted Retinex algorithm for image enhancement under transformer oil. To mitigate color distortion, a hybrid dynamic color channel compensation algorithm is proposed, which dynamically adjusts compensation based on the attenuation of each channel in the captured image. To address detail loss, a sharpening weight strategy is applied. Finally, a pyramid multi-scale fusion strategy integrates Retinex reflection components from multiple scales with their corresponding weight maps, producing clearer images under transformer oil. Results and Discussions: Qualitative experimental results ( Fig. 5 ,Fig. 6 ,Fig. 7 ) indicate that the UCM algorithm, based on non-physical models, achieves color correction by assuming minimal attenuation in the blue channel. However, the dynamic changes in transformer oil result in varying channels with the least attenuation, reducing the algorithm’s generalization capability. Enhancement results from physical-model algorithms, including UDCP, IBLA, and ULAP, exhibited low brightness, often leading to the loss of critical image details. Furthermore, these physical-model methods not only fail to resolve color distortion but frequently intensify it. Deep learning-based algorithms, such as Water-Net, Shallow-uwnet, and UDnet, demonstrated effectiveness in mitigating mild color distortion. However, their enhancement results still suffer from low brightness and blurred details. In contrast, the algorithm proposed in this paper fully accounts for the dynamic characteristics of transformer oil, effectively addressing color distortion, blurring, and detail loss in images captured under transformer oil. Quantitative experiments (Table 1 ) show that the UIQM value of images enhanced by the proposed algorithm increased by an average of 121.206% compared with the original images, the FDUM value increased by an average of 105.978%, and the NIQE value decreased by an average of 6.772%. Both qualitative and quantitative results demonstrate that the proposed algorithm effectively resolves image degradation issues under transformer oil and outperforms the comparison methods. Additionally, applicability tests reveal that the algorithm not only performs well for transformer oil images but also demonstrates strong enhancement capabilities in underwater imaging.Conclusions: Experimental results demonstrate that the algorithm proposed in this paper effectively addresses the complex degradation issues in images captured under transformer oil. Although the proposed algorithm achieves superior enhancement performance, processing a 1 280×720 resolution image requires an average of 2.16 s, which does not meet the demands for embedded real-time applications, such as robotic inspections. Future research will focus on optimizing the algorithm to improve its real-time performance. -
1. 引言
大型油浸式变压器是电力系统中的重要设备，其运行状态的好坏对整个电力系统的稳定运行起着至关重要的作用。为了排除变压器故障，保证变压器正常运行，工作人员需要定期对油浸式变压器进行检查。但是人工检测会消耗大量的人力、物力，并且受限于检测手段，不能及时对变压器内部的故障进行排查，也不能准确定位变压器内部故障位置，进而影响变压器使用寿命。视觉检测方法具有技术成熟且成本低等优点，同时随着机器人技术、计算机技术的发展，利用机器人搭载视觉系统代替人工进入油浸式变压器内部进行故障检查与识别是未来的发展方向。
变压器油在高温、高压的环境下会出现变质、变色等问题，并且随着使用时间的不同，变质、变色程度不同。其中颜色会由淡黄色变为红褐色，悬浮颗粒物的种类和形态也会随着使用时间动态变化。上述问题会导致光线在变压器油中传播时出现复杂衰减和散射，导致相机成像出现颜色失真和细节失真问题。此外，油浸式变压器外部是一个封闭的金属壳，机器人在检查时只能依赖自身携带的人造光源成像。由于人造光源无法照亮变压器内部环境，会导致相机成像出现亮度低的问题。这些问题会直接影响变压器内部检查机器人的故障检查精度。
当前针对变压器油下图像增强的研究较少，但是有不少学者对水下图像增强做了大量研究。水和变压器油都属于流体类介质，成像原理类似，因此水下图像增强的研究思路可以供变压器油下图像增强借鉴。水下图像增强分为基于传统视觉和深度学习两个研究方向[1,2]。Yang等人[3]在暗先验通道的基础上提出一种复杂度低的水下图像增强方法，可以在实现水下图像增强的同时满足实时性要求。Qiang等人[4]针对水质动态变化对水下图像退化的影响，提出一种多通道自适应融合算法，可以解决不同水下场景图像退化问题。Drews等人[5]通过分析水下图像发现水下图像难以利用红色通道建模，只利用蓝色和绿色通道对暗通道先验改进，实现水下图像的增强。Song等人[6]针对水下图像模糊和颜色失真问题，提出了一种基于水下光衰减先验深度估计模型，该模型可以在较短的时间内实现水下图像的增强。
近年来随着深度学习技术的发展，基于深度学习进行水下图像增强取得重大进展[7–9]。Li等人[10]提出一种基于水下场景先验神经网络模型，该网络不像其他方法估计水下成像模型的参数，而是直接重建水下清晰图像，并且该网络是一个轻量级网络，可以直接用于水下视频增强。Rao等人[11]提出一种概率色彩补偿网络，该网络通过纹理和颜色信息的多尺度融合来估计水下图像颜色的概率分布特征。Wang等人[12]提出一种双分支并行卷积神经网络来实现水下图像的增强，该网络可以有效解决增强结果出现的光晕和伪影问题。Wu等人[13]提出一种基于结构分解的卷积神经网络模型，该网络通过对水下图像的高频和低频信息分别增强来解决水下图像复杂退化问题。
上述基于深度学习的方法依赖大量的图像来建模和训练，图像的多少会直接影响图像增强效果，而变压器油下未退化图像采集较为困难。上述基于传统视觉的方法难以同时解决变压器油变质、变色导致的光线动态衰减、散射和光照不足导致的复杂退化问题，鲁棒性较差。针对上述方法的缺点，本文提出一种多尺度加权Retinex变压器油下图像增强算法。首先，为了缓解不同颜色光线在变压器油下衰减率不一样与变压器油变色导致的颜色失真问题，本文提出一种混合动态颜色通道补偿算法，可以根据拍摄图像各通道的衰减情况对衰减通道进行自适应补偿。然后，为了解决变压器油下图像细节模糊问题，本文提出锐化权重策略。最后，为了解决变压器油下图像亮度低的问题，本文采用金字塔多尺度融合策略对不同尺度Retinex反射分量和相应权重图进行多层级加权融合，实现不同尺度Retinex反射分量的优势互补。
本文的主要贡献如下：
(1)针对不同颜色光线在变压器油下选择性衰减与变压器油变色导致的颜色失真问题，提出一种混合动态颜色通道补偿算法。
(2)针对变压器油下图像细节失真问题，提出锐化权重加权策略。
(3)针对变压器油下图像退化问题，提出一种多尺度加权Retinex变压器油下图像增强算法。
2. 方法
本节将详细介绍多尺度加权Retinex变压器油下图像增强算法框架。首先介绍混合动态颜色通道补偿机制，然后介绍多尺度加权Retinex融合机制。图1展示本文所提多尺度加权Retinex变压器油下图像增强算法框架。
2.1 混合动态颜色通道补偿
不同颜色光线在变压器油下的衰减率不同，且变压器油随着使用时间的增加会由淡黄色变为红褐色，这导致在不同使用时间变压器油下拍摄图像的颜色失真程度不同。颜色失真问题会直接影响图像的质量，无法为变压器油下故障检测提供高质量图像。为了缓解因为光线选择性衰减、变压器油变质和变色导致的颜色失真问题，本文提出一种混合动态颜色通道补偿算法，可以根据变压器油下退化图像R, G, B三通道的衰减状态对衰减通道进行自适应补偿。灰度世界假设[14]认为一幅彩色图像中R, G, B三通道图像的平均值趋于同一灰度值。基于该假设，本文根据各通道像素平均值判断衰减程度，平均值最小代表该通道衰减最大，平均值最大代表该通道衰减最小。利用式(1)对衰减最为严重的通道进行补偿，利用式(2)对衰减较弱的通道进行补偿。算法1总结了混合动态颜色通道补偿算法的实现过程
表 1 混合动态颜色通道补偿输入：相机拍摄图像Iin，增益系数ω 输出：补偿后的图像Iout (1) B,G,R←split(Iin) (2) IMax←max(R,G,B) (3) IMin←min(R,G,B) (4) if IMax=ˉR (5) if IMin=ˉG then (6) 计算Vcom\_min,Vcom\_med根据Vmin=G,
Vmed=B,Vmax=R(7) end if (8) if IMin=ˉB then (9) 计算Vcom\_min,Vcom\_med根据Vmin=B, Vmed=G,
Vmax=R(10) end if (11) end if (12) if IMax=ˉB (13) if IMin=ˉR then (14) 计算Vcom\_min,Vcom\_med根据Vmin=R, Vmed=G,
Vmax=B(15) end if (16) if IMin=ˉG then (17) 计算Vcom\_min,Vcom\_med根据Vmin=G, Vmed=R,
Vmax=B(18) end if (19) end if (20) if IMax=ˉG (21) if IMin=ˉR then (22) 计算Vcom\_min,Vcom\_med根据Vmin=R, Vmed=B,
Vmax=G(23) end if (24) if IMin=ˉB then (25) 计算Vcom\_min,Vcom\_med根据Vmin=B, Vmed=R,
Vmax=G(26) end if (27) end if (28) Iout←merge(ˉB,ˉG,ˉR) (29) return Iout Vcom_min=Vmin+ω2×((ˉVmax−ˉVmin)×Vmax+(ˉVmed−ˉVmin)×Vmed) (1) Vcom\_med=Vmed+ω×(ˉVmax−ˉVmed)×Vmax (2) 其中，Vmax代表R, G, B中像素均值最大的通道图像；Vmed代表R, G, B中像素均值居中的通道图像；Vmin代表R, G, B中像素均值最小的通道图像；Vcom\_min代表Vmin图像补偿后的结果；Vcom\_med代表Vmed图像补偿后的结果；ω代表补偿系数，本文设置为0.5。
2.2 多尺度加权Retinex融合机制
当机器人在变压器内部进行工作时，只能依赖自身携带的人造光源成像。由于人造光源无法照亮变压器内部环境，导致相机成像存在亮度低和细节模糊的问题。为了解决以上问题，本文基于Retinex理论提出一种多尺度加权Retinex融合机制。
2.2.1 基于Retinex理论图像增强
Retinex理论是由Land等人[15]基于颜色恒常性理论提出的，该理论认为一幅图像可以表示为反射分量和入射分量的乘积，如式(3)所示。在Retinex理论的基础上一些学者提出了单尺度Retinex(Single Scale Retinex, SSR)[16]。为了保留局部信息和整体信息，一些学者基于SSR算法提出了多尺度Retinex(Mutiple Scale Retinex, MSR)[17]。
I(x,y)=R(x,y)×L(x,y) (3) 其中，I(x,y)代表相机拍摄图像；R(x,y)代表反射分量；L(x,y)代表入射分量。
SSR算法首先将式(3)两边取对数得
lnI(x,y)=lnR(x,y)+lnL(x,y) (4) 然后对式(4)移项求反射分量
lnR(x,y)=lnI(x,y)−lnL(x,y) (5) 最后使用中心环绕函数和观察图像来估计入射分量，进而利用式(6)求得图像得反射分量
lnRSSR(x,y)=lnI(x,y)−ln[G(x,y)∗I(x,y)] (6) 其中，G(x,y)代表中心环绕函数，可表示为式(7)；∗代表卷积运算
G(x,y)=12πδ2e(−x2+y22δ2) (7) 其中，δ代表图像的尺度参数。
MSR算法是在SSR算法增加多个尺度，如式(8)所示
lnRMSR(x,y)=n∑i=1Ai[lnI(x,y)−ln[Gi(x,y)∗I(x,y)]] (8) 其中，n为选取的尺度数，Ai为各尺度系数。
2.2.2 多尺度加权融合
2.2.1节所述的多尺度Retinex算法一般采用3个不同尺度Retinex反射分量进行均值加权融合，即式(8)中参数A1=A2=A3。采用均值加权对不同尺度反射分量进行融合没有考虑不同尺度反射分量的差异性，这导致传统基于Retinex理论的多尺度增强方法不能动态融合各尺度反射分量的特征，鲁棒性差。针对上述问题，本文提出一种多尺度加权Retinex融合算法。
本文采用3个不同尺度Retinex反射分量进行加权融合，不同尺度反射分量如图2所示。由图2可知低尺度反射分量细节保存较好，高尺度反射分量颜色信息保存较好。为了提高变压器油下图像质量，更好地展现变压器内部元器件细节信息，本文提出一种锐化权重加权策略。此外为了区别变压器油下图像中的物体和背景，本文采用显著性权重增加目标区域与背景区域的对比度。
(1)锐化权重：基于Retinex理论的增强算法通过对数化处理极大地提升了暗区域的像素值，但是会压缩亮区域的显示范围，导致细节模糊甚至丢失。为了保证多尺度Retinex反射分量融合后的图像拥有清晰的细节，本文提出一种锐化权重。首先利用高斯滤波获取图像的低频分量，然后使用原图减去低频分量得到图像的高频分量，最后将高频分量与原图相加得到细节增强后的权重图。锐化权重计算过程如式(9)所示
Idet=Ii+∂×(Ii−Ii∗e−(x2+y2)2ϑ22πϑ2) (9) 其中，ϑ代表高斯核标准差，本文取3.0；∂代表增强系数，本文取0.8。
(2)显著性权重：为了凸显不同尺度反射分量的显著性区域，首先对不同尺度反射分量的图像进行高斯滤波，去掉图像中不明显的区域；然后将图像从RGB色彩空间转换为LAB色彩空间，最后基于式(10)计算图像的显著性权重。
Ssig=(L−ˉL)2+(A−ˉA)2+(B−ˉB)2 (10) 其中，ˉL,ˉA,ˉB分别表示L,A,B三通道的平均值。
(3)归一化权重：3个不同尺度Retinex反射分量分别经过式(9)和式(10)计算之后，得到3个不同尺度Retinex反射分量锐化权重图和显著性权重图，对权重图进行归一化处理，计算公式为
W1=Idet1+Ssig1Idet1+Ssig1+Idet2+Ssig2+Idet3+Ssig3W2=Idet2+Ssig2Idet1+Ssig1+Idet2+Ssig2+Idet3+Ssig3W3=Idet3+Ssig3Idet1+Ssig1+Idet2+Ssig2+Idet3+Ssig3} (11) 其中，W1是δ=15时Retinex反射分量的归一化权重图；W2是δ=80时Retinex反射分量的归一化权重图；W3是δ=200时Retinex反射分量的归一化权重图；Ssig代表Retinex反射分量的显著性权重图；Idet代表Retinex反射分量的锐化权重图。
(4)加权融合：本文基于图像高斯金字塔的思想，将不同尺度Retinex反射分量和对应的归一化权重进行融合，最大限度地利用不同尺度反射分量的优势信息。多尺度加权融合步骤如下：
(a)首先将不同尺度Retinex反射分量分解为R, G, B单通道图像；
(b)然后将单通道图像作为高斯金字塔第0层G0，对G0进行高斯卷积滤波和下采样操作得到高斯金字塔得第1层G1；采用同样的方式对高斯金字塔的第1层进行处理，得到高斯金字塔的第2层G2。以此类推，求得高斯金字塔的各层图像，本文只计算5层，计算公式为
GN(x,y)=2∑i=−22∑j=−2w(i,j)∗GN−1(2x+i,2y+j) (12) 其中，N代表特征金字塔层数；w(i,j)代表5×5的高斯卷积核；∗代表卷积。
(c)在步骤(b)得到的R, G, B通道图像高斯金字塔的基础上，高斯金字塔的每一层图像减去高斯金字塔上一层图像上采样并高斯卷积滤波后的图像，获得一系列差值便为拉普拉斯金字塔图像，计算公式为
LPN={GN(x,y)−42∑i=−22∑j=−2w(i,j)∗GN+1(x+i2,y+j2) , 0≤N<5GN(x,y) , N=5 (13) (d)利用步骤(b)计算锐化权重图像和亮度权重图像的高斯金字塔；
(e)将步骤(c)求得的拉普拉斯金字塔和步骤(d)得到的高斯金字塔进行各个尺度的融合，计算公式为
FN(x,y)=3∑i=1LPNi(x,y)GWiN(x,y) (14) 其中，LPNi(x,y)代表3个不同尺度Retinex反射分量经步骤(c)处理得到的同一通道下第N层的拉普拉斯金字塔图像；GWiN(x,y)代表3个权重图像经步骤(b)处理得到的第N层高斯金字塔图像。
(f)将步骤(e)得到的金字塔进行上采样操作，得到最终的加权增强图像。
3. 实验结果与分析
3.1 实验平台
为了更好地验证本文所提算法的有效性，本文在如图3所示的不同变压器场景进行图像采集(场景1：模拟变压器；场景2：大亚湾核电站变压器；场景3：成都青白江变电站变压器)。基于采集图像，本文构建了一个包含有433张变压器油下图像的大型变压器油下图像数据集，其中模拟变压器场景图像有109张，大亚湾核电站变压器场景图像有294张，成都青白江变电站变压器场景图像有30张。为了公平对比，本文所有算法运行平台均为配备Nvidia GTX 3080Ti GPU和Intel(R) Core (TM) i7-10700KF CPU @3.80 GHZ 32 GB RAM的台式机电脑。
3.2 对比实验
目前还没有变压器油下图像增强结果的评价指标，同时考虑到变压器油下无退化图像采集较为困难，因此本文采用无参考评价指标：水下图像质量度量(Underwater Image Quality Measure, UIQM)[18]、水下图像质量频域评价指标(Underwater image quality assessment Metrics in Frequency Domain, FDUM)[19]和自然图像质量评估 (Natural Image Quality Evaluator, NIQE) [20]来评价本文所提算法的性能。UIQM从色彩度、清晰度和对比度3个方面对图像质量进行评价，该值越大图像的综合质量越好。FDUM从色彩度、对比度和细节3方面对图像质量进行评价，该值越大图像的综合质量越高。NIQE值越小代表图像的感知质量越好。当前对变压器油下图像增强的研究较少，考虑到变压器油和水都是流体类介质，成像原理相似。因此本文通过和典型水下图像增强方法进行对比来验证本文所提算法的有效性，本文选取的对比方法有：水下图像无监督色彩校正方法(Unsupervised Colour correction Method, UCM)[21]，水下暗通道先验(Underwater Dark Channel Prior, UDCP)[5]，基于图像模糊和光吸收的水下图像恢复(Image Blurriness and Light Absorption, IBLA)[22]，基于快速场景深度估计模型的水下图像恢复(Underwater Light Attenuation Prior, ULAP)[6]，水下图像增强网络(underWater image enhancement Network, Water-Net)[23]，基于浅层神经网络的水下图像增强(Shallow neural network architecture, Shallow-uwnet)[24]和基于自适应不确定分布的无监督水下图像增强(Uncertainty Distribution in deep learning, UDnet)[25]。
图4为不同场景下的变压器油下示例图像，由图4可知当相机在变压器油下成像时存在颜色失真、亮度低和细节模糊的问题。图5是不同算法对图4(a)采集图像的增强结果，图6是不同算法对图4(b)采集图像的增强结果，图7是不同算法对图4(c)采集图像的增强结果。由图5、图6和图7定性实验可知，基于非物理模型的UCM通过假设蓝色通道图像衰减最小来实现颜色校正的目的，但是变压器油动态变化，衰减最小通道也是动态变化的，这导致该算法的泛化能力较差。基于物理模型的UDCP, IBLA和ULAP算法的增强结果亮度低，这通常会导致图像中重要的细节信息丢失。此外，基于物理模型的对比方法不仅没有解决颜色失真问题，还使得颜色失真问题更加严重。基于深度学习的Water-Net, Shallow-uwnet和UDnet算法可以较好地解决轻度颜色失真问题，但是增强结果仍然存在亮度低和细节模糊的问题。相反，本文所提算法充分考虑了变压器油动态变化特性，可以很好地解决变压器油下图像颜色失真、细节模糊和低亮度导致的细节丢失问题。
表1是不同算法对不同场景变压器油下图像增强结果对应的UIQM, FDUM和NIQE值。由表1可知，本文所提算法增强后图像的UIQM值较原始图像平均提高了121.206%，FDUM值较原始图像平均提高了105.978%，NIQE值较原始图像平均下降了6.772%。定量实验结果表明本文所提算法处理后的变压器油下图像在UIQM, FDUM和NIQE指标方面都要优于对比方法。定性和定量实验结果都表明本文所提算法可以有效解决变压器油下图像退化问题。此外，在不同场景的良好表现也证明了所提算法的鲁棒性。
表 1 UIQM, FUDM和NIQE无参考图像质量评估结果指标 方法 原图 UCM UDCP IBLA ULAP Water-Net Shallow-UWnet UDnet 本文 UIQM 1.476 1.943 1.417 2.144 1.379 2.272 1.273 1.880 3.265 FDUM 0.184 0.224 0.229 0.298 0.294 0.249 0.187 0.183 0.379 NIQE 5.021 4.864 5.315 5.714 4.815 4.859 5.240 4.754 4.681 3.3 消融实验
为了更深入地分析所提算法的性能，本文对所提各模块算法进行消融研究。消融实验定性结果如图8所示，定量结果如表2所示。本文所提算法包括如下模块：(1)混合动态颜色通道补偿模块(Hybrid dynamic color Channel Compensation, HCC)；(2)锐化权重模块(Detail Weight, DW)；(3)金字塔融合模块(Pyramid Fusion, PF)。
表 2 不同模块消融实验HCC DW PF UIQM FDUM NIQE 1.476 0.184 5.021 √ 1.508 0.206 4.982 √ 2.965 0.283 4.630 √ √ 3.112 0.343 4.501 √ √ √ 3.265 0.379 4.681 由表2可知，本文所提算法完整模型在UIQM, FDUM和NIQE指标上都实现了最好的结果。由图8可知，本文所提算法完整模型在颜色恢复、亮度和细节增强方面实现了最好的结果。由图8(b)可知本文所提混合动态颜色通道补偿算法可以在一定程度上解决颜色失真问题，但是增强后的图像细节模糊。由图8(c)可知本文采用金字塔多尺度融合策略对不同尺度Retinex反射分量进行多层级加权融合可以较好地解决图像低亮度和颜色失真问题。由图8(d)可知，本文所提锐化权重策略可以较好地增强图像细节信息。
3.4 适用性应用实验
为了验证所提算法在其他相似复杂介质下的适用性，本文在RUIE[26]水下数据集上进行适用性应用实验。在RUIE数据集中选择不同退化程度的水下图像作为研究对象，实验结果如图9所示，所提算法可以有效解决水下图像颜色失真问题，同时也可以显著提高图像对比度。适用性应用实验表明所提算法不仅在变压器油下图像增强表现出优越的性能，而且在水下应用中也表现良好。
4. 结束语
针对变压器油下颜色失真、亮度低和细节模糊问题，本文提出了一种多尺度加权Retinex变压器油下图像增强算法。通过分析变压器油下图像直方图分布特点，提出一种混合动态颜色通道补偿算法，可以根据图像衰减情况进行自适应补偿。同时创新性采用图像金字塔和特定权重图融合思想实现不同尺度Retinex反射分量加权融合。实验结果表明本文所提变压器油下图像增强方法处理后的图像UIQM值较原始图像平均提高了121.206%，FDUM值较原始图像提高了105.978%，NIQE值较原始图像平均降低了6.772%。虽然本文所提变压器油下图像增强算法增强效果较好，但处理一张1280×720大小的图像平均耗时2.16 s，不能满足嵌入式实时应用，如机器人实时巡检等，在未来的研究中将继续对算法实时性进行优化。
-
1 混合动态颜色通道补偿
输入：相机拍摄图像Iin，增益系数ω 输出：补偿后的图像Iout (1) B,G,R←split(Iin) (2) IMax←max(R,G,B) (3) IMin←min(R,G,B) (4) if IMax=ˉR (5) if IMin=ˉG then (6) 计算Vcom\_min,Vcom\_med根据Vmin=G,
Vmed=B,Vmax=R(7) end if (8) if IMin=ˉB then (9) 计算Vcom\_min,Vcom\_med根据Vmin=B, Vmed=G,
Vmax=R(10) end if (11) end if (12) if IMax=ˉB (13) if IMin=ˉR then (14) 计算Vcom\_min,Vcom\_med根据Vmin=R, Vmed=G,
Vmax=B(15) end if (16) if IMin=ˉG then (17) 计算Vcom\_min,Vcom\_med根据Vmin=G, Vmed=R,
Vmax=B(18) end if (19) end if (20) if IMax=ˉG (21) if IMin=ˉR then (22) 计算Vcom\_min,Vcom\_med根据Vmin=R, Vmed=B,
Vmax=G(23) end if (24) if IMin=ˉB then (25) 计算Vcom\_min,Vcom\_med根据Vmin=B, Vmed=R,
Vmax=G(26) end if (27) end if (28) Iout←merge(ˉB,ˉG,ˉR) (29) return Iout 
下载: 导出CSV
表 1 UIQM, FUDM和NIQE无参考图像质量评估结果
指标 方法 原图 UCM UDCP IBLA ULAP Water-Net Shallow-UWnet UDnet 本文 UIQM 1.476 1.943 1.417 2.144 1.379 2.272 1.273 1.880 3.265 FDUM 0.184 0.224 0.229 0.298 0.294 0.249 0.187 0.183 0.379 NIQE 5.021 4.864 5.315 5.714 4.815 4.859 5.240 4.754 4.681
下载: 导出CSV
表 2 不同模块消融实验
HCC DW PF UIQM FDUM NIQE 1.476 0.184 5.021 √ 1.508 0.206 4.982 √ 2.965 0.283 4.630 √ √ 3.112 0.343 4.501 √ √ √ 3.265 0.379 4.681
下载: 导出CSV
-
[1] JHA M and BHANDARI A K. CBLA: Color balanced locally adjustable underwater image enhancement[J]. IEEE Transactions on Instrumentation and Measurement, 2024, 73: 5020911. doi: 10.1109/TIM.2024.3396850. [2] ZHANG Dehuan, WU Chenyu, ZHOU Jingchun, et al. Robust underwater image enhancement with cascaded multi-level sub-networks and triple attention mechanism[J]. Neural Networks, 2024, 169: 685–697. doi: 10.1016/j.neunet.2023.11.008. [3] YANG H Y, CHEN Peiyin, HUANG C C, et al. Low complexity underwater image enhancement based on dark channel prior[C]. 2011 Second International Conference on Innovations in Bio-inspired Computing and Applications, Shenzhen, China, 2011: 17–20. doi: 10.1109/IBICA.2011.9. [4] QIANG Hu, ZHONG Yuzhong, ZHU Yuqi, et al. Underwater image enhancement based on multichannel adaptive compensation[J]. IEEE Transactions on Instrumentation and Measurement, 2024, 73: 5014810. doi: 10.1109/TIM.2024.3378290. [5] DREWS JR P, DO NASCIMENTO E, MORAES F, et al. Transmission estimation in underwater single images[C]. 2013 IEEE International Conference on Computer Vision Workshops, Sydney, Australia, 2013: 825–830. doi: 10.1109/ICCVW.2013.113. [6] SONG Wei, WANG Yan, HUANG Dongmei, et al. A rapid scene depth estimation model based on underwater light attenuation prior for underwater image restoration[C]. Proceedings of the 19th Pacific-Rim Conference on Multimedia on Advances in Multimedia Information Processing – PCM 2018, Hefei, China, 2018: 678–688. doi: 10.1007/978-3-030-00776-8_62. [7] ZHANG Song, ZHAO Shili, AN Dong, et al. LiteEnhanceNet: A lightweight network for real-time single underwater image enhancement[J]. Expert Systems with Applications, 2024, 240: 122546. doi: 10.1016/j.eswa.2023.122546. [8] WANG Zhengyong, SHEN Liquan, XU Mai, et al. Domain adaptation for underwater image enhancement[J]. IEEE Transactions on Image Processing, 2023, 32: 1442–1457. doi: 10.1109/TIP.2023.3244647. [9] 米泽田, 晋洁, 李圆圆, 等. 基于多尺度级联网络的水下图像增强方法[J]. 电子与信息学报, 2022, 44(10): 3353–3362. doi: 10.11999/JEIT220375.MI Zetian, JIN Jie, LI Yuanyuan, et al. Underwater image enhancement method based on multi-scale cascade network[J]. Journal of Electronics & Information Technology, 2022, 44(10): 3353–3362. doi: 10.11999/JEIT220375. [10] LI Chongyi, ANWAR S, and PORIKLI F. Underwater scene prior inspired deep underwater image and video enhancement[J]. Pattern Recognition, 2020, 98: 107038. doi: 10.1016/j.patcog.2019.107038. [11] RAO Yuan, LIU Wenjie, LI Kunqian, et al. Deep color compensation for generalized underwater image enhancement[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2024, 34(4): 2577–2590. doi: 10.1109/TCSVT.2023.3305777. [12] WANG Keyan, HU Yan, CHEN Jun, et al. Underwater image restoration based on a parallel convolutional neural network[J]. Remote Sensing, 2019, 11(13): 1591. doi: 10.3390/rs11131591. [13] WU Shengcong, LUO Ting, JIANG Gangyi, et al. A two-stage underwater enhancement network based on structure decomposition and characteristics of underwater imaging[J]. IEEE Journal of Oceanic Engineering, 2021, 46(4): 1213–1227. doi: 10.1109/JOE.2021.3064093. [14] BUCHSBAUM G. A spatial processor model for object colour perception[J]. Journal of the Franklin Institute, 1980, 310(1): 1–26. doi: 10.1016/0016-0032(80)90058-7. [15] LAND E H and MCCANN J J. Lightness and retinex theory[J]. Journal of the Optical Society of America, 1971, 61(1): 1–11. doi: 10.1364/JOSA.61.000001. [16] JOBSON D J, RAHMAN Z, and WOODELL G A. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451–462. doi: 10.1109/83.557356. [17] RAHMAN Z, JOBSON D J, and WOODELL G A. Multi-scale retinex for color image enhancement[C]. The 3rd IEEE International Conference on Image Processing, Lausanne, Switzerland, 1996: 1003–1006. doi: 10.1109/ICIP.1996.560995. [18] PANETTA K, GAO Chen, and AGAIAN S. Human-visual-system-inspired underwater image quality measures[J]. IEEE Journal of Oceanic Engineering, 2016, 41(3): 541–551. doi: 10.1109/JOE.2015.2469915. [19] YANG Ning, ZHONG Qihang, LI Kun, et al. A reference-free underwater image quality assessment metric in frequency domain[J]. Signal Processing: Image Communication, 2021, 94: 116218. doi: 10.1016/j.image.2021.116218. [20] MITTAL A, SOUNDARARAJAN R, and BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209–212. doi: 10.1109/LSP.2012.2227726. [21] IQBAL K, ODETAYO M, JAMES A, et al. Enhancing the low quality images using unsupervised colour correction method[C]. 2010 IEEE International Conference on Systems, Man and Cybernetics, Istanbul, Turkey, 2010: 1703–1709. doi: 10.1109/ICSMC.2010.5642311. [22] PENG Y T and COSMAN P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579–1594. doi: 10.1109/TIP.2017.2663846. [23] LI Chongyi, GUO Chunle, REN Wenqi, et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing, 2020, 29: 4376–4389. doi: 10.1109/TIP.2019.2955241. [24] NAIK A, SWARNAKAR A, and MITTAL K. Shallow-UWnet: Compressed model for underwater image enhancement (student abstract)[C]. The Thirty-Fifth AAAI Conference on Artificial Intelligence, Palo Alto, USA, 2021: 15853–15854. doi: 10.1609/aaai.v35i18.17923. [25] SALEH A, SHEAVES M, JERRY D, et al. Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement[J]. arXiv preprint arXiv: 2212.08983, 2022. [26] LIU Risheng, FAN Xin, ZHU Ming, et al. Real-world underwater enhancement: Challenges, benchmarks, and solutions under natural light[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 30(12): 4861–4875. doi: 10.1109/TCSVT.2019.2963772. -
计量
- 文章访问数: 136
- HTML全文浏览量: 64
- PDF下载量: 28
- 被引次数: 0
下载:
