Adjacent Coordination Network for Salient Object Detection in 360 Degree Omnidirectional Images
-
摘要: 为解决360°全景图像显著目标检测(SOD)中的显著目标尺度变化和边缘不连续、易模糊的问题,该文提出一种基于相邻协调网络的360°全景图像显著目标检测方法(ACoNet)。首先,利用相邻细节融合模块获取相邻特征中的细节和边缘信息,以促进显著目标的精确定位。其次,使用语义引导特征聚合模块来聚合浅层特征和深层特征之间不同尺度上的语义特征信息,并抑制浅层特征传递的噪声,缓解解码阶段显著目标与背景区域不连续、边界易模糊的问题。同时构建多尺度语义融合子模块扩大不同卷积层的多尺度感受野,实现精确训练显著目标边界的效果。在2个公开的数据集上进行的大量实验结果表明,相比于其他13种先进方法,所提方法在6个客观评价指标上均有明显的提升,同时主观可视化检测的显著图边缘轮廓性更好,空间结构细节信息更清晰。Abstract: To address the issues of significant target scale variation, edge discontinuity, and blurring in 360° omnidirectional images Salient Object Detection (SOD), a method based on the Adjacent Coordination Network (ACoNet) is proposed. First, an adjacent detail fusion module is used to capture detailed and edge information from adjacent features, which facilitates accurate localization of salient objects. Then, a semantic-guided feature aggregation module is employed to aggregate semantic feature information from different scales between shallow and deep features, suppressing the noise transmitted by shallow features. This helps alleviate the problem of discontinuous salient objects and blurred boundaries between the object and background in the decoding stage. Additionally, a multi-scale semantic fusion submodule is constructed to enlarge the receptive field across different convolution layers, thereby achieving better training of the salient object boundaries. Extensive experimental results on two public datasets demonstrate that, compared to 13 other advanced methods, the proposed approach achieves significant improvements in six objective evaluation metrics. Moreover, the subjective visualized detection results show better edge contours and clearer spatial structural details of the salient maps.
-
1. 引言
微动通常指目标在外力作用下产生的除主体径向运动之外的锥旋、摆动等小幅运动[1]。弹道目标在飞行中段往往会伴有诱饵,由于弹头和诱饵的质量分布不同,导致二者的进动周期和进动角之间存在差异。因此估计目标的微动参数成为导弹防御系统目标识别的重要思路。宽带雷达具有距离高分辨性能,对回波进行平动补偿后,目标在观测时间内会发生越距离单元徙动[2],表现为各散射中心在1维距离像序列上出现周期性变化,在高分辨距离像(HRRP)平面上得到与散射中心相对应的曲线,这为目标微动特征提取创造了条件。
基于高分辨距离像序列的目标微动参数估计研究,近年来诸多文献都有所涉及。文献[3]通过分析各散射中心的距离像包络序列变化规律得到各散射中心相对参考点的微距变化,提出了锥柱体目标进动和结构参数联合估计方法;文献[4]分析了各散射中心1维距离像包络位置与参考中心距离变化规律,利用广义Hough变换检测估计各散射点微距曲线,进而实现了进动特征和结构特征的联合提取。然而以上方法仅通过距离像包络位置信息分析微距,测量精度受限于雷达带宽,仅可达到距离单元量级。利用宽带雷达目标回波的相位信息可有效提高测距精度,20世纪末期相位导出测距[5,6](PDR)技术被应用于导弹防御系统,该技术的关键是利用宽带信号的相位信息对目标的精细运动进行分辨和测距。文献[7,8]利用宽窄交替工作模式下的相参雷达的相位信息,通过相位测距技术获得各散射中心精确微动轨迹;文献[9]介绍了相位测距和测速的基本原理,并提出了一种在低信噪比下的相位测距的新方法。以上文献均通过仿真实验得到半波长量级的测距精度。
本文提出了一种结合目标回波距离像序列包络信息和相位信息的微动参数估计方法,首先对进动锥体弹道目标回波距离像包络分段[10]并利用Keystone变换的方法对目标由于微动产生的微距离进行粗估计,利用粗估计结果确定散射点所在距离单元来提取该散射点回波信号的相位信息,利用相位测距原理得到半波长量级的高精度微距曲线。最后利用提取的微距信息完成进动目标运动及几何参数的精确估计。仿真结果表明本文算法较传统的基于宽带回波距离像包络信息提取微动的方法在估计的准确性上得到了明显提升,同时也验证了算法具有较好的抗噪性。该算法可广泛应用于弹道目标的参数估计、目标识别等实际任务中。
2. 目标信号模型
宽带雷达弹道目标观测任务一般采用线性调频信号作为发射信号,对目标各散射中心回波进行解线性调频处理,并采用FFT消除包络斜置、残余视频项后,可以得到空间锥体目标高分辨距离像(HRRP)序列:
S(r,tm)=∑i=p1,p2,p3Si(r,tm)=∑i=p1,p2,p3ˆσisinc(2Bc(r−Ri(tm)))⋅exp(j4πRi(tm)/λ) (1) 其中,
σi 为某散射中心散射系数,B 表示信号带宽,λ 表示信号波长,c 表示光速,tm 为慢时间,Ri(tm) 表示第i 个散射中心的微距离。目标HRRP序列中散射中心包络位置Ri(tm) 变化的曲线一般被称为微距曲线[11]。微距曲线的频谱包含着目标微动频率信息,微距曲线上两散射点间的距离差包含着微动目标几何参数信息,故可利用微距曲线对目标参数进行估计。弹道目标进动模型如图1所示。
(x,y,z) 为雷达坐标系,(X,Y,Z) 为目标新姿态下的坐标系。其中rLOS 为雷达视线,雷达视线俯仰角和方位角记为(α,β) 。目标绕锥旋轴OM 做角速度为ωc 的锥旋运动,进动角为θ 。如图2,H 为锥体高,r 为底面半径,d 为质心距锥顶的距离。锥体弹道目标通常认为只有3个点起作用,分别是图1中的p1 ,p2 ,p3 。实际由于遮挡效应,目标的等效散射中心只有锥顶散射点p1 和靠近雷达视线的锥底散射点p2 [12]。各散射中心与雷达瞬时径向距离可用散射中心到雷达视线的投影计算:
ri(t)=⟨rLOS,Pi⟩+R0=Yisinγ(t)+Zicosγ(t)+R0 (2) 其中,
γ 表示t 时刻目标对称轴与雷达视线的夹角:cosγ=⟨rLOS,Z⟩ ,根据推导:cosγ(t)=cosθcos(θ+α)+sinθsin(θ+α)cos(ωct+φ) (3) 其中,
φ 为初始相位。则各散射点到雷达瞬时距离曲线理论表达式为ri(t)=R0+Ri(t),i=1,2,3R1(t)=−dcosγ(t)R2(t)=(H−d)cosγ(t)−rsinγ(t)R3(t)=(H−d)cosγ(t)+rsinγ(t)} (4) 其中,
R0 表示目标质心到雷达的距离,R1(t) ,R2(t) 和R3(t) 为各散射点的瞬时微距表达式。可见各散射点瞬时微距随着目标的进动而呈正弦规律变化,且其中包含着目标的运动和几何参数。本文正是在对微距曲线精确提取的基础上进行目标运动和几何特征的参数估计。3. 目标微距曲线提取
弹道目标的HRRP序列中包含目标的包络位置与初始相位信息,目前传统的仅利用包络位置信息估计微距的方法测距精度可表示为:
ρ1=c/2B ,由发射信号带宽决定,目前反导雷达系统的宽带工作发射信号带宽可到1GHz 甚至2GHz ,但相比米级或分米级目标而言测距精度仍然较低,无法精确反映目标微动;本文联合利用包络位置信息和相位信息估计目标微距,测距精度可表示为ρ2=Δϕλ4π <2πλ4π=λ2 ,可达到小于半波长量级,微距曲线估计精度明显提高。本节首先依据HRRP包络位置进行微距曲线的粗提取,而后利用粗估计微距曲线结合回波相位信息或通过相位测距得精确度更高的微距曲线。下面对各核心步骤详细说明。3.1 距离包络的微距曲线粗提取
由于在整个观测时间内估计瞬时微距比较困难,一般采用分段的方式将回波信号优化分段为若干长度较短的信号,并对各段信号依据HRRP包络位置进行微距曲线的粗提取[10]。对于每段短信号,原有呈曲线形式的距离-慢时间图线可近似为一段倾斜直线。原理如图3所示。本文利用均匀分段的方式对信号进行分段,即每段回波信号的数据长度相同且不能过长,需要根据利用自相关法和平均幅度差函数法[13]获得的先验进动周期
T 划分,由于正弦函数在短时间内可近似为线性函数,每段回波数据划分长度一般设置为T/8 [14]。可以看出,在每个分段内,雷达回波都出现了线性距离徙动,对每段信号进行Keystone变换,将信号矫正成一条水平直线段,如图4,此直线段所在距离单元即为每段时间目标的初始距离。经Keystone变换后,各分段内回波信号的包络“凝结”在各段初始时刻的距离,提取每段初始时刻距离点,再将其进行曲线拟合,即可得到估计微距曲线粗提取结果,此微距曲线的估计精度受限于雷达带宽。
3.2 相位测距的微距曲线精估计
根据上一节得到的各散射点的粗估计微距曲线,找出各时刻该曲线所对应的距离单元,然后在距离-慢时间域的宽带回波信号中提取此距离单元所对应信号的相位
ϕ(tm) 。根据Ri(tm)=ϕ(tm)λ4π 即可得到各时刻微距估计值。但应注意的是,本文所要利用的是相位真实值ϕ(tm) ,但在实际处理中只能得到相位的主值ψ(tm)∈[−π,π] ,真实值与主值之间相差2kπ ,需要利用相位解缠从缠绕相位中获得真实相位[15]。本文利用最小二乘的方法实现相位解缠[16]。该方法通过求解一个等价的泊松方程,寻求解缠前后的相位微分之差最小来进行解缠,并且可以利用FFT来实现最小二乘,具有计算效率高,稳健性好的特点。
最小二乘法解缠的数学模型可表示为
min(J)=M−2∑i=0N−1∑j=0(ϕi+1,j−ϕi,j−Δxi,j)2+M−1∑i=0N−2∑j=0(ϕi,j+1−ϕi,j−Δyi,j)2 (5) 定义缠绕相位
ψi,j 对应解缠后的相位为ϕi,j ,(i,j) 表示相位点,M 和N 分别表示相位矩阵的行数和列数,Δxi,j 和Δyi,j 分别表示缠绕相位ψi,j 在行方向和列方向的相位差,将ϕi,j 和ψi,j 在2维平面内分别按照i=M 和j=N 作镜像操作后得到扩展函数˜ϕi,j 和˜ψi,j ,则等价的离散泊松方程可表示为(˜ϕi+1,j−2˜ϕi,j+˜ϕi−1,j)+(˜ϕi,j+1−2˜ϕi,j+˜ϕi,j−1)=˜ρi,j (6) 其中,
˜ρi,j=(Δxi,j−Δxi−1,j)+(Δyi,j−Δyi,j−1) ,表示缠绕相位ψi,j 的2阶偏导数,对式(6)做2维傅里叶变换,得Φm,n=Pm,n2cos(πm/M)+2sin(πm/M)−4 (7) 其中,
Φm,n 和Pm,n 分别是˜ϕi,j 和˜ρi,j 的傅里叶变换,m 和n 为经傅里叶变换后的行和列。对Φm,n 进行逆傅里叶变换即可得到˜ϕi,j ,解缠相位ϕi,j 即为在i=1,2,···,M,j=1,2,···,N 范围的˜ϕi,j 。根据各时刻相位真实值,利用式R=ϕλ/4π 可得到各时刻距离,进而可得到各散射点更精确的估计微距曲线ˆR(t) 。3.3 相位测距的解缠绕性能分析
相位解缠是相位测距的关键,其对回波信号的信噪比有一定的要求。本部分将对其应用条件作出简要说明。如图5,
n 和s 分别表示回波信号的噪声矢量和信号矢量,s+n 表示噪声污染后的回波信号矢量,信噪比可定义为SNR=10lg(|s|2|n|2) (8) 根据图5几何关系可知,当被噪声污染后的信号矢量与以噪声幅度为半径的圆相切,即噪声矢量与被噪声污染后的信号矢量垂直时,实际估计信号相位与未污染信号相位误差
Δθ 最大,模拟测试和外场实验结果表明,估计精度要求相位误差最大值需满足式(9),后续实验也相对吻合[17]。Δθ<π/8 (9) 在垂直的情况下,根据三角函数关系可得
sinΔθ=|n||s|<sinπ8 (10) 通过求解式(10)后再代入式(8),可得信噪比须满足
SNR>8.34 dB可保证有效进行相位解缠。仿真实验也验证了这一结论。4. 目标微动参数估计
由上节提取的微距曲线可知,目标微距形式上与目标几何参数及运动参数有直接关系。本节在获取目标高精度微距曲线基础上首先估计目标进动频率和进动角,然后结合弹道信息估计目标的几何参数,其优点在于不需要目标的先验结构信息(锥体母线长度、半锥角等)[11]。
4.1 目标运动参数估计
对于进动目标而言,其微距曲线为正弦形式,频域为单频信息,频点位置由进动频率确定,且微距曲线幅度仅受进动角的影响,可对进动频率和进动角进行估计。
(1)进动频率估计:对上一节估计所得的目标微距曲线
ˆR(t) 做FFT,F=FFT(ˆR(t)) ,F 即代表微距曲线频谱,则目标进动频率估计值可表示为:ˆfc=⟨max(F)⟩ 。(2)进动角估计:将估计得到的进动频率
ˆfc 作为已知信息,以进动角为参数进行以下搜索:ˆθ=argminθ(|F1−FFT((R(t)/|R(t)|)|fc=ˆfc)|) (11)
其中,
ˆθ 表示目标进动角估计值,F1 表示理论曲线频谱。对微距曲线ˆR(t) 进行归一化处理,排除了幅度信息中耦合的目标物理参数信息对估计的影响。为保证目标运动姿态的稳定,微动角度通常在15∘ 以内,所以搜索范围可设置较小,经过在可行域内的全局搜索即可得目标进动角ˆθ 。4.2 目标几何参数估计
获取目标微动参数估计值后,将这些值作为已知信息,利用微距曲线两散射中心的距离差估计目标几何参数[11]。由式(4)可知,可观测到的两散射中心间的距离在
rLOS 上的投影可表示为R2−1(t)=Hcosγ(t)−rsinγ(t) (12) 将式(3)代入式(12)可知当
cos(ωct+φ)=1 时R2−1(t) 最大,记为R2−1max ,当cos(ωct+φ)=−1 时R2−1(t) 最小,记为R2−1min ,利用这一条件即可估计初始相位φ 。令L 表示锥体母线长,则L=√r2+H2 ,η 表示锥体半锥角,η=arctan(r/H) ,则R2−1max 和R2−1min 可表示为R2−1max=Lcos(α−θ+η)R2−1min=Lcos(α+θ+η)} (13) 为书写方便,记
a11=R2−1max+R2−1min ,a12=R2−1max−R2−1min 。经过推导,母线长可表示为L=a112cos(α+η)cosθ (14) 可以看出,式中俯仰角
α 和进动角θ 已知,只需估计出半锥角η ,即可求得母线长度,进而可求得锥体高和底面半径。4.2.1 半锥角和母线长度估计
式(12)可重新表示为
R2−1(t)=Lcos(γ(t)+η) (15) 将式(14)代入式(15),则
R2−1(t) 仅由η 决定。将各时刻的R2−1(t) 写成向量形式:R(η)=[R2−1(η|t0), R2−1(η|t1),···,R2−1(η|tN)] ,˜R 表示各时刻观测到的两散射中心在估计微距曲线序列中的距离差。令F(η)=R(η)−˜R ,则利用式(16)进行搜索可得半锥角η 估计值。η=argminη‖ (16) 将半锥角的估计值代入式(14)即可得到母线长度估计值。
4.2.2 锥体高度和底面半径估计
根据得到的半锥角和母线长度,利用锥体目标几何性质可得锥高
H 和底面半径r 可表示为\left. {\begin{array}{*{20}{c}} {H = L\cos \left( \eta \right)} \\ {r = L\sin \left( \eta \right)} \end{array}} \right\} (17) 至此,通过利用回波相位信息得到的精确微距曲线完成了本文所述弹道目标的参数估计。为了更清楚地说明本文算法,具体流程图如图6所示。
5. 仿真分析
本实验所估计弹道目标形状如图2,主要目标参数如表1所示。雷达参数设置参照文献[11],主要雷达参数如表2所示。
表 1 实验锥体目标参数参数 数值 锥体高度 H 0.96 m 质心到锥顶距离 d 0.64 m 底面半径 r 0.25 m 自旋频率 {f_s} 2 Hz 锥旋频率 {f_z} 3 Hz 摆动频率 {f_v} 0 Hz 进动角 \alpha {10^ \circ } 表 2 雷达系统的主要参数参数 数值 载频 {f_0} 10 GHz 带宽 B 2 GHz 脉冲宽度 {t_p} 10 μs 脉冲重复周期 {\rm{prf}} 1 kHz 驻留时间 T\, 1 s 5.1 微距曲线估计结果
首先,根据第2节的锥体弹道目标模型和微动参数设定,得到进动目标的HRRP序列如图7所示。然后,对距离-慢时间域的宽带回波进行分段处理并得到目标微距曲线粗提取结果后,利用本文方法进行回波信号相位的提取和解缠,得到更精确的微距估计曲线如图8所示。令
{F_e}\left( t \right) 表示瞬时微距曲线估计值,{F_r}\left( t \right) 表示瞬时微距曲线理论值,则以式(18)定义微距曲线估计正确率,对{p_1} 和{p_2} 两次估计的微距曲线的正确率记录在表3中。A = \left( {1 - \frac{{\displaystyle\sum\limits_t {\left| {{F_r}\left( t \right) - {F_e}\left( t \right)} \right|} }}{{\displaystyle\sum\limits_t {\left| {{F_r}\left( t \right)} \right|} }}} \right) \times 100\% (18) 表 3 微距曲线估计正确率(%)P1 P2 粗估计微距曲线 93.87 89.77 精确微距曲线 96.84 95.27 从图8可以看出,基于回波相位信息估计的微距曲线更接近于理论值,其误差基本上可以控制在小于半波长,并且表3也显示基于相位信息估计的微距曲线正确率更高。这都表明同时利用包络信息和相位信息估计目标微距的估计精度较仅利用包络位置信息估计微距的精度高。
5.2 目标参数估计结果
对所得的估计微距曲线进行傅里叶变换,即可得到目标进动频率
{f\!_c} = 3\;{\rm{Hz}} 。再利用式(11)进行搜索得到进动角的估计值。接着利用式(16)估计锥体半锥角\eta ,由于\eta 一般较小,搜索范围设定在[12°~20°]之间。经过搜索可以得到\eta 的估计值,进而利用式(14),式(17)估计母线长度L ,锥体高度H 和底面半径r ,利用本文中两次提取的微距曲线对各参数进行估计的结果如表4所示。若以式(19)定义估计误差:Q = \frac{{\left| {a - \bar a} \right|}}{a} \times 100{\rm{\% }} (19) 其中,
a 和\bar a 分别代表目标参数真实值与估计值,利用式(19)可得到两方法参数估计误差率如表5。表 4 目标参数估计结果进动频率 {f\!_c} \left( {\rm Hz} \right) 进动角 \theta \left( {^ \circ } \right) 半锥角 \eta \left( {^ \circ } \right) 母线长度 L \left( {\rm m} \right) 锥体高度 H \left( {\rm m} \right) 底面半径 r \left( {\rm m} \right) 真实值 3 10.00 14.5980 0.9920 0.9600 0.2500 基于距离像包络参数估计 3 9.32 13.2000 1.0286 1.0014 0.2349 基于距离像相位参数估计 3 10.30 14.5000 1.0061 0.9740 0.2519 表 5 参数估计误差率(%)进动频率 {f\!_c} 进动角 \theta 半锥角 \eta 母线长度 L 锥体高度 H 底面半径 r 基于距离像包络参数估计误差率 0 6.80 9.58 3.69 4.31 6.04 基于距离像相位参数估计误差率 0 3.00 0.67 1.42 1.46 0.76 实验结果表明,基于回波相位信息的微动参数估计误差基本在
3\% 以内,能较为准确地估计目标参数,而由于基于回波距离包络的微距曲线估计精确度不高,导致由该曲线估计所得微动参数估计误差偏大,说明微距曲线估计的正确与否直接影响后续的参数估计。5.3 抗噪性分析
为了验证本文方法的抗噪性,其他条件不变,在回波中加入SNR在[0~30 dB]之间变化的高斯白噪声。在不同信噪比的情况下,对本文中利用两次提取的微距曲线估计出的锥体高度和底面半径的估计误差率进行分析,结果如图9所示。
由实验结果可以看出,当SNR较大时,参数估计值未出现太大波动,估计算法有较好的噪声稳定性;当
{\rm{SNR}} < 8\;{\rm{dB}} 时,估计精度明显下降。这也符合式(10)的推导,当信噪比较低时不能保证有效进行相位解缠,影响了参数估计精度。6. 结束语
本文以宽带雷达作用在锥体弹道目标为模型,通过分析目标回波的高分辨距离像序列,将回波距离像包络位置信息和相位信息相结合来获得高精度微距曲线,进而根据微距曲线中包含的目标微动和几何参数信息实现目标参数的精确估计。实验结果表明该方法精确度较高且有良好的抗噪性。由于本文算法是通过分析两散射中心回波的高分辨距离像序列进行的,故信号带宽是限制本文算法有效性的一个重要因素,并且脉冲重复频率也会影响算法有效性。因此在后续工作中,将研究利用幅度相位估计(APES)算法来减小信号带宽对微动参数估计的限制。
-
表 1 360-SOD 数据集上不同方法客观指标对比
MAE↓ max-F↑ mean-F↑ max-Em↑ mean-Em↑ Sm↑ 360°SOD 本文方法 0.0181 0.7893 0.7815 0.9141 0.9043 0.8493 MPFRNet(2024) 0.0190 0.7653 0.7556 0.8854 0.8750 0.8416 LDNet(2023) 0.0289 0.6561 0.6414 0.8655 0.8437 0.7680 FANet(2020) 0.0208 0.7699 0.7485 0.9002 0.8729 0.8261 2D SOD MEANet(2022) 0.0243 0.7098 0.7016 0.8675 0.8398 0.7808 BSCGNet(2023) 0.0246 0.6795 0.6725 0.8666 0.8380 0.7844 SeaNet(2023) 0.0293 0.6080 0.5981 0.8611 0.8319 0.7374 AGNet(2022) 0.0221 0.7503 0.7410 0.8754 0.8574 0.8055 ACCoNet(res)(2023) 0.0243 0.6855 0.6735 0.8690 0.8159 0.7864 ACCoNet(vgg)(2023) 0.0245 0.6910 0.6782 0.8629 0.8060 0.7711 MSCNet(2023) 0.0247 0.7286 0.7162 0.8740 0.8672 0.8139 CorrNet(2022) 0.0474 0.2515 0.1673 0.5465 0.3867 0.5322 PGNet(2021) 0.0237 0.6944 0.6861 0.8625 0.8360 0.7895 CSDF(2023) 0.0275 0.6621 0.6433 0.8521 0.7829 0.7530 SwinNet(2022) 0.0240 0.7023 0.6818 0.8624 0.8315 0.7897 表 2 360-SSOD 数据集上不同方法客观指标对比
MAE↓ max-F↑ mean-F↑ max-Em↑ mean-Em↑ Sm↑ 360°SOD 本文方法 0.0288 0.6641 0.6564 0.8695 0.8632 0.7796 MPFRNet(2024) --- --- --- --- --- --- LDNet(2023) 0.0341 0.5868 0.5695 0.8415 0.8221 0.7252 FANet(2020) 0.0421 0.5939 0.5215 0.8426 0.7324 0.7186 2D SOD MEANet(2022) 0.0289 0.6343 0.6242 0.8578 0.8437 0.7479 BSCGNet(2023) 0.0316 0.5969 0.5832 0.8216 0.8079 0.7395 SeaNet(2023) 0.0383 0.3929 0.3432 0.7525 0.5695 0.5978 AGNet(2022) 0.0297 0.6371 0.6291 0.8409 0.8176 0.7701 ACCoNet(res)(2023) 0.0365 0.5752 0.5555 0.8312 0.7929 0.7341 ACCoNet(vgg)(2023) 0.0312 0.6043 0.5904 0.8297 0.7938 0.7358 MSCNet(2023) 0.0370 0.6239 0.6026 0.8512 0.8328 0.7613 CorrNet(2022) 0.0540 0.2586 0.0904 0.7046 0.3347 0.5006 PGNet(2021) 0.0946 0.0772 0.0545 0.5889 0.5613 0.4493 CSDF(2023) 0.0326 0.5490 0.5211 0.8117 0.7399 0.6942 SwinNet(2022) 0.0940 0.0772 0.0469 0.5877 0.5379 0.4482 表 3 本文模型与不同先进方法复杂度对比结果
复杂度指标 本文模型 FANet MEANet BSCGNet SeaNet AGNet GFLOPs(G) 76.24 340.94 11.99 86.46 2.86 25.28 Params(M) 24.15 25.40 3.27 36.99 2.75 24.55 复杂度指标 ACCoNet MSCNet CorrNet PGNet CSDF SwinNet GFLOPs(G) 406.06 15.47 42.63 14.37 78.14 43.56 Params(M) 127.00 3.26 4.07 72.67 26.24 97.56 表 4 相关模块以及多分支结构的消融实验结果
Baseline ADFM SGFA 多分支结构 MAE↓ max-F↑ mean-F↑ max-Em↑ mean-Em↑ Sm↑ √ 0.0238 0.7193 0.7107 0.8823 0.8525 0.7912 √ √ 0.0220 0.7580 0.7466 0.9133 0.8898 0.8185 √ √ 0.0209 0.7562 0.7517 0.8915 0.8796 0.8252 √ √ 0.0206 0.7584 0.7483 0.8959 0.8745 0.8304 √ √ √ 0.0207 0.7819 0.7642 0.9170 0.8650 0.8244 √ √ √ 0.0202 0.7704 0.7587 0.9007 0.8899 0.8322 √ √ √ 0.0184 0.7777 0.7660 0.9113 0.8878 0.8407 √ √ √ √ 0.0181 0.7893 0.7815 0.9141 0.9043 0.8493 -
[1] CONG Runmin, LEI Jianjun, FU Huazhu, et al. Review of visual saliency detection with comprehensive information[J]. IEEE Transactions on circuits and Systems for Video Technology, 2019, 29(10): 2941–2959. doi: 10.1109/TCSVT.2018.2870832. [2] 丁颖, 刘延伟, 刘金霞, 等. 虚拟现实全景图像显著性检测研究进展综述[J]. 电子学报, 2019, 47(7): 1575–1583. doi: 10.3969/j.issn.0372-2112.2019.07.024.DING Ying, LIU Yanwei, LIU Jinxia, et al. An overview of research progress on saliency detection of panoramic VR images[J]. Acta Electronica Sinica, 2019, 47(7): 1575–1583. doi: 10.3969/j.issn.0372-2112.2019.07.024. [3] GONG Xuan, XIA Xin, ZHU Wentao, et al. Deformable Gabor feature networks for biomedical image classification[C]. 2021 IEEE Winter Conference on Applications of Computer Vision, Waikoloa, USA, 2021: 4003–4011. doi: 10.1109/WACV48630.2021.00405. [4] XU K, BA J, KIROS R, et al. Show, attend and tell: Neural image caption generation with visual attention[C]. The 32nd International Conference on Machine Learning, Lille, France, 2048–2057. [5] 张德祥, 王俊, 袁培成. 基于注意力机制的多尺度全场景监控目标检测方法[J]. 电子与信息学报, 2022, 44(9): 3249–3257. doi: 10.11999/JEIT210664.ZHANG Dexiang, WANG Jun, and YUAN Peicheng. Object detection method for multi-scale full-scene surveillance based on attention mechanism[J]. Journal of Electronics & Information Technology, 2022, 44(9): 3249–3257. doi: 10.11999/JEIT210664. [6] GAO Yuan, SHI Miaojing, TAO Dacheng, et al. Database saliency for fast image retrieval[J]. IEEE Transactions on Multimedia, 2015, 17(3): 359–369. doi: 10.1109/TMM.2015.2389616. [7] LI Jia, SU Jinming, XIA Changqun, et al. Distortion-adaptive salient object detection in 360°omnidirectional images[J]. IEEE Journal of Selected Topics in Signal Processing, 2020, 14(1): 38–48. doi: 10.1109/JSTSP.2019.2957982. [8] MA Guangxiao, LI Shuai, CHEN Chenglizhao, et al. Stage-wise salient object detection in 360°omnidirectional image via object-level semantical saliency ranking[J]. IEEE Transactions on Visualization and Computer Graphics, 2020, 26(12): 3535–3545. doi: 10.1109/TVCG.2020.3023636. [9] HUANG Mengke, LIU Zhi, LI Gongyang, et al. FANet: Features adaptation network for 360°omnidirectional salient object detection[J]. IEEE Signal Processing Letters, 2020, 27: 1819–1823. doi: 10.1109/LSP.2020.3028192. [10] LIU Nian and HAN Junwei. DHSNet: Deep hierarchical saliency network for salient object detection[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 678–686. doi: 10.1109/CVPR.2016.80. [11] PANG Youwei, ZHAO Xiaoqi, ZHANG Lihe, et al. Multi-scale interactive network for salient object detection[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 9410–9419. doi: 10.1109/CVPR42600.2020.00943. [12] ZENG Yi, ZHANG Pingping, LIN Zhe, et al. Towards high-resolution salient object detection[C]. 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea (South), 2019: 7233–7242. doi: 10.1109/ICCV.2019.00733. [13] ZHANG Lu, DAI Ju, LU Huchuan, et al. A bi-directional message passing model for salient object detection[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 1741–1750. doi: 10.1109/CVPR.2018.00187. [14] FENG Mengyang, LU Huchuan, and DING E. Attentive feedback network for boundary-aware salient object detection[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 1623–1632. doi: 10.1109/CVPR.2019.00172. [15] WU Zhe, SU Li, and HUANG Qingming. Cascaded partial decoder for fast and accurate salient object detection[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 3902–3911. doi: 10.1109/CVPR.2019.00403. [16] MA Mingcan, XIA Changqun, and LI Jia. Pyramidal feature shrinking for salient object detection[C]. The 35th AAAI Conference on Artificial Intelligence, 2021: 2311–2318. doi: 10.1609/aaai.v35i3.16331. [17] QIN Xuebin, ZHANG Zichen, HUANG Chenyang, et al. U2-Net: Going deeper with nested U-structure for salient object detection[J]. Pattern Recognition, 2020, 106: 107404. doi: 10.1016/j.patcog.2020.107404. [18] PAN Chen, LIU Jianfeng, YAN Weiqi, et al. Salient object detection based on visual perceptual saturation and two-stream hybrid networks[J]. IEEE Transactions on Image Processing, 2021, 30: 4773–4787. doi: 10.1109/TIP.2021.3074796. [19] MA Guangxiao, LI Shuai, CHEN Chenglizhao, et al. Rethinking image salient object detection: Object-level semantic saliency reranking first, pixelwise saliency refinement later[J]. IEEE Transactions on Image Processing, 2021, 30: 4238–4252. doi: 10.1109/TIP.2021.3068649. [20] REN Guangyu, XIE Yanchu, DAI Tianhong, et al. Progressive multi-scale fusion network for RGB-D salient object detection[J]. arXiv: 2106.03941, 2022. doi: 10.48550/arXiv.2106.03941. [21] CHENG Mingming, MITRA N J, HUANG Xiaolei, et al. Global contrast based salient region detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 569–582. doi: 10.1109/TPAMI.2014.2345401. [22] LIU Qing, HONG Xiaopeng, ZOU Beiji, et al. Hierarchical contour closure-based holistic salient object detection[J]. IEEE Transactions on Image Processing, 2017, 26(9): 4537–4552. doi: 10.1109/TIP.2017.2703081. [23] ZHAO Rui, OUYANG Wanli, LI Hongsheng, et al. Saliency detection by multi-context deep learning[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 1265–1274. doi: 10.1109/CVPR.2015.7298731. [24] LIU Jiangjiang, HOU Qibin, CHENG Mingming, et al. A simple pooling-based design for real-time salient object detection[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 3912–3921. doi: 10.1109/CVPR.2019.00404. [25] WU Yuhuan, LIU Yun, ZHANG Le, et al. EDN: Salient object detection via extremely-downsampled network[J]. IEEE Transactions on Image Processing, 2022, 31: 3125–3136. doi: 10.1109/TIP.2022.3164550. [26] ZHAO Jiaxing, LIU Jiangjiang, FAN Dengping, et al. EGNet: Edge guidance network for salient object detection[C]. 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea (South), 2019: 8778–8787. doi: 10.1109/ICCV.2019.00887. [27] LV Yunqiu, LIU Bowen, ZHANG Jing, et al. Semi-supervised active salient object detection[J]. Pattern Recognition, 2022, 123: 108364. doi: 10.1016/j.patcog.2021.108364. [28] WANG Tiantian, BORJI A, ZHANG Lihe, et al. A stagewise refinement model for detecting salient objects in images[C]. 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 4039–4048. doi: 10.1109/ICCV.2017.433. [29] HOU Qibin, CHENG Mingming, HU Xiaowei, et al. Deeply supervised salient object detection with short connections[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 5300–5309. doi: 10.1109/CVPR.2017.563. [30] LIU Nian, HAN Junwei, and YANG M H. PiCANet: Learning pixel-wise contextual attention for saliency detection[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 3089–3098. doi: 10.1109/CVPR.2018.00326. [31] OUYANG Wentao, ZHANG Xiuwu, ZHAO Lei, et al. MiNet: Mixed interest network for cross-domain click-through rate prediction[C/Ol]. The 29th ACM International Conference on Information & Knowledge Management, 2020: 2669–2676. doi: 10.1145/3340531.3412728. [32] HUANG Tongwen, SHE Qingyun, WANG Zhiqiang, et al. GateNet: Gating-enhanced deep network for click-through rate prediction[J]. arXiv: 2007.03519, 2020. doi: 10.48550/arXiv.2007.03519. [33] ZHANG Yi, ZHANG Lu, HAMIDOUCHE W, et al. A fixation-based 360° benchmark dataset for salient object detection[C]. Proceedings of 2020 IEEE International Conference on Image Processing, Abu Dhabi, United Arab Emirates, 2020: 3458–3462. doi: 10.1109/ICIP40778.2020.9191158. [34] CONG Runmin, HUANG Ke, LEI Jianjun, et al. Multi-projection fusion and refinement network for salient object detection in 360° omnidirectional image[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35(7): 9495–9507. doi: 10.1109/TNNLS.2022.3233883. [35] CHEN Dongwen, QING Chunmei, XU Xiangmin, et al. SalBiNet360: Saliency prediction on 360° images with local-global bifurcated deep network[C]. 2020 IEEE Conference on Virtual Reality and 3D User Interfaces, Atlanta, USA, 2020: 92–100. doi: 10.1109/VR46266.2020.00027. [36] CHEN Gang, SHAO Feng, CHAI Xiongli, et al. Multi-stage salient object detection in 360° omnidirectional image using complementary object-level semantic information[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2024, 8(1): 776–789. doi: 10.1109/TETCI.2023.3259433. [37] ZHANG Yi, HAMIDOUCHE W, and DEFORGES O. Channel-spatial mutual attention network for 360° salient object detection[C]. The 2022 26th International Conference on Pattern Recognition, Montreal, Canada, 2022: 3436–3442. doi: 10.1109/ICPR56361.2022.9956354. [38] WU Junjie, XIA Changqun, YU Tianshu, et al. View-aware salient object detection for 360° omnidirectional image[J]. IEEE Transactions on Multimedia, 2023, 25: 6471–6484. doi: 10.1109/TMM.2022.3209015. [39] LIN Yuhan, SUN Han, LIU Ningzhong, et al. A lightweight multi-scale context network for salient object detection in optical remote sensing images[C]. The 2022 26th International Conference on Pattern Recognition, Montreal, Canada, 2022: 238–244. doi: 10.1109/ICPR56361.2022.9956350. [40] JIANG Yao, ZHANG Wenbo, FU Keren, et al. MEANet: Multi-modal edge-aware network for light field salient object detection[J]. Neurocomputing, 2022, 491: 78–90. doi: 10.1016/j.neucom.2022.03.056. [41] LI Gongyang, LIU Zhi, ZHANG Xinpeng, et al. Lightweight salient object detection in optical remote-sensing images via semantic matching and edge alignment[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5601111. doi: 10.1109/TGRS.2023.3235717. [42] LI Gongyang, LIU Zhi, BAI Zhen,et al. Lightweight Salient Object Detection in Optical Remote Sensing Images via Feature Correlation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60:5617712. doi: 10.1109/TGRS.2022.3145483. [43] FENG Dejun, CHEN Hongyu, LIU Suning, et al. Boundary-semantic collaborative guidance network with dual-stream feedback mechanism for salient object detection in optical remote sensing imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 4706317. doi: 10.1109/TGRS.2023.3332282. [44] LIN Yuhan, SUN Han, LIU Ningzhong, et al. Attention guided network for salient object detection in optical remote sensing images[C]. The 31st International Conference on Artificial Neural Networks, Bristol, UK, 2022: 25–36. doi: 10.1007/978-3-031-15919-0_3. [45] WANG Pengfei, ZHANG Chengquan, QI Fei, et al. PGNet: Real-time arbitrarily-shaped text spotting with point gathering network[C/OL]. The 35th AAAI Conference on Artificial Intelligence, 2021: 2782–2790. doi: 10.1609/aaai.v35i4.16383. [46] LI Gongyang, LIU Zhi, ZENG Dan, et al. Adjacent context coordination network for salient object detection in optical remote sensing images[J]. IEEE Transactions on Cybernetics, 2023, 53(1): 526–538. doi: 10.1109/TCYB.2022.3162945. [47] SONG Yue, TANG Hao, SEBE N, et al. Disentangle saliency detection into cascaded detail modeling and body filling[J]. ACM Transactions on Multimedia Computing, Communications and Applications, 2023, 19(1): 7. doi: 10.1145/3513134. [48] LIU Zhengyi, TAN Yacheng, HE Qian, et al. SwinNet: Swin transformer drives edge-aware RGB-D and RGB-T salient object detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(7): 4486–4497. doi: 10.1109/TCSVT.2021.3127149. [49] HUANG Mengke, LI Gongyang, LIU Zhi, et al. Lightweight distortion-aware network for salient object detection in omnidirectional images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 33(10): 6191–6197. doi: 10.1109/TCSVT.2023.3253685. 期刊类型引用(0)
其他类型引用(3)
-