Target Drift Discriminative Network Based on Dual-template Siamese Structure in Long-term Tracking
-
摘要: 在长时视觉跟踪中,大部分目标丢失判定方法需要人为确定阈值,而最优阈值的选取通常较为困难,造成长时跟踪算法的泛化能力较弱。为此,该文提出一种无需人为选取阈值的目标漂移判定网络(DNet)。该网络采用Siamese结构,利用静态模板和动态模板共同判定跟踪结果是否丢失,其中,引入动态模板有效提高算法对目标外观变化的适应能力。为了对所提目标漂移判定网络进行训练,建立了样本丰富的数据集。为验证所提网络的有效性,将该网络与基础跟踪器和重检测模块相结合,构建了一个完整的长时跟踪算法。在UAV20L, LaSOT, VOT2018-LT和VOT2020-LT等经典的视觉跟踪数据集上进行了测试,实验结果表明,相比于基础跟踪器,在UAV20L数据集上,跟踪精度和成功率分别提升了10.4%和7.5%。Abstract: In long-term visual tracking, most of the target loss discriminative methods require artificially determined thresholds, and the selection of optimal thresholds is usually difficult, resulting in weak generalization ability of long-term tracking algorithms. A target drift Discriminative Network (DNet) that does not require artificially selected thresholds is proposed. The network adopts Siamese structure and uses both static and dynamic templates to determine whether the tracking results are lost or not. Among them, the introduction of dynamic templates effectively improves the algorithm’s ability to adapt to changes in target appearance. In order to train the proposed target drift discriminative network, a sample-rich dataset is established. To verify the effectiveness of the proposed network, a complete long-term tracking algorithm is constructed in this paper by combining this network with the base tracker and the re-detection module. It is tested on classical visual tracking datasets such as UAV20L, LaSOT, VOT2018-LT and VOT2020-LT. The experimental results show that compared with the base tracker, the tracking accuracy and success rate are improved by 10.4% and 7.5% on UAV20L dataset, respectively.
-
1. 引言
基于有耗周期单元的复合吸波超材料(CAM)通过单元阵列与金属背板产生的多谐振特性可获得宽带吸波性能,该材料具有轻、薄、易弯曲的特点,作为宽带雷达吸波材料,在军事隐身领域具有广泛的应用前景[1–4]。针对频率选择表面(FSS)及其复合吸波材料的主要分析方法有变分法、等效电路法(ECM)等近似分析方法和矩量法(MOM)、时域有限差分(FDTD)、有限元法(FEM)等全波分析方法[5–8]。其中全波分析方法可提供精确的S参量、电场及电流分布等信息,但消耗更多的计算成本。当前,由于全波仿真软件在处理复杂CAM结构和多层结构时更具优势,通过全波分析结果进行曲线拟合提取等效电路参数的方法成为主流,但该方法需要大量的仿真或实测数据作为支撑[9–11]。等效电路法通过分析CAM周期结构特点,利用LC等效电路模型获得其频率响应特性,能更直观地反映周期结构的物理特性,具有快速简洁的特点,对于FSS及其复合吸波材料的理论设计和性能分析具有重要的参考意义。等效电路模型建立的关键是谐振电路的组成和L, C参数的计算。
针对有耗周期单元材料的特性,文献[12–14]对宽带结构的方环吸波超材料进行了研究,分析了结构参数对RCS减缩性能的影响。文献[15,16]设计了六边形拓扑结构的吸波超材料,实现了多频段的吸波特性,同时具有较好的极化稳定性和入射角稳定性。本文针对一种具有宽带吸波特性的六边形环CAM的结构特点,建立了相应的等效电路分析模型,通过对六边形点阵分布的傅里叶分析,提出了等效分布周期参数,给出了基于模型尺寸的RLC参数提取方法。相比于基于全波仿真结果或实测数据来提取RLC参数的方法,本文方法无需先验数据,直观地体现了集总参数与CAM物理尺寸的关系。通过与HFSS仿真结果比较,验证了该ECM模型在多种六边形环CAM结构参数条件下的适用性和准确性。最后通过样品制作和测量,进一步验证了该模型的有效性。
2. 六边形环CAM分析模型
2.1 六边形环CAM结构及其ECM模型
六边形环CAM通过将损耗材料以一定距离置于金属板上实现宽带吸波效果,其结构如图1所示。在六边形环金属环每边加入贴片电阻,电阻值为
R ,空气层厚度为t2 。六边形环内接圆半径为d ,线宽为w ,环间距为g ,六边形环分布周期,即任意两环中心之间的距离为p ,六边形环印刷于相对介电常数为εr 的薄介质基板上,其厚度t1 。六边形环周期结构具有单谐振的频率选择特性,其传输特性可等效于一个串联RLC谐振电路[1,8],反射背腔等效成末端短路的一段传输线,建立六边形环CAM的等效电路模型,如图2所示。
L 为等效电感,C 为等效电容,其中集总电参数随入射波频率变化,Reff 为等效电阻,Y0 为自由空间特性导纳,Yin 为从FSS表面处看入的特性导纳。2.2 等效分布周期
文献[7]中提出了方环频率选择表面的LC参数的计算公式,但用该计算方法得到的ECM模型无法准确分析六边形环CAM。考虑到六边形环周期分布与方环周期的不同,其点阵分布更为密集交错,因此采用2维傅里叶变换的方法对两种点阵分布规律进行比较分析。
周期为
psq 的正方形点阵分布函数为nsq(x,y)=nsq(x+psqu,y+psqv)=∑u∑v[δ(x−psqu)+δ(y−psqv)] (1) 其中,
u ,v 为整数,则分布函数nsq(x,y) 的2维傅里叶级数展开如式(2)和式(3),其中s 为单个周期的正方形面积元。nsq(u,v)=1p2sq∑u∑vcuvexp(j2πuxp+j2πvyp) (2) cuv=∬sn(x,y)exp(−j2πuxp−j2πvyp)ds (3) 六边形环周期结构的点阵分布是周期为
phex 的正三角形点阵分布,其分布函数为nhex(x,y)=nhex(x+√32phexu′,y+12phexv′)=∑u′∑v′[δ(x−√32phexu′)+δ(y−12phexv′)] (4) 其中,
u′ ,v′ ,n 为整数,且u′+v′=2n 。其2维傅里叶级数展开如式(5)和式(6),其中s′ 为单个周期的正三角形面积元。nhex(x,y)=4√31p2hex∑u′∑v′cu′v′⋅exp(j2πu′x√3p+j2πv′yp) (5) cu′v′=∬s′nhex(x,y)exp(−j2πu′x√3p−j2πv′yp)ds′ (6)
根据式(2)和式(5),点阵分布函数可以表示成一个与周期有关的系数与周期级数和的乘积,比较式(2)和式(5)中求和级数之前的系数,提出等效分布周期参数
peff ,使得该系数具有相同的形式,并定义其值为1p2eff=4√31p2hex (7) peff=4√32phex=4√32p (8) 在相同的周期分布参数
psq=phex=p 的条件下,相比于方环分布周期,六边形环具有更小的等效周期分布特性。2.3 RLC参数计算
仿真分析垂直入射电磁波激励下,方环和六边形环CAM产生的分布电参数,其中面电流和相应的分布电感如图3(a)所示,电场和相应的分布电容如图3(b)所示,
E 为入射波电场方向。由于周期单元具有中心对称特性,其在不同电场方向的入射波所激励的分布电参数在数值上近似,仿真所设置的电场方向不失一般性。可以看出,入射波在六边形金属边上产生了更复杂的分布电参数,当入射电磁波的电场分量EL 平行于金属线时,在六边形周期结构上产生了等效电感L ,当入射电磁波的电场分量EC 垂直于金属线时,在六边形周期结构上产生了等效电容C 。六边形环周期结构的分布电容由于单元之间的更多接触而变得更为复杂,通过引入等效分布周期参数
peff ,得到适合六边形环CAM的RLC参数的计算方法。L=1Y0ωdpeffF(peff,w,λ) (9) C=Y0ω8dpeffεeffF(peff,g,λ) (10) Reff=Rpeffd (11) 其中,
F(p,w,λ)=pλcosθ[ln(cosecπw2p)+G(p,w,λ)] (12)
薄介质层的等效介电常数为[7]
εeff=εr+(εr−1)[−1expN(x)] (13) 考虑到金属环周期结构的影响,取
x=0.5 ,N=1.8 。入射波频率为f0 ,入射角为θ ,ω=2πf0 ,λ=c/f0 。G(p,w,λ) 为修正项,在p/λ≪1 时,该项可忽略[8]。YCAM=(jωL+1jωC+Reff)−1 (14) Yd=jY1(Y1tan(β2t2)−Y0cot(β1t1))Y1+Y0cot(β1t1)tan(β2t2) (15) Yin=YCAM+Yd (16) |Γ|2dB=20lg|Y0−YinY0+Yin| (17) 其中,
Y1=Y0√εr ,β1=2π/λ ,β2=2π√εr/λ 。当
Yin 的虚部为0时,复合吸波超材料具有谐振特性,其中Yd 的虚部和YCAM 的虚部随频率变化曲线如图4所示,通过调整周期单元的尺寸参数可实现对YCAM 的虚部的控制[12],采用参数优化方法使其值随频率递减并与Yd 的虚部相匹配,即可得到宽带特性的吸波超材料。3. 仿真结果比较
采用HFSS建立了基于Floquet端口的无限周期全波分析模型进行对比分析。设置六边形环CAM的主要尺寸参数值为
p =25.0 mm,d =11.5 mm,w =0.5 mm,εr =4.4,t1 =0.5 mm,t2 =20.0 mm,R =200 W。对其中六边形环周期、空气层厚度t2 和集总电阻值R 进行参数分析,计算不同尺寸参数条件下CAM的吸波性能。3.1 六边形环分布周期
p 六边形环周期分别为
p =24.0 mm, 26.0 mm, 28.0 mm,其反射系数的等效电路模型仿真结果与HFSS仿真结果比较如图5所示,ECM中等效电容电感见表1。等效电路模型可以有效地给出该类型吸波材料的谐振特性和–10 dB吸收频段,吸波频段内反射系数的最大误差小于0.05。模型中p 变大时,吸波频段向低频移动且带宽变窄,结果与HFSS仿真结果相吻合。在式(12)的等效计算中,当p/λ >0.1时,随着频率的升高,其等效LC参数的计算误差变大,G(p,w,λ) 函数修正效果下降。因而本文模型在频率小于4 GHz,即0.1<p/λ<0.4 时,具有较高精度。当p/λ>0.4 时,与全波仿真精度虽然存在一定误差,但仍能较好反映出材料的吸波特性变化规律,具有较好的适用性。表 1 不同六边形环周期p的ECM模型中等效电容电感p (mm) 等效电容 (pF) 等效电感 (μH) 24.0 0.50 6.6 26.0 0.28 6.8 28.0 0.19 7.0 3.2 空气层厚度
t2 空气层厚度分别为
t2 =18.0 mm, 20.0 mm, 22.0 mm,其反射系数的等效电路模型仿真结果与HFSS仿真结果比较如图6所示。上层周期结构的等效电容电感值不随t2 变化,其值分别为C =0.36 pF,L =6.7 μH,等效电路模型的仿真结果与HFSS仿真结果相吻合,随着空气层t2 的增加吸波段向低频偏移。3.3 电阻值
R 集总电阻值分别为
R =170 W、210 W、250 W,其反射系数的等效电路模型仿真结果与HFSS仿真结果比较如图7所示,ECM中周期结构的等效电容电感不随R 变化,等效电路模型的仿真结果与HFSS仿真结果相吻合。等效电阻计算忽略了插入电阻两端的寄生电容,当频率较高时,集总电阻中的寄生电容变大,使得该模型在频率大于4 GHz时误差变大。随着电阻值R 减小,吸波频段变宽,吸波性能降低。4. 样品加工和实测结果
根据仿真参数加工实物样品如图8所示。在尺寸为300 mm×286 mm的FR4介质基板上印刷有限周期的六边形环结构,其在
x 轴方向交错分布15个单元,在y 轴方向均匀分布13个单元。根据GJB 2038A-2011,通过测量垂直入射条件下,CAM与同等大小金属板的RCS比值来计算吸波材料的反射系数,实测中入射TE波电场沿x 轴方向。仿真结果与实测结果比较如图9所示,结果表明:实测结果与等效电路模型计算结果吻合较好,该材料在1.7~5.7 GHz频段实现了良好的宽带吸波特性,仿真结果和实测结果的差异可能是由周期截断带来的边沿效应产生。5. 结论
本文提出了一种针对六边形环复合吸波超材料吸波性能的等效电路分析方法。基于对六边形环CAM点阵分布特点的分析,提出了等效分布周期参数
peff ,并进一步给出基于模型尺寸的RLC参数提取方法和建立了相应的等效电路模型。该模型能实现对多种尺寸参数的六边形环CAM吸波性能的计算,并与HFSS仿真结果相吻合,对实现宽带雷达吸波材料的设计与优化具有参考意义。通过样品制作和测量,进一步验证了该模型的有效性,最后实现了一款宽带雷达吸波材料,其在1.7~5.7 GHz频段内具良好的宽带吸波特性。 -
表 1 在UAV20L上选取不同置信度阈值的跟踪结果精确率,最优结果使用粗体
阈值 0.70 0.75 0.80 0.85 0.90 精确率 0.829 0.848 0.842 0.841 0.836 表 2 训练数据划分
正样本 负样本 训练集 45352 53836 验证集 11338 13458 共计 56690 67294 1 长时视觉跟踪中基于双模板Siamese结构的目标漂移判定网络
输入:图像序列:I1,I2,···,In;初始目标位置:P0=(x0, y0, w, h) 输出:预估目标位置:Pn=( x0, y0, w, h)。 For i=2,3,···,n do: 步骤1 跟踪目标 根据上一帧中心位置裁剪出搜索区域Search Region; 提取基准模板和搜索区域的特征; 将经过模型预测器的模板特征与搜索区域特征进行互相关Corr操
作,得到结果响应图,即最高响应点位置是被跟踪目标的位置。步骤2基于双模板Siamese结构的目标漂移判定网络DNet 输入初始跟踪结果R、静态模板T1与动态模板T2; 经过4层卷积(Conv1~Conv4),并将浅层特征与深层特征相结
合,最终提取到特征t,t1,t2;对双模板特征t1和t2进行融合之后,得到特征x1,并与初始跟踪
结果t进行特征相减,得到特征x2;特征x2与初始跟踪结果t进行Addtion操作,得到最终特征x3; 将特征x3送入3层全连接(FC1~FC3)中降参数; 随后使用Softmax函数与Argmax函数得到最终结果0或1,即目
标丢失或未丢失;若判断目标未丢失,同时基础跟踪器中的置信度分数Fmax大于阈
值σ,则更新动态模板T2。步骤3 重检测模块 如果判定网络判断目标丢失同时置信度分数 Fmax小于0.3,则启
动重检测模块;将当前帧的整幅图像送入GlobalTrack算法中; 最后得到目标框,即为被跟踪目标。 表 3 在不同数据集下不同判定方法的阈值选取
UAV123 UAV20L LaSOT VOT2018-LT VOT2020-LT PSR 5 9 5 7 8 APCE 16 20 19 19 20 DNet – – – – – 表 4 在VOT2018-LT上的消融实验结果,最佳结果以加黑突出显示
DiMP50 MDNet PSR APCE&Fmax DNet&Fmax GlobalTrack F-score FPS √ √ √ 0.614 6.5 √ √ √ 0.627 21 √ √ √ 0.629 22 √ √ √ 0.630 20 表 5 在VOT2018-LT上不同算法的性能评估,第1和第2优的结果用粗体和斜体显示
FuCoLoT PTAVplus DaSiam_LT MBMD DiMP50 SPLT GlobalTrack TJLGS ELGLT 本文算法 F-score 0.480 0.481 0.607 0.610 0.588 0.616 0.555 0.586 0.638 0.630 Pr 0.539 0.595 0.627 0.634 0.564 0.633 0.503 0.649 0.669 0.643 Re 0.432 0.404 0.588 0.588 0.614 0.600 0.528 0.535 0.610 0.618 表 6 在VOT2020-LT上的性能评估,第1和第2优的结果用粗体和斜体显示
ltMDNet MBMD mbdet SPLT DiMP50 GlobalTrack SiamRN TJLGS STMTrack TACT ELGLT 本文算法 F-score 0.574 0.575 0.567 0.565 0.567 0.520 0.444 0.515 0.550 0.569 0.590 0.599 Pr 0.649 0.623 0.609 0.565 0.606 0.529 0.575 0.628 0.611 0.578 0.637 0.609 Re 0.514 0.534 0.530 0.544 0.533 0.512 0.361 0.437 0.500 0.561 0.550 0.590 -
[1] 周治国, 荆朝, 王秋伶, 等. 基于时空信息融合的无人艇水面目标检测跟踪[J]. 电子与信息学报, 2021, 43(6): 1698–1705. doi: 10.11999/JEIT200223.ZHOU Zhiguo, JING Zhao, WANG Qiuling, et al. Object detection and tracking of unmanned surface vehicles based on spatial-temporal information fusion[J]. Journal of Electronics & Information Technology, 2021, 43(6): 1698–1705. doi: 10.11999/JEIT200223. [2] MUELLER M, SMITH N, and GHANEM B. A benchmark and simulator for UAV tracking[C]. The 14th European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 445–461. Doi: 10.1007/978-3-319-46448-0_27. [3] FAN Heng, LIN Liting, YANG Fan, et al. LaSOT: A high-quality benchmark for large-scale single object tracking[C]. The 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 5369–5378. doi: 10.1109/CVPR.2019.00552. [4] LUKEŽIČ A, ZAJC L Č, VOJÍŘ T, et al. Now you see me: Evaluating performance in long-term visual tracking[EB/OL]. https://arxiv.org/abs/1804.07056, 2018. [5] KRISTAN M, LEONARDIS A, MATAS J, et al. The eighth visual object tracking VOT2020 challenge results[C]. European Conference on Computer Vision, Glasgow, UK, 2020: 547–601. doi: 10.1007/978-3-030-68238-5_39. [6] BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Francisco, USA, 2010: 2544–2550. doi: 10.1109/CVPR.2010.5539960. [7] WANG Mengmeng, LIU Yong, and HUANG Zeyi. Large margin object tracking with circulant feature maps[C]. The 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 4800–4808. doi: 10.1109/CVPR.2017.510. [8] LUKEŽIČ A, ZAJC L Č, VOJÍŘ T, et al. Fucolot–a fully-correlational long-term tracker[C]. 14th Asian Conference on Computer Vision, Perth, Australia, 2018: 595–611. doi: 10.1007/978-3-030-20890-5_38. [9] YAN Bin, ZHAO Haojie, WANG Dong, et al. 'Skimming-Perusal' tracking: A framework for real-time and robust long-term tracking[C]. The 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea (South), 2019: 2385–2393. doi: 10.1109/ICCV.2019.00247. [10] KRISTAN M, LEONARDIS A, MATAS J, et al. The sixth visual object tracking vot2018 challenge results[C]. The European Conference on Computer Vision (ECCV) Workshops, Munich, Germany, 2018: 3–53. doi: 10.1007/978-3-030-11009-3_1. [11] ZHANG Yunhua, WANG Dong, WANG Lijun, et al. Learning regression and verification networks for long-term visual tracking[EB/OL].https://arxiv.org/abs/1809.04320, 2018. [12] XUAN Shiyu, LI Shengyang, ZHAO Zifei, et al. Siamese networks with distractor-reduction method for long-term visual object tracking[J]. Pattern Recognition, 2021, 112: 107698. doi: 10.1016/j.patcog.2020.107698. [13] DAI Kenan, ZHANG Yunhua, WANG Dong, et al. High-performance long-term tracking with meta-updater[C]. The 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 6297–6306. doi: 10.1109/CVPR42600.2020.00633. [14] WU Yi, LIM J, and YANG M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834–1848. doi: 10.1109/TPAMI.2014.2388226. [15] BHAT G, DANELLJAN M, VAN GOOL L, et al. Learning discriminative model prediction for tracking[C]. The 2019 IEEE/CVF International Conference on Computer Vision, Seoul, Korea (South), 2019: 6181–6190. doi: 10.1109/ICCV.2019.00628. [16] HUANG Lianghua, ZHAO Xin, and HUANG Kaiqi. Globaltrack: A simple and strong baseline for long-term tracking[C]. The 34th AAAI Conference on Artificial Intelligence, New York, USA, 2020: 11037–11044. doi: 10.1609/aaai.v34i07.6758. [17] CHENG Siyuan, ZHONG Bineng, LI Guorong, et al. Learning to filter: Siamese relation network for robust tracking[C]. The 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, USA, 2021: 4419–4429. doi: 10.1109/CVPR46437.2021.00440. [18] CAO Ziang, FU Changhong, YE Junjie, et al. HiFT: Hierarchical feature transformer for aerial tracking[C]. The 2021 IEEE/CVF International Conference on Computer Vision, Montreal, Canada, 2021: 15457–15466. doi: 10.1109/ICCV48922.2021.01517. [19] CAO Ziang, HUANG Ziyuan, PAN Liang, et al. TCTrack: Temporal contexts for aerial tracking[C]. The 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, USA, 2022: 14778–14788. doi: 10.1109/CVPR52688.2022.01438. [20] FU Zhihong, LIU Qingjie, FU Zehua, et al. STMTrack: Template-free visual tracking with space-time memory networks[C]. The 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, USA, 2021: 13769–13778. doi: 10.1109/CVPR46437.2021.01356. [21] ZHAO Haojie, YAN Bin, WANG Dong, et al. Effective local and global search for fast long-term tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2023, 45(1): 460–474. doi: 10.1109/TPAMI.2022.3153645. [22] https://www.votchallenge.net/vot2019/results.html. 期刊类型引用(7)
1. 张聿远,闫文君,张立民. 基于多模态特征融合网络的空时分组码识别算法. 电子学报. 2023(02): 489-498 . 百度学术
2. 张聿远,闫文君,林冲,姚成柱. 利用卷积-循环神经网络的串行序列空时分组码识别方法. 信号处理. 2021(01): 19-27 . 百度学术
3. 张聿远,闫文君,张立民,张媛. 基于卷积神经网络的串行空时分组码盲识别算法. 系统工程与电子技术. 2021(11): 3360-3370 . 百度学术
4. 闫文君,张聿远,凌青,于柯远,谭凯文,刘恒燕. 基于频域互相关序列与峰值检测的空频分组码盲识别算法. 系统工程与电子技术. 2021(12): 3709-3715 . 百度学术
5. 张天骐,范聪聪,喻盛琪,赵健根. 基于JADE与特征提取的正交/非正交空时分组码盲识别. 系统工程与电子技术. 2020(04): 933-939 . 百度学术
6. 方伟,闫文君,凌青,张立民. 传输损耗条件下基于循环平稳检测的空时分组码盲识别方法. 计算机与现代化. 2018(02): 6-11 . 百度学术
7. 黄波,潘爽,李雪. 基于四阶循环平稳的STBC-OFDM信号盲识别. 信号处理. 2017(09): 1221-1229 . 百度学术
其他类型引用(1)
-