Loading [MathJax]/jax/element/mml/optable/GeneralPunctuation.js
高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

类别数据流和特征空间双分离的类增量学习算法

云涛 潘泉 刘磊 白向龙 刘宏

冯琳琳, 张治中, 胡昊南, 裴二荣, 李云. 一种基于随机几何理论的RIS辅助PD-NOMA网络物理层安全增强方法[J]. 电子与信息学报, 2023, 45(10): 3631-3639. doi: 10.11999/JEIT221102
引用本文: 云涛, 潘泉, 刘磊, 白向龙, 刘宏. 类别数据流和特征空间双分离的类增量学习算法[J]. 电子与信息学报, 2024, 46(10): 3879-3889. doi: 10.11999/JEIT231064
FENG Linlin, ZHANG Zhizhong, HU Haonan, PEI Errong, LI Yun. An Approach of Enhancing the Physical Layer Security of RIS-assisted PD-NOMA Networks Based on Stochastic Geometry[J]. Journal of Electronics & Information Technology, 2023, 45(10): 3631-3639. doi: 10.11999/JEIT221102
Citation: YUN Tao, PAN Quan, LIU Lei, BAI Xianglong, LIU Hong. A Class Incremental Learning Algorithm with Dual Separation of Data Flow and Feature Space for Various Classes[J]. Journal of Electronics & Information Technology, 2024, 46(10): 3879-3889. doi: 10.11999/JEIT231064

类别数据流和特征空间双分离的类增量学习算法

doi: 10.11999/JEIT231064
基金项目: 国家自然科学基金重大项目(61790552)
详细信息
    作者简介:

    云涛:男,工程师,主要研究方向为雷达数据处理、深度学习

    潘泉:男,博士,教授,主要研究方向为信息融合理论及应用、目标跟踪与识别技术、光谱成像和图像处理

    刘磊:男,博士,副教授,主要研究方向为态势感知、雷达成像和雷达图像处理

    白向龙:男,博士生,主要研究方向为多目标跟踪和多源数据智能融合处理

    刘宏:男,博士,主要研究方向为图像处理

    通讯作者:

    潘泉 quanpan@nwpu.edu.cn

  • 中图分类号: TN911.7; TN959.1+7

A Class Incremental Learning Algorithm with Dual Separation of Data Flow and Feature Space for Various Classes

Funds: The Major Project of the National Natural Science Foundation of China (61790552)
  • 摘要: 针对类增量学习(CIL)中的灾难性遗忘问题,该文提出一种不同类的数据流和特征空间双分离的类增量学习算法。双分离(S2)算法在1次增量任务中包含2个阶段。第1个阶段通过分类损失、蒸馏损失和对比损失的综合约束训练网络。根据模块功能对各类的数据流进行分离,以增强新网络对新类别的识别能力。通过对比损失的约束,增大各类数据在特征空间中的距离,避免由于旧类样本的不完备性造成特征空间被新类侵蚀。第2个阶段对不均衡的数据集进行动态均衡采样,利用得到的均衡数据集对新网络进行动态微调。利用实测和仿真数据构建了一个飞机目标高分辨率距离像增量学习数据集,实验结果表明该算法相比其它几种对比算法在保持高可塑性的同时,具有更高的稳定性,综合性能更优。
  • 微动通常指目标在外力作用下产生的除主体径向运动之外的锥旋、摆动等小幅运动[1]。弹道目标在飞行中段往往会伴有诱饵,由于弹头和诱饵的质量分布不同,导致二者的进动周期和进动角之间存在差异。因此估计目标的微动参数成为导弹防御系统目标识别的重要思路。宽带雷达具有距离高分辨性能,对回波进行平动补偿后,目标在观测时间内会发生越距离单元徙动[2],表现为各散射中心在1维距离像序列上出现周期性变化,在高分辨距离像(HRRP)平面上得到与散射中心相对应的曲线,这为目标微动特征提取创造了条件。

    基于高分辨距离像序列的目标微动参数估计研究,近年来诸多文献都有所涉及。文献[3]通过分析各散射中心的距离像包络序列变化规律得到各散射中心相对参考点的微距变化,提出了锥柱体目标进动和结构参数联合估计方法;文献[4]分析了各散射中心1维距离像包络位置与参考中心距离变化规律,利用广义Hough变换检测估计各散射点微距曲线,进而实现了进动特征和结构特征的联合提取。然而以上方法仅通过距离像包络位置信息分析微距,测量精度受限于雷达带宽,仅可达到距离单元量级。利用宽带雷达目标回波的相位信息可有效提高测距精度,20世纪末期相位导出测距[5,6](PDR)技术被应用于导弹防御系统,该技术的关键是利用宽带信号的相位信息对目标的精细运动进行分辨和测距。文献[7,8]利用宽窄交替工作模式下的相参雷达的相位信息,通过相位测距技术获得各散射中心精确微动轨迹;文献[9]介绍了相位测距和测速的基本原理,并提出了一种在低信噪比下的相位测距的新方法。以上文献均通过仿真实验得到半波长量级的测距精度。

    本文提出了一种结合目标回波距离像序列包络信息和相位信息的微动参数估计方法,首先对进动锥体弹道目标回波距离像包络分段[10]并利用Keystone变换的方法对目标由于微动产生的微距离进行粗估计,利用粗估计结果确定散射点所在距离单元来提取该散射点回波信号的相位信息,利用相位测距原理得到半波长量级的高精度微距曲线。最后利用提取的微距信息完成进动目标运动及几何参数的精确估计。仿真结果表明本文算法较传统的基于宽带回波距离像包络信息提取微动的方法在估计的准确性上得到了明显提升,同时也验证了算法具有较好的抗噪性。该算法可广泛应用于弹道目标的参数估计、目标识别等实际任务中。

    宽带雷达弹道目标观测任务一般采用线性调频信号作为发射信号,对目标各散射中心回波进行解线性调频处理,并采用FFT消除包络斜置、残余视频项后,可以得到空间锥体目标高分辨距离像(HRRP)序列:

    S(r,tm)=i=p1,p2,p3Si(r,tm)=i=p1,p2,p3ˆσisinc(2Bc(rRi(tm)))exp(j4πRi(tm)/λ) (1)

    其中, σi 为某散射中心散射系数, B 表示信号带宽, λ 表示信号波长, c 表示光速, tm 为慢时间, Ri(tm) 表示第 i 个散射中心的微距离。目标HRRP序列中散射中心包络位置 Ri(tm) 变化的曲线一般被称为微距曲线[11]。微距曲线的频谱包含着目标微动频率信息,微距曲线上两散射点间的距离差包含着微动目标几何参数信息,故可利用微距曲线对目标参数进行估计。

    弹道目标进动模型如图1所示。 (x,y,z) 为雷达坐标系, (X,Y,Z) 为目标新姿态下的坐标系。其中 rLOS 为雷达视线,雷达视线俯仰角和方位角记为 (α,β) 。目标绕锥旋轴 OM 做角速度为 ωc 的锥旋运动,进动角为 θ 。如图2, H 为锥体高, r 为底面半径, d 为质心距锥顶的距离。锥体弹道目标通常认为只有3个点起作用,分别是图1中的 p1 , p2 , p3 。实际由于遮挡效应,目标的等效散射中心只有锥顶散射点 p1 和靠近雷达视线的锥底散射点 p2 [12]

    图 1  目标微动模型
    图 2  锥体目标模型

    各散射中心与雷达瞬时径向距离可用散射中心到雷达视线的投影计算:

    ri(t)=rLOS,Pi+R0=Yisinγ(t)+Zicosγ(t)+R0 (2)

    其中, γ 表示 t 时刻目标对称轴与雷达视线的夹角: cosγ=rLOS,Z ,根据推导:

    cosγ(t)=cosθcos(θ+α)+sinθsin(θ+α)cos(ωct+φ) (3)

    其中, φ 为初始相位。则各散射点到雷达瞬时距离曲线理论表达式为

    ri(t)=R0+Ri(t),i=1,2,3R1(t)=dcosγ(t)R2(t)=(Hd)cosγ(t)rsinγ(t)R3(t)=(Hd)cosγ(t)+rsinγ(t)} (4)

    其中, R0 表示目标质心到雷达的距离, R1(t) , R2(t) R3(t) 为各散射点的瞬时微距表达式。可见各散射点瞬时微距随着目标的进动而呈正弦规律变化,且其中包含着目标的运动和几何参数。本文正是在对微距曲线精确提取的基础上进行目标运动和几何特征的参数估计。

    弹道目标的HRRP序列中包含目标的包络位置与初始相位信息,目前传统的仅利用包络位置信息估计微距的方法测距精度可表示为: ρ1=c/2B ,由发射信号带宽决定,目前反导雷达系统的宽带工作发射信号带宽可到 1GHz 甚至 2GHz ,但相比米级或分米级目标而言测距精度仍然较低,无法精确反映目标微动;本文联合利用包络位置信息和相位信息估计目标微距,测距精度可表示为 ρ2=Δϕλ4π <2πλ4π=λ2 ,可达到小于半波长量级,微距曲线估计精度明显提高。本节首先依据HRRP包络位置进行微距曲线的粗提取,而后利用粗估计微距曲线结合回波相位信息或通过相位测距得精确度更高的微距曲线。下面对各核心步骤详细说明。

    由于在整个观测时间内估计瞬时微距比较困难,一般采用分段的方式将回波信号优化分段为若干长度较短的信号,并对各段信号依据HRRP包络位置进行微距曲线的粗提取[10]。对于每段短信号,原有呈曲线形式的距离-慢时间图线可近似为一段倾斜直线。原理如图3所示。本文利用均匀分段的方式对信号进行分段,即每段回波信号的数据长度相同且不能过长,需要根据利用自相关法和平均幅度差函数法[13]获得的先验进动周期 T 划分,由于正弦函数在短时间内可近似为线性函数,每段回波数据划分长度一般设置为 T/8 [14]。可以看出,在每个分段内,雷达回波都出现了线性距离徙动,对每段信号进行Keystone变换,将信号矫正成一条水平直线段,如图4,此直线段所在距离单元即为每段时间目标的初始距离。

    图 3  分段近似示意图
    图 4  Keystone后近似示意图

    经Keystone变换后,各分段内回波信号的包络“凝结”在各段初始时刻的距离,提取每段初始时刻距离点,再将其进行曲线拟合,即可得到估计微距曲线粗提取结果,此微距曲线的估计精度受限于雷达带宽。

    根据上一节得到的各散射点的粗估计微距曲线,找出各时刻该曲线所对应的距离单元,然后在距离-慢时间域的宽带回波信号中提取此距离单元所对应信号的相位 ϕ(tm) 。根据 Ri(tm)=ϕ(tm)λ4π 即可得到各时刻微距估计值。但应注意的是,本文所要利用的是相位真实值 ϕ(tm) ,但在实际处理中只能得到相位的主值 ψ(tm)[π,π] ,真实值与主值之间相差 2kπ ,需要利用相位解缠从缠绕相位中获得真实相位[15]

    本文利用最小二乘的方法实现相位解缠[16]。该方法通过求解一个等价的泊松方程,寻求解缠前后的相位微分之差最小来进行解缠,并且可以利用FFT来实现最小二乘,具有计算效率高,稳健性好的特点。

    最小二乘法解缠的数学模型可表示为

    min(J)=M2i=0N1j=0(ϕi+1,jϕi,jΔxi,j)2+M1i=0N2j=0(ϕi,j+1ϕi,jΔyi,j)2 (5)

    定义缠绕相位 ψi,j 对应解缠后的相位为 ϕi,j , (i,j) 表示相位点, M N 分别表示相位矩阵的行数和列数, Δxi,j Δyi,j 分别表示缠绕相位 ψi,j 在行方向和列方向的相位差,将 ϕi,j ψi,j 在2维平面内分别按照 i=M j=N 作镜像操作后得到扩展函数 ˜ϕi,j ˜ψi,j ,则等价的离散泊松方程可表示为

    (˜ϕi+1,j2˜ϕi,j+˜ϕi1,j)+(˜ϕi,j+12˜ϕi,j+˜ϕi,j1)=˜ρi,j (6)

    其中, ˜ρi,j=(Δxi,jΔxi1,j)+(Δyi,jΔyi,j1) ,表示缠绕相位 ψi,j 的2阶偏导数,对式(6)做2维傅里叶变换,得

    Φm,n=Pm,n2cos(πm/M)+2sin(πm/M)4 (7)

    其中, Φm,n Pm,n 分别是 ˜ϕi,j ˜ρi,j 的傅里叶变换, m n 为经傅里叶变换后的行和列。对 Φm,n 进行逆傅里叶变换即可得到 ˜ϕi,j ,解缠相位 ϕi,j 即为在 i=1,2,···,M,j=1,2,···,N 范围的 ˜ϕi,j 。根据各时刻相位真实值,利用式 R=ϕλ/4π 可得到各时刻距离,进而可得到各散射点更精确的估计微距曲线 ˆR(t)

    相位解缠是相位测距的关键,其对回波信号的信噪比有一定的要求。本部分将对其应用条件作出简要说明。如图5, n s 分别表示回波信号的噪声矢量和信号矢量, s+n 表示噪声污染后的回波信号矢量,信噪比可定义为

    SNR=10lg(|s|2|n|2) (8)

    根据图5几何关系可知,当被噪声污染后的信号矢量与以噪声幅度为半径的圆相切,即噪声矢量与被噪声污染后的信号矢量垂直时,实际估计信号相位与未污染信号相位误差 Δθ 最大,模拟测试和外场实验结果表明,估计精度要求相位误差最大值需满足式(9),后续实验也相对吻合[17]

    Δθ<π/8 (9)
    图 5  信号受噪声污染示意图

    在垂直的情况下,根据三角函数关系可得

    sinΔθ=|n||s|<sinπ8 (10)

    通过求解式(10)后再代入式(8),可得信噪比须满足 SNR>8.34 dB可保证有效进行相位解缠。仿真实验也验证了这一结论。

    由上节提取的微距曲线可知,目标微距形式上与目标几何参数及运动参数有直接关系。本节在获取目标高精度微距曲线基础上首先估计目标进动频率和进动角,然后结合弹道信息估计目标的几何参数,其优点在于不需要目标的先验结构信息(锥体母线长度、半锥角等)[11]

    对于进动目标而言,其微距曲线为正弦形式,频域为单频信息,频点位置由进动频率确定,且微距曲线幅度仅受进动角的影响,可对进动频率和进动角进行估计。

    (1)进动频率估计:对上一节估计所得的目标微距曲线 ˆR(t) 做FFT, F=FFT(ˆR(t)) , F 即代表微距曲线频谱,则目标进动频率估计值可表示为: ˆfc=max(F)

    (2)进动角估计:将估计得到的进动频率 ˆfc 作为已知信息,以进动角为参数进行以下搜索:

    ˆθ=argminθ(|F1FFT((R(t)/|R(t)|)|fc=ˆfc)|)

    (11)

    其中, ˆθ 表示目标进动角估计值, F1 表示理论曲线频谱。对微距曲线 ˆR(t) 进行归一化处理,排除了幅度信息中耦合的目标物理参数信息对估计的影响。为保证目标运动姿态的稳定,微动角度通常在 15 以内,所以搜索范围可设置较小,经过在可行域内的全局搜索即可得目标进动角 ˆθ

    获取目标微动参数估计值后,将这些值作为已知信息,利用微距曲线两散射中心的距离差估计目标几何参数[11]。由式(4)可知,可观测到的两散射中心间的距离在 rLOS 上的投影可表示为

    R21(t)=Hcosγ(t)rsinγ(t) (12)

    将式(3)代入式(12)可知当 cos(ωct+φ)=1 R21(t) 最大,记为 R21max ,当 cos(ωct+φ)=1 R21(t) 最小,记为 R21min ,利用这一条件即可估计初始相位 φ 。令 L 表示锥体母线长,则 L=r2+H2 , η 表示锥体半锥角, η=arctan(r/H) ,则 R21max R21min 可表示为

    R21max=Lcos(αθ+η)R21min=Lcos(α+θ+η)} (13)

    为书写方便,记 a11=R21max+R21min , a12=R21maxR21min 。经过推导,母线长可表示为

    L=a112cos(α+η)cosθ (14)

    可以看出,式中俯仰角 α 和进动角 θ 已知,只需估计出半锥角 η ,即可求得母线长度,进而可求得锥体高和底面半径。

    4.2.1   半锥角和母线长度估计

    式(12)可重新表示为

    R21(t)=Lcos(γ(t)+η) (15)

    将式(14)代入式(15),则 R21(t) 仅由 η 决定。将各时刻的 R21(t) 写成向量形式: R(η)=[R21(η|t0), R21(η|t1),···,R21(η|tN)] , ˜R 表示各时刻观测到的两散射中心在估计微距曲线序列中的距离差。令 F(η)=R(η)˜R ,则利用式(16)进行搜索可得半锥角 η 估计值。

    η=argminη (16)

    将半锥角的估计值代入式(14)即可得到母线长度估计值。

    4.2.2   锥体高度和底面半径估计

    根据得到的半锥角和母线长度,利用锥体目标几何性质可得锥高 H 和底面半径 r 可表示为

    \left. {\begin{array}{*{20}{c}} {H = L\cos \left( \eta \right)} \\ {r = L\sin \left( \eta \right)} \end{array}} \right\} (17)

    至此,通过利用回波相位信息得到的精确微距曲线完成了本文所述弹道目标的参数估计。为了更清楚地说明本文算法,具体流程图如图6所示。

    图 6  弹道目标参数估计流程图

    本实验所估计弹道目标形状如图2,主要目标参数如表1所示。雷达参数设置参照文献[11],主要雷达参数如表2所示。

    表 1  实验锥体目标参数
    参数 数值
    锥体高度 H 0.96 m
    质心到锥顶距离 d 0.64 m
    底面半径 r 0.25 m
    自旋频率 {f_s} 2 Hz
    锥旋频率 {f_z} 3 Hz
    摆动频率 {f_v} 0 Hz
    进动角 \alpha {10^ \circ }
    下载: 导出CSV 
    | 显示表格
    表 2  雷达系统的主要参数
    参数 数值
    载频 {f_0} 10 GHz
    带宽 B 2 GHz
    脉冲宽度 {t_p} 10 μs
    脉冲重复周期 {\rm{prf}} 1 kHz
    驻留时间 T\, 1 s
    下载: 导出CSV 
    | 显示表格

    首先,根据第2节的锥体弹道目标模型和微动参数设定,得到进动目标的HRRP序列如图7所示。然后,对距离-慢时间域的宽带回波进行分段处理并得到目标微距曲线粗提取结果后,利用本文方法进行回波信号相位的提取和解缠,得到更精确的微距估计曲线如图8所示。令 {F_e}\left( t \right) 表示瞬时微距曲线估计值, {F_r}\left( t \right) 表示瞬时微距曲线理论值,则以式(18)定义微距曲线估计正确率,对 {p_1} {p_2} 两次估计的微距曲线的正确率记录在表3中。

    A = \left( {1 - \frac{{\displaystyle\sum\limits_t {\left| {{F_r}\left( t \right) - {F_e}\left( t \right)} \right|} }}{{\displaystyle\sum\limits_t {\left| {{F_r}\left( t \right)} \right|} }}} \right) \times 100\% (18)
    图 7  进动目标的HRRP序列
    图 8  各散射点微距曲线
    表 3  微距曲线估计正确率(%)
    P1 P2
    粗估计微距曲线 93.87 89.77
    精确微距曲线 96.84 95.27
    下载: 导出CSV 
    | 显示表格

    图8可以看出,基于回波相位信息估计的微距曲线更接近于理论值,其误差基本上可以控制在小于半波长,并且表3也显示基于相位信息估计的微距曲线正确率更高。这都表明同时利用包络信息和相位信息估计目标微距的估计精度较仅利用包络位置信息估计微距的精度高。

    对所得的估计微距曲线进行傅里叶变换,即可得到目标进动频率 {f\!_c} = 3\;{\rm{Hz}} 。再利用式(11)进行搜索得到进动角的估计值。接着利用式(16)估计锥体半锥角 \eta ,由于 \eta 一般较小,搜索范围设定在[12°~20°]之间。经过搜索可以得到 \eta 的估计值,进而利用式(14),式(17)估计母线长度 L ,锥体高度 H 和底面半径 r ,利用本文中两次提取的微距曲线对各参数进行估计的结果如表4所示。若以式(19)定义估计误差:

    Q = \frac{{\left| {a - \bar a} \right|}}{a} \times 100{\rm{\% }} (19)

    其中, a \bar a 分别代表目标参数真实值与估计值,利用式(19)可得到两方法参数估计误差率如表5

    表 4  目标参数估计结果
    进动频率 {f\!_c} \left( {\rm Hz} \right) 进动角 \theta \left( {^ \circ } \right) 半锥角 \eta \left( {^ \circ } \right) 母线长度 L \left( {\rm m} \right) 锥体高度 H \left( {\rm m} \right) 底面半径 r \left( {\rm m} \right)
     真实值 3 10.00 14.5980 0.9920 0.9600 0.2500
     基于距离像包络参数估计 3 9.32 13.2000 1.0286 1.0014 0.2349
     基于距离像相位参数估计 3 10.30 14.5000 1.0061 0.9740 0.2519
    下载: 导出CSV 
    | 显示表格
    表 5  参数估计误差率(%)
    进动频率 {f\!_c} 进动角 \theta 半锥角 \eta 母线长度 L 锥体高度 H 底面半径 r
     基于距离像包络参数估计误差率 0 6.80 9.58 3.69 4.31 6.04
     基于距离像相位参数估计误差率 0 3.00 0.67 1.42 1.46 0.76
    下载: 导出CSV 
    | 显示表格

    实验结果表明,基于回波相位信息的微动参数估计误差基本在 3\% 以内,能较为准确地估计目标参数,而由于基于回波距离包络的微距曲线估计精确度不高,导致由该曲线估计所得微动参数估计误差偏大,说明微距曲线估计的正确与否直接影响后续的参数估计。

    为了验证本文方法的抗噪性,其他条件不变,在回波中加入SNR在[0~30 dB]之间变化的高斯白噪声。在不同信噪比的情况下,对本文中利用两次提取的微距曲线估计出的锥体高度和底面半径的估计误差率进行分析,结果如图9所示。

    由实验结果可以看出,当SNR较大时,参数估计值未出现太大波动,估计算法有较好的噪声稳定性;当 {\rm{SNR}} < 8\;{\rm{dB}} 时,估计精度明显下降。这也符合式(10)的推导,当信噪比较低时不能保证有效进行相位解缠,影响了参数估计精度。

    图 9  不同SNR估计误差率

    本文以宽带雷达作用在锥体弹道目标为模型,通过分析目标回波的高分辨距离像序列,将回波距离像包络位置信息和相位信息相结合来获得高精度微距曲线,进而根据微距曲线中包含的目标微动和几何参数信息实现目标参数的精确估计。实验结果表明该方法精确度较高且有良好的抗噪性。由于本文算法是通过分析两散射中心回波的高分辨距离像序列进行的,故信号带宽是限制本文算法有效性的一个重要因素,并且脉冲重复频率也会影响算法有效性。因此在后续工作中,将研究利用幅度相位估计(APES)算法来减小信号带宽对微动参数估计的限制。

  • 图  1  类增量学习示意图

    图  2  iCaRL类增量学习方法

    图  3  特征空间侵蚀与分离示意图

    图  4  双分离的类增量学习方法

    图  5  残差多尺度卷积模块

    图  6  主干网络

    图  7  不同算法识别准确率

    图  8  不同算法各类平均识别准确率

    图  9  软标签-嵌入损失权重系数消融实验结果

    图  10  对比损失权重消融实验结果

    图  11  投影头数量消融实验结果

    图  12  T4任务各类识别准确率(实验1)

    图  13  T4任务各类识别准确率(实验2)

    1  新类样本集的构建

     输入:任务{T_i}包含{N_{{\text{NC}}}}个类别的数据集{{\boldsymbol{D}}^i}
     输入:每个类别保存样本数m
     输入:主干网络 \text{CONV}(\cdot)
     1:  for j = 1,2, \cdots ,{N_{{\text{NC}}}}
     2:   样本嵌入均值 {{\boldsymbol{\mu }}_j} \leftarrow \frac{1}{{\left| {{{\boldsymbol{D}}_j}} \right|}}\sum\limits_{{\boldsymbol{x}} \in {{\boldsymbol{D}}_j}} {{\text{CONV}}({\boldsymbol{x}})}
     3:   for k = 1,2, \cdots ,m
     4:  {{\boldsymbol{z}}_{jk}} \leftarrow \mathop {\arg \min }\limits_{{\boldsymbol{x}} \in {{\boldsymbol{D}}^i}} \left\| {{{\boldsymbol{\mu }}_j} - \dfrac{1}{k}\left[ {{\text{CONV}}({\boldsymbol{x}}) + \displaystyle\sum\limits_{l = 1}^{k - 1} {{\text{CONV}}({{\boldsymbol{z}}_{il}})} } \right]} \right\|
     5:   end for
     6:   {{\boldsymbol{Z}}_j} \leftarrow \left( {{{\boldsymbol{z}}_{j1}},{{\boldsymbol{z}}_{j2}}, \cdots ,{{\boldsymbol{z}}_{jm}}} \right)
     7:  end for
     输出: {{\boldsymbol{Z}}^{{\text{NC}}}} \leftarrow {{\boldsymbol{Z}}_1} \cup {{\boldsymbol{Z}}_2} \cup \cdots \cup {{\boldsymbol{Z}}_{{N_{{\text{NC}}}}}}
    下载: 导出CSV

    2  S2未增量训练过程

     输入:新类数据集{{\boldsymbol{D}}^0}
     输入:每个类别保存样本数m
     输入:初始网络参数{\boldsymbol{W}}
     1:  {\boldsymbol{W}} \leftarrow \mathop {\arg \min }\limits_{\boldsymbol{W}} {\text{los}}{{\text{s}}_{{\text{cls}}}}({{\boldsymbol{D}}^0},{\boldsymbol{W}})
     2:  利用算法1挑选新类样本{{\boldsymbol{Z}}^{{\text{NC}}}} \leftarrow {{\boldsymbol{D}}^0}
     3:  回放数据集{{\boldsymbol{Z}}^0} \leftarrow {{\boldsymbol{Z}}^{{\text{NC}}}}
     输出:{\boldsymbol{W}}, {{\boldsymbol{Z}}^0}
    下载: 导出CSV

    3  S2增量训练过程

     输入:新类数据集{{\boldsymbol{D}}^i}
     输入:回放数据集{{\boldsymbol{Z}}^{i - 1}}
     输入:每个类别保存样本数m
     输入:当前网络参数{\boldsymbol{W}}
     1:  /*阶段1*/
     2:  for k = 1,2, \cdots ,{\text{epoc}}{{\text{h}}_{{\text{train}}}}
     3:   随机抽取一个批次的数据
        {{\boldsymbol{D}}_{{\text{batch}}}} = {\text{RandomSample}}\left( {{{\boldsymbol{D}}^i} \cup {{\boldsymbol{Z}}^{i - 1}}} \right)
     4:   新旧数据分流{\boldsymbol{D}}_{{\text{batch}}}^{\text{O}},{\boldsymbol{D}}_{{\text{batch}}}^{\text{N}} = {\text{separate}}({{\boldsymbol{D}}_{{\text{batch}}}}),
        \left( {{{\boldsymbol{x}}^{{\text{OC}}}},{y^{{\text{OC}}}}} \right) \in {\boldsymbol{D}}_{{\text{batch}}}^{\text{O}}, \left( {{{\boldsymbol{x}}^{{\text{AC}}}},{y^{{\text{AC}}}}} \right) \in {\boldsymbol{D}}_{{\text{batch}}}^{}
     5:   特征提取{{\boldsymbol{e}}^{{\text{ONOC}}}} = {\text{CON}}{{\text{V}}^{{\text{ON}}}}({{\boldsymbol{x}}^{{\text{OC}}}}),
         {{\boldsymbol{e}}^{{\text{NNOC}}}}{\text{ = CON}}{{\text{V}}^{{\text{NN}}}}({{\boldsymbol{x}}^{{\text{OC}}}}) , {{\boldsymbol{e}}^{{\text{NNAC}}}}{\text{ = CON}}{{\text{V}}^{{\text{NN}}}}({{\boldsymbol{x}}^{{\text{AC}}}})
     6:   计算嵌入蒸馏损失 {\text{los}}{{\text{s}}_{{\text{ED}}}}
     7:   分类器输出{{\boldsymbol{l}}^{{\text{ONOC}}}} = {\text{F}}{{\text{C}}^{{\text{ON}}}}({{\boldsymbol{e}}^{{\text{ONOC}}}}),
        {{\boldsymbol{l}}^{{\text{NNOC}}}} = {\text{F}}{{\text{C}}^{{\text{NN}}}}({{\boldsymbol{e}}^{{\text{NNOC}}}}), {{\boldsymbol{l}}^{{\text{NNAC}}}} = {\text{F}}{{\text{C}}^{{\text{NN}}}}({{\boldsymbol{e}}^{{\text{NNAC}}}})
     8:   计算软标签蒸馏损失 {\text{los}}{{\text{s}}_{{\text{LD}}}}
     9:   计算分类损失 {\text{los}}{{\text{s}}_{{\text{cls}}}}
     10:   投影 {{\boldsymbol{p}}^{{\text{NNAC}}}} = {\text{PROJECTION}}({{\boldsymbol{e}}^{{\text{NNAC}}}})
     11:   计算对比损失 {\text{los}}{{\text{s}}_{{\text{SCL}}}}
     12:   计算总损失 {\text{los}}{{\text{s}}_{{\text{total}}}}
     13:   利用 \nabla {\text{los}}{{\text{s}}_{{\text{total}}}} 更新{\boldsymbol{W}}
     14: end for
     15: /*阶段2*/
     16: for k = 1,2, \cdots ,{\text{epoc}}{{\text{h}}_{{\text{ft}}}}
     17: 均衡数据集{{\boldsymbol{D}}^{\text{B}}} \leftarrow {\text{BalanceSample(}}{{\boldsymbol{D}}^i},{{\boldsymbol{Z}}^{i - 1}}{\text{)}}
     18: 微调{\boldsymbol{W}} \leftarrow \mathop {\arg \min }\limits_{\boldsymbol{W}} {\text{los}}{{\text{s}}_{{\text{cls}}}}({{\boldsymbol{D}}^{\text{B}}},{\boldsymbol{W}})
     19: end for
     20: /*回放数据集管理*/
     21: 挑选旧类样本{{\boldsymbol{Z}}^{{\text{OC}}}} \leftarrow {{\boldsymbol{Z}}^{i - 1}}
     22: 利用算法1挑选新类样本{{\boldsymbol{Z}}^{{\text{NC}}}} \leftarrow {{\boldsymbol{D}}^i}
     23: 回放数据集{{\boldsymbol{Z}}^i} \leftarrow {{\boldsymbol{Z}}^{{\text{OC}}}} \cup {{\boldsymbol{Z}}^{{\text{NC}}}}
     输出:{\boldsymbol{W}}, {{\boldsymbol{Z}}^i}
    下载: 导出CSV

    表  1  飞机尺寸参数

    飞机型号机长(m)机宽(m)机高(m)多边形数量
    飞机128.7230.049.10166 338
    飞机217.5115.464.8469 446
    飞机36.8415.001.7464 606
    飞机412.587.603.33119 940
    飞机516.187.402.4451 736
    飞机67.939.013.09141 343
    飞机715.2813.024.99114 166
    飞机87.369.202.8976 851
    雅克4236.3834.889.83-
    奖状14.4015.904.57-
    安2623.8029.209.83-
    下载: 导出CSV

    表  2  算法部分参数

    参数名称取值
    主干网络RMsCNN
    迭代次数25
    初始学习率0.01
    学习率衰减余弦退火
    优化器SGD
    批大小256
    权重衰减0.000 2
    下载: 导出CSV

    表  3  模块消融实验结果

    序号 分类
    损失
    蒸馏
    损失
    数据流
    分离
    对比
    损失
    动态
    微调
    分类器 准确率
    (%)
    NME CNN
    1 97.88
    2 96.36
    3 95.33
    4 94.35
    5 91.94
    下载: 导出CSV
  • [1] ZHU Kai, ZHAI Wei, CAO Yang, et al. Self-sustaining representation expansion for non-exemplar class-incremental learning[C]. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, USA, 2022: 9286–9295. doi: 10.1109/CVPR52688.2022.00908.
    [2] LI Zhizhong and HOIEM D. Learning without forgetting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(12): 2935–2947. doi: 10.1109/TPAMI.2017.2773081.
    [3] DOUILLARD A, CORD M, OLLION C, et al. PODNet: Pooled outputs distillation for small-tasks incremental learning[C]. The 16th European Conference, Glasgow, UK, 2020: 86–102. doi: 10.1007/978-3-030-58565-5_6.
    [4] REBUFFI S A, KOLESNIKOV A, SPERL G, et al. iCaRL: Incremental classifier and representation learning[C]. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, Hawaii, USA, 2017: 2001–2010. doi: 10.1109/CVPR.2017.587.
    [5] 曲志昱, 李根, 邓志安. 基于知识蒸馏与注意力图的雷达信号识别方法[J]. 电子与信息学报, 2022, 44(9): 3170–3177. doi: 10.11999/JEIT210695.

    QU Zhiyu, LI Gen, and DENG Zhian. Radar signal recognition method based on knowledge distillation and attention map[J]. Journal of Electronics & Information Technology, 2022, 44(9): 3170–3177. doi: 10.11999/JEIT210695.
    [6] ISCEN A, ZHANG J, LAZEBNIK S, et al. Memory-efficient incremental learning through feature adaptation[C]. Proceedings of the 16th European Conference, Glasgow, UK, 2020: 699–715. doi: 10.1007/978-3-030-58517-4_41.
    [7] PELLEGRINI L, GRAFFIETI G, LOMONACO V, et al. Latent replay for real-time continual learning[C]. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems, Las Vegas, USA, 2020: 10203–10209. doi: 10.1109/IROS45743.2020.9341460.
    [8] YIN Hongxu, MOLCHANOV P, ALVAREZ J M, et al. Dreaming to distill: Data-free knowledge transfer via DeepInversion[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 8715–8724. doi: 10.1109/CVPR42600.2020.00874.
    [9] SHEN Gehui, ZHANG Song, CHEN Xiang, et al. Generative feature replay with orthogonal weight modification for continual learning[C]. 2021 International Joint Conference on Neural Networks, Shenzhen, China, 2021: 1–8. doi: 10.1109/IJCNN52387.2021.9534437.
    [10] WU Yue, CHEN Yinpeng, WANG Lijuan, et al. Large scale incremental learning[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 374–382. doi: 10.1109/CVPR.2019.00046.
    [11] LIU Yaoyao, SCHIELE B, and SUN Qianru. Adaptive aggregation networks for class-incremental learning[C]. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, USA, 2021: 2544–2553. doi: 10.1109/CVPR46437.2021.00257.
    [12] CHEN Long, WANG Fei, YANG Ruijing, et al. Representation learning from noisy user-tagged data for sentiment classification[J]. International Journal of Machine Learning and Cybernetics, 2022, 13(12): 3727–3742. doi: 10.1007/s13042-022-01622-7.
    [13] ZHOU Dawei, YE Hanjia, and ZHAN Dechuan. Co-transport for class-incremental learning[C]. The 29th ACM International Conference on Multimedia, Chengdu, China, 2021: 1645–1654. doi: 10.1145/3474085.3475306.
    [14] WANG Fuyun, ZHOU Dawei, YE Hanjia, et al. FOSTER: Feature boosting and compression for class-incremental learning[C]. The 17th European Conference on Computer Vision, Tel Aviv, Israel, 2022: 398–414. doi: 10.1007/978-3-031-19806-9_23.
    [15] ZHAO Bowen, XIAO Xi, GAN Guojun, et al. Maintaining discrimination and fairness in class incremental learning[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 13208–13217. doi: 10.1109/CVPR42600.2020.01322.
    [16] ZHOU Dawei, WANG Fuyun, YE Hanjia, et al. PyCIL: A python toolbox for class-incremental learning[J]. Science China Information Sciences, 2023, 66(9): 197101. doi: 10.1007/s11432-022-3600-y.
  • 期刊类型引用(0)

    其他类型引用(3)

  • 加载中
图(13) / 表(6)
计量
  • 文章访问数:  436
  • HTML全文浏览量:  261
  • PDF下载量:  116
  • 被引次数: 3
出版历程
  • 收稿日期:  2023-10-07
  • 修回日期:  2024-05-08
  • 网络出版日期:  2024-06-16
  • 刊出日期:  2024-10-30

目录

/

返回文章
返回