Few-Shot Class-Incremental SAR Image Target Recognition using Self-supervised Decoupled Dynamic Classifier
-
摘要: 为提升基于深度学习(DL)的合成孔径雷达自动目标识别(SAR ATR)系统在开放动态的非合作场景中对新类别目标的持续敏捷识别能力,该文研究了SAR ATR的小样本类增量学习(FSCIL)问题,并提出了自监督解耦动态分类器(SDDC)。针对FSCIL 中“灾难性遗忘”和“过拟合”本质难点和SAR ATR领域挑战,根据SAR图像目标信息的部件化与方位角敏感性特点,于图像域构建了基于散射部件混淆与旋转模块(SCMR)的自监督学习任务,以提升目标表征的泛化性与稳健性。同时,设计了类印记交叉熵(CI-CE)损失并以参数解耦学习(PDL)策略对模型动态微调,以对新旧知识平衡判别。实验在由MSTAR和SAR-AIRcraft-1.0数据集分别构建的覆盖多种目标类别、观测条件和成像平台的FSCIL场景上验证了该算法开放动态环境的适应能力。Abstract: To power Deep-Learning (DL) based Synthetic Aperture Radar Automatic Target Recognition (SAR ATR) systems with the capability of learning new-class targets incrementally and rapidly in openly dynamic non-cooperative situations, the problem of Few-Shot Class-Incremental Learning (FSCIL) of SAR ATR is researched and a Self-supervised Decoupled Dynamic Classifier (SDDC) is proposed. Considering solving both the intrinsic Catastrophic forgetting and Overfitting dilemma of the FSCIL and domain challenges of SAR ATR, a self-supervised learning task powered by Scattering Component Mixup and Rotation (SCMR) is designed to improve the model’s generalizability and stability for target representation, leveraged by the partiality and azimuth dependence of target information in SAR imagery. Meanwhile, a Class-Imprinting Cross-Entropy (CI-CE) and a Parameter Decoupled Learning (PDL) strategy are designed to fine-tune networks dynamically to identify old and new targets evenly. Experiments on various FSCIL scenarios constructed by the MSTAR and the SAR-AIRcraft-1.0 datasets covering diverse target categories, observing environments, and imaging payloads, verify the method’s adaptability to openly dynamic world.
-
1. 引言
合成孔径雷达(Synthetic Aperture Radar, SAR)具备对感兴趣目标全天时、全天候的观测能力,在军事和民用等诸多领域应用广泛[1–3]。SAR自动目标识别(SAR Automatic Target Recognition, SAR ATR)旨在对SAR图像中的感兴趣目标进行定位与识别,可为决策提供丰富信息指引,受到来自学术与工业界的广泛持续关注,且在当前深度学习(Deep Learning, DL)技术的推动下取得显著进步[4]。然而,这些基于DL的先进算法大多仅聚焦于理想封闭环境的目标识别,即假设测试样本与训练集类别一致且不随环境变化而改变。显然,这与开放动态的SAR ATR现实应用场景极不相称。在日益成熟的SAR成像技术条件下,新类别目标随高分辨率SAR影像的迅猛积累而持续涌现。特别地,受限于目标自身、周围环境以及成像平台等多种因素制约,目标在大多数非合作场景下的可观测样本极其有限,类判别性信息更加混淆。此外,受限于存储空间和计算资源、数据隐私和安全审计等制约,存储并反复访问敏感历史数据效率低下且不安全。因此,研究提升基于DL的SAR ATR算法从有限样本中对新类别的持续学习,即小样本类增量学习(Few-Shot Class-Incremental Learning, FSCIL)能力,是其对开放动态环境敏捷适应的关键。
然而,现有先进算法在解决FSCIL的SAR ATR问题时面临来自增量学习的灾难性遗忘(catastrophic forgetting)和来自小样本学习的过拟合(overfitting)两大核心挑战[5]。灾难性遗忘:指由于存储计算等资源和隐私安全等制约,导致历史类别监督信息缺失,算法在学习新知识时更易对旧知识产生遗忘,对其判别的“稳定性(stability)”降低。过拟合:指深度算法因其“可塑性(plasticity)”,在优化过程中极易对小样本目标弱迁移性特征过度学习,降低了对复杂场景同类目标判别的泛化性。因此,平衡算法对旧类别表征的稳定性和对新知识学习的可塑性是关键。特别地,由于SAR特殊的成像机制和目标方位角的多样性,解决SAR ATR中的FSCIL问题面临两大领域挑战。目标信息的有限性:相较于目标在光学影像中纹理结构清晰,判别性特征“所见即所得”,其在SAR影像中仅呈现为散射点的离散分布。特别地,小样本所提供的类判别性信息偏差较大且完备度低,严重制约了算法目标信息表征的泛化性与稳健性。目标类间混淆与类内多变:由于SAR特殊的成像机制和目标结构配置存在相似,异类目标在特定方位角下呈现出相近的散射拓扑,致使类间混淆度高。相反,由于目标的姿态敏感性,同类目标在方位角差异较大时所呈现的散射信息差异显著,致使类内信息不稳定。
针对以上难点挑战,本文提出了基于自监督解耦动态分类器(Self-supervised Decoupled Dynamic Classifier, SDDC)的FSCIL SAR ATR算法。结合SAR图像目标显著的部件性和方位角敏感性特点,设计了包含散射混淆操作(Scattering Mixup Operation, SMO)和散射旋转操作(Scattering Rotation Operation, SRO)的散射部件混淆与旋转模块(Scattering Component Mixup and Rotation, SCMR),并构建自监督学习任务,提升算法对目标表征的泛化性与稳定性。此外,设计了类印记交叉熵损失(Class-Imprinting Cross Entropy, CI-CE)并以参数解耦学习策略(Parameter Decoupled Learning, PDL)对模型微调优化,以平衡对新旧类别表征的“稳健性”与“可塑性”。实验在由MSTAR机载和SAR-AIRcraft-1.0星载场景数据所分别构建的MSTAR-FSCIL和SAR-AIRcraft-1.0-FSCIL数据集上验证了本算法开放动态环境目标识别的有效性和先进性。
2. 相关工作
2.1 SAR ATR
SAR ATR是SAR图像目标解译的基础任务,相关研究可分为基于模板[6]、基于模型[7]和基于机器学习[8]3种典型范式。基于模板的方法主要通过提取目标的几何纹理等特征,如灰度、长度、边缘等,并将其与预先构建的类模板进行相似性比较,实现类别判定。基于模型的方法以参数化模型对目标电磁散射特征进行建模,并以建模特征的相似性对比实现目标识别。基于机器学习,特别是基于DL的方法经大规模样本的迭代优化,可在复杂场景中对目标准确判别。区别于现有基于DL的算法大多针对理想封闭环境的目标识别,本文关注算法在开放动态环境中基于小样本对新类别的持续敏捷学习能力。
2.2 类增量学习
类增量学习[5]作为增量学习任务的一种,关注提升算法从数据流中对新类别的持续学习能力。灾难性遗忘是该问题面临的核心挑战。当前,基于数据回放的范式通过存储历史类别代表性样本以辅助历史知识的回溯与知识蒸馏,因其流程简单但性能优势显著,被广泛研究。典型地,增量分类器与表征学习框架 (incremental Classifier and Representation Learning, iCaRL)[9]以群聚策略对旧类别代表性样本进行选取并构建最近类均值分类器。再平衡的归一化分类器(Learning a Unified Classifier Incrementally via Rebalancing, LUCIR)[10]构建了余弦空间的分类器以解决类增量学习中的类别样本不平衡问题。区别于增量学习通常默认以足量新类别样本参与优化,针对现实SAR ATR场景,本研究更关注从小样本中对新知识的持续敏捷学习。
2.3 小样本类增量学习
小样本类增量学习(FSCIL)[11]旨在提升算法从有限样本中对新类别目标的持续学习能力。典型地,拓扑表征知识增量框架(TOpology-Preserving knowledge InCrementer, TOPIC)[11]首先对该问题进行了定义,并通过神经气体对旧知识语义结构进行保留。持续进化分类器 (Continually Evolved Classifier, CEC)[12]构建了持续进化的分类器并通过图注意力网络对类特征进行自适应调整。基于FSCIL与人脸识别任务的关联,角度损失增量分类器 (Angular Loss Incremental Classification, ALICE)[13]设计了角度惩罚损失并以多种数据扩增策略,以提升类特征空间的紧凑性而不失对目标的多样化表征。语义感知虚拟对比框架 (Semantic-Aware Virtual Contrastive, SAVC)[14]引入非监督学习框架并通过对虚拟类生成并学习。在SAR ATR领域,Wang等人[15]构建了层次嵌入增量进化网络 (Hierarchical Embedding and Incremental Evolutionary Network, HEIEN)。Zhao等人[16]基于余弦特征空间,设计了余弦原型学习框架 (Cosine Prototype Learning, CPL)。不同地,本文方法以目标域知识为牵引,从目标迁移性和判别性角度,设计了自监督学习策略以及损失函数、学习策略,来解决SAR ATR领域的FSCIL问题。
3. 方法介绍
3.1 问题定义
形式上,FSCIL假定目标样本以数据流{D1,D2,⋯,Dt}形式出现。Dt={(xi,yi)}Ni=1为第t个阶段包含目标样本xi与标签yi的数据。Ct为该阶段目标类别集,其数量为|Ct|。特别地,不同阶段新类别互不重叠,即∀j,k∈t,Cj∩Ck=∅。在基类学习阶段(t=1),D1包含大量训练样本。在增量学习阶段(t>1),Dt以小样本N-way,K-shot形式出现。预测时,算法需对至当前阶段所有类别C=∪ti=1Ci准确分类。
3.2 研究动机
区别于经典识别任务仅关注算法对已知固定类别的识别性能,迁移性和判别性是解决FSCIL的关键。其中,迁移性反映了算法对未知目标信息的敏捷捕获能力,判别性则代表其在微调更新后对同类目标的准确识别能力。由属性散射中心理论(Attribute Scattering Center, ASC),目标SAR图像信息可统一建模为多种基础结构部件的特定组合。因此,强化对多样化目标部件的敏捷表征是提升基于有限样本对新类别迁移表征与稳定判别的关键。
3.3 整体框架
基于此,本文设计了如图1所示的SDDC算法,其包含基类训练、增量类训练和测试3个阶段。
(1)在图1(a)的基类训练阶段,采用在合作场景预先获取的足量基类数据对特征提取器f1(x;ϕ)进行训练,以对SAR图像目标的泛化性知识学习表征。由目标散射信息的部件化与方位角敏感性特点,算法于图像域设计了SCMR的自监督学习任务,其以SMO的多类目标混淆和以SRO的单类目标旋转生成虚拟类别和相应标签并参与算法优化,提升其对目标多元化信息的泛化表征。
(2)在图1(b)增量类学习阶段,包含从Yt−1 + 1到Yt的新类别数据Dt以小样本的形式持续出现。算法设计了类印记-交叉熵(CI-CE)的损失函数,为新知识学习提供目标先验引导。此外,以参数解耦学习(Parameter Decoupled Learning, PDL)策略将f1(x;ϕ)解耦为静态特征提取f1(x;ϕ)与动态更新gt(;θ)两部分,从而获得对新旧类兼具良好表征的特征空间和参数化分类器,进一步平衡算法对旧知识表征的“稳定性”和对新知识的“可塑性”。
(3)在图1(c)测试阶段,算法可对至当前阶段的所见所有类别进行预测。具体而言,测试样本经参数固化的ft(x;ϕ)可提取其高维特征,而后经分类器映射可对其类别进行预测。
3.4 算法迁移性
本节对目标散射部件混淆与旋转(SCMR)所含的散射混淆与旋转操作分别介绍。
(1)散射混淆操作(SMO)。SAR图像反映了目标散射点的强弱、分布情况,是目标多元化散射结构、部件的综合性外化表征。由ASC理论和目标散射结构的部件化特点,设计了算法1所示的散射混淆操作(SMO),其核心在于将当前学习批次内不同类别的训练样本,按式(1)进行随机组合,以生成未知类别的图像域样本和对应的新类标签,并将其存储于Ssmo参与当前模型优化。在式(1)中,λ控制真实与虚拟类重叠性,其采样自Beta(⌢α,⌢α)分布并限制取值在0.4~0.6之间,以降低真实与虚拟类的混淆性,⌢α取值为2.0。特别地,对于包含|C1|类的基类数据D1,可生成共|C1|(|C1|−1)个虚拟类。相较于经典Mixup设计源自对经验风险最小化的缓解,SMO依托目标散射信息的部件化特点,通过对真实目标的图像进行混淆,以对未知类别的图像域信息进行模拟,潜在提升算法对目标多元化散射结构的捕获能力
表 1 散射混淆操作(SMO)处理过程输入:小批次基类训练样本 b={(xi,yi)}|Nb|i=1∈D1 初始化:混淆次数 R ,混淆样本存储列表Ssmo For r = 1 to R do 步骤1 采样随机顺序数据˜b={(˜xi,˜yi)}|Nb|i=1 步骤2 获取原始{yi}|Nb|i=1与随机顺序{˜yi}|Nb|i=1标签 步骤3 从b中选取b′={(x′i,y′i)},从˜b中选取
˜b′={(˜x′i,˜y′i)},满足y′j≠˜y′j,∀j∈|Nb|步骤4 根据式(1)从b′与 ˜b′中生成散射混淆样本集
⌢b={(⌢xi,⌢yi)}步骤5 将⌢b添加至Ssmo End for 输出:Ssmo ˆxj=λ˜x′j+(1−λ)x′j,λ∼Beta(⌢α,⌢α) (1) (2)散射旋转操作(SRO)。相较于光学影像中不同方位角目标纹理清晰结构一致(图2(a)第1行所示),目标在SAR图像中呈现显著的方位角敏感性与相位模糊性(如图2(a)第2行所示)。图2(b)和图2(c)分别绘制了0°,90°,180°方位角目标与同类0°~360°方位角目标的结构与特征相似性曲线。显然,当方位角相差近90°或180°时,曲线趋近波谷与波峰,样本间相似性显著波动,致使类内信息散度大。针对此, SRO在图像域将原始目标样本固定旋转90°与180°以生成目标虚拟角度样本,引入额外角度约束。通过对90°与180°的真实目标成像以及基于图像域旋转所生成的虚拟角度目标联合优化,以弱化算法多方位角目标信息感知的敏感性,提升类内信息的稳定性与一致性。
区别于传统自监督以无标签样本构建,SCMR通过对已知目标图像域样本进行混淆、旋转等操作,实现虚拟目标SAR图像的生成和标签的人工扩增,潜在对现实环境(下游任务)真实类别SAR图像进行模拟。算法经交叉熵损失对虚拟类和原始类优化,可得兼具对基类目标良好判别和对未知目标泛化表征的特征提取器f1(x;ϕ)。
3.5 算法判别性
(1)类印记交叉熵损失(CI-CE)。根据误差解耦理论,给定某个假设h(如模型算法),理想监督学习通过式(2)的最小化期望风险R(h)对数据分布p(x,y)进行表征
R(h)=∫l(h(x),y)dp(x,y)=E[l(h(x),y)] (2) 由于真实分布p(x,y)的不可知,通常以式(3)在特定数据集I上的经验风险RI(h)最小化对R(h)近似
RI(h)=1II∑il(h(xi),yi) (3) 假定:⌢h=argmin 为期望风险最小化的最优解,{h^ * } = \arg {\min _{h \in H}}R(h) 为在特定假设空间H中的期望风险最小化的最优解,{h_I} = \arg {\min _{{h_I} \in H}}{R_I}(h)为在特定假设空间H的经验风险最小化的最优解。由于\stackrel \frown{h} 的未知,且以经验风险来近似期望风险,因而整个监督学习误差可解耦表征为式(4)
\begin{split} {\mathrm{E}}[R({h_I}) - R(\stackrel \frown{h} )] = {\varepsilon _{{\text{app}}}} + {\varepsilon _{{\text{est}}}} =\,& {\mathrm{E}}[R({h^ * }) - R(\stackrel \frown{h} )] \\ & + {\mathrm{E}}[R({h_I}) - R({h^ * })] \end{split} (4) 其中,{\varepsilon _{{\text{app}}}}为在H中的期望风险 R({h^ * }) 与真实期望风险 R(\stackrel \frown{h} ) 的误差,其取决于H,{\varepsilon _{{\text{est}}}}为在H中经验风险 R({h_I}) 对期望风险 R({h^ * }) 的估计误差,其主要取决于数据规模I。图3直观地展示了小样本所带来的学习偏差问题。可以看出,基于足量样本的优化,传统监督学习可使H中的经验假设{h_I}逼近H中的理想假设{h^ * }(图3(a))。然而,类别小样本特性导致{h_I}与{h^ * }存在严重偏差(图3(b)),导致对新类别知识表征的不准确。此外,由于算法对新类别的过度迭代,其更易使历史特征空间发生扭曲,导致对新旧类别判别的严重失衡。
为提升算法对新知识的可塑性,构建了式(5)所示的类印记交叉熵损失(CI-CE)。相较于对当前阶段类参数{{\boldsymbol{w}}_c} \in {{\boldsymbol{W}}^t}随机初始化,算法直接以式(6)中由特征提取器 {f^t}({\boldsymbol{x}}_i^t;\phi ) 所得样本均值作为算法学习的起点(图3(c)橘红色三角),有效缩短了参数化节点与类内样本的距离,为算法的学习提供了明确的学习引导,降低了算法优化的难度和随机性,使算法经有限学习过程即可对新类泛化特征敏捷感知,避免了因过度迭代而对旧类特征空间的破坏,强化了对新旧类的判别平衡
\begin{split} & {L_{{\text{CI-CE}}}} = - \sum\limits_{i = 1}^{|{{\boldsymbol{D}}^{{t}}}|} {y_i^t{{\log }_2}p({\boldsymbol{x}}_i^t)} \\ & p({\boldsymbol{x}}_i^t) = \frac{{\exp ({{\boldsymbol{w}}_c}{f^t}({\boldsymbol{x}}_i^t;\phi ))}}{{\displaystyle\sum\limits_{ j =1}^{{N_c}} {{{\boldsymbol{w}}_j}{f^t}({\boldsymbol{x}}_i^t;\phi )} }} \end{split} (5) {{\boldsymbol{w}}_{{c}}} = \sum\limits_i {\mathbb{I}\left[ {y_i^t = c} \right]{f^t}({\boldsymbol{x}}_i^t;\phi )} ,{{\boldsymbol{w}}_{{c}}} \in {{\boldsymbol{W}}^{{t}}}(t > 1) (6) (2)参数解耦学习(PDL)。由于算法自底向上前向特征提取与自顶向下后向参数更新过程的全局性,模型参数耦合度高,优化过程 “牵一发而动全身”。然而,由于有限样本所含类判别性信息完备度低且稳健性差,其难以为算法参数空间优化提供准确的监督引导,制约了算法目标提取的泛化性和准确性。为此,设计了PDL对模型参数解耦,旨在缩小算法搜索空间,兼顾对新目标的敏捷学习和对类泛化特征的稳健表征,实现对新旧目标判别的平衡。基于CNN从局部到全局、从浅层纹理到高维语义,从泛化表征到专一判别的层次化学习属性,区别于以经典 “特征提取+分类头”的解耦形式(即固定特征提取器参数不变而对分类器进行任务性的调整更新),PDL根据式(7)将 {{\boldsymbol{f}}^t}({\boldsymbol{x}}_i^t;\phi ) 解耦为 {{\boldsymbol{f}}^1}({\boldsymbol{x}}_i^t;\phi ) 的静态特征提取与 {g^t}( \cdot ;\theta ) 的动态更新的级联,从而兼顾算法对目标信息的泛化表征和对判别性特征的敏捷适应
{f^t}({\boldsymbol{x}}_i^t;\phi ) = {h}({\boldsymbol{x}}_i^t;\phi ) \cdot {g^t}( \cdot ;\theta ) (7) 4. 实验与分析
4.1 数据集构建
实验基于由美国桑迪亚实验室发布的移动与静态目标获取与识别(Moving Stationary Target Acquisition and Recognition, MSTAR)数据集[17] 10类车辆目标数据集和由中国科学院2023年发布的SAR-AIRcarft-1.0[18]7类飞机目标数据集分别构建了覆盖不同类别、成像平台、环境背景的MSTAR-FSCIL和SAR-AIRcraft-1.0-FSCIL数据集,其构建过程如图4所示。通过对增量类数据重复T次采样,可得面向同一任务的多组FSCIL数据集,以获得算法统计性能。
(1)MSTAR-FSCIL数据集。实验随机选取了4类目标在17°俯仰角下方位角覆盖0°~360°的足量观测样本作为基类训练数据,其余17°俯仰角下的6类目标则用于算法的增量学习,并以目标在15°俯仰角的全方位角样本进行测试。表1和图5分别展示了所构建MSTAR-FSCIL数据集和目标SAR与光学影像对比图。
表 1 MSTAR-FSCIL数据集配置学习阶段 序号 类别 型号 训练集 测试集 基类 1 BTR70 c71 233 196 2 2S1 b01 299 274 3 BRDM2 E-71 298 274 4 BMP2 9563 233 196 增量类 5 ZIL131 E12 5 274 6 T62 A51 5 274 7 D7 13015 5 274 8 BTR60 7532 5 195 9 T72 132 5 196 10 ZSU234 d08 5 274 (2)SAR-AIRcarft-1.0-FSCIL数据集。实验选取了样本数较多的4类目标(Other, A220, Boeing787, Boeing737)作为基类训练数据,其余3类目标(A320, ARJ21, A300)则用于算法的增量学习。表2和图6分别展示了SAR-AIRcarft-1.0-FSCIL数据集目标类别与样本数配置情况和目标SAR与光学影像对比图。
表 2 SAR-AIRcraft-1.0-FSCIL数据集配置表学习阶段 序号 类别 训练集 测试集 基类 1 Other 2 000 200 2 A220 2 000 200 3 Boeing787 2 000 200 4 Boeing737 2 000 200 增量类 5 A320 5 200 6 ARJ21 5 200 7 A330 5 200 4.2 超参数设置
遵循原始FSCIL论文[17]设定,实验增量类数据每类包含5个随机方位角样本,并重复T{\text{ = 10}}次采样。基于ImageNet预训练的ResNet-18网络作为骨干网络。在基类学习阶段,以随机梯度下降优化器,设置初始学习率为1e–2,小批次数为32对算法共训练50个轮次,并在第30和40轮将学习率衰减为先前的0.1倍。在增量学习阶段,以初始学习率为1e–3对算法迭代60个轮次,并在第30轮将学习率衰减至1e–4。对比算法的超参数参考其原始论文并微调至最优性能。
4.3 评价指标
实验以准确率(Accuracy, Acc.),平均准确率(Average Accuracy, Avg.Acc),准确性下降率(Precision Drop, PD)对算法性能进行评价,其均以百分比(%)形式体现。其中,Acc.统计了算法每个学习阶段的目标分类性能。Avg.Acc为所有学习阶段准确率的平均值,反映了算法综合分类能力。PD以初始和最末学习阶段算法分类准确率的差值衡量了其对知识的遗忘程度。
4.4 结果与分析
4.4.1 模块与损失函数分析
本节基于MSTAR-FSCIL数据集探究了所提模块对算法性能的影响,其结果如表3所示。其中,Acc.Old 和Acc.New 分别计算了算法在所有学习阶段对旧类别和新类别的平均分类准确率。作为对比,以交叉熵基于{{\boldsymbol{D}}^1}对{{\boldsymbol{f}}^t}({\boldsymbol{x}}_i^t;\phi )优化并以最近邻分类器对目标进行判别的结果作为基线。
表 3 SDDC算法模块与损失贡献(%)迁移性 判别性 Avg.Acc Acc.Old Acc.New PD SMO SRO CI-CE PDL 75.26 78.87 49.02 41.50 √ 78.35 81.41 54.16 37.77 √ 77.79 81.27 52.24 35.29 √ √ 79.50 82.68 54.46 34.47 √ √ √ 73.30 72.62 79.12 55.83 √ √ √ 75.81 79.01 47.22 42.35 √ √ √ √ 81.73 83.37 66.70 31.61 (1)算法迁移性。表3前4行分别探究了SCMR中的SMO和SRO对算法性能的提升效果。总体而言,在SMO与SRO单独或联合作用下,算法相较基线算法在各项指标,特别是对新类别的识别性能有明显改善。
(a)SMO探究。基于目标SAR图像信息的部件化特性,SMO以在图像域对已知类别样本多次混淆以对未知类模拟,提升算法对未知目标的泛化表征能力。表3第2行中,算法在采用SMO后对新类别的分类准确率从49.02%提升至54.16% ,对旧类别也提升了2.54%。直观地,图7(a)和图7(b)分别展示了基类与虚拟类,基类与增量类的特征分布情况。可以看出,由SMO所构建的虚拟类与真实增量类在类内与类间特征分布方面具有较强的一致性,潜在表明了虚拟类对真实未知类目标的良好模拟。图7(c)和图7(d)分别展示了在应用SMO前后算法对基类和增量类的特征的映射情况。显然,在应用SMO后,算法所提类内特征的聚合度和类间特征的分离度均显著改善。
此外,图8(a)展示了算法对基类和增量类目标的梯度激活图。可以看出,采用SMO的算法对不同类目标多元化散射结构的关注度显著提升(如图8(a)红色框)。此外,算法采用SMO模块前后对不同类目标所提特征的非稀疏性和响应值分别如图8(b)和图8(c)中蓝色和橙色柱状图所示。可得, SMO显著改善了算法对目标多元化判别信息的感知能力。
(b)SRO探究。相较于SMO从散射部件化层面对算法迁移性的提升,SRO则从目标方位角敏感性角度强化了算法对方位角细节信息的提取能力,其贡献如表3第3行所示。可以看出,仅采用SRO对新旧类的分类准确率分别从49.02%提升至52.24%以及从78.87%提升至81.27%。在图9(a)和图9(b)中,采用SRO策略的算法较不采用SRO的算法对基类和增量类多方位角目标所提特征的归一化分值更高。在图9(c)中,算法采用SRO后对90°与180°方位角目标特征激活图有效改善,对目标关键区域信息的关注度更强此外,SRO显著提升了所提样本特征与其类特征的相似性并使其类内特征方差值显著降低(如图10(a)和图10(b)所示),验证了SRO对算法类内多方位角目标信息提取的一致性和稳健性。
(2)算法判别性。相较于SCMR提升算法对多元化信息的迁移表征, CI-CE和PDL则旨在强化算法基于小样本对新类的敏捷判别能力,其贡献如表3倒数后3行所示。总体而言,CI-CE与PDL对性能的提升是相互的,即仅当两者同时作用时可显著提升算法效能,如较仅采用SCMR的算法对新类别性能从54.46%提升至66.70%。
(a)CI-CE探究。所提CI-CE旨在利用类别知识先验来引导模型优化,提升对新类别的敏捷适应能力,其贡献如表3第5行所示。可以看出,结合SCMR与CI-CE的算法较仅采用SCMR的基线对新类别的分类性能显著提升,如从49.02% 提升至79.12%。进一步,图11(a)展示了在以CI-CE和仅交叉熵(CE)作用时,算法学习过程中对新旧类别识别准确率的变化曲线图。得益于CI-CE以类先验知识作为引导,算法更易捕获新类别目标的判别性特征,显著提升了初始阶段对新类别的判别能力(如红框棕色曲线所示),且有效缓解了因历史信息缺失导致对旧知识的灾难性遗忘(对比绿色与灰色曲线)。此外,不同类别特征的 {L}_{2} 归一化数值如图11(b)所示。对比红色与绿色曲线可得,算法基于CI-CE的类特征值较基于CE的值波动性更强,一定程度反映了基于CI-CE的类特征具有更强的各向异性,类间判别性更强。
(b)PDL探究。PDL对算法性能的提升如表3倒数第1, 3行所示。在引入PDL后,算法虽然弱化了对当前类的学习,但显著提升了对旧类的判别(如准确率从72.62%提升至83.37%),提升了整体分类能力。此外,在算法ResNet-18骨干网络不同残差块(Block)应用PDL时,算法对不同类别目标判别能力的变化如图12所示,其中ALL与FC分别代表更新或固定网络全部参数。图13 展示了在FC, Block{4}, ALL 3种条件下算法对基类不同方位角目标(图13前5列)和增量类目标(图13后两列)的特征激活图。可以看出,当仅对Block{4}更新时,算法对基类和增量类的关键特征具有良好的感知能力,表明了算法“稳定性”和 “可塑性”的良好平衡。
4.4.2 综合性能分析
实验在4.1节构建的MSTAR-FSCIL和SAR-AIRcraft-1.0-FSCIL数据集上对所提算法与任务特定的先进基准算法进行了对比,其结果与分析如下。
性能曲线对比:算法对不同数据集在不同学习阶段的性能曲线如图14(a)和图14(b)所示。得益于对目标在SAR图像中成像特性的关注,所提算法较对比基准在两个数据集上的所有学习阶段的性能曲线(图14中红色曲线)优势显著。这表明了所提算法针对不同成像平台(机载、星载),不同目标(车辆、飞机)以及不同场景中FSCIL任务的良好适应性。相反地,大多数对比算法仅在特定阶段、数据集上呈现出较强的优势,但随着类别数的持续增加和识别场景的改变,其性能显著波动。特别地,由于缺乏对旧知识遗忘的有限缓解,Ft-CNN在增量学习过程中性能显著降低。
混淆矩阵对比:算法在最终学习阶段对两个数据集中目标分类统计性结果的归一化混淆矩阵如图15(a)和图15(b)所示。观察可得,Ft-CNN的混淆矩阵严重偏向当前类别,Oracle作为离线学习算法虽然性能曲线优势显著,但由于基类和增量类样本的长尾分布特性,其混淆矩阵在小样本增量类区块亮度不足,表明了其对新知识有限的迁移性。此外,大多面向增量和FSCIL任务算法的混淆矩阵在非对角线区域均有一定高亮区块,反映了其对不同类判别能力的欠缺。然而,所提算法混淆矩阵在对角线区域更加明亮且在非对角线区域亮度均匀且更低,验证了其对不同类目标的良好区分性。
tSNE特征对比:所提算法与4.1.1节基线算法在不同学习阶段对MSTAR-FSCIL和SAR-AIRcraft-1.0-FSCIL数据集中不同类别目标的特征映射结果如图16、图17所示。可以看出,相较于基线算法对增量类特征的映射混叠严重,所提算法在不同学习阶段所提目标特征的类间更加分离和类内聚合度更高,表明了其对不同类目标的良好判别。
5. 结论
针对现实非合作SAR ATR应用场景对识别算法敏捷持续学习和判别能力的迫切需求,本文研究了面向SAR ATR的小样本类增量学习(FSCIL)问题,并提出了自监督解耦动态分类器(SDDC)。结合目标SAR图像的部件性和方位角敏感性特点,算法设计了基于散射部件混淆与旋转(SCMR)的自监督学习任务,类印记交叉熵(CI-CE)损失以及参数解耦学习(PDL)策略,以解决问题自身和领域特有挑战。实验在覆盖多种目标、成像平台、观测条件的MSTAR-FSCIL和SAR-AIRcraft-1.0-FSCIL数据集上验证了所提算法较现有先进算法的性能优势,进一步表明了算法开放动态环境SAR ATR的适应性和有效性。
-
1 散射混淆操作(SMO)处理过程
输入:小批次基类训练样本 {\boldsymbol{b}} = \{ ({{\boldsymbol{x}}_i},{y_i})\} _{i = 1}^{|{N_{{b}}}|} \in {{\boldsymbol{D}}^1} 初始化:混淆次数 R ,混淆样本存储列表{S_{{\text{smo}}}} For r = 1 to R do 步骤1 采样随机顺序数据{\boldsymbol{\tilde b}} = \{ ({{\boldsymbol{\tilde x}}_i},{\tilde y_i})\} _{i = 1}^{|{N_{{b}}}|} 步骤2 获取原始\{ {y_i}\} _{i = 1}^{|{N_{{b}}}|}与随机顺序\{ {\tilde y_i}\} _{i = 1}^{|{N_{{b}}}|}标签 步骤3 从{\boldsymbol{b}}中选取{\boldsymbol{b}}' = \{ ({{\boldsymbol{x}}'_i},{y'_i})\} ,从{\boldsymbol{\tilde b}}中选取
{\boldsymbol{\tilde b}}' = \{ ({{\boldsymbol{\tilde x}}'_i},{\tilde y'_i})\} ,满足{y'_j} \ne {\tilde y'_j},\forall j \in |{N_{{b}}}|步骤4 根据式(1)从{\boldsymbol{b}}'与 {\boldsymbol{\tilde b}}' 中生成散射混淆样本集
{{\stackrel \frown{{\boldsymbol{b}}} }} = \{ ({{{\stackrel \frown{{\boldsymbol{x}}} }}_i},{\stackrel \frown{y} _i})\}步骤5 将 {{\stackrel \frown{{\boldsymbol{b}}} }} 添加至{S_{{\text{smo}}}} End for 输出:{S_{{\text{smo}}}} 表 1 MSTAR-FSCIL数据集配置
学习阶段 序号 类别 型号 训练集 测试集 基类 1 BTR70 c71 233 196 2 2S1 b01 299 274 3 BRDM2 E-71 298 274 4 BMP2 9563 233 196 增量类 5 ZIL131 E12 5 274 6 T62 A51 5 274 7 D7 13015 5 274 8 BTR60 7532 5 195 9 T72 132 5 196 10 ZSU234 d08 5 274 表 2 SAR-AIRcraft-1.0-FSCIL数据集配置表
学习阶段 序号 类别 训练集 测试集 基类 1 Other 2 000 200 2 A220 2 000 200 3 Boeing787 2 000 200 4 Boeing737 2 000 200 增量类 5 A320 5 200 6 ARJ21 5 200 7 A330 5 200 表 3 SDDC算法模块与损失贡献(%)
迁移性 判别性 Avg.Acc Acc.Old Acc.New PD SMO SRO CI-CE PDL 75.26 78.87 49.02 41.50 √ 78.35 81.41 54.16 37.77 √ 77.79 81.27 52.24 35.29 √ √ 79.50 82.68 54.46 34.47 √ √ √ 73.30 72.62 79.12 55.83 √ √ √ 75.81 79.01 47.22 42.35 √ √ √ √ 81.73 83.37 66.70 31.61 -
[1] 张路, 廖明生, 董杰, 等. 基于时间序列InSAR分析的西部山区滑坡灾害隐患早期识别——以四川丹巴为例[J]. 武汉大学学报: 信息科学版, 2018, 43(12): 2039–2049. doi: 10.13203/j.whugis20180181.ZHANG Lu, LIAO Mingsheng, DONG Jie, et al. Early detection of landslide hazards in mountainous areas of West China using time series SAR interferometry-A case study of Danba, Sichuan[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 2039–2049. doi: 10.13203/j.whugis20180181. [2] 李永祯, 黄大通, 邢世其, 等. 合成孔径雷达干扰技术研究综述[J]. 雷达学报, 2020, 9(5): 753–764. doi: 10.12000/JR20087.LI Yongzhen, HUANG Datong, XING Shiqi, et al. A review of synthetic aperture radar jamming technique[J]. Journal of Radars, 2020, 9(5): 753–764. doi: 10.12000/JR20087. [3] 傅兴玉, 尤红建, 付琨. 基于邻域均方连续差分的SAR图像边缘提取算法[J]. 电子与信息学报, 2012, 34(5): 1030–1037. doi: 10.3724/SP.J.1146.2011.00920.FU Xingyu, YOU Hongjian, and FU Kun. An approach to extract edge in SAR image based on square successive difference of neighborhood averages[J]. Journal of Electronics & Information Technology, 2012, 34(5): 1030–1037. doi: 10.3724/SP.J.1146.2011.00920. [4] 罗汝, 赵凌君, 何奇山, 等. SAR图像飞机目标智能检测识别技术研究进展与展望[J]. 雷达学报, 2024, 13(2): 307–330. doi: 10.12000/JR23056.LUO Ru, ZHAO Lingjun, HE Qishan, et al. Intelligent technology for aircraft detection and recognition through SAR imagery: Advancements and prospects[J]. Journal of Radars, 2024, 13(2): 307–330. doi: 10.12000/JR23056. [5] 周大蔚, 汪福运, 叶翰嘉, 等. 基于深度学习的类别增量学习算法综述[J]. 计算机学报, 2023, 46(8): 1577–1605. doi: 10.11897/SP.J.1016.2023.01577.ZHOU Dawei, WANG Fuyun, YE Hanjia, et al. Deep learning for class-incremental learning: A survey[J]. Chinese Journal of Computers, 2023, 46(8): 1577–1605. doi: 10.11897/SP.J.1016.2023.01577. [6] 丁柏圆, 文贡坚, 余连生, 等. 属性散射中心匹配及其在SAR目标识别中的应用[J]. 雷达学报, 2017, 6(2): 157–166. doi: 10.12000/JR16104.DING Baiyuan, WEN Gongjian, YU Liansheng, et al. Matching of attributed scattering center and its application to synthetic aperture radar automatic target recognition[J]. Journal of Radars, 2017, 6(2): 157–166. doi: 10.12000/JR16104. [7] HUMMEL R. Model-based ATR using synthetic aperture radar[C]. The IEEE 2000 International Radar Conference, Alexandria, USA, 2000: 856–861. doi: 10.1109/RADAR.2000.851947. [8] CHEN Sizhe, WANG Haipeng, XU Feng, et al. Target classification using the deep convolutional networks for SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4806–4817. doi: 10.1109/TGRS.2016.2551720. [9] REBUFFI S A, KOLESNIKOV A, SPERL G, et al. iCaRL: Incremental classifier and representation learning[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 5533–5542. doi: 10.1109/CVPR.2017.587. [10] HOU Saihui, PAN Xinyu, LOY C C, et al. Learning a unified classifier incrementally via rebalancing[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 831–839. doi: 10.1109/CVPR.2019.00092. [11] TAO Xiaoyu, HONG Xiaopeng, CHANG Xinyuan, et al. Few-shot class-incremental learning[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 12180–12189. doi: 10.1109/cvpr42600.2020.01220. [12] ZHANG Chi, SONG Nan, LIN Guosheng, et al. Few-shot incremental learning with continually evolved classifiers[C]. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, USA, 2021: 12450–12459. doi: 10.1109/CVPR46437.2021.01227. [13] PENG Can, ZHAO Kun, WANG Tianren, et al. Few-shot class-incremental learning from an open-set perspective[C]. 17th European Conference on Computer Vision, Tel Aviv, Israel, 2022: 382–397. doi: 10.1007/978-3-031-19806-9_22. [14] SONG Zeyin, ZHAO Yifan, SHI Yujun, et al. Learning with fantasy: Semantic-aware virtual contrastive constraint for few-shot class-incremental learning[C]. 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Vancouver, Canada, 2023: 24183–24192. doi: 10.1109/CVPR52729.2023.02316. [15] WANG Li, YANG Xinyao, TAN Haoyue, et al. Few-shot class-incremental SAR target recognition based on hierarchical embedding and incremental evolutionary network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5204111. doi: 10.1109/TGRS.2023.3248040. [16] ZHAO Yan, ZHAO Lingjun, DING Ding, et al. Few-shot class-incremental SAR target recognition via cosine prototype learning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5212718. doi: 10.1109/TGRS.2023.3298016. [17] NOVAK L M, OWIRKA G J, BROWER W S, et al. The automatic target-recognition system in SAIP[J]. The Lincoln Laboratory Journal, 1997, 10(2): 187–202. [18] 王智睿, 康玉卓, 曾璇, 等. SAR-AIRcraft-1.0: 高分辨率SAR飞机检测识别数据集[J]. 雷达学报, 2023, 12(4): 906–922. doi: 10.12000/JR23043.WANG Zhirui, KANG Yuzhuo, ZENG Xuan, et al. SAR-AIRcraft-1.0: High-resolution SAR aircraft detection and recognition dataset[J]. Journal of Radars, 2023, 12(4): 906–922. doi: 10.12000/JR23043. -