面向遥感图像场景分类的双知识蒸馏模型

李大湘; 南艺璇; 刘颖

doi:10.11999/JEIT221017

面向遥感图像场景分类的双知识蒸馏模型

doi: 10.11999/JEIT221017

西安邮电大学通信与信息工程学院西安 710121

基金项目: 国家自然科学基金(62071379)，陕西省自然科学基金(2017KW-013), 西安邮电大学创新基金(CXJJYL2021055, YJGJ201902)

详细信息

作者简介:
李大湘：男，博士，副教授，研究方向为遥感图像分类、目标检测与跟踪、医学图像识别、多实例学习与深度学习等

南艺璇：女，硕士生，研究方向为遥感图像分类、图像分割、图像检索、机器学习与模式识别

刘颖：女，博士，高级工程师，研究方向为图像识别与机器学习等

通讯作者:
南艺璇　1010367243@qq.com

中图分类号: TN911.73; TP751
计量
- 文章访问数: 656
- HTML全文浏览量: 475
- PDF下载量: 128
- 被引次数: 0
出版历程
- 收稿日期: 2022-08-03
- 修回日期: 2023-01-15
- 网络出版日期: 2023-02-22
- 刊出日期: 2023-10-31

A Double Knowledge Distillation Model for Remote Sensing Image Scene Classification

School of Telecommunication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China

Funds: The National Natural Science Foundation of China (62071379), The Natural Science Foundation of Shaanxi Province (2017KW-013), The Innovation Foundation of Xi’an University of Posts and Telecommunications (CXJJYL2021055, YJGJ201902)

摘要

摘要: 为了提高轻型卷积神经网络(CNN)在遥感图像(RSI)场景分类任务中的精度，该文设计一个双注意力(DA)与空间结构(SS)相融合的双知识蒸馏(DKD)模型。首先，构造新的DA模块，将其嵌入到ResNet101与设计的轻型CNN，分别作为教师与学生网络；然后，构造DA蒸馏损失函数，将教师网络中的DA知识迁移到学生网络之中，从而增强其对RSI的局部特征提取能力；最后，构造SS蒸馏损失函数，将教师网络中的语义提取能力以空间结构的形式迁移到学生网络，以增强其对RSI的高层语义表示能力。基于两个标准数据集AID和NWPU-45的对比实验结果表明，在训练比例为20%的情况下，经知识蒸馏之后的学生网络性能分别提高了7.69%和7.39%，且在参量更少的情况下性能也优于其他方法。
- 遥感图像分类 /
- 知识蒸馏 /
- 双注意力 /
- 空间结构
Abstract: In order to improve the accuracy of light-weight Convolutional Neural Networks (CNN) in the classification task of Remote Sensing Images (RSI) scene, a Double Knowledge Distillation (DKD) model combined with Dual-Attention (DA) and Spatial Structure (SS) is designed in this paper. First, new DA and SS modules are constructed and introduced into ResNet101 and lightweight CNN designed as teacher and student networks respectively. Then, a DA distillation loss function is constructed to transfer DA knowledge from teacher network to student network, so as to enhance their ability to extract local features from RSI. Finally, constructing a SS distillation loss function, migrating the semantic extraction ability in the teacher network to the student network in the form of a spatial structure to enhance its ability to express the high -level semantics of the RSI. The experimental results based on two standard data sets AID and NWPU-45 show that the performance of the student network after knowledge distillation is improved by 7.57% and 7.28% respectively under the condition of 20% training proportion, and the performance is still better than other methods under the condition of fewer parameters.
- Remote sensing image classification /
- Knowledge distillation /
- Dual Attention (DA) /
- Spatial Structure (SS)

HTML全文

1. 引言

雷达截获接收机对雷达信号的有效检测是实现电子战胜利的重要一环，低信噪比下对非合作低截获概率(Low Probability of Intercept, LPI)雷达信号的检测具备极高的理论研究及应用价值^[1]。LPI雷达具有低峰值功率、大时宽带宽积、频率变化等出众优点，且多采用复杂信号调制方式，具有出色的隐蔽性以及抗干扰性，在非合作方式下，信道环境以及信号参数未知，使非合作方的雷达截获接收机难以感知和获取LPI雷达信号，以致传统信号检测的算法性能下降^[2]。国内外学者主要从能量检测法、时频特性分析法、循环平稳分析法、分数傅里叶变换等角度出发，探索有效检测LPI雷达信号问题的方式，取得了一定的研究成果。

能量检测法是在高斯白噪声背景下，在信号的时域或者频域进行能量的累计，当积累的能量大于设定的检测门限时认为信号存在，是一种无需信号先验信息的盲检测法，但当信噪比较低时，能量检测法检测效果一般。文献[3]提出了一种利用基于积分旋转因子的径向积分方法对LPI雷达信号时频图像进行信号检测，随着信噪比的降低，该方法对COSTAS频率编码信号的检测能力下降极为明显。文献[4]基于分段相干的思想采用变窗长相干平均法提高信噪比的增益，然后利用循环平稳法完成对线性调频连续波信号的检测，但该方法需要对信号进行长时间积累。文献[5-8]利用分数阶傅里叶变换抗噪性能好、对线性调频类信号具有最优检测性能的优点，实现了对线性调频信号(Linear Frequency Modulation, LFM)的检测以及多信号分量的有效分离，但是分数阶傅里叶变换需要2维搜索来求取最大值，只适应于线性调频类信号的检测。文献[9]研究了短波信道下跳频信号的检测，采用主分量分析与信道化处理来滤除噪声和干扰，最终提取特征统计量，此方法属于非盲检测，须预先已知跳频信号的频率集或跳速。以上方法缺乏对不同调制信号的泛化能力，在实际的战场环境下应用受限。

近年来，深度学习由于其高效的计算能力被广泛应用于雷达信号调制方式识别等领域，为研究深度学习方法在信号检测领域的应用提供了新思路，文献[10]使用了改进的GoogLeNet和AlexNet网络对经过短时傅里叶变换的时频谱图进行训练，低信噪比下可以对多种LPI雷达信号进行检测和识别，但该方法的运算量依然十分庞大。文献[11-13]中神经网络的输入形式大多数为图像，经过处理以图像形式表达的回波信号，虽然更适合人观察理解，但是也难免会丢失一些雷达信号本身更适合用深度学习网络结构提取和理解的特征。针对时频图像在预处理中特征保留不足问题，本文采用1维时域信号作为输入，可保留更多的可提取特征^[14]。文献[15]根据奈曼皮尔逊检测准则，分析了似然比检测方法，在K分布海杂波背景下设计了基于最大特征值的雷达信号检测算法，为本文提供了新思路。

本文从似然比检测方法的角度进行分析，提出了一种基于卷积神经网络(Convolutional Neural Networks, CNN)的LPI雷达信号检测方法，充分利用了卷积核与匹配滤波器(Matched Filter, MF)具有结构上的相似性的这一特性，将CNN引入雷达截获系统中，提高LPI雷达信号检测准确率。不同于传统匹配滤波器的构建是基于雷达方已知信号的，本文主要针对侦查接收情况下对非合作方的LPI雷达信号进行检测，利用多层卷积层构建同对不同调制信号具有一定泛化能力的卷积滤波器，完成对信号能量的积累，实现信号检测。卷积核的权值共享网络结构降低了网络模型的复杂度，同时具有高效的提取特征的能力，在一定程度上基于大数据的深度学习方法已经远远超越了传统的信号检测方法。

2. 信号的统计检测

设定雷达接收信号处于高斯白噪声环境下，截获的信号表示为

$x(t) = s(t) + n(t)$

(1)

考虑一个雷达信号检测系统，在时间间隔(0,T)内，在二元信号的情况下，接收信号 $x\left(t\right)$ 的两种假设表示为

$\left. \begin{split} & {{H_0}:x(t) = n(t),\qquad\ \ \, 0 \le t \le T} \\ & {{H_1}:x(t) = s(t) + n(t),0 \le t \le T} \end{split}\right\}$

(2)

其中， $s\left(t\right)$ 为感兴趣的信号，噪声 $n\left(t\right)$ 为功率谱密度为 ${N_0}/2$ 的零均值平稳加性白噪声。在假设 ${H_j}(j = 0,1)$ 为真的条件下，观测量 $(x(t){\rm{|}}{H_j})$ 的概率密度函数为 $p(x(t){\rm{|}}{H_j})$ ，则似然比检测判决式为

$\lambda [x(t)]\mathop = \limits^{{\rm{def}}} \frac{{p\left( {x(t)|{H_1}} \right)}}{{p\left( {x(t)|{H_0}} \right)}}\mathop \gtrless \limits_{{H_0}}^{{H_1}} \frac{{P({H_0})({c_{10}} - {c_{00}})}}{{P({H_1})({c_{01}} - {c_{11}})}} = \eta$

(3)

${c_{ij}}(i,j = 0,1)$ 是代价因子， $\lambda [x(t)]$ 为似然比， $\eta$ 为似然比门限，取决于所选用的最佳准则。

若输入的信号 $s\left(t\right)$ 是能量为 ${E}_{s}$ ，幅度、频率相位等各个参数均已知的确知信号，匹配滤波器是最大信噪比准则下的最佳线性滤波器。根据匹配滤波器原理，滤波器的脉冲响应为 $h\left(t\right)$ ，系统函数为 $H\left(\omega \right)$ ，公式为

$\left. \begin{split} & H(\omega ) = {S^*}(\omega ){{\rm{e}}^{ - {\rm{j}}\omega {t_0}}} \\ & h(t) = s({t_0} - t) \end{split} \right\}$

(4)

${\rm{SN}}{{\rm{R}}_{\rm{0}}} = 2{E_s}/{N_0}$ ，此时输出信噪比最大。判决表达式(4)可以表示为

$\ln \lambda [x(t)] = \frac{2}{{{N_0}}}\int\limits_0^T {x(t)s(t)} {\rm{d}}t - \frac{{{E_s}}}{{{N_0}}}\mathop \gtrless \limits_{{H_0}}^{{H_1}} \ln \eta$

(5)

最终判决表达式为

$l[x(t)]\mathop = \limits^{{\rm{def}}} \int\limits_0^T {x(t)s(t)}{\rm{d}}t \mathop \gtrless \limits_{{H_0}}^{{H_1}} \frac{{{N_0}}}{2}\ln \eta + \frac{{{E_s}}}{2}\mathop = \limits^{{\rm{def}}} \gamma$

(6)

利用匹配滤波器构造式(6)的检测系统，结构如图1所示。

图 1 匹配滤波器检测系统结构

下载: 全尺寸图片幻灯片

匹配滤波器能够使接收确知信号的输出信噪比最大，此时信号有效脉宽的长度也决定了输出信号能量的大小，可以通过判决门限实现对信号有无的检测，本文中以信号有效脉宽的长度来定义是否存在信号。匹配滤波器对振幅和时延参量不同的信号具有适应性，但对频移信号不具有适应性，所以无法实现对非合作方的LPI雷达信号进行有效检测。

若雷达截获接收机获得的是非合作LPI雷达信号，式(1)中 $s(t)$ 表示为 $A\cos (\phi (t))$ , $\phi (t)$ 为雷达信号的瞬时相位，因此接收信号 $x(t)$ 除噪声 $n(t)$ 外仍含有其他未知参量，这种参量信号检测在统计学中属于复合假设检验。考虑一个雷达截获系统中，在时间间隔(0, T)内，高斯白噪声中二元信号的两种假设为

$\left. \begin{aligned} & {{H_0}:x(t) = n(t),\qquad\quad\ \ \, 0 \le t \le T} \\ & {{H_1}:x(t) = s(t;{\boldsymbol{\theta}} ) + n(t),0 \le t \le T} \end{aligned} \right\}$

(7)

${H}_{0}$ 是简单假设检验， ${H}_{1}$ 是复合假设检验， ${\boldsymbol{\theta}}$ 表示与假设 ${H}_{1}$ 有关的随机(未知)参量，那么式(3)的似然比检测判决式可以表示为

$\lambda [x(t)|{\boldsymbol{\theta}} ]\mathop = \limits^{{\rm{def}}} \frac{{\displaystyle\int\limits_{({\boldsymbol{\theta}} )} {p\left( {x(t)|{\boldsymbol{\theta}} ;{H_1}} \right)} p({\boldsymbol{\theta}} ){\rm{d}}{\boldsymbol{\theta}} }}{{p\left( {x(t)|{H_0}} \right)}}\mathop \gtrless \limits_{{H_0}}^{{H_1}} {\lambda _0}$

(8)

在如式(8)所示的信号检测系统中， $p(x(t)|{\boldsymbol{\theta}} ;{H_1})$ 是以随机参量 ${\boldsymbol{\theta}}$ 为条件的概率密度函数。当代价因子满足 ${c_{10}} - {c_{00}} = {c_{01}} - {c_{11}}$ 时，得到最大后验概率准则，式(3)可以表示为

$P({H_1}|x(t))\mathop \gtrless \limits_{{H_0}}^{{H_1}} P({H_0}|x(t))$

(9)

但是当 ${\boldsymbol{\theta}}$ 包含带宽、载频、脉宽、到达时间等多个随机参量时， $p(x(t)|{\boldsymbol{\theta}} ;{H_1})$ 和先验概率密度函数 $p({\boldsymbol{\theta}} )$ 未知，大量的随机参量使得较难给出精确的匹配滤波器。为了实现式(9)所示的判决功能，在低信噪比下仍具有较高的准确率，利用CNN设计一个信号检测模型，利用卷积核与匹配滤波器结构上的相似性，通过对大量模拟数据的学习提取信号特征，直接得到观测量的后验概率 $P({H_j}|x(t))$ $(j = 0,1)$ ，对两个概率的比较得到判别结果，实现对LPI雷达信号的有效检测。

3. 卷积神经网络模型对LPI雷达信号的检测

雷达截获接收机在噪声中检测是否有信号，属于二元信号波形的检测，本质就是二分类问题。分类问题属于监督学习，若训练数据集为 $T = \{ ({x_1},{y_1}),$ $({x_2},{y_2}), \cdots ,({x_N},{y_N})\}$ ，学习系统由训练数据集学习一个分类器 $y = f(x)$ 可对 ${x_{N + 1}}$ 进行分类，预测其输出类别 ${y_{N + 1}}$ (0或1)。通过仿真数据对CNN的训练，模型中各层权重参数完成对信号的某些先验信息的提取，实现信号检测，主要利用卷积核与匹配滤波器结构上的相似性，利用不同卷积层的多个卷积核权重构造对不同参数的 $s(t;{\boldsymbol{\theta}} )$ 具有泛化能力的卷积滤波器。同时卷积核的局部感受野和权值共享结构减少了权值个数，降低了网络模型的复杂度，加快了计算速度，降低了过拟合的风险，这使得CNN具有更高效的提取信号特征的能力。

网络结构包含输入层、卷积层、池化层、全连接层、输出层；通过卷积层提取预处理过的信号数据的特征；通过稠密层激活函数计算各神经元的权重；通过池化层降维提取特征的关键信息；通过全连接层对提取的特征进行组合以得到输出，神经网络优化过程包括前向传播、反向传播。首先通过前向传播算法获得预测值，计算预测值和真实值的误差，然后通过反向传播算法计算损失函数对每一个参数的梯度，经过多次迭代训练，根据梯度和学习率调整CNN模型的各神经元的权重，保存模型。本文采用8层中间网络结构：3个交替出现的CNN层组(包括卷积层和池化层)和全连接层，网络结构如图2所示。

图 2 基于CNN的LPI信号检测网络基本结构示意图

下载: 全尺寸图片幻灯片

卷积输出权重计算如下：第1个卷积层对输出层组合后的信号进行卷积运算，增加一个偏置项后，再经过一个非线性函数得到该卷积层的输出，第1个卷积层卷积运算和输出可以表示为

${c^1}(1,j) = \sigma \left( {\sum\limits_m {\sum\limits_n x } (i + m,j + n)w_c^1(m,n) + w_b^1} \right)$

(10)

式(10)中 $x(i,j)$ 是输入信号 $X$ 的第i行第j列元素， $w_c^1(m,n)$ 是第1个卷积层的(维度为2，深度为1)卷积核的第m行第n列权重， ${w_b}$ 是偏置， $\sigma$ 是激活函数， ${c^1}(1,j)$ 表示第1层输出的特征的第1行第j列元素；第p个卷积层共输出 ${n_p}$ 个 $1 \times {N_p}$ (在第1个卷积层 $p = 1$ )的特征，每个特征对应着不同的 ${w_c}$ 和 ${w_b}$ ，将这些特征排列起来，构成 $1 \times {N_p} \times {n_p}$ 的张量，作为池化层的输入；每个卷积层后面都接入一个池化层，每个池化层均采用最大池化，可以减小由于参数误差导致的特征均值偏移，能够减少网络中参数的数量，减少计算资源耗费，也能够有效地控制过拟合。同时避免平均池化的模糊性效果，经过池化层下采样，将卷积层输出变为 $1 \times ({N_p}/k) \times {n_p}$ 的张量，因此第2、3个卷积层的输出计算公式可以表示为

${c^p}(1,j) = \sigma \left( {\sum\limits_l {\sum\limits_n {{x^{p - 1}}(1,j + n)w_c^p(1,n,l) + w_b^p} } } \right)$

(11)

式(11)中， ${x^{p - 1}}(1,j+n)$ 表示第 $p$ 个卷积层的输入特征的第 $l$ 通道第1行第j列元素， $w_c^p(1,n,l)$ 表示第 $p$ 卷积层的卷积核的第 $l$ 层第1行第n列权重， ${c^p}(1,j)$ 表示第 $p$ 层输出的特征的第1行第j列元素，其他符号含义和式(10)是相同的，同时以 ${{\boldsymbol{W}}_c},{{\boldsymbol{W}}_b}$ 表示卷积层全部权重和偏置的集合，所有的 ${{\boldsymbol{W}}_c},{{\boldsymbol{W}}_b}$ 构成的卷积滤波器可以实现匹配滤波器的功能，完成对雷达信号能量的积累。将最后一个池化层的输出重新排列，变成1维向量 ${x_l}$ 。对于全连接层的每一层的输入 ${x_l}$ ，输出可以表示为

${f_l} = \sigma ({x_l}{{\boldsymbol{W}}_l} + {{\boldsymbol{W}}_{bl}})$

(12)

其中， ${{\boldsymbol{W}}_l}$ 是全连接层的权重矩阵， ${{\boldsymbol{W}}_{bl}}$ 是全连接层的偏置。假设全连接层输入有 $m$ 个神经元，输出层共有 $n$ 个神经元，则权重矩阵 ${{\boldsymbol{W}}_l}$ 是一个 $m \times n$ 的矩阵, 偏置 ${{\boldsymbol{W}}_{bl}}$ 组成了一个 ${\rm{1}} \times n$ 的向量, 该全连接层的未激活前线性输出是一个 ${\rm{1}} \times n$ 的向量。

表1为图2所示CNN结构各层设置的参数，输入层的结构为@=2×2000，2000代表信号采样序列长度，2代表采样信号的同向、正交分量；第1层为卷积层，包含64个尺寸为2×32卷积核，步长为1×4；第2层为Max pooling 池化层，池化尺寸为1×4，步长为1×2；第3～6层与第1, 2层类似；第7～8层为全连接层，分别包含1024, 256个隐藏节点；输出层其本质是含有 2个隐藏节点的全连接层。

表 1 LPI雷达信号检测的CNN网络结构参数

层名称	结构参数
输入层	2×2000
第1, 2层	Conv1-64@2×32(步长：1×4) & Maxpooling@1×4(步长：1×2)
第3, 4层	Conv1-128@1×16(步长：1×4) & Maxpooling@1×4(步长：1×2)
第5, 6层	Conv1-256@1×8(步长：1×4) & Maxpooling@1×4(步长：1×2)
第7层	FC-1024
第8层	FC-256
输出层	2

下载: 导出CSV

| 显示表格

卷积层和全连接层的计算都是线性运算，线性运算的特征表达能力是有限的，所以每个卷积层后又引入了非线性函数作为激励函数，增强网络的非线性拟合能力，使模型具有更强的特征表达能力，同时使网络具有稀疏性。以上所有激活函数 $\sigma$ 均采用Leaky ReLU激励函数，相比sigmoid函数与tanh函数，能防止梯度消失问题和加快训练速度。Leaky ReLU激活函数公式为

${\rm{LeakyReLU}}(x) = \left\{ \begin{aligned} & x,\ \ x \ge 0 \\ & ax,x < 0 \end{aligned} \right. \in R$

(13)

采用softmax处理最后一个全连接层的输出 $y_i'(i = 0,1)$ ，得到两个类别的预测概率

$\left. \begin{split} & p(y = 0|x) = {\rm{softmax}}(y_0') = \frac{{{{\rm{e}}^{y_0'}}}}{{{{\rm{e}}^{y_0'}} + {{\rm{e}}^{y_1'}}}} \\ & p(y = 1|x) = {\rm{softmax}}(y_1') = \frac{{{{\rm{e}}^{y_1'}}}}{{{{\rm{e}}^{y_0'}} + {e^{y_1'}}}} \end{split} \right\}$

(14)

若神经网络输入为 ${x_i}$ ，对应的期望为 ${y_i}$ (0或1)，表示样本 $i$ 的类，则对于一个大小为N的批次的交叉熵代价函数为

$\begin{split} J({\boldsymbol{W}}) =\,& - \frac{1}{N}\sum\limits_{i = 1}^N \left\{ {y_i}\lg [p(y = 1|x)] + (1 - {y_i})\right.\\ & \left.\cdot\lg [p(y = 0|x)] \right\} \\[-10pt] \end{split}$

(15)

交叉熵是分类问题使用比较广的一种损失函数，具有改善梯度消失的优点，在神经网络中的作用是判断期望向量与预测向量之间两个概率分布之间的距离。 ${\boldsymbol{W}}$ 是包括卷积滤波器在内的各神经元权重 $({{\boldsymbol{W}}_c},{{\boldsymbol{W}}_b},{{\boldsymbol{W}}_l},{{\boldsymbol{W}}_{bl}})$ 的集合，训练神经网络的第一阶段是前向传播得到预测值并计算 $J({\boldsymbol{W}})$ ，第2阶段就是通过反向传播对 $J({\boldsymbol{W}})$ 进行优化。更新后的 ${{\boldsymbol{W}}_c},{{\boldsymbol{W}}_b}$ 就是针对不同 $s(t;{\boldsymbol{\theta}} )$ 都具有一定泛化能力的匹配滤波器，具有一定的先验信息，根据此先验信息，可以得到后验概率 $P({H_j}|x(t))(j = 0,1)$ ，预测过程对于给定的输入 ${x_{N + 1}}$ ，比较两个类别的后验概率得到输出分类 ${y_{N + 1}}$ 。

利用argmax函数对式(14)中的预测概率的比较可得到式(16)的类别判决式

$p(y = 0|x)\mathop \gtrless \limits_{y = 1}^{y = 0} p(y = 1|x)$

(16)

则可以通过基于CNN的LPI雷达信号检测模型实现式(9)所示的信号判决

${H_j} = \mathop {\rm {argmax} }\limits_{{H_j}} \hat P({H_j}|x(t)),\;\;j = 0,1$

(17)

4. 实验数据

4.1 模拟数据

本文研究的是LPI雷达信号检测，所以采用了4种常见调制类型的LPI雷达信号构建仿真所用模拟信号，设置线性调频(Linear Frequency Modulation, LFM)信号、非线性调频(NonLinear Frequency Modulation, NLFM)信号的调制参数多样性由带宽B、载频 ${f_c}$ 在一定范围内随机波动来满足，设置二相编码信号(Binary Phase Shift Keying, BPSK)、COSTAS频率编码信号的随机性由载波频率和子脉冲宽度在一定范围内随机波动来满足。通过对截获信号中有效信号长度的定义区分信号和噪声，LFM, NLFM, COSTAS信号的有效信号脉宽 $\tau$ 不小于5 μs时默认为信号存在，BPSK信号的有效信号脉宽 $\tau$ 不小于6.5 μs时默认为信号存在，否则默认为噪声。为了增加样本的多样性，设置信号的到达时间随机。

对于式(1)所示的模拟信号调制参数如表2所示。模拟训练集采用信噪比为–8 dB, –5 dB, –2 dB, 1 dB, 4 dB，步进为 3 dB的5种调制方式的混合信号来丰富训练集样本，训练集一共92700个信号。模拟测试集令信噪比的变化范围为–8～5 dB，步进为 1 dB，每个信噪比下的每种调制方式有1000个信号，其中有效信号脉宽满足信号定义脉宽的信号占50%，满足噪声定义脉宽的信号占25%，不同功率的纯噪声占25%。

表 2 模拟信号的调制参数

调制方式	瞬时相位 $\phi (t)$	载频f_c (MHZ)	带宽B $({\rm{MHz}})$	子脉冲宽度(μs)	巴克码	跳频序列 ${a_N}$
LFM	$2{\rm{\pi } }\left({f_c} \times t + \dfrac{\mu }{2} \times {t^2}\right)$ 调频斜率 $\mu = B/\tau$	50～70	20～40	__	__	__
NLFM	$2{\rm{\pi } }\left({f_c} \times t + \dfrac{1}{2}{a_1} \times {t^2} + \dfrac{1}{3}{a_2} \times {t^3}\right)$ ${a_1} = B/(2 \times \tau )$ , ${a_2} = B/(2 \times {\tau ^2})$	50～70	20～40	__	__	__
BPSK	$2\pi {f_c}t + \theta ,\theta \in \left\{ {0,\pi } \right\}$	50～70	__	0.5～1	[1 1 1 1 1 –1–1 1 1 –1 1 –1 1]	__
COSTAS	$2{\rm{\pi } }({f_c} \times {a_N})t$ ${a_N} = \left\{ { {a_1},{a_2},\cdots,{a_n} } \right\}$	5～10	__	0.5～1	__	[8, 9, 6, 4, 10, 3, 2, 5, 7, 1]

下载: 导出CSV

| 显示表格

4.2 实测数据

关于实测数据，本文采用Agilent E4438C 矢量信号发生器产生LFM和BPSK信号，NC6110A噪声信号源添加白噪声，KEYSIGHT DSOS204A示波器存储信号。实测信号的调制参数见表3，LFM信号的有效信号脉宽不小于5 μs时默认为有信号，BPSK有效信号脉宽不小于6.5 μs时默认为有信号，否则默认为噪声。实测信号的信噪比的变化范围为1～5 dB，步进为 1 dB, LFM和BPSK信号在每个信噪比下均具有100个信号。验证集和测试集按照1: 9的比例随机划分。验证集和测试集中，其中有效信号脉宽满足信号定义脉宽的信号数据占50%，满足噪声定义脉宽的信号数据占50%。

表 3 实测信号的调制参数

调制方式	主要参数	取值范围
LFM	载频 ${f_c}{\rm{(MHz)} }$	50～70
LFM	带宽 $B{\rm{(MHz)} }$	20～40
BPSK	载频 ${f_c}{\rm{(MHz)} }$	50～70
	子脉冲宽度(μs)	0.5～1
	巴克码	[1 1 1 1 1 –1 –1 1 1 –1 1 –1 1]

下载: 导出CSV

| 显示表格

4.3 数据处理

采样频率f_s均设置为250 MHz，采样点数M = 2000。通过数据预处理将原始数据转换为符合挖掘的格式，为进一步处理做准备，也是深度学习不可或缺的重要环节，因为从中导入的有用信息直接影响模型的收敛效果。在本文中首先将采集到的实测数据进行Hilbert变换，然后对其进行归一化操作，同时保存信号的同向分量、正交分量，预处理后生成的样本为2×2000的2维矩阵，其目的就是将数据中的所有数值行按照合适的比例映射到[–1,1]区间，加快模型的收敛速度、提升模型的精度、防止模型梯度爆炸。每一个样本对应一个“标签”，标签是一个1×2的向量，采用one-hot编码方式。

5. 仿真实验流程及结果分析

在本节中，首先说明将在其中进行训练的系统的硬件规格。在安装NVIDIA Tesla T4 显卡的Ubuntu18 64位操作系统上完成算法仿真，为了节约神经网络的训练时间，本文中实验使用了带GPU的Tensorflow框架，涉及的依赖库主要是 CUDA, cudnn 等加速库。

5.1 仿真实验流程

本文所用的信号检测网络模型的仿真实验流程如下：

步骤1　建立神经网络模型，网络结构如图2所示。

步骤2　生成模拟信号并添加标签，建立模拟训练集和模拟测试集。

步骤3　采集实测信号、预处理并添加标签，划分实测验证集和测试集。

步骤4　输入模拟训练集进行模型训练，使用模拟测试集评估模型，同时添加实测信号验证集对神经网络模型进行测试，从而选择最佳的神经网络模型，调整模型参数，完成从模拟信号到实测信号的适配。

步骤5　通过实测测试集进一步验证神经网络模型的有效性。

在模型训练过程中，在全连接层添加Dropout正则化来修改网络框架，最小化结构风险，每次训练时随机忽略一部分神经元，不更新这些神经元的权重，可以有效防止因模型太复杂引起的过拟合现象。采用随机梯度下降算法的变体Adam优化器，结合衰减型学习率，基于权重参数的先前梯度的均值和方差进行更新，模型的训练效果才能达到更优。

5.2 模拟信号的仿真结果分析

将以上所述的模拟数据集中的训练集进行模型训练，仿真所用模拟训练集共92700个信号，经过实测信号验证集的测试，选择实测验证集检测效果好的模型，模拟测试集通过训练好的信号检测网络测试，可得到如图3所示的在不同信噪比下的各种调制信号检测准确率。由图3所示，使用本文中低信噪比下的LPI雷达信号检测方法，仿真结果表明，4种信号的总体检测准确率在–8 dB时能达到72.5%，在–5 dB时的检测准确率能达到87.9%, –1 dB时的检测准确率能达到95.65%, 5 dB时的检测准确率能达到98.1%。仿真结果说明本文所提算法对不同调制方式的信号具有泛化能力，在低信噪比下BPSK信号的检测效果最好，COSTAS信号的检测效果最差。由于训练集仅采用5个信噪比的信号，测试结果表明本文所用信号检测模型对不同信噪比下的信号具有泛化能力。由于仿真所用模拟信号调制参数的随机性，测试结果表明该模型对不同调制参数的信号具有泛化能力。

图 3 模拟信号的检测准确率

下载: 全尺寸图片幻灯片

5.3 实测信号的测试结果分析

LPI雷达信号检测模型与深度学习进行图像处理不同的是，实测信号与模拟信号之间存在一定的差异，上述神经网络经过模拟训练集训练，同时使用少量实测验证集进行有监督的适配，适配过程能够使CNN更好地拟合实测信号的检测网络，提高实测信号的检测准确率。将实测信号测试集输入神经网络后，可得到如图4所示的测试结果。测试结果表明LFM和BPSK两种信号，信噪比在1～5 dB时，均能达到90%以上的检测准确率，在2 dB, 4 dB, 5 dB能达到95%的检测准确率。说明经过少量实测验证集适配过的神经网络对实测信号具有一定的检测能力。

图 4 实测信号的检测准确率

下载: 全尺寸图片幻灯片

6. 结论

本文提出在低信噪比下，基于信号有效脉宽的、针对非合作方式下的一种LPI雷达信号检测方法，利用卷积核与匹配滤波器结构上的相似性，构造对不同信号具有泛化能力的卷积滤波器，从传统信号检测和统计学的角度分析了利用CNN进行信号检测的可行性，同时对样本数据输入和各层网络输出参数进行了分析。本文基于4种典型LPI雷达信号进行模拟数据集构建，基于LFM, BPSK信号进行实测数据集构建。使用模拟数据作为训练数据，利用少量实测数据作为验证集实现从模拟信号到实测信号的适配，完成神经网络的训练过程。检测结果表明对不同调制方式、参数的LPI雷达信号具有泛化能力，对不同信噪比下的信号具有泛化能力，在低信噪比下仍然具有较好的检测效果，同时也表明了本文提出的方法对实测信号具有较好的检测效果。

图 1 设计的DKD模型框架结构示意图

下载: 全尺寸图片幻灯片

图 2 双注意力(DA)模块架构示意图

下载: 全尺寸图片幻灯片

图 3 教师网络训练3元孪生框架示意图

下载: 全尺寸图片幻灯片

图 4 SS知识蒸馏

下载: 全尺寸图片幻灯片

图 5 AID数据集训练比例为20%时的混淆矩阵

下载: 全尺寸图片幻灯片

图 6 NWPU-45数据集训练比例为20%时的混淆矩阵

下载: 全尺寸图片幻灯片

图 7 使用Grad-CAM进行可视化对比

下载: 全尺寸图片幻灯片

表 1 学生网络具体参数设计

网络层名	输出尺寸	计算方法
Conv1	112×112	7×7，64，stride=2
DA	112×112	DA模块
Conv2_x	56×56	3×3 max pool, stride=2
Conv2_x	56×56	[3×3, 64; 3×3,64]
Conv3_x	28×28	[3×3, 128; 3×3,64]
Conv4_x	14×14	[3×3, 256; 3×3,64]
Conv5_x	7×7	[3×3, 512; 3×3,64]
	1×1	average pool,45-d fc, softmax

下载: 导出CSV

算法1 双知识蒸馏(DKD)学生网络训练及测试
输入：训练图像 $D = \{ ({\text{IM}}{{\text{G}}_n},{y_n}):n = 1,2, \cdots ,N\}$ ，网络超参　　　　(Epoches, BS与lr)，测试图像　　　　 ${\text{Tst}} = \{ ({\text{IM}}{{\text{G}}_m},{y_m}):m = 1,2, \cdots ,M\}$
输出：学生网络参数 ${\varOmega _{\text{S} } }$ 及测试图像分类精度
准备：将D中的训练图像组成3元组，采用所示孪生框架训练　　　　教师网络 ${\varOmega ^{ {\text{TE} } } }$ ；
For epoch in Epoches:
(1) 根据批大小BS，对D中的训练图像进行分批；
(2) 每批图像送入教师网络 ${\varOmega ^{ {\text{TE} } } }$ ，得到的高层语义特征　　　　 ${\text{Tb}} = \{ {t_i}\|i = 1,2, \cdots ,{\text{BS}}\}$ ；
(3) 每批图像送入学生网络 ${\varOmega _{\text{S} } }$ ，得到的高层语义特征　　　　 ${\text{Sb}} = \{ {s_i}\|i = 1,2, \cdots ,{\text{BS}}\}$ 及预测标签 $\{ {\tilde y_i}\} _{i = 1}^{{\text{BS}}}$ ；
(4) 用式(15)计算 ${L_{{\text{HTL}}}}$ ，优化器通过反向传播更新学生网络　　　　参数 ${\varOmega _{\text{S} } }$ ;
(5) 采用余弦衰减策略更新学习率lr。
End for
(6) 对 $\forall {\text{IM}}{{\text{G}}_m} \in {\text{Tst}}$ ，将 ${\text{IM}}{{\text{G}}_m}$ 输入学生网络 ${\varOmega _{\text{S} } }$ ，得到其　　　　类别预测结果 ${ { {\tilde y} }_{{m} } }$ ；
(7) 根据 $\{ ({\bar y_m},{y_m}):m = 1,2, \cdots ,M\}$ ，统计分类精度且输出。

下载: 导出CSV

表 2 不同训练比例下消融实验的OA值(%)

	AID训练比例(%)		NWPU-45训练比例(%)
	20	50	10	20
基线	87.52	89.43	86.27	88.48
+DA	93.08	94.36	91.68	93.65
+SS	93.92	94.63	92.91	94.12
+DKD	95.21	97.04	93.88	95.87
教师	95.93	97.63	94.47	96.52

下载: 导出CSV

表 3 教师与学生网络性能比较(以AID数据集(50%)为例)

Model	Parameters (MB)	AvgTime (ms)	Accuracy (%)
教师	42.56	14.8	97.63
学生(DKD)	4.92	4.37	97.04
ResNet50^[9]	25.56	8.53	95.49
VGG-16^[17]	138.36	16.43	92.63
SCViT^[18]	85.61	20.1	89.23

下载: 导出CSV

表 4 基于AID与NWPU-45数据集的综合对比实验结果(%)

方法	AID训练比例(%)		NWPU-45训练比例(%)
方法	20	50	10	20
VGG16+MSCP^[22]	91.52	94.42	88.32	91.56
ARCNet-VGG^[19]	88.75	93.10	85.60	90.87
CNN-CapsNet^[23]	93.79	96.32	89.03	89.03
SCCov^[24]	93.12	96.10	89.30	92.10
GBNet^[25]	92.20	95.48	90.03	92.35
MF2Net^[26]	93.82	95.93	90.17	92.73
MobileNet^[20]	88.53	90.91	80.32	83.26
ViT-B-16^[21]	93.81	95.90	90.96	93.36
XU et al.^[27]	94.17	96.19	90.23	93.25
DKD (本文)	95.21	97.04	93.88	95.87

下载: 导出CSV

参考文献(28)

[1]	马少鹏, 梁路, 滕少华. 一种轻量级的高光谱遥感图像分类方法[J]. 广东工业大学学报, 2021, 38(3): 29–35. doi: 10.12052/gdutxb.200153 MA Shaopeng, LIANG Lu, and TENG Shaohua. A lightweight hyperspectral remote sensing image classification method[J]. Journal of Guangdong University of Technology, 2021, 38(3): 29–35. doi: 10.12052/gdutxb.200153
[2]	PAN Deng, ZHANG Meng, and ZHANG Bo. A generic FCN-based approach for the road-network extraction from VHR remote sensing images–using OpenStreetMap as benchmarks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 2662–2673. doi: 10.1109/JSTARS.2021.3058347
[3]	姜亚楠, 张欣, 张春雷, 等. 基于多尺度LBP特征融合的遥感图像分类[J]. 自然资源遥感, 2021, 33(3): 36–44. doi: 10.6046/zrzyyg.2020303 JIANG Yanan, ZHANG Xin, ZHANG Chunlei, et al. Classification of remote sensing images based on multi-scale feature fusion using local binary patterns[J]. Remote Sensing for Natural Resources, 2021, 33(3): 36–44. doi: 10.6046/zrzyyg.2020303
[4]	CHAIB S, GU Yanfeng, and YAO Hongxun. An informative feature selection method based on sparse PCA for VHR scene classification[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(2): 147–151. doi: 10.1109/LGRS.2015.2501383
[5]	李彦甫, 范习健, 杨绪兵, 等. 基于自注意力卷积网络的遥感图像分类[J]. 北京林业大学学报, 2021, 43(10): 81–88. doi: 10.12171/j.1000-1522.20210196 LI Yanfu, FAN Xijian, YANG Xubing, et al. Remote sensing image classification framework based on self-attention convolutional neural network[J]. Journal of Beijing Forestry University, 2021, 43(10): 81–88. doi: 10.12171/j.1000-1522.20210196
[6]	XU Kejie, HUANG Hong, DENG Peifang, et al. Deep feature aggregation framework driven by graph convolutional network for scene classification in remote sensing[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(10): 5751–5765. doi: 10.1109/TNNLS.2021.3071369
[7]	CHEN Sibao, WEI Qingsong, WANG Wenzhong, et al. Remote sensing scene classification via multi-branch local attention network[J]. IEEE Transactions on Image Processing, 2021, 31: 99–109. doi: 10.1109/TIP.2021.3127851
[8]	CHEN Xi, XING Zhiqiang, and CHENG Yuyang. Introduction to model compression knowledge distillation[C]. 2021 6th International Conference on Intelligent Computing and Signal Processing, Xi'an, China, 2021: 1464–1467.
[9]	HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778.
[10]	LUO Yana and WANG Zhongsheng. An improved ResNet algorithm based on CBAM[C]. 2021 International Conference on Computer Network, Electronic and Automation, Xi'an, China, 2021: 121–125.
[11]	KE Xiao, ZHANG Xiaoling, ZHANG Tianwen, et al. SAR ship detection based on an improved faster R-CNN using deformable convolution[C]. 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS, Brussels, Belgium, 2021: 3565–3568.
[12]	WANG Qilong, WU Banggu, ZHU Pengfei, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, USA, 2020: 11531–11539.
[13]	ZENG Weiyu, WANG Tianlei, CAO Jiuwen, et al. Clustering-guided pairwise metric triplet loss for person reidentification[J]. IEEE Internet of Things Journal, 2022, 9(16): 15150–15160. doi: 10.1109/JIOT.2022.3147950
[14]	PARK W, KIM D, LU Yan, et al. Relational knowledge distillation[C]. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, USA, 2019: 3962–3971.
[15]	XIA Guisong, HU Jingwen, HU Fan, et al. AID: A benchmark data set for performance evaluation of aerial scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(7): 3965–3981. doi: 10.1109/TGRS.2017.2685945
[16]	CHENG Gong, HAN Junwei, and LU Xiaoqiang. Remote sensing image scene classification: Benchmark and State of the Art[J]. Proceedings of the IEEE, 2017, 105(10): 1865–1883. doi: 10.1109/JPROC.2017.2675998
[17]	TUN N L, GAVRILOV A, TUN N M, et al. Remote sensing data classification using A hybrid pre-trained VGG16 CNN-SVM classifier[C]. 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, St. Petersburg, Russia, 2021: 2171–2175.
[18]	LV Pengyuan, WU Wenjun, ZHONG Yanfei, et al. SCViT: A spatial-channel feature preserving vision transformer for remote sensing image scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 4409512. doi: 10.1109/TGRS.2022.3157671
[19]	WANG Qi, LIU Shaoteng, CHANUSSOT J, et al. Scene classification with recurrent attention of VHR remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(2): 1155–1167. doi: 10.1109/TGRS.2018.2864987
[20]	PAN Haihong, PANG Zaijun, WANG Yaowei, et al. A new image recognition and classification method combining transfer learning algorithm and mobilenet model for welding defects[J]. IEEE Access, 2020, 8: 119951–119960. doi: 10.1109/ACCESS.2020.3005450
[21]	DOSOVITSKI A, BEYER L, KOLESNIKOV A, et al. An image is worth 16×16 words: Transformers for image recognition at scale[C/OL]. The 9th International Conference on Learning Representations, 2021.
[22]	HE Nanjun, FANG Leyuan, LI Shutao, et al. Remote sensing scene classification using multilayer stacked covariance pooling[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(12): 6899–6910. doi: 10.1109/TGRS.2018.2845668
[23]	ZHANG Wei, TANG Ping, and ZHAO Lijun. Remote sensing image scene classification using CNN-CapsNet[J]. Remote Sensing, 2019, 11(5): 494. doi: 10.3390/rs11050494
[24]	HE Nanjun, FANG Leyuan, LI Shutao, et al. Skip-connected covariance network for remote sensing scene classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(5): 1461–1474. doi: 10.1109/TNNLS.2019.2920374
[25]	SUN Hao, LI Siyuan, ZHENG Xiangtao, et al. Remote sensing scene classification by gated bidirectional network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(1): 82–96. doi: 10.1109/TGRS.2019.2931801
[26]	XU Kejie, HUANG Hong, LI Yuan, et al. Multilayer feature fusion network for scene classification in remote sensing[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(11): 1894–1898. doi: 10.1109/LGRS.2019.2960026
[27]	XU Chengjun, ZHU Guobin, and SHU Jingqian. A lightweight intrinsic mean for remote sensing classification with lie group kernel function[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 18(10): 1741–1745. doi: 10.1109/LGRS.2020.3007775
[28]	SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-CAM: Visual explanations from deep networks via gradient-based localization[C]. The 2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017: 618–626.

施引文献

资源附件(0)

访问统计

图(7) / 表(5)

计量

文章访问数: 656
HTML全文浏览量: 475
PDF下载量: 128
被引次数: 0

1. 引言
2. 信号的统计检测
3. 卷积神经网络模型对LPI雷达信号的检测
4. 实验数据
4.1 模拟数据
4.2 实测数据
4.3 数据处理
5. 仿真实验流程及结果分析
5.1 仿真实验流程
5.2 模拟信号的仿真结果分析
5.3 实测信号的测试结果分析
6. 结论

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

面向遥感图像场景分类的双知识蒸馏模型

doi: 10.11999/JEIT221017

通讯作者:
南艺璇　1010367243@qq.com

计量

A Double Knowledge Distillation Model for Remote Sensing Image Scene Classification

1. 引言

2. 信号的统计检测

3. 卷积神经网络模型对LPI雷达信号的检测

4. 实验数据

4.1 模拟数据

4.2 实测数据

4.3 数据处理

5. 仿真实验流程及结果分析

5.1 仿真实验流程

5.2 模拟信号的仿真结果分析

5.3 实测信号的测试结果分析

6. 结论

计量

目录

1. 引言

2. 信号的统计检测

3. 卷积神经网络模型对LPI雷达信号的检测

4. 实验数据

4.1 模拟数据

4.2 实测数据

4.3 数据处理

5. 仿真实验流程及结果分析

5.1 仿真实验流程

5.2 模拟信号的仿真结果分析

5.3 实测信号的测试结果分析

6. 结论

留言板

面向遥感图像场景分类的双知识蒸馏模型

doi: 10.11999/JEIT221017

通讯作者: 南艺璇 1010367243@qq.com

计量

出版历程

A Double Knowledge Distillation Model for Remote Sensing Image Scene Classification

1. 引言

2. 信号的统计检测

3. 卷积神经网络模型对LPI雷达信号的检测

4. 实验数据

4.1 模拟数据

4.2 实测数据

4.3 数据处理

5. 仿真实验流程及结果分析

5.1 仿真实验流程

5.2 模拟信号的仿真结果分析

5.3 实测信号的测试结果分析

6. 结论

计量

出版历程

目录

1. 引言

2. 信号的统计检测

3. 卷积神经网络模型对LPI雷达信号的检测

4. 实验数据

4.1 模拟数据

4.2 实测数据

4.3 数据处理

5. 仿真实验流程及结果分析

5.1 仿真实验流程

5.2 模拟信号的仿真结果分析

5.3 实测信号的测试结果分析

6. 结论

通讯作者:
南艺璇　1010367243@qq.com