多模型融合的无人机异常航迹校正方法

王威; 佘丁辰; 王加琪; 韩戴如; 晋本周

doi:10.11999/JEIT241026

多模型融合的无人机异常航迹校正方法

doi: 10.11999/JEIT241026

1.
南京航空航天大学电子信息工程学院南京 211106
2.
南京理工大学电子工程与光电技术学院南京 210094

基金项目: 国家自然科学基金(62371231)，江苏省前沿引领技术基础研究重大项目(BK20222001)，江苏省重点研发计划(产业前瞻与关键核心技术)竞争项目(BE2023027)

详细信息

作者简介:
王威：男，研究员，研究方向为无线通信，空天地一体化网络

佘丁辰：男，硕士生，研究方向为无人机异常行为监管

王加琪：男，硕士生，研究方向为低空无人机监管技术

韩戴如：男，博士后，研究方向为星地一体化网络中的卫星通信与协同传输

晋本周：男，教授，研究方向为为雷达信号处理、雷达抗干扰

通讯作者:
佘丁辰　sz2204829@nuaa.edu.cn

1¹ https://ieee-dataport.org/open-access/uav-attack-dataset² https://github.com/osqzss/gps-sdr-sim
中图分类号: TN97
计量
- 文章访问数: 37
- HTML全文浏览量: 23
- PDF下载量: 1
- 被引次数: 0
出版历程
- 收稿日期: 2024-11-18
- 修回日期: 2025-03-13
- 网络出版日期: 2025-03-21

Multi-Model Fusion-Based Abnormal Trajectory Correction Method for Unmanned Aerial Vehicles

1.
College of Electronic and Information Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China
2.
School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China

Funds: The National Natural Science Foundation of China (62371231), The Natural Science Foundation on Frontier Leading Technology Basic Research Project of Jiangsu (BK20222001), The Jiangsu Provincial Key Research and Development Program (BE2023027)

摘要

摘要: 低空空域的开放和无人机的大规模应用使得低空飞行活动日益增多，航迹规划是确保无人机在复杂低空环境下有序飞行的关键。然而由于无线遥控链路中存在的干扰、欺骗等各种攻击，导致无人机偏离规划的航迹，给低空安全带来严峻挑战。为减小位置欺骗攻击引起的航迹异常，该文提出一种多模型融合的无人机异常航迹校正方法，通过预测无人机的位置参数进行航迹校正。为了降低长期预测误差对无人机航迹校正的影响，提出融合长短期记忆网络(LSTM)和Transformer的长短期记忆网络-Transformer (LSTM-Transformer)预测模型，并在此基础上提出了分块注意力优化策略，以降低Transformer子模型的计算复杂度，提高无人机异常航迹的校正效率。基于公开数据集，通过与基准方法比较和消融实验，证明了所提方法相比其它方法能够降低无人机异常航迹的校正误差，实现对无人机异常航迹的校正。
- 无人机 /
- 航迹校正 /
- 多模型融合 /
- 长短期记忆网络-Transformer预测模型 /
- 分块注意力优化策略
Abstract: Objective The opening of low-altitude airspace and the widespread deployment of Unmanned Aerial Vehicles (UAVs) have significantly increased low-altitude flight activities. Trajectory planning is essential for ensuring UAVs operate safely in complex environments. However, wireless remote control links are vulnerable to interference and spoofing attacks, leading to deviations from planned trajectories and posing serious safety risks. To mitigate these risks, UAV position parameters can be predicted and used to replace erroneous navigation system values, thereby correcting abnormal trajectories. Existing prediction-based correction methods, however, exhibit low efficiency and error accumulation over long-term predictions, limiting their practical application. To address these limitations, this study proposes a multi-model fusion method to improve the efficiency and accuracy of abnormal trajectory correction, providing a robust solution for real-world UAV operations. Methods An LSTM-Transformer prediction model, integrating Long Short-Term Memory (LSTM) and Transformer, is proposed to exploit the strengths of both architectures in time series forecasting. LSTM efficiently captures short-term dependencies in sequential data, whereas Transformer is well-suited for modeling long-term dependencies. By combining these architectures, the proposed model enhances the capture of both short-term and long-term dependencies, reducing prediction errors. The overall framework of the LSTM-Transformer prediction model is illustrated in (Fig. 3). The input time series data undergoes preprocessing before being fed into the LSTM and Transformer sub-models, each generating a corresponding feature vector. These feature vectors are concatenated and further processed by a fully connected layer to extract intrinsic data features, ultimately producing the prediction results. To further optimize the model, a blockwise attention strategy is proposed. The detailed computation process is shown in (Fig. 4). During self-attention calculations in the Transformer sub-model, the input sequence is divided into multiple sub-blocks, allowing for parallel computation. The results are then concatenated to obtain the final output. This approach effectively reduces the computational complexity of the Transformer sub-model while improving the efficiency of abnormal trajectory correction. The blockwise attention strategy not only enhances computational efficiency but also maintains prediction accuracy, making it a crucial component of the proposed method. Results and Discussions Experiments are conducted using a public dataset to predict UAV positional parameters, including longitude, latitude, and altitude. The dataset's feature parameters are presented in (Table 1). The trajectory correction performance of the proposed method is evaluated and compared with other correction methods using Root Mean Square Error (RMSE), Mean Absolute Error (MAE), and Mean Absolute Percentage Error (MAPE). (Fig. 5) and (Fig. 6) present the error metrics of the proposed method in comparison with Support Vector Regression (SVR), CNN-LSTM, and LSTM-RF under different prediction step sizes and measurement noise standard deviation conditions. The results indicate that the proposed method achieves the lowest correction errors. At a prediction step size of 20 and a measurement noise standard deviation of 0.19, the proposed method achieves RMSE, MAE, and MAPE values of 0.2971, 0.2208, and 21.688%, respectively. Compared with SVR, CNN-LSTM, and LSTM-RF, the RMSE is reduced by 39.52%, 6.22%, and 20.65%, the MAE by 45.5%, 8.46%, and 20.52%, and the MAPE by 8.955%, 2.03%, and 3.532%, respectively. (Fig. 7) and (Fig. 8) compare the proposed method with the original LSTM-Transformer, the Transformer with the blockwise attention optimization strategy, and individual LSTM and Transformer models in terms of error metrics under different prediction steps and measurement noise standard deviation conditions. When the prediction step is 20 and the measurement noise standard deviation is 0.19, the proposed method achieves RMSE reductions of 12.23%, 4.07%, 1.36%, and 3.48%, MAE reductions of 19.36%, 6.76%, 3.83%, and 4.21%, and MAPE reductions of 3.84%, 3.616%, 2.075%, and 2.087%, compared to the other four correction methods. These findings demonstrate the superior performance of the proposed method in reducing trajectory correction errors. The runtime efficiency of the proposed method under different prediction steps is evaluated, as shown in (Fig. 9). With a prediction step size of 20, the proposed method completes the prediction in 0.699 s, which is 35.87% faster than the original LSTM-Transformer model. This confirms that the blockwise attention optimization strategy enhances correction efficiency. Finally, (Fig. 10) presents trajectory comparisons, illustrating the accuracy of the proposed method. The predicted trajectories closely align with actual trajectories, outperforming baseline methods in correcting UAV abnormal trajectories under various conditions. Conclusions The proposed multi-model fusion method for UAV abnormal trajectory correction enhances correction efficiency and reduces errors more effectively than benchmark methods. The results demonstrate that the method achieves accurate and reliable trajectory correction, making it suitable for practical UAV applications.
- Unmanned Aerial Vehicles (UAVs) /
- Trajectory correction /
- Multi-model fusion /
- Long Short-Term Memory(LSTM)-Transformer prediction model /
- Blockwise attention optimization strategy

HTML全文

1. 引言

随着低空空域的开放和无人技术的发展，无人机已经广泛服务于测绘、农林植保、物流、应急救援、通信中继等领域^[1–5]。与此同时，无人机的大规模应用给公共安全带来了挑战，亟需有效的无人机监管手段^[6,7]。在无人机监管中，实现精确的无人机位置定位是确保安全有序飞行的关键^[8,9]。然而，低空无人机容易受到位置欺骗攻击的影响^[10]，其中，常见的位置欺骗攻击为全球定位系统(Global Positioning System, GPS)欺骗攻击^[11]。受到GPS欺骗的无人机会偏离规划的飞行航迹，极易产生碰撞等飞行事故，严重影响其它飞行器的安全运行^[12,13]。对此，亟需研究有效的无人机异常航迹校正方法来使受到位置欺骗攻击的无人机从异常的飞行航迹逐渐复原到规划的飞行航迹中，保障无人机在低空空域的飞行安全。

目前针对无人机异常航迹校正的研究主要分为直接校正和基于预测的校正两种方法^[14]。其中，直接校正的基本思想是针对异常的无人机传感器数据，通过重计算或一定的机器学习方法进行数据重构来直接得到正常的无人机位置参数。文献[15]引入了一种微型无人机弹性分析方法(Micro Aerial Vehicle Fault Injection, MAVFI)来检测和校正无人机的异常航迹。该方法在无人机中设置一个端到端的感知-规划-控制(Perception-Planning-Control, PPC)管道，在检测到异常航迹后，通过在PPC管道中相应的传感器测量阶段发布重计算信号来重新得到正常传感器测量数据，实现异常航迹校正。文献[16]提出了一种基于在线子空间跟踪的无人机飞行数据异常检测与缓解算法，在检测到异常数据后，采用不完全局部观测跟踪子空间矩阵来重构异常部分的数据，从而将异常数据替换为合理的估计值来进行校正。

直接校正方法虽然能够有效的校正特定的无人机航迹偏差，但难以用于校正无人机受位置欺骗所产生的异常飞行航迹。对于文献[15]所提的方法，由于受攻击的无人机始终接收虚假的卫星信号，因此即使检测到异常航迹，通过相关传感器的重计算仍会得到错误的无人机位置参数。文献[16]所提的方法虽然能够有效地对无人机的异常飞行数据进行校正，但只能保证部分数据异常情况下的准确校正。然而，在持续攻击模式下，受位置欺骗的无人机会持续产生错误的位置参数，此时在线子空间跟踪方法对无人机异常航迹校正的准确性会显著降低。此外，子空间学习往往需要较高的计算资源，难以适配到无人机所搭载的轻量级计算设备上。

为了解决上述问题，许多研究工作提出基于预测的方法来校正无人机的异常航迹^[17–20]。基于预测的方法的主要思想是根据已有的无人机正常飞行数据训练一个预测模型，通过预测模型提前预测无人机未来时段的正常飞行数据，在检测到异常数据时，将预测得到的正常飞行数据替换异常数据，实现对无人机异常航迹的校正。文献[17]利用无人机位置参数的时空相关性，采用长短期记忆网络(Long Short-Term Memory, LSTM)模型来预测无人机未来的正常位置参数，实现无人机异常航迹校正。通过与其它基准方法进行比较，验证了所提方法能够得到更小的校正误差。文献[18]提出了一种基于长短期记忆和自编码器神经网络数据驱动的时空相关性(Spatiotemporal Correlation based on Long Short-Term Memory and Autoencoder, STC-LSTM-AE)无人机异常航迹校正方法。该方法首先采用最大信息系数(Maximum Information Coefficient, MIC)方法实现对位置参数特征的自动提取，之后将提取的特征输入LSTM-AE模型，来预测无人机正常的位置参数。在文献[19]中，为了精确校正无人机的异常航迹，采用一维CNN-LSTM回归模型提取飞行数据中的时空特征，来对无人机正常的位置参数进行预测。文献[20]提出了一种基于长短期记忆残差滤波(Long Short-Term Memory with Residual Filtering, LSTM-RF)的无人机飞行参数预测方法，该方法利用滤波器平滑无人机真实滚转角与估计值之间的残差，提高了无人机异常航迹的校正效果。

上述基于预测的方法大多只针对无人机飞行数据中的单个参数异常进行校正，即预测模型1次只输出无人机飞行数据中1个特征参数在无人机正常飞行下的预测结果^[21]。而在位置欺骗攻击场景下，受攻击的无人机解算得到的经度、纬度以及高度3个位置参数会同时产生异常。虽然可以训练多个预测模型分别针对每一个特征参数进行预测，但该方法严重降低了无人机异常航迹校正的效率。此外，上述基于预测的方法较少考虑长期预测下的情况，在预测步长较大的情况下对无人机异常航迹存在较大的校正误差。

针对上述问题，本文提出多模型融合的无人机异常航迹校正方法。本校正方法在无人机检测到位置欺骗攻击后，同时预测无人机的经度、纬度和高度，使用预测值指引无人机飞行控制系统来实现无人机异常航迹校正。本文的主要贡献如下：

(1)为了解决长期预测误差累积导致校正误差大的问题，提出了融合长短期记忆网络(LSTM)和Transformer的 LSTM-Transformer预测模型。该预测模型分别结合了LSTM捕获输入数据中短期依赖的优势和Transformer捕获数据长期依赖的优势，在预测步长较大的情况下，显著降低了异常航迹校正的误差。

(2)为了解决输入序列较长时Transformer效率较低的问题，在所提的LSTM-Transformer预测模型中，引入了分块注意力(blockwise attention)优化策略。本优化策略通过减少Transformer子模型注意力计算的复杂度提高了模型的校正效率，并通过增强对输入数据短期依赖的学习进一步降低了校正误差。

(3)通过与基准方法比较和消融实验，评估了所提方法在不同预测步长和信噪比下对无人机异常航迹的校正性能。实验结果表明，所提方法能够降低无人机异常航迹的校正误差，提高校正效率。

2. 场景与问题定义

2.1 研究场景

本文考虑单个无人机按照规划航迹执行任务的场景，如图1所示。在飞行过程中，无人机接收卫星发射的定位信号，通过信号接收机解算得到自身的位置参数(包括经度、纬度和高度)，无人机飞行控制系统根据获得的位置参数进行飞行控制，并通过航迹监测和自动纠偏程序确保无人机按规划航迹飞行。在位置欺骗攻击实施过程中，欺骗信号发射机向无人机发射欺骗信号，接收到欺骗信号的无人机进行位置解算得到错误的位置参数，导致无人机偏离规划航迹。

图 1 无人机位置欺骗攻击示意图

下载: 全尺寸图片幻灯片

为解决无人机航迹欺骗问题，无人机在检测到位置欺骗攻击后需要运行航迹预测算法来校正自身的异常航迹。具体来说，无人机将自身的历史飞行数据(包括位置、速度、加速度、姿态角等)输入训练好的预测模型中，预测模型输出预测的位置参数，再由飞控系统进行飞行控制。如图1，根据预测的位置参数对无人机进行校正所产生的飞行航迹称为预测航迹。由于预测模型无法完全拟合输入数据序列的相关依赖，预测航迹与无人机规划航迹之间会存在一定的误差，且预测步长越长，误差越大。本文通过对预测模型的改进，降低无人机预测航迹与规划航迹的误差，实现对无人机异常航迹的校正，具体流程如图2所示。接收机解算得到无人机的位置参数后，首先执行位置欺骗检测。若不存在位置欺骗，则飞行控制系统根据实时解算的位置参数控制使无人机在规划航迹的误差范围内飞行；若存在位置欺骗，则执行异常航迹校正算法，先实现无人机异常航迹校正，再根据校正航迹实现飞行控制，确保无人机始终在规划航迹的误差范围内飞行。改进，降低无人机预测航迹与规划航迹的误差，实现对无人机异常航迹的校正，具体流程如图2所示。接收机解算得到无人机的位置参数后，首先执行位置欺骗检测。若不存在位置欺骗，则飞行控制系统根据实时解算的位置参数控制使无人机在规划航迹的误差范围内飞行；若存在位置欺骗，则执行异常航迹校正算法，先实现无人机异常航迹校正，再根据校正航迹实现飞行控制，确保无人机始终在规划航迹的误差范围内飞行。

图 2 无人机异常航迹校正流程

下载: 全尺寸图片幻灯片

2.2 问题定义

无人机异常航迹校正可建模为一个多输入多输出的序列预测问题。假设当前时刻为 $t$ ，则对于输入序列 ${\boldsymbol{X}}(t)$ 和输出的预测序列 ${\boldsymbol{Y}}(t)$ 分别表示为^[20]

$\begin{split} & {\boldsymbol{X}}(t) = \left[ {\begin{array}{*{20}{c}} {{x_{1,t - D + 1}},}&{{x_{1,t - D + 2}},}&{ \cdots ,}&{{x_{1,t}}} \\ {{x_{2,t - D + 1}},}&{{x_{2,t - D + 2}},}&{ \cdots ,}&{{x_{2,t}}} \\ \vdots & \vdots & \ddots & \vdots \\ {{x_{M,t - D + 1}},}&{{x_{M,t - D + 2}},}&{ \cdots ,}&{{x_{M,t}}} \end{array}} \right],{\text{ }}\\ & {x_{ij}} \in {\mathbb{R}^{M \times D}} \end{split}$

(1)

$\begin{split} & {\boldsymbol{Y}}(t) = \left[ {\begin{array}{*{20}{c}} {{y_{1,t + 1}},}&{{y_{1,t + 2}},}&{ \cdots ,}&{{y_{1,t + L}}} \\ {{y_{2,t + 1}},}&{{y_{2,t + 2}},}&{ \cdots ,}&{{y_{2,t + L}}} \\ \vdots & \vdots & \ddots & \vdots \\ {{y_{R,t + 1}},}&{{y_{R,t + 2}},}&{ \cdots ,}&{{y_{R,t + L}}} \end{array}} \right],{\text{ }}\\ & {y_{ij}} \in {\mathbb{R}^{R \times L}} \end{split}$

(2)

其中， $M$ 表示输入数据中包含的特征参数数量， $R$ 表示需要进行预测的特征参数数量， $D$ 表示输入序列长度 (input sequence length)， $L$ 表示预测步长(future steps)， ${x_{ij}}$ 和 ${y_{ij}}$ 分别表示输入序列和输出序列中第 $i$ 个特征参数对应第 $j$ 个时刻的参数值。在预测问题中，输入序列长度表示预测模型训练过程中考虑的历史数据长度。输入序列长度增大，模型能够捕捉到时序数据中更长的依赖关系，降低预测误差。然而，输入序列长度过大会增加模型的复杂性并导致过拟合，反而对模型的预测性能产生影响。预测步长表示预测模型需要预测的未来的时序数据长度。预测步长越大，预测难度越大，预测模型相应得到的预测误差也会变大。

为了简化表达，本文进一步将输入序列 ${\boldsymbol{X}}(t)$ 和输出序列 ${\boldsymbol{Y}}(t)$ 表示为

${\boldsymbol{X}}(t) = \left[ {{{\boldsymbol{x}}_{t - D + 1}},{{\boldsymbol{x}}_{t - D + 2}}, \cdots ,{{\boldsymbol{x}}_t}} \right]$

(3)

${\boldsymbol{Y}}(t) = \left[ {{{\boldsymbol{y}}_{t + 1}},{{\boldsymbol{y}}_{t + 2}}, \cdots ,{{\boldsymbol{y}}_{t + L}}} \right]$

(4)

其中， ${{\boldsymbol{x}}_t} \in {\mathbb{R}^m}$ , ${{\boldsymbol{y}}_{t + 1}} \in {\mathbb{R}^r}$ 分别表示输入序列 ${\boldsymbol{X}}(t)$ 和输出序列 ${\boldsymbol{Y(}}t)$ 在对应的 $t$ 和 $t + 1$ 时刻的特征参数向量。在时间序列预测问题中，输入序列 ${\boldsymbol{X}}(t)$ 和输出序列 ${\boldsymbol{Y}}(t)$ 的关系可以表示为

${\boldsymbol{Y}}(t) = f\left[ {{\boldsymbol{X}}(t)} \right]$

(5)

其中， $f\left[ {{\boldsymbol{X}}(t)} \right]$ 表示序列 ${\boldsymbol{X}}(t)$ 输入预测模型所得的相关函数。在预测过程中，预测模型通过相关函数捕捉输入数据与未来预测值之间的依赖关系，从而得到由未来 $L$ 个时间步长的预测值组成的输出序列 ${\boldsymbol{Y}}(t)$ 。

3. 方法描述与分析

本节首先介绍提出的LSTM-Transformer预测模型的总体框架。之后，详细阐述在Transformer中引入分块注意力优化策略的过程。最后，对所提方法进行了理论分析。

3.1 LSTM-Transformer预测模型

LSTM和Transformer是两种不同结构的深度神经网络，它们都能够作为预测模型来解决时间序列预测问题^[22,23]。在对输入的时间序列数据进行预测的过程中，LSTM通过递归结构来逐步地处理输入数据，能够保留输入数据最近时刻的上下文信息。因此，LSTM在捕获输入数据的短期依赖时性能较好，但捕获数据长期依赖的能力相对Transformer来说较弱^[24]。而对于Transformer来说，由于其自注意力计算机制允许其关注输入序列的所有部分，因此Transformer具有较强的捕获输入数据长期依赖的能力^[23,25]。为了降低预测模型对无人机异常航迹的校正误差，本文将LSTM和Transformer两种预测模型相融合，提出了LSTM-Transformer预测模型，该模型分别结合了LSTM捕获输入数据短期依赖和Transformer捕获长期依赖的优势。所提的LSTM-Transformer预测模型的总体框架如图3所示。

图 3 LSTM-Transformer预测模型总体框架

下载: 全尺寸图片幻灯片

该模型的整体预测流程如下：首先，输入序列数据 ${\boldsymbol{X}}(t)$ ，对输入的数据进行预处理。在输入数据通过数据清洗、归一化等预处理操作后，分别输入LSTM和Transformer两个子模型中。在通过LSTM和Transformer对输入的时间序列数据进行处理后，分别输出特征向量 ${{\boldsymbol{z}}_{\text{L}}}$ 和 ${{\boldsymbol{z}}_{\text{T}}}$ 。之后，对输出的两个特征向量拼接得到融合特征向量 ${{\boldsymbol{z}}_{\text{F}}}$ ，表示为

${{\boldsymbol{z}}_{\text{F}}} = {\text{concatenate(}}{{\boldsymbol{z}}_{\text{L}}},{{\boldsymbol{z}}_{\text{T}}})$

(6)

最后，将融合特征向量 ${{\boldsymbol{z}}_{\text{F}}}$ 通过全连接层进一步处理来得到最终输出的预测序列 ${\boldsymbol{Y}}(t)$ 。全连接层使用Relu激活函数来学习融合特征向量 ${{\boldsymbol{z}}_{\text{F}}}$ 的内在特征并输出最终的预测结果，表示为

${\boldsymbol{Y}}(t) = {\text{Relu(}}{{\boldsymbol{W}}_{\text{F}}}{{\boldsymbol{z}}_{\text{F}}} + {{\boldsymbol{b}}_{\text{F}}})$

(7)

其中， ${{\boldsymbol{W}}_{\text{F}}}$ 和 ${{\boldsymbol{b}}_{\text{F}}}$ 分别表示全连接层对应的权重和偏置。

3.2 Transformer分块注意力优化策略

Transformer是一种基于注意力机制的神经网络结构，它通过对输入序列进行位置编码来单独提取过去每一个时间步长的相关信息。这种对输入序列进行编码的机制使Transformer能够从历史数据中提取到长期的依赖关系，适用于解决长期预测问题^[23]。在Transformer中，采用注意力计算机制来提取输入序列数据的相关特征，表示为^[26]

${\text{Attention(}}{\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}{\text{) = softmax}}\left( {\frac{{{\boldsymbol{Q}}{{\boldsymbol{K}}^{\rm T}}}}{{\sqrt {{d_k}} }}} \right){\boldsymbol{V}}$

(8)

其中， ${\boldsymbol{Q}} \in {\mathbb{R}^{D \times {d_k}}}$ , ${\boldsymbol{K}} \in {\mathbb{R}^{D \times {d_k}}}$ , ${\boldsymbol{V}} \in {\mathbb{R}^{D \times {d_v}}}$ 分别表示输入序列通过线性变换得到的查询(Query)，键(Key)和值(value)向量。其中， $D$ 表示输入序列的长度， ${d_k} = {d_v} = {d_m}$ ， ${d_m}$ 为Transformer模型的输出维度，一般设置为512。

为了在不同的位置学习输入序列数据的依赖关系，提高模型的预测能力，Transformer使用多头注意力(Multi-head attention)机制来进行计算。多头注意力机制的计算过程如下：首先，将Transformer中的 ${\boldsymbol{Q}}$ , ${\boldsymbol{K}}$ 和 ${\boldsymbol{V}}$ 向量以相同的维度进行多次投影，每个投影代表一个注意力头，所有注意力头并行执行自注意力计算来提取特征向量。之后，将所有注意力头提取的特征向量拼接起来再次投影，输出最终提取得到的特征向量。多头注意力机制的数学表示为^[26]：

$\begin{split} & {\text{Multihead(}}{\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}) \\ & = {\text{Concat(hea}}{{\text{d}}_1}, \cdots ,{\text{hea}}{{\text{d}}_i}, \cdots ,{\text{hea}}{{\text{d}}_h}){{\boldsymbol{W}}^O} \end{split}$

(9)

其中， $h$ 表示多头注意力机制的注意力头数，即 ${\boldsymbol{Q}}$ , ${\boldsymbol{K}}$ , ${\boldsymbol{V}}$ 进行投影的次数； ${{\boldsymbol{W}}^O} \in {\mathbb{R}^{{d_m} \times {d_m}}}$ 为输出最终提取得到的特征向量的投影矩阵。在多头注意力机制中，对于第 $i$ 个注意力头 ${\text{hea}}{{\text{d}}_i}$ ，其自注意力计算表示为

${\text{hea}}{{\text{d}}_i} = {\text{Attention(}}{\boldsymbol{QW}}_i^Q,{\boldsymbol{KW}}_i^K,{\boldsymbol{VW}}_i^V)$

(10)

其中， ${\boldsymbol{W}}_i^Q \in {\mathbb{R}^{{d_m} \times {d_k}}}$ , ${\boldsymbol{W}}_i^K \in {\mathbb{R}^{{d_m} \times {d_k}}}$ , ${\boldsymbol{W}}_i^V \in {\mathbb{R}^{{d_m} \times {d_v}}}$ 分别表示单个注意力头中输入的 ${\boldsymbol{Q}}$ , ${\boldsymbol{K}}$ , ${\boldsymbol{V}}$ 向量的投影矩阵。其中， ${d_k} = {d_v} = {d_m}/h$ 。

在原始的Transformer注意力机制计算过程中，模型需要分别处理 ${\boldsymbol{Q}}$ , ${\boldsymbol{K}}$ , ${\boldsymbol{V}}$ 3个大小为 $D \times {d_m}$ 的高维矩阵。尽管多头注意力机制通过多次投影来降低计算矩阵的维度能够在一定程度上减少模型的计算复杂度，但在输入序列长度 $D$ 较大的情况下，Transformer在注意力计算过程中仍然具有较大的计算复杂度^[27]。此外，虽然Transformer能够较好地捕捉输入序列的长期依赖关系，但在一定程度上忽略了数据间的短期依赖关系，在预测的数据模式更加倾向于短期依赖的情况下，使用Transformer无法显著降低对输入序列数据的预测误差^[28]。

为了解决上述问题，本文在Transformer注意力机制的计算过程中，提出了分块注意力优化策略，其基本流程如图4所示。

图 4 分块注意力优化策略计算流程

下载: 全尺寸图片幻灯片

具体来说，本文将输入序列 $X(t)$ 按照时间顺序分为 $M$ 个子块，每个子块具有相同的序列长度。已知总的输入序列长度为 $D$ ，则每个子块的序列长度为 $D/M$ 。在分块注意力优化策略的计算过程中，首先将每个输入序列子块分别通过多头注意力计算来输出各自的特征向量，在该过程中，所有输入序列子块进行并行计算。之后，将每个子块输出的特征向量进行拼接，通过全连接层计算得到Transformer输出的最终特征向量。所提的分块注意力优化策略的数学计算表示为

${\text{Blockwise(}}{\boldsymbol{Q}},{\boldsymbol{K}},{\boldsymbol{V}}) = \left[ \begin{gathered} {\text{Multihead(}}{{\boldsymbol{Q}}_1},{{\boldsymbol{K}}_1},{{\boldsymbol{V}}_1}) \\ \vdots \\ {\text{Multihead(}}{{\boldsymbol{Q}}_j},{{\boldsymbol{K}}_j},{{\boldsymbol{V}}_j}) \\ \vdots \\ {\text{Multihead(}}{{\boldsymbol{Q}}_M},{{\boldsymbol{K}}_M},{{\boldsymbol{V}}_M}) \\ \end{gathered} \right]$

(11)

其中， ${{\boldsymbol{Q}}_j}$ , ${{\boldsymbol{K}}_j}$ , ${{\boldsymbol{V}}_j}$ 分别表示第 $j$ 个输入序列子块通过线性变换得到的查询(Query)、键(Key)和值(value)向量，其中 $j = 1,2, \cdots ,M$ 。

通过引入分块注意力优化策略，能够在Transformer的注意力计算过程中减少输入数据的序列长度。由于在分块注意力计算过程中，每个子块并行计算得到特征向量，因此与原始的注意力机制相比，采用分块注意力优化策略能够减少模型的计算复杂度，提高模型的运行效率。此外，通过将输入数据分成多个子块来减少输入序列的长度，能够使得Transformer在保持捕捉输入序列数据长期依赖的优势下增强对数据间短期依赖的学习，进一步降低校正误差。因此，本文所提的多模型融合的无人机异常航迹校正方法与原始的LSTM-Transformer预测模型，以及单个LSTM和Transformer相比，能够降低对无人机异常航迹的校正误差，提高校正效率。

3.3 方法分析

本节从理论上分析所提方法的性能：

(1)预测性能分析。在时间序列预测问题中，通常使用预测误差来衡量模型的预测性能。以下分析中使用均方误差(Mean Squared Error, MSE)来衡量预测性能，计算为

${\text{MSE = }}\frac{1}{n}\sum\limits_{i = 1}^n {({y_i} - {{\hat y}_i}} {)^2}$

(12)

其中， ${y_i}$ 表示输入数据的真实值， ${\hat y_i}$ 表示预测值。MSE能够衡量真实值与预测值之间的偏差大小，计算得到的MSE越小，表示方案的预测性能越好。由于预测方法捕获输入序列数据长期依赖与短期依赖的能力会影响计算所得的均方误差，这里将均方误差表示为长期误差与短期误差之和，计算为

${\text{MSE}} = {\text{MS}}{{\text{E}}_{\text{S}}} + {\text{MS}}{{\text{E}}_{\text{L}}}$

(13)

其中， ${\text{MS}}{{\text{E}}_{\text{S}}}$ 和 ${\text{MS}}{{\text{E}}_{\text{L}}}$ 分别表示不同预测方法的短期与长期误差。

已知LSTM捕获输入数据短期依赖的能力强于Transformer，而Transformer相比于LSTM捕获输入数据长期依赖的优势更大，因此可以得到^[24]： ${\text{MS}}{{\text{E}}_{{\text{L,S}}}}{\text{ \lt MS}}{{\text{E}}_{{\text{T,S}}}}$ , ${\text{MS}}{{\text{E}}_{{\text{T,L}}}}{\text{ \lt MS}}{{\text{E}}_{{\text{L,L}}}}$ , 其中， ${\text{MS}}{{\text{E}}_{{\text{L,S}}}}$ , ${\text{MS}}{{\text{E}}_{{\text{L,L}}}}$ , ${\text{MS}}{{\text{E}}_{{\text{T,S}}}}$ 和 ${\text{MS}}{{\text{E}}_{{\text{T,L}}}}$ 分别表示输入数据通过LSTM和Transformer预测所得的短期和长期误差。对于LSTM-Transformer预测模型，由于综合了LSTM捕获输入数据短期依赖的优势和Transformer捕获长期依赖的优势，因此得出^[24]： ${\text{MS}}{{\text{E}}_{{\text{F,S}}}} \approx {\text{MS}}{{\text{E}}_{{\text{L,S}}}}$ , ${\text{MS}}{{\text{E}}_{{\text{F,L}}}} \approx {\text{MS}}{{\text{E}}_{{\text{T,L}}}}$ 。 ${\text{MS}}{{\text{E}}_{{\text{F,S}}}}$ 和 ${\text{MS}}{{\text{E}}_{{\text{F,L}}}}$ 表示LSTM-Transformer预测模型的短期误差和长期误差。根据式(13)，可以得出

${\text{MS}}{{\text{E}}_{\text{F}}} \approx {\text{MS}}{{\text{E}}_{{\text{L,S}}}} + {\text{MS}}{{\text{E}}_{{\text{T,L}}}} \lt \min \left( {{\text{MS}}{{\text{E}}_{\text{L}}},{\text{MS}}{{\text{E}}_{\text{T}}}} \right)$

(14)

其中， ${\text{MS}}{{\text{E}}_{\text{F}}}$ , ${\text{MS}}{{\text{E}}_{\text{L}}}$ 和 ${\text{MS}}{{\text{E}}_{\text{T}}}$ 分别表示输入数据通过LSTM-Transformer, LSTM和Transformer预测得到的均方误差。由于引入分块注意力优化策略能够增强Transformer捕获输入数据短期依赖的能力，与原始的LSTM-Transformer预测模型相比，可以得出^[29]： ${\text{MS}}{{\text{E}}_{{\text{BF,S}}}}{\text{ \lt MS}}{{\text{E}}_{{\text{F,S}}}}$ , ${\text{MS}}{{\text{E}}_{{\text{BF,S}}}}$ 表示所提方法的短期误差。此外，引入分块注意力优化策略并不会对Transformer捕获输入数据长期依赖的能力造成较大影响，因此对于输入数据的长期依赖关系，可以得到^[29]： ${\text{MS}}{{\text{E}}_{{\text{BF,L}}}} \approx {\text{MS}}{{\text{E}}_{{\text{F,L}}}}$ , ${\text{MS}}{{\text{E}}_{{\text{BF,L}}}}$ 为所提方法的长期误差。根据上述分析以及式(13)和式(14)，将引入分块注意力优化策略的LSTM-Transformer预测模型与原始方法的MSE相比，可以得出^[29]： ${\text{MS}}{{\text{E}}_{{\text{BF}}}}{\text{ \lt MS}}{{\text{E}}_{\text{F}}}$ , ${\text{MS}}{{\text{E}}_{{\text{BF}}}}$ 表示输入数据经过所提方法预测得到的均方误差。综上所述，将所提方法与其它方法相比，其均方误差的关系为

${\text{MS}}{{\text{E}}_{{\text{BF}}}}{\text{ \lt MS}}{{\text{E}}_{\text{F}}} \lt \min \left( {{\text{MS}}{{\text{E}}_{\text{L}}}{\text{,MS}}{{\text{E}}_{\text{T}}}} \right)$

(15)

上述理论分析证明了提出的多模型融合的无人机异常航迹校正方法能够降低对无人机航迹的校正误差。

(2)计算复杂度分析。根据文献[]中的分析，对于原始的Transformer，多头注意力机制的计算复杂度表示为 $\mathcal{O}\left( {H \times {D^2}} \right)$ 。其中， $H$ 表示注意力头的个数， $D$ 为输入序列的长度。在提出的分块注意力优化策略中，将输入序列数据分为 $M$ 个长度相同的子块，每个子块的序列长度为 $\dfrac{D}{M}$ 。在分块注意力的计算过程中，所有子块并行执行多头注意力计算，则相应的计算复杂度表示为

$\mathcal{O}\left( {H \times \frac{D}{M} \times \frac{D}{M} \times M} \right) = \mathcal{O}\left( {H \times \frac{{{D^2}}}{M}} \right)$

(16)

已知设置的 $H$ , $D$ 和 $M$ 分别为正整数，则可以得出 $\mathcal{O}\left( {H \times \dfrac{{{D^2}}}{M}} \right) \lt \mathcal{O}\left( {H \times {D^2}} \right)$ ，证明了引入分块注意力优化策略能够降低原始的Transformer注意力机制的计算复杂度，提高对无人机异常航迹的校正效率。

4. 仿真实验

本文采用UAV ATTACK数据集¹^[30]进行实验，该数据集分别从正常无人机和受位置欺骗无人机的飞行日志中提取包含无人机的位置、速度、姿态角等相关的飞行参数。飞行日志由一架自主飞行的无人机在无射频信号的设施内模拟生成，模拟过程中使用的无人机型号为Holybro S500，通过Pixhawk 4飞行控制器运行。飞行日志中的飞行航迹以参考坐标(东经138.3°，北纬36.2°，高度51.7 m)为基准，起点为局部位置坐标(0.670 24 07 m, –0.254 137 25 m, –3.717 985 4 m)，终点为(–0.374 858 6 m, 0.256 626 07 m, –3.975 589 3 m)，表示无人机相对参考坐标的偏差。飞行日志的总飞行时长为68.42 h，飞行参数的采样间隔为100 s。对于遭受位置欺骗攻击的飞行日志，攻击在第30.5 h开始，欺骗信号通过GPS-SDR-SIM开源软件¹生成，并采用持续攻击模式。

本实验从第40.63 h开始，选取后27.78 h的飞行日志提取飞行参数，该段飞行日志对应1 000个数据样本，无人机的平均飞行速度为0.039 6 m/s。上述从无人机飞行日志提取得到的飞行参数能够用来模拟无人机飞行过程中通过传感器测量得到的飞行数据。因此，本实验选择的飞行参数包含15个输入特征和3个输出预测特征，分别如表1所示。实验中将选取的所有数据样本以7:1:2的比例分为训练集、验证集和测试集。在模型预测过程中，设置的最大预测步长为20，输入序列长度为100。

表 1 无人机航迹预测特征参数

输入特征	预测特征(输出特征)
局部位置 $(x,y,z)$	局部位置 $(x,y,z)$
局部速度 $({v_x},{v_y},{v_z})$
局部加速度 $({a_x},{a_y},{a_z})$
横滚角速度(Roll Speed)
俯仰角速度(Pitch Speed)
偏航角速度(Yaw Speed)
横滚角(Roll)
俯仰角(Pitch)
偏航角(Yaw)

下载: 导出CSV

| 显示表格

为了验证提出的无人机异常航迹校正方法的性能，实验中分别比较了所提方法与其它基准方法对相同数据集在不同预测步长大小下所得的校正误差，并进行了消融实验(ablation study)。本文使用预测误差来衡量不同校正方法的性能，选取的预测误差指标为均方根误差(Root Mean Squared Error, RMSE)、平均绝对误差(Mean Absolute Error, MAE)以及平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)，其计算分别为

${\text{RMSE = }}\sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{({{\boldsymbol{P}}_i} - {{\hat {\boldsymbol{P}}}_i})}^2}} }$

(17)

${\text{MAE = }}\frac{1}{n}\sum\limits_{i = 1}^n {\left| {{{\boldsymbol{P}}_i} - {{\hat {\boldsymbol{P}}}_i}} \right|}$

(18)

${\text{MAPE = }}\frac{1}{n}\sum\limits_{i = 1}^n {\left| {\frac{{{{\boldsymbol{P}}_i} - {{\hat {\boldsymbol{P}}}_i}}}{{{{\boldsymbol{P}}_i}}}} \right|} \times 100\%$

(19)

其中， $n$ 为样本数， ${{\boldsymbol{P}}_i}$ 和 ${\hat {\boldsymbol{P}}_i}$ 分别为第 $i$ 个局部位置坐标向量对应的真实值和预测值。在3个评估指标中，RMSE和MAE用于衡量预测值与真实值间的偏差程度，能够直观地表示预测值与真实值之间的偏差大小。MAPE用来表示预测值与真实值之间的相对误差。上述3个预测指标越小，表示模型的预测效果越好。

以下给出仿真实验中的具体配置。对于引入分块注意力优化策略的Transformer子模型，实验中设置输入序列分割的子块数为5，每个输入序列矩阵块并行进行多头注意力计算，多头注意力计算中的注意力头数设置为4。在所有子块输出自身的特征向量后，将这些特征向量拼接，通过一个全连接层(fully connected layer)输出Transformer提取的总特征向量。该全连接层的神经元数为64，采用Relu激活函数。对于LSTM子模型，其神经网络配置如表2所示。

表 2 LSTM子模型神经网络配置

神经网络层(layer)	配置参数(configuration)
LSTM 1	50 Neurons, Tanh
LSTM 2	50 Neurons, Tanh
Fully connected	64 Neurons, Relu

下载: 导出CSV

| 显示表格

在LSTM和Transformer输出各自提取得到的特征向量后，将两个子模型的特征向量拼接，最终通过一个全连接层进行计算，通过输出层输出预测结果。全连接层的神经元数为64，采用Relu激活函数。LSTM和Transformer子模型的训练周期数设置为100，为了防止过拟合，分别在LSTM和Transformer子模型中加入了早停机制(early stopping)，将早停机制的耐心值(patience)设置为10，即模型在验证集上连续10个训练周期损失未减少时，训练提前停止。

4.1 基准方法比较

实验比较了所提校正方法与SVR^[17,31], CNN-LSTM^[19]以及LSTM-RF^[20]3种基准方法在不同预测步长下得到的RMSE, MAE和MAPE。与所提方法相同，其它3种基准方法引入早停机制，耐心数设为10。其中，SVR采用径向基(Radial Basis Function, RBF)核函数，LSTM-RF中LSTM的神经网络配置与所提方法中的LSTM子模型相同，见表2。CNN-LSTM的神经网络配置如表3所示。

表 3 CNN-LSTM神经网络配置

神经网络层(layer)	配置参数(configuration)
1D Convolution	64 kernels, 2 × 1 kernel size, Relu
Max-Pooling	2 × 1 kernel size
LSTM 1	50 Neurons, Tanh
LSTM 2	50 Neurons, Tanh
Fully connected	future steps×3 Neurons, SoftMax

下载: 导出CSV

| 显示表格

4种校正方法在预测步长从1逐渐增大到20的情况下所得的RMSE, MAE和MAPE分别如图5(a)-图5(c)所示。从中可知，当预测步长从1逐渐增大到20的情况下，所提方法得到的RMSE, MAE和MAPE始终小于其它3种基准方法。当预测步长为20时，所提方法的RMSE, MAE和MAPE分别为0.1831, 0.1489和13.583%。与SVR, CNN-LSTM和LSTM-RF相比，RMSE分别降低了41.54%, 15.86%和30.85%，MAE分别降低了38.37%, 9.15%和26.79%，MAPE分别降低了19.06%, 12.921%和9.892%。

图 5 四种校正方法在不同预测步长下的校正误差

下载: 全尺寸图片幻灯片

根据图5可知，在预测步长逐渐增大的情况下，SVR的预测误差最大，这是因为SVR无法对多个预测步长的值直接预测，在需要预测多个时间步长的值时，只能通过将前一步的预测结果作为下一步预测的输出来逐渐得到多步预测值。在这种情况下，预测误差会逐渐累积，导致在较长的预测步长下产生较大的预测误差。对于LSTM-RF和CNN-LSTM，由于CNN, LSTM善于捕捉输入数据间的短期依赖，但对输入数据长期依赖的捕捉能力不足，因此在预测步长较大时，难以取得较好的预测结果。与之相比，本文所提方法结合了LSTM对输入数据短期依赖的学习能力与Transformer对长期依赖的学习能力，并引入了分块注意力优化策略来进一步降低预测误差，因此从图中可知，与其它3种基准方法相比，所提方法获得了最小的校正误差，校正性能最好。

此外，由于无人机传感器精度限制以及环境噪声等因素，无人机飞行数据中会包含一定的量测噪声。为了验证所提方法在飞行数据包含量测噪声的情况下对无人机航迹的校正性能，我们在输入的无人机飞行数据序列中加入高斯噪声^[32]，验证所提方法在不同量测噪声大小下对无人机异常航迹在长期预测下的校正性能，量测噪声大小通过量测噪声标准差进行衡量^[33]。为了比较所提方法在不同量测噪声大小下的性能，我们在实验中将输入的飞行数据的量测噪声标准差从0.04增大到0.19，比较所提方法与其它3种基准方法在预测步长为20时计算得到的预测误差指标，如图6(a)-图6(c)所示。

图 6 预测步长为20时，4种校正方法在不同量测噪声标准差下的校正误差

下载: 全尺寸图片幻灯片

根据图6可知，在预测步长为20时，所提方法在不同的量测噪声标准差下，计算所得的RMSE, MAE和MAPE始终低于其它3种基准方法。当量测噪声标准差为0.19时，所提方法的RMSE, MAE和MAPE分别为0.297 1, 0.220 8和21.688%。与SVR, CNN-LSTM和LSTM-RF相比，RMSE分别降低了39.52%, 6.22%和20.65%，MAE分别降低了45.5%, 8.46%和20.52%，MAPE分别降低了8.955%, 2.03%和3.532%。实验结果证明了所提方法在输入数据包含量测噪声的情况下，对无人机异常航迹在长期预测下仍然具有较好的校正性能。

4.2 消融实验

为了进一步验证所提预测方法的性能，本文在实验中比较了所提方法与不引入分块注意力优化策略的LSTM-Transformer，引入分块注意力优化策略的Transformer(Transformer Blockwise)，以及LSTM和Transformer子模型在预测步长逐渐增大下的RMSE, MAE和MAPE，如图7(a)-图7(c)所示。

图 7 所提方法与其不同成分在不同预测步长下的校正误差

下载: 全尺寸图片幻灯片

根据图7可知，所提方法与其它4种选取所提方法部分成分的方法相比，在预测步长从1增大到20的过程中，所得的校正误差整体最小。当预测步长为20时，与其它四种方法相比，所提方法的RMSE分别降低了19.73%, 21.35%, 4.19%和13.71%，MAE分别降低了20.25%, 17.87%, 7.92%和8.71%，MAPE分别降低了11.729%, 8.244%, 7.101%和5.601%。从图7可知，与单个的LSTM和Transformer子模型相比，LSTM-Transformer获得的校正误差更小，证明了将LSTM和Transformer融合能够降低无人机异常航迹的校正误差。此外，与LSTM-Transformer相比，所提方法获得了更小的校正误差，证明了提出的分块注意力优化策略能够进一步降低校正误差。

同时，在预测步长为20时，本文比较了所提方法与其它四种方法在不同量测噪声标准差下的预测误差指标，如图8(a)-图8(c)所示。由图可知，所提方法在预测步长为20时，在不同量测噪声标准差下的校正性能优于其它4种校正方法。当量测噪声标准差为0.19时，与其它4种方法相比，所提方法的RMSE分别降低了12.23%, 4.07%, 1.36%和3.48%，MAE分别降低了19.36%, 6.76%, 3.83%和4.21%，MAPE分别降低了3.84%, 3.616%, 2.075%和2.087%。上述结果证明了提出的多模型融合的无人机异常航迹校正方法能够较好地降低校正误差，尤其是在长期预测的情况下。

图 8 预测步长为20时，所提方法与其不同成分在不同量测噪声标准差下的校正误差

下载: 全尺寸图片幻灯片

此外，为了验证在输入序列较长的情况下，所提方法引入的分块注意力优化策略能够降低模型的计算复杂度，提高校正效率，本文在实验中比较了所提方法与其它方法在预测步长从1∽20情况下所需的运行时间，比较结果如图9所示。根据图9可知，在不同的预测步长下，本文所提方法与未引入分块注意力优化策略的LSTM-Transformer相比，运行时间大幅减小。当预测步长为20时，本文所提方法的运行时间为0.699 s，与未引入分块注意力优化策略的LSTM-Transformer相比，降低了35.87%。实验结果证明了本文方法中提出的分块注意力优化策略能够提高对无人机异常航迹的校正效率。

图 9 所提方法与其不同成分在不同预测步长下的运行时间

下载: 全尺寸图片幻灯片

4.3 无人机异常航迹校正效果验证

为了验证所提方法通过预测无人机位置参数来校正无人机异常航迹的效果，图10(a)-图10(c)给出所提方法、SVR, CNN-LSTM以及LSTM-RF四种校正方法在预测步长为20下产生的预测航迹与规划航迹、欺骗航迹的比较结果。

图 10 4种校正方法在预测步长为20下的无人机异常航迹校正结果

下载: 全尺寸图片幻灯片

实验采用测试集进行验证，已知测试集的总样本数为200，输入时间序列长度为100，预测步长为20。因此，生成的预测航迹以第101个测试集样本为起点，共生成80个采样点。航迹中的采样点表示每一次预测对应的相对经度、相对纬度和相对高度，单位为m。

从图10可知，由于受位置欺骗的无人机难以通过信号接收机解算得到正确的位置参数，因此欺骗航迹与规划航迹的误差较大，水平误差超过10 m。将4种校正方法产生的预测航迹与规划航迹进行比较可知，所提方法的预测航迹与规划航迹间的误差最小。此外，所提方法的预测航迹相比其他校正方法能够较好地拟合规划航迹的变化趋势。与之相比，CNN-LSTM的预测航迹与规划航迹的误差较大，校正效果相比所提方法较差。SVR和LSTM-RF对无人机异常航迹的校正效果最差。与其它3种基准方法相比，所提方法对无人机航迹的校正效果整体最好。

5. 结论

为了防止受位置欺骗的无人机偏离规划的飞行航迹，本文提出了一种多模型融合的无人机异常航迹校正方法，通过预测无人机的位置参数来校正异常航迹。针对已有的研究工作在长期预测下校正误差较大的问题，本文将LSTM和Transformer预测模型相融合，综合LSTM捕获输入数据短期依赖和Transformer捕获输入数据长期依赖的优势来降低校正误差。为了解决在输入序列较长时原始的Transformer注意力计算复杂度高导致模型校正效率低的问题，进一步提出分块注意力优化策略来降低Transformer子模型的计算复杂度。基于公开数据集的实验结果证明了所提方法能够降低对无人机异常航迹的校正误差并提高校正效率。

图 1 无人机位置欺骗攻击示意图

下载: 全尺寸图片幻灯片

图 2 无人机异常航迹校正流程

下载: 全尺寸图片幻灯片

图 3 LSTM-Transformer预测模型总体框架

下载: 全尺寸图片幻灯片

图 4 分块注意力优化策略计算流程

下载: 全尺寸图片幻灯片

图 5 四种校正方法在不同预测步长下的校正误差

下载: 全尺寸图片幻灯片

图 6 预测步长为20时，4种校正方法在不同量测噪声标准差下的校正误差

下载: 全尺寸图片幻灯片

图 7 所提方法与其不同成分在不同预测步长下的校正误差

下载: 全尺寸图片幻灯片

图 8 预测步长为20时，所提方法与其不同成分在不同量测噪声标准差下的校正误差

下载: 全尺寸图片幻灯片

图 9 所提方法与其不同成分在不同预测步长下的运行时间

下载: 全尺寸图片幻灯片

图 10 4种校正方法在预测步长为20下的无人机异常航迹校正结果

下载: 全尺寸图片幻灯片

表 1 无人机航迹预测特征参数

输入特征	预测特征(输出特征)
局部位置 $(x,y,z)$	局部位置 $(x,y,z)$
局部速度 $({v_x},{v_y},{v_z})$
局部加速度 $({a_x},{a_y},{a_z})$
横滚角速度(Roll Speed)
俯仰角速度(Pitch Speed)
偏航角速度(Yaw Speed)
横滚角(Roll)
俯仰角(Pitch)
偏航角(Yaw)

下载: 导出CSV

表 2 LSTM子模型神经网络配置

神经网络层(layer)	配置参数(configuration)
LSTM 1	50 Neurons, Tanh
LSTM 2	50 Neurons, Tanh
Fully connected	64 Neurons, Relu

下载: 导出CSV

表 3 CNN-LSTM神经网络配置

神经网络层(layer)	配置参数(configuration)
1D Convolution	64 kernels, 2 × 1 kernel size, Relu
Max-Pooling	2 × 1 kernel size
LSTM 1	50 Neurons, Tanh
LSTM 2	50 Neurons, Tanh
Fully connected	future steps×3 Neurons, SoftMax

下载: 导出CSV

参考文献(33)

[1]	陈新颖, 盛敏, 李博, 等. 面向6G的无人机通信综述[J]. 电子与信息学报, 2022, 44(3): 781–789. doi: 10.11999/JEIT210789. CHEN Xinying, SHENG Min, LI Bo, et al. Survey on unmanned aerial vehicle communications for 6G[J]. Journal of Electronics & Information Technology, 2022, 44(3): 781–789. doi: 10.11999/JEIT210789.
[2]	HOSSEIN MOTLAGH N, TALEB T, and AROUK O. Low-altitude unmanned aerial vehicles-based internet of things services: Comprehensive survey and future perspectives[J]. IEEE Internet of Things Journal, 2016, 3(6): 899–922. doi: 10.1109/jiot.2016.2612119.
[3]	DENG Tianping, XU Xiaohui, ZOU Zhiqing, et al. Multidrone parcel delivery via public vehicles: A joint optimization approach[J]. IEEE Internet of Things Journal, 2024, 11(6): 9312–9323. doi: 10.1109/jiot.2023.3323704.
[4]	杨君一, 李博, 张钦宇. 基于物理层网络编码的无人机中继网络资源优化[J]. 通信学报, 2021, 42(9): 12–20. doi: 10.11959/j.issn.1000−436x.2021172. YANG Junyi, LI Bo, and ZHANG Qinyu. Resource optimization for UAV relay networks based on physical-layer network coding[J]. Journal on Communications, 2021, 42(9): 12–20. doi: 10.11959/j.issn.1000−436x.2021172.
[5]	WANG Wei, CHENG Nan, LIU Yiliang, et al. Content delivery analysis in cellular networks with aerial caching and mmWAVE backhaul[J]. IEEE Transactions on Vehicular Technology, 2021, 70(5): 4809–4822. doi: 10.1109/tvt.2021.3074991.
[6]	WANG Jiaqi, WANG Wei, ZHOU Bo, et al. Frequency-hopping signal recognition of multiple UAVs with template matching[C]. 2024 IEEE/CIC International Conference on Communications in China (ICCC), Hangzhou, China, 2024: 1698–1702. doi: 10.1109/ICCC62479.2024.10681687.
[7]	聂伟, 戴琪霏, 杨小龙, 等. 基于多维信号特征的无人机探测识别方法[J]. 电子与信息学报, 2024, 46(3): 1089–1099. doi: 10.11999/JEIT230302. NIE Wei, DAI Qifei, YANG Xiaolong, et al. Unmanned aerial vehicle detection and recognition method based on multi-dimensional signal feature[J]. Journal of Electronics & Information Technology, 2024, 46(3): 1089–1099. doi: 10.11999/JEIT230302.
[8]	毕宿志. 空地协同通信定位一体化无人机应急部署优化[J]. 物联网学报, 2024, 8(0): 1–15. doi: 10.11959/j.issn.2096-3750.2024.00428. BI Suzhi. Emergency UAV deployment optimization in an integrated air-ground network with joint communication and localization service[J]. Chinese Journal on Internet of Things, 2024, 8(0): 1–15. doi: 10.11959/j.issn.2096-3750.2024.00428.
[9]	聂伟, 文怀志, 谢良波, 等. 一种基于单目视觉的无人机室内定位方法[J]. 电子与信息学报, 2022, 44(3): 906–914. doi: 10.11999/JEIT211328. NIE Wei, WEN Huaizhi, XIE Liangbo, et al. Indoor localization of UAV using monocular vision[J]. Journal of Electronics & Information Technology, 2022, 44(3): 906–914. doi: 10.11999/JEIT211328.
[10]	PAN Hengchang, WANG Yuanshuo, WANG Wei, et al. Privacy-preserving location authentication for low-altitude UAVs: A blockchain-based approach[J]. Security and Safety, 2024, 3: 2024004. doi: 10.1051/sands/2024004.
[11]	佘丁辰, 王威, 王加琪, 等. 基于收缩自编码器的无人机GPS欺骗攻击协同检测方法[J]. 信号处理, 2024, 40(4): 706–718. doi: 10.16798/j.issn.1003-0530.2024.04.009. SHE Dingchen, WANG Wei, WANG Jiaqi, et al. Collaborative detection method of UAV GPS spoofing attack based on shrink autoencoder[J]. Journal of Signal Processing, 2024, 40(4): 706–718. doi: 10.16798/j.issn.1003-0530.2024.04.009.
[12]	PSIAKI M L and HUMPHREYS T E. GNSS spoofing and detection[J]. Proceedings of the IEEE, 2016, 104(6): 1258–1270. doi: 10.1109/jproc.2016.2526658.
[13]	GUO Yan, WU Meiping, TANG Kanghua, et al. Covert spoofing algorithm of UAV based on GPS/INS-integrated navigation[J]. IEEE Transactions on Vehicular Technology, 2019, 68(7): 6557–6564. doi: 10.1109/tvt.2019.2914477.
[14]	YANG Lei, LI Shaobo, ZHANG Yizong, et al. Deep learning-assisted unmanned aerial vehicle flight data anomaly detection: A review[J]. IEEE Sensors Journal, 2024, 24(20): 31681–31695. doi: 10.1109/jsen.2024.3451648.
[15]	HSIAO Y S, WAN Zishen, JIA Tianyu, et al. MAVFI: An end-to-end fault analysis framework with anomaly detection and recovery for micro aerial vehicles[C]. 2023 Design, Automation & Test in Europe Conference & Exhibition (DATE), Antwerp, Belgium, 2023: 1–6. doi: 10.23919/DATE56975.2023.10137246.
[16]	HE Yongfu, PENG Yu, WANG Shaojun, et al. ADMOST: UAV flight data anomaly detection and mitigation via online subspace tracking[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(4): 1035–1044. doi: 10.1109/tim.2018.2863499.
[17]	ZHONG Jie, ZHANG Yujie, WANG Jianyu, et al. Unmanned aerial vehicle flight data anomaly detection and recovery prediction based on spatio-temporal correlation[J]. IEEE Transactions on Reliability, 2022, 71(1): 457–468. doi: 10.1109/tr.2021.3134369.
[18]	YANG Lei, LI Shaobo, LI Chuanjiang, et al. Data-driven unsupervised anomaly detection and recovery of unmanned aerial vehicle flight data based on spatiotemporal correlation[J]. Science China Technological Sciences, 2023, 66(5): 1304–1316. doi: 10.1007/s11431-022-2312-8.
[19]	YANG Lei, LI Shaobo, LI Chuanjiang, et al. Data-driven multivariate regression-based anomaly detection and recovery of unmanned aerial vehicle flight data[J]. Journal of Computational Design and Engineering, 2024, 11(2): 176–193. doi: 10.1093/jcde/qwae023.
[20]	WANG Benkuan, LIU Datong, PENG Yu, et al. Multivariate regression-based fault detection and recovery of UAV flight data[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(6): 3527–3537. doi: 10.1109/tim.2019.2935576.
[21]	石庆研, 岳聚财, 韩萍, 等. 基于LSTM-ARIMA模型的短期航班飞行轨迹预测[J]. 信号处理, 2019, 35(12): 2000–2009. doi: 10.16798/j.issn.1003-0530.2019.12.008. SHI Qingyan, YUE Jucai, HAN Ping, et al. Short-term flight trajectory prediction based on LSTM-ARIMA Model[J]. Journal of Signal Processing, 2019, 35(12): 2000–2009. doi: 10.16798/j.issn.1003-0530.2019.12.008.
[22]	KAREVAN Z and SUYKENS J A K. Transductive LSTM for time-series prediction: An application to weather forecasting[J]. Neural Networks, 2020, 125: 1–9. doi: 10.1016/j.neunet.2019.12.030.
[23]	ZHAO Huachuan, WANG Guochen, XIA Xiuwei, et al. Dynamic positional attention fusion (DPAF): Adaptive encoding and weighted attention for ship motion attitude prediction[J]. IEEE Sensors Journal, 2024, 24(13): 21679–21693. doi: 10.1109/jsen.2024.3399775.
[24]	ANDAYANI F, THENG L B, TSUN M T, et al. Hybrid LSTM-transformer model for emotion recognition from speech audio files[J]. IEEE Access, 2022, 10: 36018–36027. doi: 10.1109/access.2022.3163856.
[25]	TANG Song, LI Chuang, ZHANG Pu, et al. Swinlstm: Improving spatiotemporal prediction accuracy using Swin transformer and LSTM[C]. Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision, Paris, France, 2023: 13424–13433. doi: 10.1109/ICCV51070.2023.01239.
[26]	VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]. Proceedings of the 31st International Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 6000–6010.
[27]	WANG Jingyu, ZHANG Lu, LI Xueqing, et al. ULSeq-TA: Ultra-long sequence attention fusion transformer accelerator supporting grouped sparse softmax and dual-path sparse LayerNorm[J]. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, 2024, 43(3): 892–905. doi: 10.1109/tcad.2023.3329039.
[28]	REN Qianqian, LI Yang, and LIU Yong. Transformer-enhanced periodic temporal convolution network for long short-term traffic flow forecasting[J]. Expert Systems with Applications, 2023, 227: 120203. doi: 10.1016/j.eswa.2023.120203.
[29]	DONG Gaochen and CHEN W. Blockwise compression of transformer-based models without retraining[J]. Neural Networks, 2024, 171: 423–428. doi: 10.1016/j.neunet.2023.12.001.
[30]	WHELAN J, SANGARAPILLAI T, MINAWI O, et al. Novelty-based intrusion detection of sensor attacks on unmanned aerial vehicles[C]. Proceedings of the 16th ACM Symposium on QoS and Security for Wireless and Mobile Networks, Alicante, Spain, 2020: 23–28. doi: 10.1145/3416013.3426446.
[31]	ZHANG Honghai, YAN Yongjie, LI Shan, et al. UAV behavior-intention estimation method based on 4-D flight-trajectory prediction[J]. Sustainability, 2021, 13(22): 12528. doi: 10.3390/su132212528.
[32]	WANG Shengdong, LIU Zhenbao, JIA Zhen, et al. Fault detection for UAVs with spatial-temporal learning on multivariate flight data[J]. IEEE Transactions on Instrumentation and Measurement, 2024, 73: 2529517. doi: 10.1109/tim.2024.3440387.
[33]	HUANG Hongliang, ZHANG Hai, and JIANG Liuyang. An optimal fusion method of multiple inertial measurement units based on measurement noise variance estimation[J]. IEEE Sensors Journal, 2023, 23(3): 2693–2706. doi: 10.1109/jsen.2022.3229475.

施引文献

资源附件(0)

访问统计

图(10) / 表(3)

计量

文章访问数: 37
HTML全文浏览量: 23
PDF下载量: 1
被引次数: 0

1. 引言
2. 场景与问题定义
2.1 研究场景
2.2 问题定义
3. 方法描述与分析
3.1 LSTM-Transformer预测模型
3.2 Transformer分块注意力优化策略
3.3 方法分析
4. 仿真实验
4.1 基准方法比较
4.2 消融实验
4.3 无人机异常航迹校正效果验证
5. 结论

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

多模型融合的无人机异常航迹校正方法

doi: 10.11999/JEIT241026

通讯作者:
佘丁辰　sz2204829@nuaa.edu.cn

计量

Multi-Model Fusion-Based Abnormal Trajectory Correction Method for Unmanned Aerial Vehicles

1. 引言

2. 场景与问题定义

2.1 研究场景

2.2 问题定义

3. 方法描述与分析

3.1 LSTM-Transformer预测模型

3.2 Transformer分块注意力优化策略

3.3 方法分析

4. 仿真实验

4.1 基准方法比较

4.2 消融实验

4.3 无人机异常航迹校正效果验证

5. 结论

计量

目录

1. 引言

2. 场景与问题定义

2.1 研究场景

2.2 问题定义

3. 方法描述与分析

3.1 LSTM-Transformer预测模型

3.2 Transformer分块注意力优化策略

3.3 方法分析

4. 仿真实验

4.1 基准方法比较

4.2 消融实验

4.3 无人机异常航迹校正效果验证

5. 结论

留言板

多模型融合的无人机异常航迹校正方法

doi: 10.11999/JEIT241026

通讯作者: 佘丁辰 sz2204829@nuaa.edu.cn

计量

出版历程

Multi-Model Fusion-Based Abnormal Trajectory Correction Method for Unmanned Aerial Vehicles

1. 引言

2. 场景与问题定义

2.1 研究场景

2.2 问题定义

3. 方法描述与分析

3.1 LSTM-Transformer预测模型

3.2 Transformer分块注意力优化策略

3.3 方法分析

4. 仿真实验

4.1 基准方法比较

4.2 消融实验

4.3 无人机异常航迹校正效果验证

5. 结论

计量

出版历程

目录

1. 引言

2. 场景与问题定义

2.1 研究场景

2.2 问题定义

3. 方法描述与分析

3.1 LSTM-Transformer预测模型

3.2 Transformer分块注意力优化策略

3.3 方法分析

4. 仿真实验

4.1 基准方法比较

4.2 消融实验

4.3 无人机异常航迹校正效果验证

5. 结论

通讯作者:
佘丁辰　sz2204829@nuaa.edu.cn