1.   引言

近年来，非地面网络(Non-Terrestrial Networks, NTNs)随着科学技术的进步和通信需求的增加而迅速发展。NTNs主要包括卫星通信网络、高空平台系统以及无人机组网等，这些网络在覆盖范围、传输速率和服务质量等方面展示了显著的优势^[1]。随着物联网、智慧城市和下一代移动通信等技术的普及，NTNs在全球范围内的重要性愈发凸显。未来通信系统将越来越依赖于NTNs，以实现无缝的全球覆盖和高效的数据传输。

然而，由于NTNs中卫星通信具有动态切换快、传输距离长和通信范围广等特点，在实现全球覆盖的同时也带来了诸多挑战。例如，在长距离传输过程中往往面临高自由空间损耗和严重的阴影效应，这不仅降低了信号的强度和稳定性，还使得传输质量在动态环境中变得难以保障。无人机(Unmanned Aerial Vehicle, UAV)作为中继节点与地面用户进行交互传输时易受到多径效应、遮挡物的干扰以及视距受限等复杂环境因素的影响^[2]，导致信道状态频繁变化。此外，NTNs的开放通信特性也使其容易受到恶意干扰和窃听攻击等安全威胁，特别是在物理层。窃听用户可以利用窃听或干扰手段破坏通信的安全性，导致信息泄露甚至通信中断。因此如何提升NTNs系统在复杂环境下的安全传输性能，已经成为学术界关注的热点问题^[3]。

现有研究大多采用波束成形、自适应噪声以及协作干扰等技术优化安全传输性能。波束成形技术主要将保密信号的大部分能量集中于合法接收者的方向，从而使窃听者只能接收到微弱的信号，甚至完全无法接收。自适应噪声技术在发送保密信号的同时，主动利用部分功率生成干扰信号，削弱窃听者的接收信号，同时结合波束成形技术确保合法信道质量受到的影响尽可能小。协作干扰技术则通过引入中继和干扰节点，最大化合法信道与窃听信道之间的差异。这些技术在一定程度上提升了物理层安全性，抑制了窃听者对通信信息的截获。然而，这些研究在实际应用中仍面临诸多挑战，特别是在信道状态信息实时获取与优化方面有待展开进一步研究。传统的安全传输技术难以在这种高动态、不确定的环境下及时调整参数以优化性能。同时，NTNs中的窃听者或恶意干扰节点具有一定的智能性，能够主动适应或破坏现有的安全传输策略，进一步增加了系统安全保障的难度。因此，如何在NTNs动态环境中增强合法用户信号，实现信道状态信息的高效实时更新与优化，是当前研究面临的重要挑战和亟待解决的问题。

可重构智能超表面(Reconfigurable Intelligent Surface, RIS)由多个反射单元组成，通过超材料调控无线信号的传播特性，具有增强无线信号质量、部署简单成本低等优点^[4]，RIS辅助的卫星通信系统或者UAV通信系统在提高频谱效率^[5]、能量效率^[6]以及安全通信^[7]方面已经展开了相关研究。文献[8–10]研究了RIS辅助的UAV下行系统中的资源分配与安全传输方法。文献[8]考虑了利用UAV的高机动性和IRS的可调能力对抗潜在窃听者的保密率最大化问题。文献[9]在RIS辅助的UAV下行通信系统中，提出一种基于深度强化学习(Deep Reinforcement Learning, DRL)的联合优化波束成形和UAV轨迹优化方法，以实现最大化系统安全速率。文献[10]联合设计发射波束成形、人工噪声、UAV-RIS放置和RIS的无源波束成形，最大限度地提高可实现系统最坏情况下的保密率。文献[11–13]研究了RIS辅助的星地网络下行系统中的资源分配与安全传输方法。文献[11]在星地融合网络中采用速率拆分多址技术，将系统间干扰与波束成形技术结合，提出一种鲁棒安全传输方案。文献[12]考虑空分多址和多个RIS增强非正交多址技术与多个地面用户通信，基于角度信息的非完美信道信息通过逐次凸近似与交替优化算法实现对星地网络系统的资源优化。文献[13]在RIS辅助的卫星安全下行通信系统中，提出了一种快速DRL算法实现对混合RIS和卫星波束成形的联合优化，在最坏情况下最大化系统的安全速率。UAV在NTNs中作为中继通信平台时，文献[14]在UAV辅助的星地通信网络中，以最大化保密率为目标，提出一种迭代优化的联合干扰、发射功率和UAV轨迹优化方法，同时提高系统的频谱效率。然而，目前在DRL与RIS技术结合UAV辅助的NTNs安全传输性能相关研究还有所欠缺。

本文建立一个RIS辅助的NTNs下行传输系统，提出一种基于双层双延迟深度确定性策略梯度算法(Twin-Twin Delayed Deep Deterministic policy gradient, TTD3)的联合卫星波束成形、UAV波束成形、RIS相移矩阵以及UAV轨迹优化方法，通过利用两个双延迟深度确定性策略梯度算法(Twin Delayed Deep Deterministic policy gradient, TD3)分别解耦波束成形和UAV轨迹优化子问题。仿真结果验证了所提方法在动态NTNs环境下的有效性，同时在高安全需求下，通过对比不同算法、不同配置方案以及不同RIS元件数量下的仿真结果，验证了本文所提方法对于系统安全传输性能的提升。

2.   系统模型

本文考虑RIS辅助的NTNs下行传输系统，如图1所示，该系统由卫星、UAV, RIS、地面用户与窃听用户组成。由于卫星距离地面的距离过远，直连卫星到用户的链路容易受到遮挡、信号衰减等因素，因此本文假设卫星无法直接连接到用户，UAV作为空中中继平台，协助卫星与地面用户的通信，UAV配备$A$个元件组成的均匀线性阵列(Uniform Linear Array, ULA)。RIS放置在建筑物上可以改善链路安全性，提高UAV到地面用户的链路安全，RIS为由$N = {n^2}$个元件组成的平面阵列(Uniform Planar Array, UPA)。假设卫星和UAV均具备多个传输天线，地面用户和窃听用户均为单天线用户，卫星、UAV, RIS、地面合法用户以及窃听用户分别用${\mathrm{S}}$, ${\mathrm{U}}$, ${\mathrm{R}}$, $M = \{ 1,2,\cdots,M\}$, $P = \{ 1,2,\cdots,P\}$表示。

图 1  RIS辅助的NTNs下行传输系统

下载: 全尺寸图片 幻灯片

2.1   UAV移动模型

本文假设旋翼UAV在有限的时间范围$T$内以固定的高度从初始位置开始飞行，时间范围可以被划分为$t$个时隙，也就是$T = t{\delta _t}$，UAV的最大飞行速度为${\mathrm{vel}}_{\max }^{\mathrm{U}}$，UAV的移动速度${{\mathrm{vel}}^{\mathrm{U}}}(t)$可以表示为

UAV在实际移动过程中在移动距离和移动边界等方面应满足约束为

其中，式(2a)表示UAV移动在时隙$t$内的移动距离约束，式(2b)表示UAV移动过程中不能超出移动边界${\mathrm{Bound}}$，$x(t)$和$y(t)$对应为UAV的坐标系$x$轴和$y$轴上的位置。

2.2   信道模型

(1)卫星-UAV信道模型：对于卫星-UAV下行传输过程，信道模型需要考虑自由空间损耗、波束增益和衰落模型等因素。卫星-UAV的信道增益${{\boldsymbol{h}}_{\rm{S,U}}}$可以表示为

其中，${G_{\rm S}}$是卫星天线增益，${F_{\rm{S,U}}} = 32.4 + 20\lg ({D_{\rm{S,U}}}) + 20\lg ({f_{\rm{S,U}}})$是自由空间损耗，c是光速，${f_{\rm{S,U}}}$是卫星到UAV之间的频率载波，${D_{\rm{S,U}}}$是卫星与UAV之间的传播距离。${\xi ^{ - \frac{1}{2}}}$是雨衰因子，以dB为单位服从对数正态随机分布$\ln ({\xi ^{{\mathrm{dB}}}}) \sim \mathcal{C}\mathcal{N}(\mu ,{\sigma ^2})$，$\mu$和${\sigma ^2}$分别为均值和方差，卫星通信频率、极化模式和服务用户的位置有关。${G_{\rm{S,U}}}$是卫星到UAV的波束增益，可以表示为

其中，${\theta _{\rm{S,U}}}$为UAV到卫星波束中心的夹角，${J_1}( \cdot )$和${J_3}( \cdot )$分别为1阶和3阶的第1类贝塞尔函数。

(2)UAV信道模型：分别用${{\boldsymbol{h}}_{{\mathrm{U}},m}}$, ${{\boldsymbol{h}}_{{\mathrm{U}},p}}$, ${{\boldsymbol{h}}_{{\mathrm{U}},{\mathrm{R}}}}$, ${{\boldsymbol{h}}_{{\mathrm{R}},m}}$, ${{\boldsymbol{h}}_{{\mathrm{R}},p}}$表示UAV到第$m$个合法用户的信道增益、UAV到第$p$个窃听用户的信道增益、UAV到RIS的信道增益、RIS到第$m$个合法用户的信道增益、RIS到第$p$个窃听用户的信道增益。本文假设UAV到全部用户间信道模型遵循3D SV信道模型^[15]，由此UAV到任意用户、RIS到任意用户以及UAV到RIS的信道模型可以表示为

其中，这3个信道模型中${L_{{\mathrm{UM}}}}$, ${L_{{\mathrm{RM}}}}$和${L_{{\mathrm{UR}}}}$分别为UAV到任意用户、RIS到任意用户以及UAV到RIS的散射路径个数，$g_{i,l}^{\mathrm{U}}$, $g_{i,l}^{\mathrm{R}}$, $g_{i,l}^{{\mathrm{UR}}}$是大尺度衰落系数，遵循高斯分布$\mathcal{C}\mathcal{N}(0,{10^{{\mathrm{PL}}/10}})$, ${\mathrm{PL}}({\mathrm{dB}}) = - {C_0} - 10\varepsilon \lg (D) - {{\mathrm{PL}}_s}$, ${C_0}$是1 m参考距离的路径损耗，$D$是链路距离，$\varepsilon$是路径损耗指数，${{\mathrm{PL}}_s} \sim \mathcal{C}\mathcal{N}(0,\sigma _s^2)$服从阴影衰落分布。${{\boldsymbol{\alpha}} _L}(\varphi )$是ULA的导向矢量，${{\boldsymbol{\alpha}} _P}(\varphi ,\vartheta )$是UPA的导向矢量，$(\varphi ,\vartheta )$是RIS相对于UAV信号的到达方位角和离开方位角。

2.3   信号模型

在所提RIS辅助的NTNs下行传输系统中，地面合法用户的通信过程包括2个阶段。第1阶段卫星将信号传输到UAV。第2阶段中UAV充当高空中继平台，将接收到的卫星信号进行解码并转发给合法用户，同时将信号转发到RIS，通过RIS反射增强合法用户的信号，进一步提高安全传输性能。对于第1阶段，UAV接收到来自卫星的信号可以表示为

其中，${{\boldsymbol{\omega}} _{\rm S}}$是卫星的波束成形向量，${{\mathrm{Inf}}_{\rm{S,U}}}$表示UAV接收到的高斯白噪声。

UAV接收到的信干噪比(Signal to Interference and Noise Ratio, SINR)可以表示为

因此，卫星到UAV之间的数据可达速率可以表示为

对于第2阶段，UAV应用解码转发模型^[16]，将接收到的卫星信号通过直接转发和RIS反射形式给合法用户。对于第$i$个用户来说所接收的信号可以表示为

其中，${\boldsymbol{\varTheta}} ={\mathrm{diag}}({{\mathrm{e}}}^{{\mathrm{j}}{\theta }_{1}},{{\mathrm{e}}}^{{\mathrm{j}}{\theta }_{2}},\cdots,{{\mathrm{e}}}^{{\mathrm{j}}{\theta }_{N}})\in {{\mathbb{C}}}^{N\times N}$是RIS的相移矩阵，${\theta _N}$在$[0,2\pi )$上均匀随机分布，${{\boldsymbol{v}}_{\mathrm{U}}}$表示UAV的波束赋形向量，${{\mathrm{Inf}}_i}$表示第$i$个用户接收到的高斯白噪声。

对于第$m$个合法用户来说接收到的SINR可以表示为

第$m$个合法用户可获得的数据可达速率可以表示为

进一步地，窃听者$p$对第$m$个合法用户的窃听速率可以表示为

因此，第$m$个合法用户的可达保密速率可以表示为

其中，${\left[ z \right]^ + } = \max (0,z)$。

2.4   问题描述

在RIS辅助的UAV中继NTNs系统中存在多种场景需求，一方面要保证UAV满足高传输速率要求，另一方面由于地面合法用户受到窃听用户的影响，需要保证合法用户的安全性需求。基于上述考虑，本文建立了系统效用函数，由卫星到UAV的传输速率和地面合法用户的保密速率组成，具体可以表示为

其中，$\eta \in (0,1)$。

卫星和UAV的最大传输功率约束可以表示为

RIS的反射相移约束表示为

每个地面合法用户$m$能够成功解码消息概率约束表示为

因此，本文面向系统效用最大的优化问题可以建模为

从上述优化问题来看，UAV在NTNs环境中是动态移动的，导致了卫星与UAV以及UAV与用户之间的信道状态信息是时变的。同时变量间存在耦合特性以及非凸的约束条件，该优化目标具备高度非凸性。为了解决这个问题，本文考虑采用DRL算法联合优化卫星波束成形、UAV波束成形、RIS相移以及UAV轨迹，通过智能体与环境进行智能交互，在每个决策阶段中根据外部环境状态采取最优动作得到最大回报，当智能体与环境交互次数足够多时，可以获得最优策略或者近似最优策略。

3.   基于DRL的联合优化问题求解

由于UAV轨迹和信道状态信息高度耦合，难以同时优化所有变量，导致较差的收敛性和整体性能。针对上述问题并结合本文所考虑的复杂网络系统特点，提出一种基于双层DRL的UAV中继NTNs优化方法，DRL算法分别采用深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)和TD3进行优化。这是因为DDPG和TD3能够有效处理连续动作空间、高维状态信息以及动态复杂环境。DDPG通过Actor-Critic架构和经验回放机制实现稳定的策略学习，而TD3进一步改进了DDPG的过估计偏差问题，通过双$Q$网络、延迟策略更新和动态噪声增强探索能力，提升了优化效率和可靠性。因此，特别适用于NTNs动态场景中需要实时调整UAV轨迹和RIS反射矩阵，以最大化安全速率的资源优化任务。该双层DRL算法将优化问题分为两个部分进行求解，第1层DRL主要优化卫星和UAV的波束成形和RIS的相移矩阵，第2层DRL根据UAV的位置坐标信息、用户移动位置坐标以及信道状态信息优化UAV的运动轨迹。双层DRL共享相同的奖励函数指导对应层的智能体通过不断调整动作探索最佳选择策略，最终有效提升系统效用。

3.1   DRL算法

(1)DDPG算法：本文所提的RIS相移优化和UAV轨迹优化数据均为高维数据，且需要较大的状态空间和连续的动作空间，DDPG是一种基于策略梯度的DRL算法，专门用于解决连续动作空间中的控制问题。DDPG结合了策略梯度方法和$Q$学习的优势，将动作空间扩展到了连续域，通过使用Actor-Critic结构，能够高效地在高维、连续的动作空间中学习最优策略。DDPG包括2个Actor-Critic结构，其中Actor网络的作用是根据网络状态信息生成合适的动作，以最大化动作价值函数，Critic网络的作用是评价在状态$F$时采取动作$G$的优劣，目标Actor网络和目标Critic网络的作用是为了提升算法的收敛性。当处于状态${{\boldsymbol{s}}_t}$时，通过Actor网络所产生的动作${{\boldsymbol{a}}_t}$为

其中，${N_t}$表示探索噪声，防止算法陷入局部最优解。

智能体在给定的状态${{\boldsymbol{s}}_t}$下执行动作${{\boldsymbol{a}}_t}$后，环境会给出下一个状态${{\boldsymbol{s}}_{t + 1}}$和奖励${r_t}$作为响应，形成一个经验元组${{\boldsymbol{e}}_t} = ({{\boldsymbol{s}}_t},{{\boldsymbol{a}}_t},{r_t},{{\boldsymbol{s}}_{t + 1}})$，将经验元组存储在经验回放缓冲区${\boldsymbol{B}}$中，进而通过小批量采样来训练Actor网络和Critic网络。此两个网络主要用于计算目标${{\mathrm{yd}}_t}$

Critic网络通过最小化Critic损失来进行优化，Critic损失可以通过目标${{\rm{yd}}_t}$和$Q$值计算均方误差得到，可以表示为

Actor网络通过最大化Critic网络$Q$值得期望进行优化，Critic网络$Q$值可以表示为

为了优化Actor网络，对式(23)进行梯度运算并更新参数，可以表示为

为了保障算法更新的稳定性，目标Actor网络和目标Critic网络进行软更新，更新策略为

其中，$\psi$是软更新因子，$0 < \psi < 1$。

(2)TD3算法：TD3算法主要针对DDPG中一些缺陷进行了优化，尤其是在训练过程中的过度估计问题。主要在以下3个方面进行了改进：(a)引入了策略延迟更新机制，通过延迟Actor网络的更新频率，减少策略在更新过程中的波动，即每2次Critic网络更新后才更新1次Actor网络，以确保策略的稳定收敛。(b)引入了目标平滑策略，即在目标动作上加入噪声，降低因剧烈变动导致的模型不稳定性。(c)TD3相较于DDPG引入了两个Critic网络，同时计算$Q$值并选取较小的$Q$值作为目标，以此达到减少值函数过高估计，同时增强模型的稳定性的目的。具体过程可以表示为

3.2   基于TTD3的NTNs安全传输与轨迹优化

基于上述算法的参数更新过程，本文提出一种基于TTD3算法的NTNs安全传输与轨迹优化方法，具体的算法流程如算法1所示。TTD3算法相对应的每层TD3的状态空间、动作空间、奖励函数等设置如下：

表 1  基于TTD3算法的NTNs安全传输与轨迹优化流程

初始化1：TTD3中的第1层TD3的6个神经网络参数以及第2层 　TD3的6个神经网络参数；
初始化2：软更新因子$\psi$，每次迭代步数${N_{{\mathrm{step}}}}$，迭代次数 　Eposide，经验存放空间${{B}}$，更新间隔$C$，批次大小$v$；
(1) for ${\mathrm{step}} = 1$ to Eposide do
(2) 　　初始化UAV的位置、用户的位置以及信道状态；
(3) 　for ${\mathrm{step}} = 1$ to ${N_{{\mathrm{step}}}}$ do
(4) 　　　获得${{\boldsymbol{h}}_{\rm{S,U}}},{{\mathrm{SINR}}_{\rm{S,U}}},{{\boldsymbol{h}}_{{\rm U},i}} + {{\boldsymbol{h}}_{{\rm R},i}}{\boldsymbol{\varTheta}} {h_{{\mathrm{U,R}}}}$作为${{\boldsymbol{s}}_1}$, ${\boldsymbol{q}}$作 　　　　　 为${{\boldsymbol{s}}_2}$；
(5) 　　根据式(21)产生动作${{\boldsymbol{a}}_1}$和${{\boldsymbol{a}}_2}$；
(6) 　　执行相应的动作获得相应的即时奖励${r_1}$和${r_2}$，并观察 　　　　 新状态${\boldsymbol{s}}_1^{'}$和${\boldsymbol{s}}_2^{'}$；
(7)　　将状态转移元组$({{\boldsymbol{s}}_1},{{\boldsymbol{a}}_1},{r_1},{\boldsymbol{s}}_1^{'})$和 　　　　 $({{\boldsymbol{s}}_2},{{\boldsymbol{a}}_2},{r_2},{{\boldsymbol{s}}_2}^{'})$存储在$B$中；
(8)　　随机抽取$v$条经验进行训练；
(9) 　　根据式(27)获得目标值；
(10) 　 根据策略延迟更新机制更新Actor网络和Critic网络参数；
(11) 　 以式(26)对目标Actor网络和Critic网络参数更新；
(12) end for
(13) end for

下载: 导出CSV 

| 显示表格

(1)基于TD3的联合卫星与UAV的波束成形、RIS相移矩阵优化：

状态空间${{\boldsymbol{s}}_1}$：包括卫星到UAV的信道状态信息${{\boldsymbol h}_{\rm{S,U}}}$和${{\mathrm{SINR}}_{\rm{S,U}}}$，以及UAV到所有合法用户和窃听用户的信道状态信息${{\boldsymbol{h}}_{{\rm U},i}} + {{\boldsymbol{h}}_{{\rm R},i}}{\boldsymbol{\varTheta}} {{\boldsymbol{h}}_{{\mathrm{U,R}}}}$。即可以表示为

动作空间${{\boldsymbol{a}}_1}$：包括卫星的波束形成矩阵${{\boldsymbol{\omega }}_{\rm S}}$、UAV波束形成矩阵${{\boldsymbol{v}}_{\mathrm{U}}}$以及RIS无源反射波束形成矩阵${\boldsymbol{\varTheta }}$。需要注意的是，考虑到TD3中神经网络的实数输入问题，本文将上述动作转化为实部和虚部输入到算法中计算。

奖励函数${r_1}$：本文的奖励函数结合优化目标和约束条件，引入惩罚因子以达到平衡约束与系统效用的作用。即可以表示为

其中，${p_1}$, ${p_2}$, ${p_3}$分别表示式(2)、式(17)、式(19)的惩罚，${c_1}$, ${c_2}$, ${c_3}$为对应的惩罚因子。

(2)基于TD3的UAV轨迹优化：

状态空间${s_2}$：UAV的位置坐标信息${\boldsymbol{q}}$。

动作空间${a_2}$：UAV的轨迹移动方向${\mathrm{dir}}$与移动速度${\mathrm{vel}}$，即${\boldsymbol{q}}(t + 1) - {\boldsymbol{q}}(t) = {\mathrm{vel}}(t){\delta _t}(\cos ({\mathrm{dir}}(t)){{\boldsymbol{e}}_x} + \sin ({\mathrm{dir}}(t)){{\boldsymbol{e}}_y})$，其中，${{\boldsymbol{e}}_x}$和${{\boldsymbol{e}}_y}$为坐标系$x$轴和$y$轴的单位向量。

奖励函数${r_2}$：同上奖励函数${r_1}$。

4.   仿真结果分析

在RIS辅助的NTNs下行传输系统中，仿真环境考虑在一个大小为$30{\text{ }}{\mathrm{m}} \times 50{\text{ }}{\mathrm{m}}$位于卫星点波束内的范围内，卫星位于此范围的上方(30 m, 15 m, 6×10⁵ m)，2个合法用户的初始位置分别为(47 m, 4 m, 0 m), (25 m, 25 m, 0 m)，UAV的初始位置为(25 m, 0 m, 100 m)，窃听用户的位置为(47 m, 0 m, 0 m)，RIS的位置为(50 m, 10 m, 20 m)。UAV的最大移动速度${\mathrm{vel}}_{\max }^{\mathrm{U}}$为2.5 m/s，加性白高斯噪声为–114 dBm/Hz, RIS元件个数为4，卫星天线数量为6，UAV天线数量为4，${f_{\rm{S,U}}}$为5.2 GHz，${f_{{\mathrm{U}},m}}$为2.4 GHz。卫星和UAV的最大发射功率为30 dBm。本文设置优化目标系统效用时考虑了多种场景需求，本文重点关注于高安全需求，因此仿真时$\eta = 0.2$，后续的仿真结果分析也聚焦于用户保密速率方面的体现。

图2给出了本文所提方法和TDDPG不同算法训练过程中的奖励收敛情况，可以看出虽然TDDPG算法前期具有较快的收敛速度，但是后期出现较大的波动。相比于TDDPG，所提TTD3算法的动态波动相对较小，表现得更为稳定，具有更好的鲁棒性。同时，本文所提方法的奖励值优于TDDPG的奖励值。因此可以验证本文所提方法具有良好性能。

图 2  不同算法下的所提方案训练过程中奖励曲线变化情况

下载: 全尺寸图片 幻灯片

图3展示了本文所提系统中各部分的位置分布情况，给出了4种不同方案下的UAV轨迹优化情况，其中，“TTD3-RIS-MU”是本文所提方案，“TTD3-randomRIS-MU”是考虑RIS随机相移和移动用户方案，“TDDPG-RIS-MU”是基于TDDPG的优化方案，“TTD3-RIS-SU”是考虑RIS和静态用户方案。“TTD3-randomRIS-MU”中可以看出UAV轨迹没有接近两个用户终点的中间点，同时结合图4观察到此方案的曲线波动幅度较大，尤其是临近训练轮次400时，表明随机RIS相移会降低用户保密速率进而降低系统效用。“TTD3-RIS-SU”方案在静态用户状态下UAV先向RIS方向移动增强用户信号，随着两个合法用户的移动轨迹发生转变是合理的。结合图3和图4中不同算法下的UAV轨迹变化以及用户保密速率性能变化，可以看出两个算法都考虑了合法用户的均衡服务，本文所提方法的UAV轨迹相对于基于TDDPG的UAV轨迹更加平滑，同时所提方法的用户保密速率整体也更优，验证了本文所提方法能够适应动态变化的NTNs环境，同时能够提高用户保密速率。

图 3  不同方案下的UAV轨迹优化情况

下载: 全尺寸图片 幻灯片

图 4  不同方案下的用户保密速率性能对比

下载: 全尺寸图片 幻灯片

图5给出了不同RIS反射元件个数下不同算法的用户保密速率性能对比情况，可以看出在相同算法下随着RIS反射元件个数的增加，用户保密速率整体速率也随之增加。这是因为随着RIS反射元件个数的增加，波束成形的自由度和精度逐渐增加，系统性能得到提升。

图 5  不同RIS反射元件个数下不同算法的用户保密速率性能对比

下载: 全尺寸图片 幻灯片

5.   结束语

本文研究了RIS辅助的NTNs下行安全传输系统，其中卫星通过UAV中继传输信号至地面合法用户，并考虑了系统中存在窃听威胁。为满足不同场景下的高传输速率与高安全性需求，本文将卫星到UAV的传输速率与地面合法用户的安全速率的加权和作为优化目标，提出一种基于TTD3的联合卫星与UAV的波束成形、RIS相移矩阵及UAV轨迹优化方法，通过采用双层DRL结构分别解耦波束成形和轨迹优化子问题，以最大化系统效用。仿真结果验证了所提算法的有效性，同时在高安全需求场景下分别对比了不同算法、不同RIS元件数量以及不同方案下的安全保密速率，验证了TTD3算法能够适用于动态变化的NTNs环境，且能够有效提升系统传输性能。本文研究主要关注高安全需求，未来研究将把核心问题推广到如何结合联邦学习、元学习等新兴技术实现分布式、低延迟的策略优化，从而适应大规模多卫星多UAV复杂场景的网络资源优化与干扰分析等方面。