Loading [MathJax]/jax/element/mml/optable/MathOperators.js
高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向无线传感器网络信息年龄的多无人机轨迹优化算法

胡昊南 韩铭 李文鹏 张杰

朱政宇, 杨晨一, 李铮, 郝万明, 杨婧, 孙钢灿. 智能反射面辅助通感一体化系统安全资源分配算法[J]. 电子与信息学报, 2025, 47(1): 66-74. doi: 10.11999/JEIT240083
引用本文: 胡昊南, 韩铭, 李文鹏, 张杰. 面向无线传感器网络信息年龄的多无人机轨迹优化算法[J]. 电子与信息学报, 2024, 46(4): 1222-1230. doi: 10.11999/JEIT230458
ZHU Zhengyu, YANG Chenyi, LI Zheng, HAO Wanming, YANG Jing, SUN Gangcan. Resource Allocation Algorithm for Intelligent Reflecting Surface-assisted Secure Integrated Sensing And Communications System[J]. Journal of Electronics & Information Technology, 2025, 47(1): 66-74. doi: 10.11999/JEIT240083
Citation: HU Haonan, HAN Ming, LI Wenpeng, ZHANG Jie. Multi-Unmanned Aerial Vehicles Trajectory Optimization for Age of Information Minimization in Wireless Sensor Networks[J]. Journal of Electronics & Information Technology, 2024, 46(4): 1222-1230. doi: 10.11999/JEIT230458

面向无线传感器网络信息年龄的多无人机轨迹优化算法

doi: 10.11999/JEIT230458
基金项目: 国家自然科学基金 (61831002),重庆市研究生科研创新项目(CYS21300)
详细信息
    作者简介:

    胡昊南:男,副教授,研究方向为5G/B5G通信、5G NR-U蜂窝和WiFi共存网络、边缘计算

    韩铭:女,硕士生,研究方向为无人机、机器学习

    李文鹏:男,硕士生,研究方向为无线通信系统、机器学习

    张杰:男,教授,研究方向为室内外联合5G/4G/WiFi网络

    通讯作者:

    韩铭 170818462@qq.com

  • 中图分类号: TN929.5

Multi-Unmanned Aerial Vehicles Trajectory Optimization for Age of Information Minimization in Wireless Sensor Networks

Funds: The National Natural Science Foundation of China (61831002), Chongqing Graduate Research Innovation Project (CYS21300)
  • 摘要: 由于无线传感器网络(WSN)中传感器的传输功率有限,同时可能与基站(BS)传输距离较远,造成无法及时交付数据,数据新鲜度过低,影响时延敏感型业务决策质量。因此,采用无人机(UAV)辅助收集传感器数据,成为提升无线传感器网络数据新鲜度的有效手段。该文通过信息年龄(AoI)性能指标评估无线传感器网络数据新鲜度,并基于集中式训练分布式执行框架的多智能体近端策略优化(MAPPO)方法研究了无人机轨迹优化算法。通过联合优化所有无人机的飞行轨迹,实现地面节点平均加权信息年龄的最小化。仿真结果验证了所提多无人机路径规划算法在降低无线传感器网络信息年龄方面的有效性。
  • 在6G时代,需要更大的系统容量、更高的数据速率以及更低的延迟来应对频谱资源短缺问题[13]。面对这一挑战,最近提出了通感一体化技术(Integrated Sensing And Communication, ISAC)作为解决方案,其将无线通信与雷达感知相结合,共享相同的基础设施和频谱,目前这一技术已成为研究的热点[46]。文献[4]将雷达和通信集成到6G大规模物联网系统中,实现了目标检测和海量连接。文献[5]提出了一种基于多域非正交多址的ISAC方案,即所提出的ISAC系统在感知潜在目标的同时,能够在时域、频域和时延多普勒域中并行和非正交地传输数据流。文献[6]为最大化ISAC系统中的波束赋形增益,设计了一个全息波束成形优化算法来优化系统中的波束,实现了全息波束与ISAC的结合。

    除了频谱资源短缺,安全通信在6G无线网络中也至关重要[79]。与其他通信系统一样,ISAC系统容易受到恶意窃听者的攻击。因此,物理层安全在ISAC系统中也备受关注和亟待解决。文献[10]考虑了ISAC系统中针对窃听者的多用户安全下行通信方案,在保密性能和功率预算约束的概率中断约束下,利用半正定松弛(Semi-Definite Relaxation, SDR)技术和伯恩施坦型不等式方法,最小化设计波束与期望波束之间的平方误差。文献[11]研究了双功能雷达通信(Dual-Functional Radar Communication, DFRC)系统的安全解决方案,其中雷达目标被视为潜在的窃听者,在满足安全和功率预算约束条件下,最大限度地提高雷达的信噪比(Signal-to-Noise Ratio, SNR)。此外,通过利用人工噪声(Artificial Noise, AN)或者外部干扰机发射干扰信号能够有效地对抗窃听,也是提高系统安全性的主要手段。文献[12]提出了ISAC系统中用于安全通信的鲁棒资源分配设计方案,其中基站利用AN进行联合传感和物理层安全配置,仿真结果表明可显著提高物理层的性能。文献[13]针对多输入多输出(Multi-Input Multi-Output, MIMO)-DFRC系统的物理层安全问题,在基站处引入了AN,最小化雷达目标处接收到的SNR,同时满足合法用户处信干噪比(Signal-to-Interference-plus Noise Ratio, SINR)的要求。文献[14]研究了利用强雷达信号的作为固有干扰来提高通信和雷达共存系统的物理层安全性。

    智能反射面(Intelligent Reflecting Surface, IRS)作为6G潜在关键技术,在各种通信系统中得到广泛应用[1519]。IRS是由一组无源元件组成,这些无源元件通过相移来控制入射无线电波的反射,可以实时动态调整无线环境,以支持无线通信和雷达传感,在ISAC系统中的应用具有巨大的潜在优势。IRS的引入可以提供额外的视距(Line-of-Sight, LoS)链路,使得ISAC系统具有更大的传感覆盖范围、更高的传感精度、更好的无线通信性能和更强的系统安全性。文献[20]提出了一种在毫米波波段工作的IRS辅助ISAC系统,通过联合设计雷达信号协方差矩阵、通信系统的波束成形矢量和IRS相移,利用2次变换技术和交替优化算法进行求解,最大化了ISAC系统的传输速率。文献[21]利用IRS来增强ISAC系统的物理层安全性,其中目标作为可疑的窃听者,在满足窃听者/目标的最大信息泄漏阈值和用户通信要求的最小SINR条件下,最大限度地提高目标的感知波束图增益。文献[22]研究了IRS辅助安全雷达通信系统。其中DFRC基站与多个合法用户进行通信,并感知恶意雷达目标,IRS可智能调控每个反射元件的相移来提高整个系统的安全性。但目前,IRS辅助具有协同干扰能力的ISAC系统少有研究。

    针对以上频谱资源短缺和物理层安全问题,本文提出IRS辅助具有协同干扰的ISAC系统安全问题的设计研究。本文的主要贡献可概括如下:

    (1) 本文考虑了窃听者对ISAC系统安全性的影响,提出了IRS-ISAC安全系统模型。在满足基站和干扰机发射最大发射功率、雷达的SINR和IRS反射相移的约束条件下,通过联合优化基站发射波束成形、干扰机预编码和IRS相移,构建了系统保密率最大化问题。该问题是含有多耦合变量的非凸问题,很难直接求解。

    (2) 针对上述非凸问题,首先使用交替优化的方法将原有非凸问题转化为两个子问题;然后利用SDR算法以及引入辅助变量将两个子问题转化为凸形式;最后再利用现有的凸优化工具对子问题进行求解,得到该问题的确定解。

    (3) 仿真结果验证了所提出算法的有效性和收敛性,表明了所提出的IRS辅助具有协同干扰的ISAC系统能够有效提高系统的保密率。与基准方案相比,IRS应用在ISAC系统中在提高系统物理层安全性方面具有很大优势。

    本文的结构如下:第2节首先介绍IRS辅助的ISAC安全系统模型,并提出优化问题;第3节、第4节给出了基站和干扰机发射波束成形设计方案和IRS发射波束成形设计,并提出了一种基于SDR的交替优化算法进行求解;第5节给出了IRS辅助ISAC安全设计的仿真结果分析。

    图1给出了IRS辅助具有协同干扰的ISAC安全系统模型。在图1中,可以看到一个配备M根天线的基站将保密信息通过直接链路以及经过具有N个反射元件的IRS的反射链路发送给单天线的合法用户,同时感知目标信息。此外,K个单天线窃听者试图窃听用户的信息。为了提高系统的安全性,在系统中部署了配有M根天线的干扰机,干扰机发射干扰信号对抗系统中的窃听者。为了有效地设计基站发射和IRS反射波束成形和干扰信号,假设所有信道增益都采用理想的信道状态信息模式,并采用准静态平坦衰落信道模型[23]

    图 1  系统模型

    根据图1的安全系统模型,从基站发送的信号可表示为

    x1=ws (1)

    来自干扰机的干扰信号可表示为

    x2=vc (2)

    其中,sCN(0,1)cCN(0,1)分别为独立信息和干扰信号。wCM×1vCM×1分别表示基站的波束成形向量和干扰机的预编码矢量。设PBPJ分别为基站和干扰机处的最大发射功率,可得|wHw|PB|vHv|PJ。合法用户接收到的信号表示为

    yU=(hHI,UΘHB,I+hHB,U)ws+(gHI,UΘGJ,I+gHJ,U)vc+nU (3)

    其中,HB,ICN×M, hB,UCM×1分别表示从基站到IRS和用户的信道增益,hI,UCN×1表示从基站经过IRS再到用户的反射信道增益。Θ=diag[ejθ1,ejθ2,,ejθN]表示IRS的对角相移矩阵。其中,在其主对角线上,θn=(0,2π)表示IRS第n个反射单元对应的相移,n=1,2,,NGJ,ICN×M, gJ,UCM×1分别表示从干扰机到IRS和用户的信道增益。gI,UCN×1表示从干扰机经过IRS再到用户的反射信道增益。nUCN(0,σ20)是加性高斯白噪声(Additive White Gaussian Noise, AWGN)。同样,第k个窃听者处的接收信号表示为

    yE,k=(hHI,E,kΘHB,I+hHB,E,k)ws+(gHI,E,kΘGJ,I+gHJ,E,k)vc+nE,k (4)

    其中,hB,E,kCM×1表示从基站到第k个窃听者的信道增益,hI,E,kCN×1表示从基站经过IRS再到第k个窃听者的反射信道增益。gJ,E,kCM×1表示从干扰机到第k个窃听者的信道增益。gI,E,kCN×1表示从干扰机经过IRS再到第k个窃听者的反射信道增益。nE,kCN(0,σ20)是AWGN。令θH=[θ1,θ2,,θn],则有hHI,mΘHB,I=θHHI,m, 其中HI,m=diag(hHI,m)HB,I,m{U,(E,k)}; gHI,mΘGJ,I=θHGI,m, 其中GI,m=diag(gHI,m)GJ,I。因此,用户和第k个窃听者的SINR的表达式分别为

    SINRs=|(θHHI,U+hHB,U)w|2|(θHGI,U+gHJ,U)v|2 + σ20  (5)
    SINRe,k=|(θHHI,E,k+hHB,E,k)w|2|(θHGI,E,k+gHJ,E,k)v|2 + σ20 (6)

    可实现的保密率可定义为

    R=RsmaxkKRe,k=log2(1+SINRs)maxkKlog2(1+SINRe,k) (7)

    基站接收到的回波信号,包括目标的回波信号、干扰机的干扰信号和噪声,可表示为

    yr=αa(β)aH(β)ws+HHJ,Bvc+nr (8)

    其中,HJ,BCM×M表示从干扰机到基站的信道增益,α是信道衰落系数和目标的反射系数的乘积。nrCN(0,σ2rI)是AWGN。a(β)=[1,ej2πdλsinβ,,ej2π(M1)dλsinβ]T为转向矢量,其中d是相邻天线元件之间的间距,λ是波长,β是目标所在的角度。则用于目标探测的雷达输出SINR的计算公式为

    SINRr=wHAwvHQv+σ2r (9)

    其中,A=(αa(β)aH(β))H(αa(β)aH(β)), Q=HJ,BHHJ,B。在雷达系统中,雷达SINR是衡量雷达传感性能的一个重要指标。因此,为了获得更好的目标探测性能,必须确保雷达SINR不小于预设阈值。

    如下节所述通过联合优化基站的发射波束成形向量w,干扰机的干扰预编码矢量v和IRS的相移Θ,研究了可实现保密率最大化问题。因此,可实现系统保密率最大化问题为

    maxw,v,Θ R=RsmaxkKRe,k (10a)
    s.tSINRrΓt (10b)
    |wHw|PB (10c)
    |vHv|PJ (10d)
    0θn2π,nN (10e)

    其中,式(10b)为雷达SINR约束,其中Γt表示雷达SINR的预设阈值;式(10c)为基站的最大发射功率约束;式(10d)为干扰机的最大发射功率约束;式(10e)为IRS的反射相移约束;在问题式(10)中,由于目标函数和约束条件的非凸性,以及耦合优化变量的存在,问题式(10)很难求解。但是,当固定(w,v)Θ其中的一个变量时,问题式(10)可以通过交替优化算法进行有效求解。如下节所述。

    首先,固定IRS的相移矩阵Θ,优化基站发射波束成形向量w和干扰机的预编码矢量v。定义Hm=(HHI,mθ+hB,m)(θHHI,m+hHB,m), Gm=(GHI,mθ+gJ,m)(θHGI,m+gHJ,m),优化问题可重述为问题式(11)

    maxW,F{log2(1+a0Tr(HUW)a0Tr(GUF) + 1)maxkKlog2(1+a0Tr(HE,kW)a0Tr(GE,kF) + 1)} (11a)
    s.t. Tr(HUW)Tr(QF)+σ2rΓt (11b)
    (W,F)F (11c)

    其中,a0=1/σ20, W=wwH, F=vvH以及F={(W,F)Tr(W)PB,Tr(F)PJ,W。但是,由于秩–1约束,问题式(11)仍然是非凸的。在忽略秩–1约束的情况下,可以使用SDR方法。然而,由于耦合变量 {\boldsymbol{W}} {\boldsymbol{F}} 的存在,问题式(11)仍就不可直接求解。为解决上述问题,引用下面的定理1[24]来解决以上所求的优化问题。

    定理1 对于任意 x >0 ,存在一个函数 \varphi(t)=tx+\ln t+1 。那么,有

    - \ln x = \mathop {\max }\limits_{t \gt 0} \varphi (t) (12)

    问题式(12)的最优解可在 t=1/x 时给出。之后,让 x = {a_0}{\text{Tr}}({{\boldsymbol{G}}_{\text{U}}}{\boldsymbol{F}}){\text{ + }}1 t = {t_{\text{s}}} ,可得

    \begin{split} {R_{\text{s}}}\ln 2 = \,&\ln \left( {{a_0}{\text{Tr(}}{{\boldsymbol{H}}_{\text{U}}}{\boldsymbol{W}}{\text{)}} + {a_0}{\text{Tr(}}{{\boldsymbol{G}}_{\text{U}}}{\boldsymbol{F}}{\text{) + }}1} \right) \\ & - \ln \left( {{a_0}{\text{Tr(}}{{\boldsymbol{G}}_{\text{U}}}{\boldsymbol{F}}{\text{) + }}1} \right) \\ =\,& \mathop {\max }\limits_{{t_{\text{s}}} \gt 0} {\varphi _{\text{s}}}({\boldsymbol{W}},{\boldsymbol{F}},{t_{\text{s}}}) \end{split} (13)

    其中

    \begin{split} {\varphi _{\text{s}}}({\boldsymbol{W}},{\boldsymbol{F}},{t_{\text{s}}}) =\,& \ln \left( {{a_0}{\text{Tr(}}{{\boldsymbol{H}}_{\text{U}}}{\boldsymbol{W}}{\text{)}} + {a_0}{\text{Tr(}}{{\boldsymbol{G}}_{\text{U}}}{\boldsymbol{F}}{\text{) + }}1} \right) \\ & - {t_{\text{s}}}\left( {{a_0}{\text{Tr(}}{{\boldsymbol{G}}_{\text{U}}}{\boldsymbol{F}}{\text{) + }}1} \right) + \ln {t_{\text{s}}}{\text{ + }}1 \end{split} (14)

    同样,定义 x = {a_0}{\text{Tr}}({{\boldsymbol{H}}_{{\text{E,}}k}}{\boldsymbol{W}}) + {a_0}{\text{Tr}}({{\boldsymbol{G}}_{{\text{E,}}k}}{\boldsymbol{F}}) {{ + }}1 t = {t_{{\text{e,}}k}} ,可得式(15)

    \begin{split} {R_{\text{e}}}\ln 2 = \,& \ln \left( {{a_0}{\text{Tr(}}{{\boldsymbol{H}}_{{\text{E,}}k}}{\boldsymbol{W}}{\text{)}} + {a_0}{\text{Tr(}}{{\boldsymbol{G}}_{{\text{E,}}k}}{\boldsymbol{F}}{\text{) + }}1} \right) \\ & - \ln \left( {{a_0}{\text{Tr(}}{{\boldsymbol{G}}_{{\text{E,}}k}}{\boldsymbol{F}}{\text{) + }}1} \right) \\ = & \mathop {\min }\limits_{{t_{{\text{e,}}k}} \gt 0} {\varphi _{\text{e}}}({\boldsymbol{W}},{\boldsymbol{F}},{t_{{\text{e,}}k}})\\[-1pt] \end{split} (15)

    其中

    \begin{split} {\varphi _{{\text{e,}}k}}({\boldsymbol{W}},{\boldsymbol{F}},{t_{{\text{e,}}k}}) =\,& {t_{{\text{e,}}k}}\left( {a_0}{\text{Tr(}}{{\boldsymbol{H}}_{{\mathrm{E}},k}}{\boldsymbol{W}}{\text{)}} \right.\\ & \left.+ {a_0}{\text{Tr(}}{{\boldsymbol{G}}_{{\text{E,}}k}}{\boldsymbol{F}}{\text{) + }}1 \right) \\ & - \ln \left( {{a_0}{\text{Tr(}}{{\boldsymbol{G}}_{{\text{E,}}k}}{\boldsymbol{F}}{\text{) + }}1} \right) \\ &- \ln {t_{{\text{e,}}k}} - 1 \end{split} (16)

    因此,本文可以利用Sion极小极大定理[25],将问题式(11)重新整理为式(17)

    \mathop {\max }\limits_{{\boldsymbol{W}},{\boldsymbol{F}},{t_{\text{s}}},{t_{{\text{e,}}k}}} \left\{ {{\varphi _{\text{s}}}({\boldsymbol{W}},{\boldsymbol{F}},{t_{\text{s}}}) - } \right.\mathop {\max }\limits_{k \in K} \left. {{\varphi _{{\text{e,}}k}}({\boldsymbol{W}},{\boldsymbol{F}},{t_{{\text{e,}}k}})} \right\} (17a)
    {\text{s}}.{\text{t}}.{\text{ }}{t_{\text{s}}},{t_{{\text{e,}}k}} \gt 0,式(11{\mathrm{b}})、式(11{\mathrm{c}}) (17b)

    这里,在不损失最优性的情况下,在目标函数中省略了常数“ln 2”。很明显,当 \left( {{\boldsymbol{W}},{\boldsymbol{F}}} \right) \left( {{t_{\text{s}}},{t_{{\text{e,}}k}}} \right) 其中之一固定时,交替优化算法可以有效地对问题式(17)进行求解。

    在定理1的基础上,当给定 \left( {{\boldsymbol{W}},{\boldsymbol{F}}} \right) 时,可以得到 \left( {{t_{\text{s}}},{t_{{\text{e,}}k}}} \right) 的最优解为

    t_{\text{s}}^* = {\left( {{a_0}{\text{Tr(}}{{\boldsymbol{G}}_{\text{U}}}{\boldsymbol{F}}{\text{) + }}1} \right)^{ - 1}} (18)
    t_{{\text{e,}}k}^* = {\left( {{a_0}{\text{Tr(}}{{\boldsymbol{H}}_{{\text{E,}}k}}{\boldsymbol{W}}{\text{)}} + {a_0}{\text{Tr(}}{{\boldsymbol{G}}_{{\text{E,}}k}}{\boldsymbol{F}}{\text{) + }}1} \right)^{ - 1}} (19)

    在得到 \left( {t_{\text{s}}^*,t_{{\text{e,}}k}^{{*}}} \right) 以后,就可以求出 \left( {{\boldsymbol{W}},{\boldsymbol{F}}} \right) 的最优解。同时,引入 l 作为松弛变量。原问题可转化为优化问题式(20)

    \mathop {\max }\limits_{{\boldsymbol{W}},{\boldsymbol{F}}} \left\{ {{\varphi _{\text{s}}}({\boldsymbol{W}},{\boldsymbol{F}},{t_{\text{s}}}) - } \right.l\} (20a)
    \begin{split} & {\text{s}}.{\text{t}}.{\text{ }}{\varphi _{{\text{e,}}k}}({\boldsymbol{W}},{\boldsymbol{F}},{t_{{\text{e,}}k}}) \le l,k = 1,2,\cdots,K\\ & \quad\;\; 式(11{\mathrm{b}})、式(11{\mathrm{c}}) \end{split} (20b)

    显然,优化问题式(20)是凸问题,可以直接用CVX工具求解。这里,如果 {\boldsymbol{W}} {\boldsymbol{F}} 的秩都为1,则对 {\boldsymbol{W}} = {{\boldsymbol{w}}}{{{\boldsymbol{w}}}^{{\mathrm{H}}} } {\boldsymbol{F}} = {{\boldsymbol{v}}}{{{\boldsymbol{v}}}^{{\mathrm{H}}} } 进行特征值分解,得到最优的 {\boldsymbol{w}} {{\boldsymbol{v}}} 。否则,当 {\boldsymbol{W}} {\boldsymbol{F}} 的秩不为1时,可以应用标准的高斯随机化方法来得到问题式(20)的可行解。在本小节中,通过交替优化优化更新 \left( {{\boldsymbol{W}},{\boldsymbol{F}}} \right) \left( {{t_{\text{s}}},{t_{{\text{e,}}k}}} \right) 来获得问题式(11)的可行解。

    当已知 {\boldsymbol{W}} {\boldsymbol{F}} 时,令 {\overline {\boldsymbol{H}} _m} = \left[ {{{\boldsymbol{H}}_{{\text{I,}}m}};{{\boldsymbol{h}}}_{{\text{B,}}m}^{{\mathrm{H}}} } \right] , {\overline {\boldsymbol{G}} _m} = \left[ {{{\boldsymbol{G}}_{{\text{I,}}m}};{{\boldsymbol{g}}}_{{\text{J,}}m}^{{\mathrm{H}}} } \right] ,为简便计算,设 {{\boldsymbol{\tilde H}}_m} = {\overline {\boldsymbol{H}} _m}{{\boldsymbol{w}}} , {{\boldsymbol{\tilde G}}_m} = {\overline {\boldsymbol{G}} _m}{{\boldsymbol{v}}} ,那么,问题式(10)转化为式(21)

    \begin{split} & \mathop {\max }\limits_{\boldsymbol{\varPhi }} \left\{ {{\log }_2}\left( {1 + \frac{{{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{H}}}_{\text{U}}}{\boldsymbol{\varPhi }}{\text{)}}}}{{{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{G}}}_{\text{U}}}{\boldsymbol{\varPhi }}{\text{) + }}1}}} \right) \right.\\ & \quad \left.- \mathop {\max }\limits_{k \in K} {{\log }_2}\left( {1 + \frac{{{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{H}}}_{{\text{E,}}k}}{\boldsymbol{\varPhi }}{\text{)}}}}{{{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{G}}}_{{\text{E,}}k}}{\boldsymbol{\varPhi }}{\text{) + }}1}}} \right) \right\} \end{split} (21a)
    {\text{s}}.{\text{t}}.{\text{ }}{\boldsymbol{\varPhi }} \succcurlyeq {{{{0}}}},{{\boldsymbol{\varPhi }}_{n,n}} = 1,n = 1,2,\cdots,N + 1 (21b)

    其中, {\overline {{\boldsymbol{\theta}} } ^{{\mathrm{H}}} } = \left[ {\begin{array}{*{20}{c}} {{{{\boldsymbol{\theta}} }^{\rm H} }}&1 \end{array}} \right] , {\boldsymbol{\varPhi }} = \overline {{\boldsymbol{\theta}} }\, {\overline {{\boldsymbol{\theta}} } ^{{\mathrm{H}}} } {\widehat {\boldsymbol{H}}_m} = {{\boldsymbol{\tilde H}}_m}{\boldsymbol{\tilde H}}_m^{{\mathrm{H}}} , {\widehat {\boldsymbol{G}}_m} = {{\boldsymbol{\tilde G}}_m}{\boldsymbol{\tilde G}}_m^{{\mathrm{H}}} 。与问题式(11)的解法类似,应用定理1和SDR算法,并引入 {l_{\boldsymbol{\varPhi }}} 作为辅助变量。问题式(21)可重新表述为

    \mathop {\max }\limits_{{\boldsymbol{\varPhi }},{z_{\text{s}}},{z_{{\text{e,}}k}}} \left\{ {{\varphi _{\text{s}}}({\boldsymbol{\varPhi }},{z_{\text{s}}}) - } \right.\left. {{l_{\boldsymbol{\varPhi }}}} \right\} (22a)
    {\text{s}}.{\text{t}}.{\text{ }}{\varphi _{{\text{e,}}k}}({\boldsymbol{\varPhi }},{z_{{\text{e,}}k}}) \le {l_{\boldsymbol{\varPhi }}},k = 1,2,\cdots,K (22b)
    {z_{\text{s}}},{z_{{\text{e,}}k}} \gt 0 (22c)

    其中

    \begin{split} {\varphi _{\text{s}}}({\boldsymbol{\varPhi }},{z_{\text{s}}}) = \,& \ln \left( {{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{H}}}_{\text{U}}} + {{\widehat {\boldsymbol{G}}}_{\text{U}}}{\text{)}}{\boldsymbol{\varPhi }}{\text{ + }}1} \right) \\ & - {z_s}\left( {{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{G}}}_{\text{U}}}{\boldsymbol{\varPhi }}{\text{) + }}1} \right) + \ln {z_{\text{s}}}{\text{ + }}1 \end{split} (23)
    \begin{split} {\varphi _{{\text{e,}}k}}({\boldsymbol{\varPhi }},{z_{{\text{e,}}k}}) = \,& {z_{{\text{e,}}k}}\left( {{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{G}}}_{{\text{E,}}k}} + {{\widehat {\boldsymbol{H}}}_{{\text{E,}}k}}{\text{)}}{\boldsymbol{\varPhi }}{\text{ + }}1} \right) \\ & - \ln \left( {{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{G}}}_{{\text{E,}}k}}{\boldsymbol{\varPhi }}{\text{) + }}1} \right) - \ln {z_{{\text{e,}}k}} - 1 \end{split} (24)

    同样的,也可以通过交替优化方法优化 {\boldsymbol{\varPhi }} \left( {{z_{\text{s}}},{z_{{\text{e,}}k}}} \right) 来近似求解。首先,当 {\boldsymbol{\varPhi }} 固定时,可以得到最优的 \left( {{z_{\text{s}}},{z_{{\text{e,}}k}}} \right)

    z_{\text{s}}^* = {\left( {{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{G}}}_{\text{U}}}{\boldsymbol{\varPhi }}{\text{) + }}1} \right)^{ - 1}} (25)
    z_{{\text{e,}}k}^* = {\left( {{a_0}{\text{Tr(}}{{\widehat {\boldsymbol{G}}}_{{\text{E,}}k}} + {{\widehat {\boldsymbol{H}}}_{{\text{E,}}k}}{\text{)}}{\boldsymbol{\varPhi }}{\text{ + }}1} \right)^{ - 1}} (26)

    对于给定的 \left( {z_{\text{s}}^*,z_{{\text{e,}}k}^*} \right) ,优化 {\boldsymbol{\varPhi }} 可通过优化问题式(27)得到

    \begin{split} & \mathop {\max }\limits_{\boldsymbol{\varPhi }} \left\{ {{\varphi _{\text{s}}}({\boldsymbol{\varPhi }},{z_{\text{s}}}) - } \right.\left. {{l_{\boldsymbol{\varPhi }}}} \right\}, \\ & {\text{s}}.{\text{t}}.{\text{ }}式(21{\mathrm{b}})、式(22{\mathrm{b}}) \end{split} (27)

    与问题式(20)类似,该问题是凸形式,可以用现有的凸优化工具来解决。再通过具有高斯随机化的特征值分解从 {\boldsymbol{\varPhi }} 中提取 {\theta } ,IRS反射系数为

    {\theta _n} = {{\text{e}}^{{\text{j}}\angle \left( {\frac{{{{\overline \theta }_n}}}{{{{\overline \theta }_{N + 1}}}}} \right)}},n = 1,2, \cdots ,N (28)

    其中, \angle \left( O \right) 表示 O 的相位,并满足约束{\text{0}} \le {{\theta}_n} \le 2\pi , \forall n。本文整体算法如算法1所示。

    表 1  求解式(10)的交替优化算法
     输入: {P_{\text{B}}} , {P_{\text{J}}} , {\varGamma _{\text{t}}}, {{\boldsymbol{H}}_{{\text{I, }}m}} , {{\boldsymbol{G}}_{{\text{I, }}m}} , {{\boldsymbol{h}}}_{{\text{B, }}m}^{H} , {{\boldsymbol{g}}}_{{\text{J, }}m}^{H} , \varepsilon , L
     输出: {{\boldsymbol{w}}} , {{\boldsymbol{v}}} , {{\boldsymbol{\theta}} }
     (1) 初始化 {{{\boldsymbol{w}}}^{(0)}} , {{{\boldsymbol{v}}}^{(0)}} {{{\boldsymbol{\theta}} }^{(0)}}
     (2) 设置迭代次数 r = 1 , {{\boldsymbol{W}}^{(0)}} = {{\boldsymbol{w}}}{{{\boldsymbol{w}}}^{{\mathrm{H}}} } , {{\boldsymbol{F}}^{(0)}} = {{\boldsymbol{v}}}{{{\boldsymbol{v}}}^{{\mathrm{H}}} }
     (3) 重复
     (4)  在给定 {{{\boldsymbol{\theta}} }^{(r - 1)}} , {{\boldsymbol{W}}^{(r - 1)}} {{\boldsymbol{F}}^{(r - 1)}} 时,求解式(11);根据
        式(18)和式(19)分别找到最优的 {t}_{\text{s}}^{(r)} t_{{\text{e, }}k}^{(r)}
     (5)  在给定 {t}_{\text{s}}^{(r)} t_{{\text{e, }}k}^{(r)} 时,通过求解式(20),找到最优的 {{\boldsymbol{W}}}^{(r)}
        和 {{\boldsymbol{F}}^{(r)}} ,通过特征值分解得出 {{{\boldsymbol{w}}}^{(r)}} {{{\boldsymbol{v}}}^{(r)}}
     (6)  在给定 {{{\boldsymbol{w}}}^{(r)}} {{{\boldsymbol{v}}}^{(r)}} 时,方法同上,通过求解式(21),找到
        最优的 {{{\boldsymbol{\theta }}}^{(r)}}
     (7) 更新r{\text{ = }}r{\text{ + 1}}
     (8) 直到问题式(10)的目标中的目标值下降 \le \varepsilon 或者r = L
    下载: 导出CSV 
    | 显示表格

    本节给出了所提算法的复杂度分析。在算法1中给出了求解问题式(10)的整体迭代算法,其中\varepsilon 表示一个最小阈值,L是最大迭代次数。本文中所提算法的复杂度主要来源于求解问题式(11)和式(21)。具体来说,设{L_1}为求解问题式(11)的迭代次数,问题式(11)的复杂度为\mathcal{O}\left( {{L_1}\max {{\{ M,K\} }^4}{M^{1/2}}} \right)。类似地,设{L_2}为求解问题式(21)的迭代次数,问题式(21)的复杂度为\mathcal{O}\left( {{L_2}\max {{\{ N,K\} }^4}{N^{1/2}}} \right)。因此,设{L_3}算法1收敛所需的迭代次数,求解问题式(10)的总体复杂度为\mathcal{O}\left( {L_3}\left( {L_1}\max {{\{ M,K\} }^4}{M^{1/2}} + {L_2}\max {{\{ N,K\} }^4}{N^{1/2}} \right) \right)

    本节通过仿真分析验证了所提算法的性能。假设基站,干扰机,IRS和用户的位置分别为(5 m, 0 m, 20 m),(5 m, 0 m, 15 m),(0 m, 100 m, 0 m)和(3 m, 100 m, 0 m)。窃听者的位置分别为(2 m, 105 m, 0 m)和(2 m, 102.5 m, 0 m)。目标所处的方位角\beta = {135^ \circ }。各个信道为{{{\boldsymbol{h}}}_{i,j}} = \sqrt {{G_0}d_{i,j}^{ - {c_{i,j}}}} {b_{i,j}},其中{G_0} = - 30{\text{ dB}}为参考距离1 m处的路径损耗。{d_{i,j}}, {c_{i,j}}{b_{i,j}}分别表示ij之间的距离、路径损耗指数和衰落,其中i \in \{ {\text{B,J,I}}\} {\text{ }},j \in \{ {\text{U,(E,}}k{\text{)}}\} 。路径损耗指数分别设置为: {c_{{\text{B,U}}}} = {c_{{\text{B,E,}}k}} = {c_{{\text{I,E,}}k}} = {c_{{\text{J,E,}}k}} = 5 , {c_{{\text{I,U}}}} = 2 , {c_{{\text{B,I}}}} = {c_{{\text{J,B}}}} = 3.5 {b_{i,j}}服从瑞利分布。本文其他参数设置为: {P_{\text{B}}} = 30{\text{ dBm}} , {P_{\text{J}}} = 30{\text{ dBm}} , {\varGamma _{\text{t}}} = 10{\text{ dB}}, N = 20, \sigma _0^2 = - 10{\text{5 dB}}, \sigma _{\text{r}}^2 = - 80{\text{ dB}}, \alpha = {10^{ - 6}}。另外,本文所提出的方案记为“IRS-ISAC”。同时,考虑了另外两种方案作为基准方案,与所提出的方法进行比较:(1)使用IRS,但不优化其相移,记为“Random IRS-ISAC”;(2)不使用IRS,记为“NO IRS-ISAC”。

    图2给出了系统保密率与迭代次数的关系。从图2可以看到,所提算法在不同的基站发射天线数目 M ( M = 4 , M = 8 , M = 16 )下的收敛性。算法在第5次迭代时就能够获得最大系统保密率并逐渐平稳,说明所提算法具有良好的收敛性。另外,发射天线越大,系统保密率越大。这是因为基站的天线能够提高足够的空间自由度来将合法信息发送到系统所有窃听者信道的零空间中,降低窃听者的信息接收,从而使系统保密率更大。

    图 2  保密率随迭代次数变化曲线

    图3给出了系统保密率与基站发射功率的关系。从图3可以观察到,随着基站最大发射功率的增大,系统保密率也随之增大。这是因为基站发射功率的增加能够缓解大尺度衰落造成的路径衰落,到达用户的信号更加准确。同时,存在IRS辅助的具有协同干扰的ISAC系统与无IRS的情况相比,实现了显著的性能改进,因为IRS引入了额外的NLoS链路,可以增强下行链路通信。此外,所提方案提供的性能改进优于随机方案,这说明了所提算法在联合设计发射波束成形和反射系数方面的有效性。

    图 3  系统保密率与基站最大发射功率的关系

    图4给出了系统的保密率与IRS元素数量 N 的关系。从图4可以看到,随着IRS反射元素数目 N 增加,所提方法与随机方法的系统保密率都随之增加,很明显,更多的反射元件提供更大的无源波束形成增益,因为它们利用更多的空间自由度来操纵传播环境,从而使得系统保密率增大。无IRS方案的系统保密率则保持不变。此外,随着IRS反射元素数量 N 的增加,所提方案与随机方案之间的保密率差值逐渐增大,这意味着优化IRS相移在提高系统性能方面的优越性。

    图 4  系统保密率与IRS的反射元素数量的关系

    图5给出了雷达SINR与基站发射功率的关系。从图5可以看到,雷达的SINR随之增加。基站的发射功率可以增强感知的回波信号,使得对目标的探测更加精准。所提出方案优于其他两种基准方案。这是因为优化IRS相移矩阵提高了系统的安全性能,同时也节约了通信系统中的能量资源,将资源分配于感知系统中,增强信号感知。将IRS部署在ISAC系统中,在提高系统安全性的同时,感知方向的性能也有所提升。

    图 5  雷达SINR与基站发射功率的关系

    针对存在窃听者的ISAC系统安全性低的问题,本文提出一种基于IRS辅助的ISAC安全资源分配算法。在满足基站和干扰机最大发射功率,IRS反射相移以及雷达的SINR的约束条件下,通过联合优化发射波束成形、干扰机预编码和IRS相移,提出一个多变量耦合的最大化系统保密率的优化问题。采用交替优化方法将原有的非凸问题转化为两个可解的子问题,然后使用SDR方法将子问题变化为凸形式,最后利用凸优化工具进行求解。数据结果表明所提方法显著优于其他两种基准方案,验证了本文所提算法的有效性,揭示了IRS在提高ISAC系统安全性能方面具有巨大潜力。

  • 图  1  系统模型

    图  2  地面节点 j 的AoI

    图  3  多无人机轨迹优化算法框架

    图  4  不同算法下得到的平均加权AoI比较

    图  5  不同学习率下得到的平均加权AoI比较

    图  6  不同地面节点数量下不同算法性能比较

    图  7  不同无人机数量下MAPPO不同框架的性能比较

    图  8  不同地面节点数量的无人机轨迹图

    算法1 基于MAPPO方法的多无人机路径规划算法
     初始化:Actor网络、Critic网络的参数 \theta \omega ,设置训练最大回
     合数(episode)为 T ,单个回合最大步数(step)为 L ,无人机数量
     为 N ,批采样大小(batch size)为 B ,迭代(epoch)大小为 K
     For episode=1: T do
       初始化每个无人机状态 {s_i}(t) 、联合状态 S(t)
       For step=1: L do
        每个无人机根据自身策略选择动作 {a_i}(t)
        执行动作 A(t) = \left\{ {{a_1}(t),{a_2}(t),\cdots,{a_n}(t)} \right\} ,得到奖励
         R(t) 和下一状态 S(t{\text{ + 1}})
        For UAV=1: N do
         将采样轨迹 ({s_i}(t),{a_i}(t),r(t),{s_i}(t + 1)) 存入经验池 D
         基于采样轨迹计算GAE
         For epoch=1: K do
          从经验池 D 随机抽取小批次数据 B 来训练网络
          应用Adam优化器求梯度下降
          根据式(20)更新Actor网络参数 \theta = \theta '
          根据式(21)更新Critic网络参数 \omega = \omega '
         End for
        End for
         s(t) = s(t + 1),\;S(t) = S(t + 1)
       End for
     End for
    下载: 导出CSV

    表  1  仿真环境参数

    参数数值
    无人机飞行高度 {h_i} (m)120
    基站高度 {h_{\text{b}}} (m)25
    无人机的飞行速度 v (m)10
    最小防碰撞距离 {d_{\min }} (m)5
    无人机传输功率 {P_{\text{u}}} (dBm)23
    传感器传输功率 {P_{\text{s}}} (w)0.1
    噪声功率 {\sigma ^2} (dBm)–100
    通信带宽 B (MHz)5
    时隙长度 {T_{\text{c}}} (s)1
    数据包大小 S (bits)1e6
    NLoS衰减因子 \psi 0.6
    路径衰落参数 \mu 2
    参考距离为1m时的信道增益 {\beta _0} (dB)–60
    下载: 导出CSV

    表  2  强化学习参数

    参数数值
    训练回合数 {T_{\max }} 2e4
    每个回合最大步数 {l_{\max }} 100
    经验池大小 D 1e4
    采样批次大小 B 256
    折扣因子 \gamma 0.95
    Actor网络学习率 {\delta _1} 3e–4
    Critic网络学习率 {\delta _2} 3e–4
    裁剪超参数 \varepsilon 0.2
    GAE的 \lambda 0.95
    下载: 导出CSV
  • [1] SHAH S K, JOSHI K, KHANTWAL S, et al. IoT and WSN integration for data acquisition and supervisory control[C]. 2022 IEEE World Conference on Applied Intelligence and Computing, Sonbhadra, India, 2022: 513–516.
    [2] AL-MASHHADANI M A, HAMDI M M, and MUSTAFA A S. Role and challenges of the use of UAV-aided WSN monitoring system in large-scale sectors[C]. 2021 3rd International Congress on Human-Computer Interaction, Optimization and Robotic Applications, Ankara, Turkey, 2021: 1–5.
    [3] AL-SHARE R, SHURMAN M, and ALMA’AITAH A. A collaborative learning-based algorithm for task offloading in UAV-aided wireless sensor networks[J]. The Computer Journal, 2021, 64(10): 1575–1583. doi: 10.1093/comjnl/bxab100.
    [4] VERMA S and ADHYA A. Routing in UAVs-assisted 5G wireless sensor network: Recent advancements, challenges, research GAps, and future directions[C]. 2022 3rd International Conference on Intelligent Engineering and Management, London, United Kingdom, 2022: 422–428.
    [5] KAUL S, YATES R, and GRUTESER M. Real-time status: How often should one update?[C]. 2012 Proceedings IEEE INFOCOM, Orlando, USA, 2012: 2731–2735.
    [6] ZHANG Guangyang, SHEN Chao, SHI Qingjiang, et al. AoI minimization for WSN data collection with periodic updating scheme[J]. IEEE Transactions on Wireless Communications, 2023, 22(1): 32–46. doi: 10.1109/TWC.2022.3190986.
    [7] LIU Juan, WANG Xijun, BAI Bo, et al. Age-optimal trajectory planning for UAV-assisted data collection[C]. IEEE Conference on Computer Communications Workshops, Honolulu, USA, 2018: 553–558.
    [8] TONG Peng, LIU Juan, WANG Xijun, et al. UAV-enabled age-optimal data collection in wireless sensor networks[C]. 2019 IEEE International Conference on Communications Workshops, Shanghai, China, 2019: 1–6.
    [9] JIANG Wenwen, SHEN Chao, AI Bo, et al. Peak age of information minimization for UAV-aided wireless sensing and communications[C]. 2021 IEEE International Conference on Communications Workshops, Montreal, Canada, 2021: 1–6.
    [10] ZHOU Conghao, HE Hongli, YANG Peng, et al. Deep RL-based trajectory planning for AoI minimization in UAV-assisted IoT[C]. 2019 11th International Conference on Wireless Communications and Signal Processing, Xi'an, China, 2019: 1–6.
    [11] ABD-ELMAGID M, FERDOWSI A, DHILLON H S, et al. Deep reinforcement learning for minimizing age-of-information in UAV-assisted networks[C]. 2019 IEEE Global Communications Conference, Waikoloa, USA, 2019: 1–6.
    [12] YI Mengjie, WANG Xijun, LIU Juan, et al. Deep reinforcement learning for fresh data collection in UAV-assisted IoT networks[C]. IEEE Conference on Computer Communications Workshops, Toronto, Canada, 2020: 716–721.
    [13] ZHANG Qian, MIAO Jiansong, ZHANG Zhicai, et al. Energy-efficient video streaming in UAV-enabled wireless networks: A safe-DQN approach[C]. GLOBECOM 2020 - 2020 IEEE Global Communications Conference, Taipei, China, 2020: 1–7.
    [14] FU Fang, JIAO Qi, YU F R, et al. Securing UAV-to-vehicle communications: A curiosity-driven deep Q-learning network (C-DQN) approach[C]. 2021 IEEE International Conference on Communications Workshops, Montreal, Canada, 2021: 1–6.
    [15] HU Jingzhi, ZHANG Hongliang, SONG Lingyang, et al. Cooperative internet of UAVs: Distributed trajectory design by multi-agent deep reinforcement learning[J]. IEEE Transactions on Communications, 2020, 68(11): 6807–6821. doi: 10.1109/TCOMM.2020.3013599.
    [16] WU Fanyi, ZHANG Hongliang, WU Jianjun, et al. Cellular UAV-to-device communications: Trajectory design and mode selection by multi-agent deep reinforcement learning[J]. IEEE Transactions on Communications, 2020, 68(7): 4175–4189. doi: 10.1109/tcomm.2020.2986289.
    [17] WU Fanyi, ZHANG Hongliang, WU Jianjun, et al. UAV-to-device underlay communications: Age of information minimization by multi-agent deep reinforcement learning[J]. IEEE Transactions on Communications, 2021, 69(7): 4461–4475. doi: 10.1109/TCOMM.2021.3065135.
    [18] SAMIR M, ASSI C, SHARAFEDDINE S, et al. Age of information aware trajectory planning of UAVs in intelligent transportation systems: A deep learning approach[J]. IEEE Transactions on Vehicular Technology, 2020, 69(11): 12382–12395. doi: 10.1109/TVT.2020.3023861.
    [19] AL-HOURANI A, KANDEEPAN S, and JAMALIPOUR A. Modeling air-to-ground path loss for low altitude platforms in urban environments[C]. 2014 IEEE Global Communications Conference, Austin, USA, 2014: 2898–2904.
    [20] SCHULMAN J, WOLSKI F, DHARIWAL P, et al. Proximal policy optimization algorithms[EB/OL]. https://arxiv.org/abs/1707.06347, 2017.
  • 期刊类型引用(6)

    1. 肖蛰水,陈发,方坤升,王巍,黄海宁. 水下体域网系统架构及关键技术. 水下无人系统学报. 2022(06): 720-725 . 百度学术
    2. 孙彦赞,范卫蓉,张舜卿,王涛,吴雅婷. 基于图着色的密集D2D网络资源分配算法. 计算机工程. 2019(02): 26-31 . 百度学术
    3. 赖增桂,蔡雪梅,李默嘉. 基于时隙泛洪的无路由移动无线自组网协议及其扩展方法. 通信技术. 2018(03): 605-610 . 百度学术
    4. 柳扬,杨银堂,李迪,石佐辰. 一种无线体域网发射机体偏置线性化技术. 电子与信息学报. 2017(02): 499-503 . 本站查看
    5. 房卫东,张武雄,胡明明,陈伟,杨旸. 基于改进LDPC码的短距离跳频无线通信系统. 通信学报. 2017(12): 34-47 . 百度学术
    6. 李建辉,刘畅,王彩申,王强强. 基于WBAN的多参数健康监护系统研究与设计. 现代电子技术. 2017(22): 149-151 . 百度学术

    其他类型引用(1)

  • 加载中
图(8) / 表(3)
计量
  • 文章访问数:  601
  • HTML全文浏览量:  325
  • PDF下载量:  109
  • 被引次数: 7
出版历程
  • 收稿日期:  2023-05-19
  • 修回日期:  2023-09-26
  • 网络出版日期:  2023-10-08
  • 刊出日期:  2024-04-24

目录

/

返回文章
返回