Resource Allocation for Unmanned Aerial Vehicle-assisted Mobile Edge Computing to Minimize Weighted Energy Consumption
-
摘要: 针对无人机(UAV)辅助的移动边缘计算(MEC)系统,考虑到无人机能耗与地面设备能耗不在一个数量级,该文提出通过给地面设备能耗增加一个权重因子以平衡无人机能耗与地面设备能耗。同时在满足地面设备的任务需求下,通过联合优化无人机轨迹、系统资源分配以最小化无人机和地面设备的加权能耗。该问题高度非凸,为此提出一个基于交替优化算法的两阶段资源分配策略解决该非凸问题。第1阶段在给定地面设备的卸载功率下,利用连续凸逼近(SCA)方法求解无人机轨迹规划、CPU频率资源分配及卸载时间分配;第2阶段求解地面设备的卸载功率分配。通过两阶段的交替和迭代优化找到原问题的次优解。仿真结果验证了所提算法在降低系统能耗方面的有效性。Abstract: For the Unmanned Aerial Vehicle (UAV)-assisted Mobile Edge Computing (MEC) system, it is proposed to balance the energy consumption of UAV and ground equipment by adding a weight factor to the energy consumption of ground equipment, considering that their energy consumption is not in the same order of magnitude. At the same time, to meet the requirements of ground equipment tasks, the weighted energy consumption of UAV and ground equipment are minimized by joint optimization of UAV trajectory and system resource allocation. The formulated problem is highly non-convex, thus an alternating optimization based two-stage resource allocation optimization scheme is proposed to solve it. In the first stage, given the unloading power of the ground equipment, the Successive Convex Approximation (SCA) method is used to solve the UAV trajectory optimization, Central Processing Unit (CPU) frequency resource allocation and unloading time allocation. In the second stage, the unloading power allocation of ground equipment is optimized. Such two-stage alternating and iterative optimization is used to find the sub-optimal solution of the original problem. The effectiveness of the proposed scheme in reducing system energy consumption is verified by simulation results.
-
1. 引言
当前对海洋态势感知的迫切需求使得舰船监测数据在数量上呈现出爆炸性增长的态势,在大规模舰船监测数据中检索到感兴趣的关键信息也就成为当前一个亟需解决的关键问题,具有广泛的应用前景和较高的研究价值,一个良好的检索算法能大大提升对监测大数据的管理能力[1,2]。
文献[3]是对遥感场景图像进行跨模态检索的首次尝试,作者基于深度学习架构设计了一组源不变深度哈希卷积神经网络(Convolutional Neural Network, CNN)用于双模态遥感图像特征的并行提取,并在其构建的双模态遥感图像数据集(Dual-Source Remote Sensing Image Dataset, DSRSID)上验证了所提算法的有效性;通过将识别引入跨模态检索框架中,Xiong等人[4]基于循环生成对抗网络[5](Cycle-Generative Adversarial Networks, Cycle-GAN)设计了一种循环-识别生成对抗网络并将其用于跨模态配对样本的生成,以源域-目标域图像互相映射的思路解决了跨模态数据的特征漂移问题,在DSRSID上的平均准确率均值(mean Average Precision, mAP)[5]最高可达到97.55%;文献[6]采用了知识蒸馏的思路来解决跨模态数据的“异构鸿沟”问题,通过将源域图像信息进行跨模态蒸馏,在DSRSID上的mAP值最高达到了98.98%; Sun等人[7]同样基于跨模态对抗网络(Cross-modal Adversarial Network, GAN)设计了多光谱(Multi-Spectral, MS)图像生成网络进行跨模态视觉语义差异的消除;Hu等人 [8]主要关注含噪声标签背景下的图文跨模态检索问题,基于鲁棒聚类损失和多模态对比损失设计了一个通用的多模态鲁棒学习框架,在4类广泛使用的多模态数据集上验证了所提框架的先进性;Xu等人[9]针对图文检索中源域和目标域类别不一致导致的不可扩展问题,提出了一种模态对抗性语义学习网络来重建不同模态数据,对抗性学习机制的引入可以最小化跨模态类别差异,较好地解决了目标域存在“不可见”类时的跨模态检索问题。文献[9]采用的对抗思想最早由Wang等人[10]提出,让不同模态特征相互对抗以实现混淆的目的,特征对抗的思想也被后来的许多多模态检索研究所借鉴;文献[11]基于模态对抗思想构建了跨模态检索框架,并利用图卷积神经网络进行样本表示的重构,以弥补单样本信息表达的不足;文献[12]提出了一种基于对抗引导的非对称哈希方法,同样基于对抗思想进行跨模态检索框架的搭建,并且为了保留样本的多标签语义信息,设计了非对称式的哈希生成方法来进行多标签语义信息的映射。但是上述方法中特征对抗的实现均基于高维卷积特征,难以保证特征空间与度量空间相似性的完全过渡,在检索精度上仍然有进一步的提升空间。
当前专门针对舰船图像检索的研究较少,Hu等人[13]基于视觉词袋模型进行舰船图像的视觉特征提取,并采用词频-逆文档频率对词频向量进行加权,实现舰船图像检索的同时提升了检索的效率;另有Tian等人[14]利用VGG16网络提取的卷积特征构造视觉词袋,其检索准确性要高于传统尺度不变特征变换及加速稳健特征;邹利华[15]则基于自适应短时傅里叶算法辅以主成分分析降维实现了舰船图像的快速检索。综合当前研究成果来看,关于跨模态检索的研究限于图文及遥感场景图像等对象,仅有的几项针对舰船图像检索的研究仍然以传统手工提取特征为主,且主要集中于同模态图像的相互检索,普遍存在特征提取困难,检索效率低下等问题,针对舰船图像的跨模态检索研究几乎没有。
为了弥补舰船图像跨模态检索的相关研究空白,本文设计一种基于判别性对抗哈希变换器(Discriminant Adversarial Hashing Transformer, DAHT)的跨模态舰船图像检索框架予以解决。具体来说,DAHT在一个框架内融合了GAN及ViT (Vision Transformer)[16]两种视觉生成及理解范式,识别-哈希变换器(Identity-Hash Transformer, IH-Transformer)用于舰船图像微细节提取并在GAN中扮演生成器角色,CAN用于在哈希空间中消除由生成器输出的跨模态配对哈希码的模态差异。此外,本文还设计了一种基于归一化折损累计增益(Normalized Discounted Cumulative Gain, NDCG)加权的判别性跨模5元组损失(NDCG Weighting based Discriminant Cross-modal Quintuplet Loss, NW-DCQL)以实现哈希空间中不同类别样本的最优分布。
2. 判别性对抗哈希变换器
本文考虑有监督条件下双模态舰船图像的相互检索,给定N组配对图像集G={di}Ni=1, L={li}Ni=1为与之对应的标签向量,其中li=[li1,li2,⋯,lic]是第i组图像对应的标签向量,其中lij∈[0,1],c为类别数。DAHT的整体框架由2.1节给出,其中包含两个重要组件:用于语义嵌入及哈希生成的识别-哈希变换器及用于模态混淆的跨模态对抗网络,用于指导网络训练的核心损失函数NW-DCQL将在2.4节进行具体介绍。
2.1 DAHT整体结构
图1是DAHT的基本框架,其整体以GAN结构进行搭建,并将模态对抗从特征空间转移到哈希空间中,确保网络的优化对象与最终用于检索的特征向量相一致。生成器在DAHT中被替换为双模态舰船图像特征提取器IH-变换器,用于对输入的双模态配对舰船图像进行判别性特征提取,并经过哈希生成后在哈希空间内进行2元博弈以欺骗判别器。当配对样本生成的哈希码能够实现对判别器的有效“欺骗”时,认为实现模态混淆,模态边界消失,舰船图像的跨模态检索问题转化为单模态检索问题,在一定程度上保证了检索的准确性。如图1,IH-ViT具有两组输出,可实现类别预测及哈希码生成的双重功能。其中哈希分支用于舰船图像的哈希生成,可将多模态舰船图像中包含的判别性信息集成到紧凑的二进制哈希码中,以提升后续舰船图像的跨模态检索速度。识别分支输出的类概率分布则用于提升哈希生成的质量,在交叉熵损失的约束下可对不同类别舰船图像包含的潜在语义信息进行预先嵌入,使得生成的哈希码在进入哈希空间之前能够包含足够的语义判别信息,以便后续交由NW-DCQL进行进一步优化。
2.2 用于哈希生成的识别-哈希变换器
针对常规CNN无法有效关注舰船图像的细节信息,对全局特征建模能力不强等问题,本文将ViT作为特征提取器引入到检索框架中,试图更好地建模深浅层视觉特征之间的相似性以及图像的空间信息,并提出一种可同时满足分类及检索双重功能的视觉变换器,即IH-ViT,其结构如图2所示。
如图2,按照ViT的处理思路,尺寸为H×W×C的输入图像进入IH-ViT后首先被分割成若干大小为P×P×C的图像切片,其中H×W为输入图像的分辨率,P×P为图像切片的分辨率,C为图像通道数。经过分割得到的图像切片数为N=HW/P 2。由于变换器只能处理序列数据,在完成图像分割后需要将2维图像切片拉平为1维图像序列,并统一处理为相同维度D以便后续处理。式(1)表示图像序列的预处理。其中,xi为展平后的图像序列,E为用于维度转换的变换矩阵,z0为最终输入编码器的序列组
z0=[xclass;x1E;x2E;⋯;xNE]+Epos (1) 原始ViT中一组可优化的序列xclass即Class Token可与其他图像序列进行交互,自适应地从中提取有效判别性信息,并最终转换为可用于分类的图像表示。为了保持原始图像块的位置信息,一组1D位置编码序列Epos参与到序列组z0的构造中,并满足Epos∈R(N+1)×D。
ViT最初被设计用于解决图像分类问题并通过Class Token输出的类概率分布来实现。文献[12]在Class Token之后附加了一组全连接层进行维度变换以获取图像的哈希表示,基于分类及检索的差异性,这种直接嫁接的方式并不能获得完全有效的哈希表示,且丢失了原始Class Token的类语义嵌入功能。为了保留Class Token分类功能的同时获取高质量的图像哈希表示,IH-ViT在原始ViT的基础上设计了一组同样可随训练进行优化的1维哈希序列Hash Token用于哈希生成,表示为xhash,并将其添加到图像序列组中参与信息交互,捕获用于满足检索任务的判别性信息,如式(2)所示。
z′0=[xclass;x1E;x2E;⋯;xNE;xhash]+E′pos (2) 此时位置编码序列Epos与输出序列组z0的维度也随之发生改变并扩展到N+2维,即z′0,E′pos∈R(N+2)×D。
图像预处理完成后,便可输入变换器编码器进行后续的处理。IH-ViT采用了与原ViT一致的编码器结构进行图像序列的处理。如图2,图像序列组进入编码器后,首先依靠层归一化(Layer Norm, LN)完成规范化处理,然后在多头自注意力模块和多层感知机(Multi Layer Perceptron, MLP)中进行进一步处理,并通过跨层连接的方式进一步增强特征表示,上述流程可总结为
z′l=MSA(LN(zl−1))+zl−1zl=MLP(LN(z′l))+z′l,l=1,2,⋯,L} (3) 其中,L为编码器数量。多头自注意力模块的具体结构及原理本文不做赘述,在此只给出编码器的具体构造,如图2(b)所示。综上,IH-ViT的最终输出为xclass以及xhash两部分,并通过两组多层感知机(Identification Head及Hashing Head)分别输出类概率分布y和实值哈希码h
y=FSigmoid(xLclassWTclass+bclass)h=FTanh(xLhashWThash+bhash)} (4) 为了使生成的哈希码具备足够的判别性,IH-ViT基于y额外构造了分类任务,试图通过分类对IH-ViT进行辅助优化,将潜在的类语义信息转移到生成的哈希码中,该过程通过交叉熵损失来实现
LIDE=1NliN∑ilgyi (5) 2.3 用于模态混淆的跨模态对抗网络
为了避免直接在特征空间中优化IH-ViT使得哈希码的跨模态相似性无法有效保持的问题,本文将对抗思想引入哈希空间,尝试在哈希空间中消除跨模态“异构鸿沟”,实现哈希码的最近邻匹配。具体来说,CAN仅采用了GAN中的判别器结构,而生成器被替换为双流IH-ViT,并以其输出的实值哈希码作为CAN的输入参与模态对抗。CAN的目的是对来自不同模态的哈希码进行辨别,并将损失进行反向传播,以此实现对自身参数及双流IH-ViT的更新。其损失函数为
LCAN=1N∑(lg(D(hm;ϕh))+lg(1−D(hn;ϕh))) (6) 其中,hm, hn为双模态哈希码,ϕh为判别器参数,D表示判别器。
借助GAN的最大-最小的2元博弈结构,整个DAHT的参数都可以随着CAN的输出做动态调整优化,在这个过程中同类别样本的跨模态差异性得以不断缩小,当CAN无法对输入进行辨别时,表明此时分属不同模态的哈希码在哈希空间实现了一致的分布,目标函数取得全局最优解。
表1给出了判别器的网络结构,其中B表示哈希码长,Tanh用于将输出限幅为[0,1]。
表 1 判别器结构组成层名称 参数设置 线性层1 B×B/2 激活层1 ReLU 线性层2 B/2×B/4 激活层2 ReLU 线性层3 B/4×1 激活层3 Tanh 2.4 基于NDCG加权的判别性跨模5元组损失
DAHT的输入为配对的双模态舰船图像,即使考虑模态异构,双模态舰船图像仍然具有较高的相似性,而CAN只针对配对样本之间的模态差异进行了优化,虽然保证了跨模态同类样本具有一致的哈希分布,但没有很好地考虑舰船图像巨大的类内差异性和高度的类间相似性。3元组损失通过抽样并构造Anchor-Positive-Negative的图像3元组形式,可以较好地解决上述问题,但将其直接应用到跨模态检索中又存在困难。3元组损失的核心在于3元组的构造,一般思路是选取难区分样本组以增强网络的泛化能力,从而使网络学习到更好的表征。文献[17]通过构造采样器实现了基于难样本挖掘的3元组损失,但十分消耗计算资源。为了保证网络跨模态快速检索的同时实现良好的正负样本区分,本文摒弃了难样本挖掘的传统思路并提出一种带反馈机制的判别性跨模5元组损失NW-DCQL予以解决。
3元组损失的基本思想是对于每一张参与训练图像即锚点图像(Anchor)都从其对应的batch中选取1张正样本(Positive)图像即同类别图像和1张负样本(Negative)图像组成3元组参与训练,使得在特征空间中锚点图像能够和正样本图像接近而远离负样本图像。其定义为
Ltri=∑max(d(h,h+)−d(h,h−)+m,0) (7) 其中,d(⋅)表示距离,“+”表示正样本,“–”表示负样本,m为边距控制系数,用于控制锚点图像与正负样本图像之间的距离差。区别于常规3元组损失,NW-DCQL可同时进行模内及跨模采样。如图3所示,(m+,m–)为同模态采样的正负样本对,(n+,n–)则为跨模态采样的正负样本对。此外,NW-DCQL还将训练过程的关联结果反馈到5元组损失的计算中,并通过加权的方式优化正负样本之间的距离,以此代替难样本的挖掘过程。在介绍NW-DCQL之前,首先对加权5元组损失的原理进行介绍。如图3,ω,μ为权重系数,并满足ω>1,μ<1。不难得出,在权重系数的控制下,当l1, l2取值不变时,锚点图像与正样本图像之间的距离变得更小而与负样本图像之间的距离增大,这无疑会使得网络可以更好地对不同类别图像进行区分辨别。
结合上述分析首先给出加权跨模5元组损失的定义
LDCQL=1N∑(max(ωd(hm,hm+)−μd(hm,hm−)+p,0)+max(ωd(hm,hn+)−μd(hm,hn−)+q,0)) (8) 其中,p,q为边距控制系数。将权重ω,μ替换为NDCG,得到基于NDCG加权的判别性跨模5元组损失为
LNW - DCQL=1N∑(max(d(hm,hm+)/d(hm,hm+)NDCGNDCG−NDCG⋅d(hm,hm−)+p,0)+max(d(hm,hn+)/d(hm,hn+)NDCGNDCG−NDCG⋅d(hm,hn−)+q,0)) (9) 其中,NDCG[18]是一种用于评估推荐系统中排序返回结果的准确性的指标,排名越准确,其值越接近1。综上,DAHT的损失函数共有LCAN, LIDE及LNW-DCQL 3部分,首先对LIDE及LNW-DCQL进行组合并用于网络的端到端优化,得到目标函数
L=α⋅LIDE+β⋅LNW-DCQL (10) 其中,α, β为损失对应权重。
组合完毕采取交替策略后对整个DAHT进行优化。具体来说,首先固定DAHT中除CAN外的参数,并依靠LCAN进行反向传播更新CAN参数;而后固定CAN中的参数,依靠L对网络其余部分进行优化。
3. 实验结果与分析
3.1 数据集、基线和评价标准
本文引入目前唯一公开的两组双模态舰船图像数据集MPSC[19]及VAIS[20]进行DAHT跨模态检索效果的检验。为了确保实验对比的公平性,本节开展的舰船图像跨模态检索实验均在官方测试集上开展,并采用与文献[21]一致的计算平台进行网络的训练及效果的测试。数据集的具体类别信息同样已由文献[21]给出,本文在此不做赘述。
由于目前没有专门针对舰船图像的跨模态检索研究,为了全面地检验DAHT的舰船图像检索效果,本文从遥感场景图像检索及图文检索领域选取几类先进的跨模态哈希检索方法参与对比,分别为AGAH[12], DADH[22], DCMH[23], DCMHN[24];此外,本文额外引入DHN[25], DSH[26], DCH[27], DFH[28], DPN[29]等几类表现良好的哈希检索框架进行DAHT单模态舰船图像检索效果的对比检验。为了保证实验对比的公平性,上述哈希方法的特征提取器均被替换为ResNet50。同时,实验选取检索任务中常用的mAP及PR(Precision-Recall)曲线[23]两类指标进行检索效果的评价。
α, β, p, q, B默认值为1.0, 0.1, 0.3, 0.3, 256,图像尺寸预处理为224×224,图像块尺寸为16×16,编码器个数为12,MSA头数为12,维数D设定为768。采用Adam算法进行网络优化,初始学习率设定为0.000 1,共训练100轮次,每10轮衰减0.9倍。
3.2 检索性能分析
表2给出了不同哈希码长下不同哈希算法的跨模态检索mAP值,其中,M2P表示用多光谱图像检索全色图像,其余检索任务采用相同的表示方法,加粗字体表示对应检索任务的最优结果。分析表中结果可以发现,DAHT在4类不同的舰船图像跨模态检索任务中均实现了最高的mAP值。这是因为DAHT采用的IH-ViT是在ViT的基础上进行搭建,ViT的引入首先保证了网络可以有效关注舰船图像中的细节信息,同时可有效建模舰船图像的整体信息,相比几类对比方法能够有效捕获多模态舰船图像的判别性信息;其次,Hash Token结构的设计也使得DAHT可以更好地进行哈希生成,与Class Token互相配合可以帮助网络有针对性地对类语义信息及哈希信息进行分别建模,生成的哈希码也即更具判别性;此外,在3元组损失基础上改进得到的NW-DCQL能够同时进行样本的模内及跨模采样,对跨模态检索具有更好的适应性,反馈加权机制的设计也能够加速网络的收敛,在随机构造5元组的基础上增强了对难样本的区分性。
表 2 不同哈希码长度下跨模态检索mAP值对比数据集 方法 检索任务 32 bit 64 bit 128 bit 256 bit MPSC DAHT M2P 0.696 0.691 0.696 0.693 P2M 0.715 0.713 0.729 0.714 AGAH M2P 0.437 0.444 0.432 0.437 P2M 0.446 0.457 0.443 0.446 DADH M2P 0.455 0.458 0.446 0.432 P2M 0.453 0.461 0.470 0.439 DCMH M2P 0.378 0.400 0.332 0.440 P2M 0.346 0.370 0.268 0.422 DCMHN M2P 0.598 0.589 0.601 0.599 P2M 0.563 0.561 0.593 0.568 VAIS DACH V2I 0.599 0.582 0.617 0.603 I2V 0.603 0.615 0.611 0.635 AGAH V2I 0.390 0.401 0.387 0.368 I2V 0.369 0.390 0.383 0.361 DADH V2I 0.389 0.398 0.401 0.413 I2V 0.386 0.392 0.387 0.388 DCMH V2I 0.401 0.404 0.403 0.396 I2V 0.384 0.368 0.384 0.372 DCMHN V2I 0.402 0.399 0.411 0.428 I2V 0.387 0.379 0.402 0.404 继续对DAHT的单模态舰船图像检索效果进行检验,结果如表3所示。从表3结果来看,DAHT在不同哈希码长下相比几类单模态哈希检索算法仍然具有一定的检索优势,在P2P及I2I两类检索任务上相比其他算法有近20%的性能提升,在M2M及V2V中则略逊于DCH等对比算法。这是由于NW-DCQL同时进行了模内及跨模的采样,其优化方向不易把握,在实现跨模紧致性的同时无法保证同模态样本的类内紧致性,因此在单模态舰船图像检索任务中缺乏一定的鲁棒性。虽然DAHT在M2M及V2V两类检索任务中没有实现最佳的检索精度,但与最优结果相差并不大,总体来看仍然优于几类对比方法。
表 3 不同哈希码长度下单模态检索mAP值对比数据集 方法 检索任务 32 bit 64 bit 128 bit 256 bit MPSC DAHT M2M 0.648 0.548 0.657 0.640 P2P 0.777 0.759 0.781 0.780 DHN M2M 0.678 0.685 0.668 0.651 P2P 0.545 0.551 0.559 0.543 DSH M2M 0.501 0.471 0.485 0.476 P2P 0.366 0.405 0.388 0.360 DCH M2M 0.695 0.683 0.692 0.669 P2P 0.561 0.557 0.572 0.544 DFH M2M 0.665 0.700 0.691 0.695 P2P 0.569 0.568 0.570 0.572 DPN M2M 0.646 0.651 0.659 0.654 P2P 0.532 0.551 0.536 0.553 VAIS DAHT V2V 0.637 0.625 0.639 0.633 I2I 0.719 0.743 0.752 0.736 DHN V2V 0.613 0.602 0.620 0.641 I2I 0.504 0.529 0.509 0.510 DSH V2V 0.571 0.554 0.494 0.442 I2I 0.468 0.416 0.397 0.356 DCH V2V 0.631 0.659 0.667 0.656 I2I 0.512 0.529 0.521 0.499 DFH V2V 0.622 0.648 0.642 0.633 I2I 0.510 0.525 0.514 0.509 DPN V2V 0.620 0.634 0.663 0.645 I2I 0.487 0.491 0.492 0.489 图4及图5分别为哈希码长为256 bit时的跨模态及单模态检索PR曲线。图4可以清晰地展示DAHT相比其他跨模态检索方法的巨大优势,在同样的Recall值下,其Precision值要大幅高于其他算法。图5同样表明了DAHT在单模态检索中要优于其他哈希方法。综合表2及表3中的mAP结果可以验证DAHT对舰船图像检索任务的有效性。
为了进一步对DAHT中设计的不同模块进行性能检验,设计以下5种形式的DAHT并开展消融实验对DAHT进行评估,包含DAHT在内的7种网络8类检索任务的mAP值如表4所示。
表 4 消融实验mAP值网络 跨模态检索 单模态检索 M2P P2M V2I I2V M2M P2P V2V I2I DAHT-1 0.680 0.691 0.601 0.615 0.636 0.764 0.540 0.722 DAHT-2 0.600 0.655 0.595 0.591 0.600 0.755 0.519 0.725 DAHT-3 0.682 0.689 0.591 0.584 0.630 0.761 0.534 0.707 DAHT-4 0.668 0.679 0.600 0.595 0.630 0.731 0.509 0.726 DAHT-5 0.608 0.631 0.555 0.579 0.566 0.725 0.521 0.661 DAHT-6 0.668 0.692 0.588 0.596 0.638 0.762 0.529 0.715 DAHT 0.693 0.714 0.603 0.635 0.640 0.780 0.553 0.736 (1) DAHT-1:将跨模加权5元组损失替换为跨模3元组损失。
(2) DAHT-2:将跨模加权5元组损失替换为跨模5元组损失。
(3) DAHT-3:去除跨模态对抗网络不进行模态混淆。
(4) DAHT-4:去除Hash Token,直接用Class Token进行哈希生成。
(5) DAHT-5:将IH-ViT替换为ResNet50。
(6) DAHT-6:在跨模5元组损失基础上采用文献[28]的难样本挖掘策略。
综合分析表4中结果可以发现,DAHT在8类检索任务中均取得了最高的检索mAP值。以P2M为例,DAHT相比其他6种形式的DAHT分别提升了2.3%, 6.9%, 2.5%, 3.5%, 8.3%及2.2%,证明DAHT中设计的几种性能提升手段均能改善网络的检索准确性。NW-DCQL采用的跨模态采样策略缩小了同类别样本的模态差异,能有效改善跨模态检索的准确性;NDCG的引入既实现了加权5元组损失对正负样本对距离的良好控制,又可以将关联结果反馈到网络的优化过程中,相比常规3元组损失其对类别信息的判别性更强,能够更加有效地指导DAHT的训练,提升DAHT的判别性。CAN的设计可进一步提升跨模态配对哈希码的相似性,使得同类别样本的模态差异减小,更容易实现舰船图像的准确检索;DAHT-5的检索结果则验证了ViT相比CNN在舰船图像特征提取上的优势。
3.3 参数敏感性分析
DAHT的检索性能受目标函数的影响,式(10)中有效的超参数取值能帮助DAHT实现最佳的检索效果。图6给出了超参数α和β的不同取值在MPSC上的影响,其中数值结果表示DAHT在M2P及P2M两类检索任务上mAP的平均值。
从图6可知,不同的超参数设置对检索结果的影响较大。总体来看,DAHT对α的变化较为敏感,平均检索mAP在不同α取值下具有较大的波动趋势,且不同哈希码长下的平均检索mAP亦有较大差异。因此在不同码长下,为了保证较好的检索效果,DAHT可以进行参数寻优以取得较高的检索准确率。同时可以看出当α和β均取0时,DAHT的跨模态检索效果及单模态检索效果均大幅下降,而当取其他值时,检索效果变化不大,证明了式(10)中设计的两类损失函数均能有效提升DAHT的舰船图像检索效果。
3.4 计算复杂度分析
表5给出了不同方法在MPSC上单一轮次的平均训练时间。为了保证对比的公平性,本节采用相同的运算平台进行网络的训练,并且只对训练时间进行统计,数据的预处理等过程消耗的时间不统计在内。根据表5结果,由于DAHT的参数量较大,相比其他算法在训练时间上不具有显著优势,逊于几类对比算法;同时,对比DAHT-6的训练时间来看,DAHT采用的反馈加权策略既能实现检索精度的提升,又不会增加运算量,证明了NW-DCQL在跨模态检索任务中的有效性。
表 5 不同方法训练时间及参数量对比DAHT DAHT-5 DAHT-6 AGAH DADH DCMH DCMHN DHN DSH DCH DFH DPN 训练时间(s) 49.61 30.87 53.10 13.91 17.05 10.84 15.98 11.63 11.85 11.57 12.90 11.75 参数量(M) 85.8 25.6 85.8 57.5 50.8 47.1 53.8 23.6 23.6 23.6 23.6 23.6 4. 结束语
针对当前无专门针对舰船图像跨模态检索研究,现有跨模态检索方法对舰船图像适应性不强的问题,本文提出一种基于判别性对抗哈希变换器的跨模态舰船图像检索方法。基于ViT构建哈希转换器将舰船图像的判别性细节特征转换为高质量哈希码,并通过对抗训练消除模态差异性,保持配对样本的语义结构。在此基础上设计了一种跨模加权5元组损失实现在无难样本挖掘的前提下对不同类别样本的距离控制,有效提升哈希码的跨模态相似性及异类语义区分性。实验结果表明,本文所提方法能大幅提升舰船图像的跨模态检索准确性,同时兼具良好的单模态舰船图像检索效果,具有较高的实际应用价值;但同时ViT的引入也使得模型存在参数量较大以及图像需预处理成相同尺寸等不足,后续将针对模型的轻量化展开进一步的研究。
-
表 1 系统参数
参数 含义 B 信号带宽(Hz) H 无人机飞行高度(m) Pkn 第k个地面设备第n时隙的卸载功率(W) C 单位比特计算任务所需的 CPU 循环次数 wkn 第k个地面设备第n时隙的卸载时间 fu,kn 无人机分配给第k个地面设备第n时隙的计算频率 fkn 第k个地面设备第n时隙的计算频率 vn 第n时隙无人机的飞行速度 κk 地面设备CPU有效电容系数 κu 无人机CPU有效电容系数 ρ 空气密度(kg/m3) A 无人机叶片扫过的面积(m2) Utip 无人机叶尖角速度(m/s) d0 机身阻力比 v0 无人机悬停时平均旋翼诱导速度(m/s) s0 总叶片面积与叶片扫过面积之比 P0 无人机悬停状态下型阻功率 Pi 无人机悬停状态下的诱导功率 表 2 算法1:基于交替优化算法的两阶段资源分配策略
输入:q0n,v0n,y0kn,u0n,P0kn,w0kn,ε,并设置r=0; Repeat (1)给定Prkn,qrn,vrn,yrkn,urn,wrkn,求解问题P3得到
{q∗n,v∗n,y∗kn,u∗n,w∗kn,f∗kn,f∗u,kn,D∗kn};(2)给定{q∗n,v∗n,y∗kn,u∗n,w∗kn,f∗kn,f∗u,kn,D∗kn},求解问
题P4得到P∗kn;(3)更新r=r+1,并重新初始化迭代变量
{qrn,vrn,yrkn,urn,wrkn,Prkn}≜
\left\{ {{\boldsymbol{q}}_n^*,{\boldsymbol{v}}_n^*,y_{kn}^*,u_n^*,w_{kn}^*, P_{kn}^*} \right\};(4) if {({\tilde E_{ {\rm{fly} } } }{\text{ + } }{E_{ {\rm{comp} } } }{\text{ + } }\omega {e_{{\rm{user}}} })^{r + 1} }
- {({\tilde E_{{\rm{fly}}} }{\text{ + } }{E_{{\rm{comp}}} }{\text{ + } }\omega {e_{{\rm{user}}} })^r} \le \varepsilon ,则退出循环,否则返回
步骤(1);输出:\left\{ { {{\boldsymbol{q}}_n},{{\boldsymbol{v}}_n},{y_{kn} },{u_n},{w_{kn} },{f_{kn} },{f_{u,kn} },{D_{kn} } } \right\}; 表 3 仿真参数值
参数 取值 参数 取值 B 1 MHz \rho 1.225 kg/m3 H 100 m A 0.603 m2 {I_k} 100 Mbit {U_{{\rm{tip}}} } 200 m/s C 1000 cycles/bit {d_0} 0.3010 T 100 s {v_0} 6.2089 m/s {f^{{\rm{max}}} } 0.3 GHz {s_0} 0.0499 f_u^{{\rm{max}}} 6 GHz {P_0} 225.79 W {{\boldsymbol{q}}_I} [–700,0] m {P_i} 426.07 W {{\boldsymbol{q}}_F} [700,0] m {\tau _n} 0.5 s {V_{{\rm{max}}} } 40 m/s N 200 {\kappa _k} 10–28 {\beta _0} –60 dB {\kappa _u} 10–28 {\sigma ^2} –100 dBm -
[1] YOU Changsheng, HUANG Kaibin, and CHAE H. Energy efficient mobile cloud computing powered by wireless energy transfer[J]. IEEE Journal on Selected Areas in Communications, 2016, 34(5): 1757–1771. doi: 10.1109/JSAC.2016.2545382 [2] SARKAR S, CHATTERJEE S, and MISRA S. Assessment of the suitability of fog computing in the context of internet of things[J]. IEEE Transactions on Cloud Computing, 2018, 6(1): 46–59. doi: 10.1109/TCC.2015.2485206 [3] LIN Xingqin, YAJNANARAYANA V, MURUGANATHAN S D, et al. The sky is not the limit: LTE for unmanned aerial vehicles[J]. IEEE Communications Magazine, 2018, 56(4): 204–210. doi: 10.1109/MCOM.2018.1700643 [4] WANG Jinyuan, MA Yang, LU Rongrong, et al. Hovering UAV-Based FSO communications: Channel modelling, performance analysis, and parameter optimization[J]. IEEE Journal on Selected Areas in Communications, 2021, 39(10): 2946–2959. doi: 10.1109/JSAC.2021.3088656 [5] 董超, 沈赟, 屈毓锛. 基于无人机的边缘智能计算研究综述[J]. 智能科学与技术学报, 2020, 2(3): 227–239. doi: 10.11959/j.issn.2096–6652.202025.DONG Chao, SHEN Yun, and QU Yuben. A survey of UAV-based edge intelligent computing[J]. Chinese Journal of Intelligent Science and Technology, 2020, 2(3): 227–239. doi: 10.11959/j.issn.2096–6652.202025. [6] MAO Yuyi, YOU Changsheng, ZHANG Jun, et al. A survey on mobile edge computing: The communication perspective[J]. IEEE Communications Surveys & Tutorials, 2017, 19(4): 2322–2358. doi: 10.1109/COMST.2017.2745201 [7] HU Qiyu, CAI Yunlong, YU Guanding, et al. Joint offloading and trajectory design for UAV-enabled mobile edge computing systems[J]. IEEE Internet of Things Journal, 2019, 6(2): 1879–1892. doi: 10.1109/JIOT.2018.2878876 [8] ZENG Ming, DU Rong, FODOR C, et al. Computation rate maximization for wireless powered mobile edge computing with NOMA[C]. IEEE 20th International Symposium on "A World of Wireless, Mobile and Multimedia Networks" (WoWMoM), Washington, USA, 2019: 1–9. doi: 10.1109/WoWMoM.2019.8792997. [9] ZHOU Fuhui and HU R Q. Computation efficiency maximization in wireless-powered mobile edge computing networks[J]. IEEE Transactions on Wireless Communications, 2020, 19(5): 3170–3184. doi: 10.1109/TWC.2020.2970920 [10] 吴启晖, 吴伟. 无人机辅助边缘计算的能量效率最大化算法设计[J]. 通信学报, 2020, 41(10): 15–24. doi: 10.11959/j.issn.1000-436x.2020204WU Qihui and WU Wei. Algorithm design on energy efficiency maximization for UAV-assisted edge computing[J]. Journal on Communications, 2020, 41(10): 15–24. doi: 10.11959/j.issn.1000-436x.2020204 [11] ZHOU Yi, PAN Cunhua, PHEE L Y, et al. Secure communications for UAV-enabled mobile edge computing systems[J]. IEEE Transactions on Communications, 2020, 68(1): 376–388. doi: 10.1109/TCOMM.2019.2947921 [12] DIAO Xianbang, ZHENG Jianchao, WU Yuan, et al. Joint trajectory design, task data, and computing resource allocations for NOMA-based and UAV-assisted mobile edge computing[J]. IEEE Access, 2019, 7: 117448–117459. doi: 10.1109/ACCESS.2019.2936437 [13] HUA Meng, WANG Yi, ZHANG Zhengming, et al. Optimal resource partitioning and bit allocation for UAV-enabled mobile edge computing[C]. IEEE 88th Vehicular Technology Conference, Chicago, USA, 2018: 1–6. doi: 10.1109/VTCFall.2018.8690707. [14] ZHAN Chen, HU Han, SUI Xiufeng, et al. Completion time and energy optimization in the UAV-enabled mobile-edge computing system[J]. IEEE Internet of Things Journal, 2020, 7(8): 7808–7822. doi: 10.1109/JIOT.2020.2993260 [15] LIU Yuan, XIONG Ke, NI Qiang, et al. UAV-assisted wireless powered cooperative mobile edge computing: Joint offloading, CPU control, and trajectory optimization[J]. IEEE Internet of Things Journal, 2020, 7(4): 2777–2790. doi: 10.1109/JIOT.2019.2958975 [16] MEI Haibo, WANG Kezhi, ZHOU Dongdai, et al. Joint trajectory-task-cache optimization in UAV-enabled mobile edge networks for cyber-physical system[J]. IEEE Access, 2019, 7: 156476–156488. doi: 10.1109/ACCESS.2019.2949032 [17] ZHANG Xiaochen, ZHANG Jiao, XIONG Jun, et al. Energy-efficient multi-UAV-enabled multiaccess edge computing incorporating NOMA[J]. IEEE Internet of Things Journal, 2020, 7(6): 5613–5627. doi: 10.1109/JIOT.2020.2980035 [18] ZHANG Tiankui, XU Yu, LOO J, et al. Joint computation and communication design for UAV-assisted mobile edge computing in IoT[J]. IEEE Transactions on Industrial Informatics, 2020, 16(8): 5505–5516. doi: 10.1109/TII.2019.2948406 [19] ZENG Yong, XU Jie, and ZHANG Rui. Energy minimization for wireless communication with rotary-wing UAV[J]. IEEE Transactions on Wireless Communications, 2019, 18(4): 2329–2345. doi: 10.1109/TWC.2019.2902559 期刊类型引用(2)
1. 李中,郭云丽. 舰船通信关联信息目标数据检索方法研究. 舰船科学技术. 2024(18): 159-162 . 百度学术
2. 陈严. 基于物联网技术的跨模态图像修改方法研究. 电视技术. 2024(11): 17-19 . 百度学术
其他类型引用(1)
-