A Fast Deep Q-learning Network Edge Cloud Migration Strategy for Vehicular Service
-
摘要: 智能网联交通系统中车载用户的高速移动，不可避免地造成了数据在边缘服务器之间频繁迁移，产生了额外的通信回传时延，对边缘服务器的实时计算服务带来了巨大的挑战。为此，该文提出一种基于车辆运动轨迹的快速深度Q学习网络(DQN-TP)边云迁移策略，实现数据迁移的离线评估和在线决策。车载决策神经网络实时获取接入的边缘服务器网络状态和通信回传时延，根据车辆的运动轨迹进行虚拟机或任务迁移的决策，同时将实时的决策信息和获取的边缘服务器网络状态信息发送到云端的经验回放池中；评估神经网络在云端读取经验回放池中的相关信息进行网络参数的优化训练，定时更新车载决策神经网络的权值，实现在线决策的优化。最后仿真验证了所提算法与虚拟机迁移算法和任务迁移算法相比能有效地降低时延。Abstract: The high-speed movement of vehicles inevitably leads to frequent data migration between edge servers and increases communication delay, which brings great challenges to the real-time computing service of edge servers. To solve this problem, a real-time reinforcement learning method based on Deep Q-learning Networks according to vehicle motion Trajectory Process (DQN-TP) is proposed. The proposed algorithm separates the decision-making process from the training process by using two neural networks. The decision neural network obtains the network state in real time according to the vehicle’s movement track and chooses the migration method in the virtual machine migration and task migration. At the same time, the decision neural network uploads the decision records to the memory replay pool in the cloud. The evaluation neural network in the cloud trains with the records in the memory replay pool and periodically updates the parameters to the on-board decision neural network. In this way, training and decision-making can be carried out simultaneously. At last, a large number of simulation experiments show that the proposed algorithm can effectively reduce the latency compared with the existing methods of task migration and virtual machine migration.
-
1. 引言
物联网(Internet of Things, IoT)通过网络技术和各类信息传感器，按照协定方式将能够被独立标识的机器、人和物等按需求连接起来，进行信息传输和协同交互，实现“万物互联”[1]。传感器作为物联网系统的神经末梢，获取所需外界数据信息，是将数字世界和物理世界连接的核心。随着物联网应用范围的拓展，传感器级的安全问题越来越受到重视。一方面，传感器节点通常部署在无人值守的地理环境，只有很少或没有安全保护[2]，存在信息泄露的安全隐患。另一方面，传感器附件配备可用内存较少，计算能力有限[3]，一个典型的传感器附件可能只备用512 B的内存，诸如高级加密标准(Advanced Encryption Standard, AES)之类的传统加密技术无法使用。如何以较小的计算和存储开销，实现传感器产生数据的安全、可信传递，已经成为物联网安全的迫切需求。
物理不可克隆函数(Physical Unclonable Function, PUF)发生器可利用物理结构的随机、固有属性为物联网安全提供低开销、高可靠性的解决方案。Pappu等人[4]依据光学操作原理实现物理单向函数以产生能够满足唯一标识功能的激励响应对(Challenge Response Pairs, CRP)，最早提出PUF的概念。随之发展到目前以硅基为主的PUF发生器，它利用硅基电路制造过程存在的微小工艺偏差产生具有唯一性、随机性和不可克隆性的硬件指纹，包括仲裁器PUF[5]、环形振荡器PUF[6]、静态随机存取存储器PUF(Static Random Access Memory PUF, SRAM PUF)[7,8]和触发器PUF[9]等。然而将这些硅基PUF直接集成到资源受限的传感器节点将会增加设计难度和额外成本[10]。学者已着手探索利用已有的传感器组件实现更低成本PUF发生器的研究[11]。Rosenfeld等人[12]利用传感器半透明底层所涂深色物质不均匀、光学透射率不一致，由此导致每个芯片光电二极管的光学灵敏度不尽相同等特点，提出一种消除传感器与加密技术分离的架构，但是该架构仍需利用传统的PUF将输入激励转换为初始向量以进行下一步工作，增加了额外的电路开销。Dey等人[13]证明加速度计具有独特的指纹，对80个独立的加速度计芯片以及25个Android手机和2个平板电脑内部加速度计的测试数据表明这些指纹的确存在。Aysu等人[14]利用陀螺仪的输出构建不可预测的PUF响应，但存在无法重复生成所需激励响应对的问题。Labrado等人[15]对压电传感器建模，分析得到交流电压相同，由于制造过程的偏差，不同传感器的等效阻抗存在差异，可利用此差异产生所需PUF数据，但该设计需要外加交流电压源。
气敏传感技术的发展推动了物联网在气体(油)等管理领域的广泛应用。通常将类型和数量众多的气敏传感器集成于物联网系统，安置在液化气储藏库、暖通市场、交通运输等场所。由于目前众多气敏传感器之间没有采取有效技术将其特征区分，不具备“一物一密”特性，所以当某观察点发生异常时难以精准判断哪个气敏传感器“报警”，也就是说难以找到气体(油)的泄露源头，耽误最佳抢修时间；同时也存在传输数据被盗或篡改数据等恶意破坏事故。鉴此，本文针对物联网智能体系中感知节点的安全性难题，拟利用气敏传感器识别到的外界环境变化，从中提取物理特征信息，设计高稳态PUF发生器，为传感器提供定位标签，实现物联网系统自底向上的安全防护。
2. 半导体气敏传感器偏差分析
气敏传感器能将检测到的气体成分和浓度大小转换为电信号，但由于其制造过程的随机工艺偏差使得输出电信号值偏离理论值，因此可以利用气敏传感器制备工艺偏差构建气敏传感PUF发生器。气敏传感器检测系统主要由3部分组成：气体成分特异性识别和浓度识别的半导体气敏材料、非电信号转换为电信号的敏感组件和记录信号的辅助仪器，结构如图1所示。半导体气敏材料为纳米材料，具有高比表面积，气体与材料的接触面积大，为气体分子吸附提供更多的活性位点，有助于气敏性能的提高。
静电喷雾沉积(Electrostatic Spray Deposition, ESD)是制备纳米材料的常用方法[16]。泰勒锥的形成和射流鞭动是两个随机性很强的静电喷雾关键环节。泰勒锥表面是液相和气相的边界，环境气体的快速吸附和溶剂蒸发两个过程并存，因此，不可避免地会引起泰勒锥内部扰乱，影响泰勒锥的形状[17]。射流鞭动是静电喷雾时聚合物喷射流的运动轨迹，呈复杂的3维非直线型“鞭动”。刚开始喷的丝是直的，随后发生弯曲、不稳定。Shin等人[18]针对射流的不稳定阶段提出鞭动模型，用线性不稳定性分析射流鞭动的发生。在已知流体性质和工艺参数条件下，给出式(1)扰动系数的数学方程
Γ(E∞,Q)=ln[A(s)A(0)]=S∫0ω(h,E,σ)Qπh2dh (1) 其中，Γ(E∞, Q)为不稳定放大因子，A(s)为振幅，s为向下移动距离，ω为增长速率，h为射流半径，Q为流率，σ为射流表面电荷密度。
纳米材料中纤维表面对气体分子的吸附能力赋予每个传感器独有的气敏特性。由于与喷雾效果相关的液体黏度、湿度、温度等参数在实验过程中不可避免地发生变化，导致射流振动不完全可控，致使纳米纤维的直径大小以及取向的排列发生差异。聚合物溶液通过电场到达收集板，从喷射口喷射出无数方向不定、粗细不一的纤维层层堆叠，导致每块纤维区域密度都具有随机性和唯一性。因此，每块区域吸附气体能力不同，可利用此特征得到随机的、不可克隆的气敏传感PUF发生器。
3. 气敏传感PUF发生器设计
3.1 半导体气敏传感器的制备
采用ESD技术制备纳米材料，装置如图2所示，其具体制备过程如下：将Pd(NO3)2·2H2O (5 mg), SnCl4·5H2O (701 mg)和聚乙烯吡咯烷酮 (1200 mg)溶解于二甲基甲酰胺 (5 ml)和乙醇 (5 ml)混合溶液中，在室温下搅拌6 h，使溶液均匀；将其灌入注射器，固定在推进泵上；将高压电源的阳极连接注射器喷嘴，阴极连接接地的收集板，阴阳极距离保持15 cm；在16 kV高压电场作用下，注射器喷头开始喷射纤维材料；将纤维材料放入马弗炉，在空气氛围中以1 ℃/min的加热速率至600 ℃，并保持2 h，然后冷却。
传感器一般分为内热式和旁热式两种结构。旁热式气敏器件的氧化铝陶瓷管内放置高阻加热丝，陶瓷管外涂梳状金电极，再在金电极外涂气敏半导体材料。这种结构克服了内热式器件热容量小、易受环境气流影响和测量不稳定的缺点，明显提高器件稳定性。具体制作过程如下：将制备好的纳米材料和去离子水按一定比例混合成糊状物；将糊状物涂到两端固定铂金线的氧化铝管上，也同样在空气氛围中以1 ℃/min加热速率至600 ℃，保持2 h；待冷却后取出。在氧化铝陶瓷管轴心穿入一根直径为0.05 mm，长度为10.5 mm细合金加热丝，用于加热；将加热丝和用作测量电极的铂金线焊在传感器基座上，即完成旁热式气敏器件制备。传感器如图3所示。为使传感器具有更好的稳定性和重复性，还需将其在300 ℃环境温度下老化2～7 d。
3.2 传感器响应提取
为完成传感器响应提取，搭建如图4所示气敏传感PUF发生器测试平台，由测试腔、气敏单元、蒸发台、推进泵、流量计等组成。在测试过程中，开启阀门1～4；将安装有8个气敏传感器(作为1个阵列)的电路放入测试腔，并封闭；为气敏单元电热丝提供4.5 V直流电源。用数据采集仪(如自带信号采集软件的安捷伦34970 A)观测时间-电阻曲线，待曲线平稳，即传感器已经进入准稳态；用微量进样器抽取一定量目标物的液体，通过推进泵将液体注射到蒸发台。由于蒸发台温度达100 ℃，液体将快速气化，并均匀扩散。同时，数据采集仪实时记录8个气敏传感器电阻值变化。待传感器电阻值稳定，推进泵停止推进，使空气重新充满测试腔。如此交替，可得到传感器阵列对一定浓度目标气体响应性能。
3.3 高稳态PUF发生器数据生成
由于气敏传感器制备工艺的随机偏差，采集到的电阻值具有唯一性。将上述数据利用随机阻值多位平衡算法[15]进行处理。其过程如下：将3个传感器组合为1个传感器簇，比较两个传感器簇总和电阻的大小，结果用1位二进制数表示。如果第1个簇的阻值和较大，则结果为1，反之为0。从8个传感器中选出3个作为1簇，共有
C38 ，即56种选择；再从中任选两簇进行阻值和比较运算，则产生C256 ，即128种可能性。簇选择和比较运算将不同传感器测量值随机比较，进而得到128位PUF响应。该响应不会偏向任意某个传感器，从而达到平衡。具体数据生成方法使用8位随机阻值平衡算法，调用该算法16次生成128位响应，算法的伪代码如表1所示。算法假定8位子集包含在数组bit中，数组v包含8个气敏传感器关联的电阻值，传感器0的值位于数组v位置0，传感器1的值位于数组v位置1，依此类推。数组lef和r表示被选择的两簇传感器位置，取出数组v中与位置对应的电阻值，作阻值和比较运算。之后，place的值增加1，也就是将被选择的每个传感器位置都加1，以确定在随后的比较中使用哪几个传感器。进行8次比较后，一个过程完成，生成8个响应位。之后，改变lef与r的初始值以生成后续8位子集。
表 1 8位随机阻值平衡算法伪代码(1) int bit[place] (2) int lef[3] (3) int r[3] (4) double v[8] (5) i=0 (6) do {lsum=v[(i+lef[0])mod 8]+v[(i+lef[1])mod 8]+v[(i+lef[2]) mod 8] (7) rsum=v[(i+r[0]) mod 8]+v[(i+r[1]) mod 8]+v[(i+r[2])mod 8] (8) if lsum>rsum (9) then bits[palce]=1 (10) else bits[place]=0 (11) place=place+1} (12) while(i<8) (13) return 4. 实验结果分析
主要包括3部分：(1)材料表征；(2)偏差特性分析；(3)PUF发生器性能分析。用扫描电子显微镜(Scanning Electron Microscope, SEM)对材料形貌进行表征，观察纳米材料外观结构和形貌；用X射线衍射分析仪(X-Ray Diffraction, XRD)测定并分析产物物相结构；搭建测试平台提取传感器偏差。采用唯一性、可靠性和随机性3种常用性能指标评估输出响应。
4.1 材料表征
SEM表征纳米材料为颗粒状氧化物形貌，如图5所示。纳米颗粒的大小没有规律地散落分布，局部形成团聚，分布具有高度随机性。在不同分辨率情况下都可以观察到氧化物颗粒形态各异，每一个区域与气体分子的接触范围都不相同，是传感器PUF发生器差异性的原因所在。
图6为Pd-SnO2纳米材料样品经600 ℃高温烧结后的XRD图谱。可以发现，(110), (101), (200), (211), (220), (310), (321)等的衍射峰，与SnO2的JCPDS(Joint Committee on Powder Diffraction Standards)标准卡片(PDF#77-0447)峰型吻合。Pd的掺杂并没有改变SnO2的晶体结构，没有出现PdO的特征峰，其原因在于制备的纳米材料中PdO占比很小。
4.2 偏差特性分析
偏差特性表示不同传感器对同一气体激励源的偏差情况。用安捷伦多路数据采集仪实时记录原始电信号，反映传感器电阻随测试腔中甲醛气体浓度变化而变化的信息。传感器的响应定义为[19]
R=Ra/Rg (2) 其中，Ra和Rg为气敏传感器在空气和目标气体的电阻值。利用式(2)计算传感器响应随时间变化的趋势，如图7所示。在200 ppm甲醛气体浓度下，对所制备的Pd-SnO2气敏传感器进行两次循环。可以发现，在响应曲线较为平稳阶段，传感器A和传感器B表现出偏差特性，RA和RB变化趋势一致，且RA>RB。有效降低阻值比较时响应翻转现象出现的可能性，提高输出响应的稳定性。
4.3 PUF发生器性能分析
4.3.1 随机性
随机性表示PUF发生器输出数据中逻辑0和逻辑1分布情况。在理想情况下，逻辑0和逻辑1的概率应相同，即随机性为100%。按式(3)计算[20]
Randomness=(1−|1−2P(r=1)|)×100% (3) 其中，r为输出响应，P为输出响应中1的概率。实验制备了50组气敏传感PUF发生器样本，测试了6400位二进制响应。其中，“0”的数量为3138位，“1”的数量为3262位，则得该PUF发生器的随机性为98.06%，如图8所示。
4.3.2 唯一性
唯一性表示多个设备对同一激励的响应区分度，通过片间汉明距离(Hamming Distance, HD)计算。在理想情况下，唯一性接近50%。按式(4)计算[20]
Uniqueness=2k(k−1)k−1∑i=1k∑j=i+1HD(Ri,Rj)n×100% (4) 其中，k为PUF发生器的数量，Ri和Rj分别为第i和第j个PUF发生器的输出响应，HD(Ri, Rj)为输出响应的汉明距离，则得该PUF发生器的唯一性为49.04%，接近理想值50%，如图9所示。
4.3.3 可靠性
可靠性表示PUF发生器在给定输入激励始终产生正确响应的可能性。理想情况下，可靠性为100%，这意味着PUF发生器将始终产生正确的响应。按式(5)计算n位响应的可靠性[20]
Realiablty=100%−1mm∑t=1HD(Ru,Rv)n×100% (5) 其中，m为同一激励下测量的次数，n为响应数据的位数，Ru为选取的参考响应数据，Rv为第v次测量的响应数据。在4.2 ～4.9 V电压范围内，以0.1 V为增量，以4.6 V为参考点，选取5个PUF发生器样本进行测试，统计结果如图10所示。可以发现，随着电压偏离参考点，其可靠性出现下降的总体趋势，具备PUF的典型特征。
可靠性还反映在一定时间内响应的变化情况。在常温常压下，选取5个PUF发生器样本进行400 s连续测试。用每个PUF发生器的第1个响应作参考响应，统计结果如图11所示。可以发现，前90 s的可靠性保持在100%，之后的310 s，也保持95%以上。
表2为与其他类型PUF发生器之间的性能比较。所设计的PUF发生器随机性为98.06%，可靠性为97.85%，唯一性为49.04%。
表 2 与相关文献的比较结果(%)5. 结论
本文所提基于气敏传感器的高稳态物理不可克隆函数发生器设计方案将感知器件和PUF发生器有效结合起来，通过分析传感器制造过程的随机偏差，测试多组外部激励下的传感器响应，利用随机阻值多位平衡算法生成高稳态PUF发生器数据，依靠传感器组件而不需要设计专用PUF电路模块，有效减少资源的开销。实验测试结果表明，基于气敏传感器的PUF发生器，在可靠性、随机性和唯一性上均有较理想的特性，可为解决极端资源受限系统的高安全性问题提供解决途径，为物联网的发展提供安全保障。
-
表 1 变量表
变量名 变量符号 决策周期长度 σ 决策周期 t 边缘服务器数量 i 车载用户位置 νt 边缘服务器位置 μm 路径损失参数 δ 路旁单元覆盖半径 r 任务大小 qs 任务最大容忍时延 qd 传输功率 Ps 时延 T 虚拟机所在位置 D 
下载: 导出CSV
表 2 DQN-TP算法
算法1: DQN-TP算法 (1) Repeat: (2) 车载用户上传车载决策神经网络的经验(Xt,at,Ut,Xt+1)到经验回放池； (3) While t≠最后一个周期do (4) 从经验回放池中随机抽取n个经验作为一个mini-batch； (5) 将Xt,at作为评估神经网络的输入获得Qπ(Xt,at;θ)，将Xt+1作为决策神经网络的输入获得Qπ(Xt+1,at+1;θ−)； (6) 根据式(13)、式(14)训练神经网络； (7) End While (8) 每训练c次将云端的神经网络参数更新给车载神经网络θ→θ_； (9) 车载用户使用ε−贪婪算法选择动作-状态值函数最高的动作作为车载用户动作执行； (10) End
下载: 导出CSV
表 3 仿真参数设定
参数名 参数符号 参数值 决策周期 σ 10–3 s 边缘服务器数量 i 10 路径损失参数 δ 1.5 带宽 W 4 MHz 路旁单元覆盖半径 r 500 m 效用函数参数 k 1.3 效用函数参数 b 0.1 记忆回放池最大存储数 o 3000 Mini-batch大小 n 500 参数更新间隔步长 c 80 神经网络层数 无 4 神经元总数 无 100
下载: 导出CSV
-
ZHU Li, YU F R, WANG Yige, et al. Big data analytics in intelligent transportation systems: A survey[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(1): 383–398. doi: 10.1109/TITS.2018.2815678 D’OREY P M and FERREIRA M. ITS for sustainable mobility: A survey on applications and impact assessment tools[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(2): 477–493. doi: 10.1109/TITS.2013.2287257 彭军, 马东, 刘凯阳, 等. 基于LTE D2D技术的车联网通信架构与数据分发策略研究[J]. 通信学报, 2016, 37(7): 62–70. doi: 10.11959/j.issn.1000-436x.2016134PENG Jun, MA Dong, LIU Kaiyang, et al. LTE D2D based vehicle networking communication architecture and data distributing strategy[J]. Journal on Communications, 2016, 37(7): 62–70. doi: 10.11959/j.issn.1000-436x.2016134 GAO Kai, HAN Farong, DONG Pingping, et al. Connected vehicle as a mobile sensor for real time queue length at signalized intersections[J]. Sensors, 2019, 19(9): 2059. doi: 10.3390/s19092059 KONG Yue, ZHANG Yikun, WANG Yichuan, et al. Energy saving strategy for task migration based on genetic algorithm[C]. 2018 International Conference on Networking and Network Applications, Xi’an, China, 2018: 330–336. CHEN Xianfu, ZHANG Honggang, WU C, et al. Optimized computation offloading performance in virtual edge computing systems via deep reinforcement learning[J]. IEEE Internet of Things Journal, 2019, 6(3): 4005–4018. doi: 10.1109/JIOT.2018.2876279 SAHA S and HASAN M S. Effective task migration to reduce execution time in mobile cloud computing[C]. The 23rd International Conference on Automation and Computing, Huddersfield, UK, 2017: 1–5. GONÇALVES D, VELASQUEZ K, CURADO M, et al. Proactive virtual machine migration in fog environments[C]. 2018 IEEE Symposium on Computers and Communications, Natal, Brazil, 2018: 742–745. KIKUCHI J, WU C, JI Yusheng, et al. Mobile edge computing based VM migration for QoS improvement[C]. The 6th IEEE Global Conference on Consumer Electronics, Nagoya, Japan, 2017: 1–5. CHOWDHURY M, STEINBACH E, KELLERER W, et al. Context-Aware task migration for HART-Centric collaboration over FiWi based tactile internet infrastructures[J]. IEEE Transactions on Parallel and Distributed Systems, 2018, 29(6): 1231–1246. doi: 10.1109/TPDS.2018.2791406 LU Wei, MENG Xianyu, and GUO Guanfei. Fast service migration method based on virtual machine technology for MEC[J]. IEEE Internet of Things Journal, 2019, 6(3): 4344–4354. doi: 10.1109/JIOT.2018.2884519 WANG Yanting, SHENG Min, WANG Xijun, et al. Mobile-edge computing: Partial computation offloading using dynamic voltage scaling[J]. IEEE Transactions on Communications, 2016, 64(10): 4268–4282. doi: 10.1109/TCOMM.2016.2599530 SUTTON R S and BARTO A G. Reinforcement Learning: An Introduction[M]. Cambridge: MIT Press, 1998: 25–42. SNIA trace data[EB/OL]. http://iotta.snia.org/traces, 2018. 期刊类型引用(5)
1. 刘言，刘宁波，黄勇，王中训. 利用相位特征筛选参考单元的改进CFAR方法. 烟台大学学报(自然科学与工程版). 2023(03): 371-378 . 
百度学术2. 杜改丽，封治华. 一种改进现有机载雷达探测性能的多普勒处理新技术. 现代雷达. 2022(02): 75-83 . 百度学术3. 邹俊杰，程丰，万显荣. 外源雷达空时联合恒虚警检测分析与实验. 雷达科学与技术. 2022(04): 415-420+428 . 百度学术4. 周子铂，王彬彬，张朝伟，刘建卫，徐颖鑫，王志会. 基于迭代对消的外辐射源雷达目标检测方法. 雷达科学与技术. 2022(05): 555-564 . 百度学术5. 杨威，崔恒荣. 77GHz近程雷达CFAR算法研究. 通信技术. 2021(09): 2125-2131 . 百度学术其他类型引用(9)
-
下载:
百度学术
计量
- 文章访问数: 2045
- HTML全文浏览量: 701
- PDF下载量: 98
- 被引次数: 14
下载:
