高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于迁移演员-评论家学习的服务功能链部署算法

唐伦 贺小雨 王晓 陈前斌

解金卫, 索志勇, 李真芳, 王跃锟. 基于PolInSAR的植被区高精度数字表面模型反演方法[J]. 电子与信息学报, 2019, 41(2): 293-301. doi: 10.11999/JEIT180387
引用本文: 唐伦, 贺小雨, 王晓, 陈前斌. 基于迁移演员-评论家学习的服务功能链部署算法[J]. 电子与信息学报, 2020, 42(11): 2671-2679. doi: 10.11999/JEIT190542
Jinwei XIE, Zhiyong SUO, Zhenfang LI, Yuekun WANG. High-precision Digital Surface Model Inversion Approach in Forest Region Based on PolInSAR[J]. Journal of Electronics & Information Technology, 2019, 41(2): 293-301. doi: 10.11999/JEIT180387
Citation: Lun TANG, Xiaoyu HE, Xiao WANG, Qianbin CHEN. Deployment Algorithm of Service Function Chain Based on Transfer Actor-Critic Learning[J]. Journal of Electronics & Information Technology, 2020, 42(11): 2671-2679. doi: 10.11999/JEIT190542

基于迁移演员-评论家学习的服务功能链部署算法

doi: 10.11999/JEIT190542
基金项目: 国家自然科学基金(61571073),重庆市教委科学技术研究项目(KJZD-M20180601)
详细信息
    作者简介:

    唐伦:男,1973年生,教授,博士生导师,主要研究方向为新一代无线通信网络、异构蜂窝网络等

    贺小雨:女,1995年生,硕士生,研究方向为网络切片资源分配和强化学习

    王晓:男,1995年生,硕士生,研究方向为网络切片资源优化和机器学习

    陈前斌:男,1967年生,教授,博士生导师,主要研究方向为个人通信、多媒体信息处理与传输、下一代移动通信网络、异构蜂窝网络等

    通讯作者:

    贺小雨 Hexy1995@163.com

  • 中图分类号: TN915

Deployment Algorithm of Service Function Chain Based on Transfer Actor-Critic Learning

Funds: The National Natural Science Foundation of China (61571073), The Science and Technology Research Program of Chongqing Municipal Education Commission (KJZD-M20180601)
  • 摘要: 针对5G网络切片环境下由于业务请求的随机性和未知性导致的资源分配不合理从而引起的系统高时延问题,该文提出了一种基于迁移演员-评论家(A-C)学习的服务功能链(SFC)部署算法(TACA)。首先,该算法建立基于虚拟网络功能放置、计算资源、链路带宽资源和前传网络资源联合分配的端到端时延最小化模型,并将其转化为离散时间马尔可夫决策过程(MDP)。而后,在该MDP中采用A-C学习算法与环境进行不断交互动态调整SFC部署策略,优化端到端时延。进一步,为了实现并加速该A-C算法在其他相似目标任务中(如业务请求到达率普遍更高)的收敛过程,采用迁移A-C学习算法实现利用源任务学习的SFC部署知识快速寻找目标任务中的部署策略。仿真结果表明,该文所提算法能够减小且稳定SFC业务数据包的队列积压,优化系统端到端时延,并提高资源利用率。
  • 干涉合成孔径雷达(Interferometric Synthetic Aperture Radar, InSAR)是获取全球数字高程模型(Digital Elevation Model, DEM)的一种有效方法[1]。DEM包含两种高程模型[2],一种是没有任何植被、建筑物或者其他物体的裸露地表的高程,称为数字地形模型(Digital Topography Model, DTM)。另一种是记录任何位置的表面高程,可以是植被区或者建筑区的表面高程,也可以是没有植被或其它物体的地面,称之为数字表面高程(Digital Surface Model, DSM)[3]。极化干涉合成孔径雷达(Polarimetric Interferometry Synthetic Aperture Radar, PolInSAR)是获取高精度DSM的一种重要手段,对于地形复杂地区地理测绘具有重要意义。

    文献[4,5]利用HH极化通道的干涉相位进行干涉处理得到植被区域DSM,在植被密集区域得到的结果与真实DSM较为吻合,但是对于植被较为稀疏的区域结果受植被形态影响较大,其反演误差较大;文献[6]利用机载激光雷达辅助获得植被下DTM,然后基于地上随机体散射模型(Random Volume Over Ground, RVOG)得到植被冠层高度,植被冠层高度与DTM结合得到植被区DSM,这种测量方法能得到较高精度的DSM,然而测量需要辅助激光雷达为前提,测量成本较大,且测量范围有限;文献[7]通过极化相干最优化中的相干性最优化和最大化相位中心分离方法获取极化干涉信息,然后进行干涉处理得到DSM,文中针对大范围山区对不同方法进行了对比分析,但对植被区DSM的进一步提升没有进行深入研究;文献[8]通过联合干涉相位和相干性幅度的最优相干性准则,有效区分了地表散射和森林冠层散射的相干性和散射中心,提高了植被参数反演的可靠性,但没有得到高精度DSM反演结果。以上针对植被区的DSM反演都是提高了电磁波在植被中的等效散射相位中心高度估计精度。而由于电磁波的穿透特性,等效散射相位中心与植被顶部之间仍存在一定距离,导致植被区DSM欠估计。

    针对这一问题,本文提出一种植被区高精度DSM估计方法。首先估计出植被区不同极化散射机制下的干涉复相干系数,通过极化相干最优中最大化相位差最优化方法[7]分离出电磁波在植被上、下两层散射区域的干涉相位。植被上层散射区域相位中心称之为高散射相位中心(High Scattering Phase Center, HSPC);植被下层散射区域相位中心称之为低散射相位中心(Low Scattering Phase Center, LSPC)。然后提出一种归一化HSPC和归一化LSPC高度随消光系数变化的数学模型。基于该模型估计得到植被区HSPC与植被冠层顶部间距,即电磁波在植被中的最浅穿透深度。最后,在HSPC高度处补偿最浅穿透深度估计值,修正植被区由于散射相位中心欠估计导致的DSM估计值偏低的问题。实验表明该方法能有效提升植被覆盖区DSM反演精度。

    植被区极化干涉复相干系数的相位是电磁波在植被中等效散射相位中心所处位置的重要体现[9]。为了获取最优相干性,一种有效的方法是最大化复平面单位圆中相干系数相位差。该方法以相干区域内不同散射机制下相位中心为基础,寻找相位中心分离最大的极化散射机制作为最优极化状态,能够最大限度分离电磁波在不同植被层的相位中心。其本质是在极化状态空间中寻找一对散射机制wawb使极化干涉相干系数的相位差最大,即使得两个散射机制对应的HSPC和LSPC的相位差最大。首先建立特征方程,通过最大化特征值之差来获取最大相位差对应的散射机制[10]

    T1ΩH(ϕ)w=λ(ϕ)wmaxϕ(|λmax(ϕ)λmin(ϕ)|)Δγopt
    (1)

    其中,w为任意散射机制;ϕ是引入的一个旋转角;ΩH=(Ω12eiϕ+ΩH12eiϕ)/2; T=(T11+T22)/2; Ω12, T11T22为极化干涉相干矩阵[11,12]。遍历ϕ,可得到完整的极化干涉相干系数分布区域的边界。此时,即可得到相位差最大的两个边界点的相干系数值。

    利用最大化相位差最优化方法进行极化干涉相干系数相位分离虽然得到了电磁波在植被中的HSPC, LSPC干涉相位,然而由于电磁波穿透特性,HSPC的干涉相位所对应的高程并没有达到植被冠层顶部高程。植被中HSPC位置与植被冠层顶部的仍存在一定差距,该差距即为某种散射机制下电磁波在植被中的最浅穿透深度。对于稠密植被区电磁波无法穿透植被到达地表并被反射接收导致植被下地表高程无法获取的情况下,通过HSPC相位干涉处理可以得到粗DSM。在得到的粗DSM中补偿估计的电磁波最浅穿透深度,则可以生成较高精度DSM,对于DSM反演具有重要的应用价值。

    植被区SAR图像单个分辨单元内往往存在多种散射机制。由于植被分布为各向异性,体散射在SAR图像分辨单元中总是占据主导地位,体散射的存在引起严重去相干。文献[13]提出一种指数型垂直结构函数模型,即RVOG模型。植被区相干系数可表示为

    γ(w)=eiφ0γVM(w)ehvσm1+M(w)ehvσm=eiφ0exp(ikzhv+σmhv)1(1+ikzσ1m)[exp(σmhv)1]M(w)ehvσm1+M(w)ehvσm

    (2)

    式中,σm=2σ/cosθ; σ为消光系数;θ为电磁波平均入射角;M(w)为由极化状态决定的地体幅度比;hv为植被体层的厚度(即植被的高度);φ0为地面相位;i为虚数单位;γV为体散射复相干系数;kz为距离向谱滤波后的垂直有效波数。在没有地面散射分量、去相干因素为完全体散射去相干的情况下,植被区体散射复相干系数的相位为观测得到的相干系数相位与植被底部地形相位之差Δφ,该相位对应的高度称体散射相位中心(Volume Scattering Phase Center, VSPC)高度。在假设地面高程为零的情况下,VSPC高度对应最大化相位差方法分离得到的HSPC相位反演得到的高程。考虑体散射复相干系数相位与高度关系,将体散射复相干系数幅度和相位分离。对于分离出的体散射复相干系数相位Δφ,得到一个相对高度。

    Pc=Δφ/(kzhv)
    (3)

    称为归一化VSPC高度。为了便于理解,将体散射复相干系数进行变换后分析两种不同消光系数下归一化VSPC高度的边界情况,一种是消光系数趋于0 dB/m,另一种是消光系数趋于无穷大。

    γV=σmhvexp(σmhv)1exp(ikzhv+σmhv2)sinc(kzhviσmhv2)=11+ikzσ1mexp(ikzhv)1/exp(σmhv)11/exp(σmhv)
    (4)

    σ0 dB/m时,由式(4)中间部分等式可以得到γV=C1exp(ikzhv2), C1为幅度项。此时,由体散射复相干系数相位知,Pc等于0.5,即VSPC位于植被体层的一半处。当σ时,由式(4)右边部分等式可以得到γV=exp(ikzhv),此时Pc等于1, VSPC位于植被冠层顶部。

    在给定垂直有效波束的情况下,根据式(3)可以得到不同植被高度归一化VSPC高度随消光系数变化的关系。可知,不同植被高度下归一化VSPC高度均大于0.5,而且随着消光系数的增大VSPC逐渐向植被冠层顶部移动,植被越高VSPC移动的越快。

    由式(3)知,描述归一化VSPC高度与消光系数之间关系的数学表达式较为复杂。为了直观表达二者之间相对关系,利用关于消光系数的高阶多项式进行拟合近似得到归一化VSPC高度随消光系数变化的曲线模型。图1分别给出3阶、5阶和10阶多项式拟合VSPC模型曲线,并给出理论模型与拟合模型间的残差。由图1知,拟合多项式阶次越高,拟合模型越接近理论模型。考虑其极限情况,可得到拟合模型如式(5):

    图 1  不同阶次多项式拟合VSPC模型及残差曲线
    Pc=a0+a1σ+a2σ2+···+anσn+···
    (5)

    其中,a0,a1,···,an为常数,n为阶次,n

    实际中,式(5)所示无穷阶多项式模型在工程应用中难以实现。由理论归一化VSPC模型变化趋势结合指数函数泰勒级数展开形式,假设归一化VSPC高度与消光系数关系可近似为如式(6)所示指数模型:

    Ph=Δφ/(kzhv)=a0+a1σ+a2σ2+···+anσn+···10.5eaσb,a>0,b>0
    (6)

    其中,σ为模型中的自变量,即消光系数;a, b为两个与植被高度有关的常数。简化的归一化VSPC模型取值范围满足[0.5,1.0)。为了区分后续所述LSPC,这里将等效后的归一化VSPC高度称归一化HSPC高度。

    实际中,考虑归一化HSPC随着消光系数变化时是基于地体幅度比M(w)为零的情况。对于LSPC,当消光系数为零时,地体幅度比M(w)并不为零,即有部分电磁波能量到达地面。LSPC在消光系数为零时接近地面,即其归一化散射相位中心高度为0。而当消光系数无穷大时,电磁波无法穿透植被,此时植被中电磁波散射与极化状态无关,HSPC和LSPC相互重叠,归一化LSPC高度为1。也就是说,随着消光系数的增大,分离的两个散射相位中心逐渐靠近,并逐渐趋近于冠层顶部。因此,两种散射相位中心随消光系数增大有相似的变化趋势,但是由于取值范围不同,变化的快慢有区别。目前的研究中植被区的地体幅度比无法直接获取,分离的LSPC高度随消光系数变化关系也没有明确的模型。根据两种散射相位中心变化有相同趋势,同样假设归一化LSPC变化满足指数型变化模型。模型中固定植被高度下对应常数相同,只对指数项前的系数稍作修正使其满足归一化LSPC高度变化取值范围为[0,1)的情况。依据式(6)可得归一化LSPC高度变化模型如式(7):

    Pl=1eaσb
    (7)

    其中,a, b为给定植被高度下对应与归一化HSPC高度模型相同的常数。

    对于构建的两个指数模型,关键在于如何准确求取模型中的常数a, b。为了使构建的归一化HSPC指数模型以较小的误差逼近归一化VSPC高度,建立如式(8)所示代价函数:

    mina,bF(a,b)=PhΔφ/(kzhv)22=10.5eaσbangle(γV)/(kzhv)22s.t. a>0,b>0,σ[0,+)}
    (8)

    其中,angle(·)为取复数相位操作。式(8)代价函数的本质是一个多元非线性优化函数,消光系数范围为σ[0,+)。由不同树高下归一化VSPC高度随消光系数变化关系知,对于常见的森林植被体中(植被高度20 m左右)当消光系数达到5 dB/m以上时VSPC几乎到达树冠顶部,此时相位中心高度达到饱和,继续增大消光系数,VSPC变化很小。因此,在求解代价函数时将消光系数范围设为σ[0,5] dB/m,为了提高求解效率,可将消光系数以一定间隔离散化,重新构建代价函数如式(9):

    mina,bF(a,b)=Nn=0[10.5eaσbnangle(γvn)/(kzhv)]2s.t.a>0,b>0,σn<σn+1,σn[0,5],n=1,2,···,N1}
    (9)

    其中,N为消光系数的离散采样点数。通过优化[14]式(9)最终可得到使指数模型近似逼近归一化VSPC模型的最优a, b值,从而得到归一化HSPC和归一化LSPC高度随消光系数变化模型。根据表1给出的雷达几何参数,由式(9)计算归一化HSPC在不同植被高度下的中误差(Root Mean Square Error, RMSE),由此衡量拟合模型偏离理论模型的离散度。如图2所示,植被高度在1~30 m时,归一化HSPC模型的最大中误差为0.014,误差不超过2%,可见建立的指数模型引入的误差对DSM反演精度影响很小。

    表 1  雷达几何参数
    参数名参数值
    雷达平台高度(m)3000
    有效基线长度(m)6.33
    雷达下视角(°)45
    雷达工作频率(GHz) 1.3
    下载: 导出CSV 
    | 显示表格
    图 2  归一化HSPC模型中误差

    对于植被区,在植被平均高度已知而植被下地表高程无法获取情况下,如果能得到植被区的消光系数,则可以获取归一化HSPC高度,继而得到该消光系数下植被冠层顶部与HSPC高度之差,即植被中电磁波的最浅穿透深度:

    hp=(1Ph)hv
    (10)

    对于由最大化相位差最优化方法分离的干涉相位,很容易得到分离的两种散射相位中心相对高度在不同相干系数幅度下的散点图,将两个散射相位中心散点相对高度差的平均值归一化后定义为相位中心高度差因子,如式(11)所示。

    f=mean(φh/kzφl/kz)/hv,f[0,0.5]
    (11)

    其中,φh, φl分别为HSPC和LSPC干涉相位,mean(·)为求平均操作。

    得到归一化HSPC和LSPC高度随消光系数变化的模型后,可以获得一系列对应消光系数下的归一化散射相位中心差。通过在归一化散射相位中心差中搜索得到的相位中心高度差因子,找出对应高度差因子下的消光系数σac。至此,由搜索得到的消光系数可以求出植被区归一化HSPC高度Pac,将Pac代入式(10)中即可得到植被区电磁波的最浅穿透深度。

    根据上述最大化散射相位中心差最优化方法分析和归一化HSPC, LSPC变化模型的构建,在植被平均高度已知而植被下地表高程无法获取情况下植被区高精度DSM估计步骤如下:

    步骤1 最大化相位差最优化法分离植被区干涉相干系数:对植被区像素进行极化干涉相干矩阵估计,然后进行最大化相位差分离得到各个像素点处的HSPC干涉相位φh和LSPC干涉相位φl

    步骤2 归一化散射相位中心高度差因子计算:利用干涉相位(去平地效应后)和垂直有效波束之间的关系得到不同干涉相干系数幅度下分离的HSPC和LSPC相对高度的散点图。根据式(11)将两个散射相位中心散点的高度之差平均值归一化后得到相位中心高度差因子f

    步骤3 模型建立及模型参数估计:利用式(6),式(7)建立HSPC和LSPC归一化高度随着消光系数变化的模型。对于某一给定植被高度,通过求解式(9)所示的代价函数得到模型中的常数a, b,从而得到归一化HSPC高度Ph和归一化LSPC高度Pl随消光系数变化模型;

    步骤4 植被区消光系数确定:利用模型中归一化HSPC和LSPC相对高度差PhPl搜索归一化散射相位中心高度差因子f所在位置,该位置对应消光系数值即电磁波在植被区域的消光系数σac

    步骤5 电磁波最浅穿透深度hp估计:将步骤4中得到的消光系数σac代入式(6)中得到植被区归一化HSPC高度Pac,再将Pac代入式(10)中可得到植被区冠层顶部与HSPC高度差,即为电磁波在植被中的最浅穿透深度hp

    步骤6 DSM估计:利用HSPC干涉相位φh进行干涉处理得到粗DSM[15,16],然后将得到的电磁波在植被中最浅穿透深度hp补偿到粗DSM中得到最终的高精度DSM估计结果。

    利用欧空局研发的PolSARpr软件提供的L波段森林植被极化干涉SAR仿真数据对植被区高精度DSM反演方法进行验证。仿真数据植被类型选择阔叶林和针叶林代表不同树种类型。树木高度选择18 m和10 m代表典型的高植被和矮植被。雷达几何参数与表1相同,场景参数如表2所示。

    表 2  场景参数
    参数名参数值
    树种类型阔叶林/针叶林
    植被高度(m)18/10
    树种密度(株/Ha)600
    距离向地形坡度(°)0
    下载: 导出CSV 
    | 显示表格

    以平均高度为18 m的阔叶林和平均高度为10 m的针叶林为例,下面给出植被中电磁波最浅穿透深度获取过程。图3(a)图3(b)分别为18 m植被高度下利用最大化相位差最优化方法得到的HSPC和LSPC干涉相位结果。由干涉相位与植被垂直有效波束关系得到不同相干系数幅度下两种散射相位中心相对高度散点图如图3(c)所示,图中散射相位中心散点的相干系数幅度大多集中在0.8~1.0之间,相干系数较低时,两相位中心差距较大,而构建的模型中理论上两散射相位中心差距不能大于植被高度的一半。因此,可舍弃相干系数小于0.8且两相位中心差距大于植被一半高度的散点。之后对两相位中心高度差求平均值,得到归一化相位中心高度差因子为0.16。图3(e)为在该植被高度下构建的归一化散射相位中心高度模型,优化得到参数a为6.85, b为0.73。此时,在高度差因子为0.16时两散射相位中心差位于图3(e)中黑色线段部分,其对应消光系数为0.6 dB/m。由图3(f)可以得到消光系数为0.6 dB/m,植被高度为18 m时,植被最浅穿透深度为2.48 m。由于仿真数据设置的地形高程为零,可以由HSPC干涉相位与植被垂直有效波束关系直接得到HSPC的实际高度。图3(d)为场景中心方位线上HSPC干涉相位得到的HSPC实际高度,由此可知HSPC平均高程为16.10 m。补偿由模型得到的电磁波最浅穿透深度得到最终植被表面高程为18.58 m。因此,反演得到的DSM估计误差为18–18.58=–0.58 (m)(负号表示补偿后冠层表面高程高于实际高程)。与实际高程相比,补偿后冠层高程误差为0.58/18=3.22%,误差小于4%。同样,经过上述最浅穿透深度估计过程可以得到植被高度为10 m时高度差因子为0.44,如图4(e)中黑色线段部分,对应消光系数为0.05 dB/m,由图4(f)得到消光系数为0.05 dB/m,植被高度为10 m时,电磁波最浅穿透深度为4.73 m。由图4(d)知HSPC平均高程为5.06 m。因此,由模型得到的电磁波最浅穿透深度补偿后的DSM估计误差为10–9.79=0.21 (m)。与实际比,DSM误差为0.21/10=2.1%,误差在3%内。仿真结果表明,两种植被高度下,通过建立的两个散射相位中心相对高度变化模型能够有效估计电磁波在植被中的最浅穿透深度,从而得到高精度DSM。

    图 3  18 m植被高度下电磁波最浅穿透深度估计过程
    图 4  10 m植被高度下电磁波最浅穿透深度估计过程

    为了验证本文方法的有效性,将文献[7]中利用数值半径法求解极化相干最优化相干系数从而生成DSM方法和文献[8]中利用联合干涉相位和相干性幅度的极化SAR最优相干性估计从而生成DSM方法以及本文方法得到的DSM进行对比。图5分别给出了针叶林和阔叶林中18 m和10 m两种植被高度情况下3种方法反演DSM结果。可以看出,文献[7]和文献[8]两种DSM反演方法在不同树种不同树高下得到的结果与真实值相比均偏低;相同树高下这两种方法在针叶林中反演的DSM结果与在阔叶林中反演的DSM结果相比较差,阔叶林反演结果更接近真实值,这是由于阔叶林与针叶林相比其结构比例更接近波长,电磁波在阔叶林中穿透性更差,在植被中的有效散射相位中心更加接近植被表面。对比图5(a)图5(c)以及图5(b)图5(d),可以看出无论针叶林和阔叶林本文方法得到的DSM结果均更加接近真实DSM。

    图 5  针叶林和阔叶林中两种植被高度下不同DSM反演结果对比

    为了进一步验证上述方法的有效性,本文利用X波段下电磁波在稀疏森林区域的传播过程等效于L波段下电磁波在稠密森林区域的传播过程进行DSM反演验证,即电磁波较难穿透植被层到达地表时用机载实测数据进行DSM反演验证。试验数据为中国渭南东部黄河滩地区机载N-SAR系统录取的全极化干涉数据,该地区地势较为平坦,随机采样测得地表平均海拔高度为371 m,该地区植被为大片人工种植树林,较为稀疏,随机采样测得树林平均高度为19.29 m,即植被区DSM平均高度为390.29 m。图6(a)为该地区Google Earth光学图,图6(b)对应全极化SAR数据Pauli基极化分解图。数据大小为8192×4096像素。图7图6(b)中红色线段部分数据不同方法下机载实测数据生成DSM结果的截面图。可以看出,不同方法反演得到的DSM结果较实际均偏低,文献[7]与文献[8]方法反演生成的DSM误差较大,而本文方法得到的DSM结果更加接近真实值。

    图 6  机载全极化试验数据
    图 7  不同方法机载全极化实测数据DSM反演结果对比

    在植被平均高度已知而植被下地表高程无法获取情况下,为了解决植被区传统DSM反演方法精度低的问题,本文提出一种高精度DSM反演方法。本文以最大化相位差最优化方法估计相干系数为基础,通过归一化体散射相位中心随着消光系数变化趋势的分析,构建了一种电磁波在植被中高散射相位中心和低散射相位中心随消光系数变化的指数模型,由该模型得到植被中电磁波的消光系数从而获得电磁波在植被中的最浅穿透深度。将得到的电磁波最浅穿透深度补偿到高散射相位中心干涉相位处理得到的高程中可获得最终DSM结果。试验结果表明,本文方法较传统方法能有效提高植被区DSM反演精度。在植被高度变化不大的情况下,由此也可以反演出植被下高精度DTM结果[17],为植被区高精度地形测绘提供了一种可能。

  • 图  1  系统架构

    图  2  A-C学习框架

    图  3  不同演员学习率A-C算法的收敛性

    图  4  不同评论家学习率A-C算法的收敛性

    图  5  基于不同优化器的A-C算法的收敛性

    图  6  3种切片的数据包到达率与队列积压和变化对照图

    图  7  3个切片的VNF放置方式选择统计图

    图  8  不同算法的系统收敛时延

    图  9  不同算法的资源利用率

    图  10  不同迁移率因子的TACA算法收敛过程

    表  1  基于迁移A-C学习的SFC部署算法

     输入:高斯策略πθ(s,a)N(μ(s),σ2),以及其梯度θlnπθ(s,a),状态分布dπ(s),学习率εa,tεc,t,折扣因子β
     (1) for epsoide=0,1,2,···,Epmax do
     (2) 初始化:策略参数向量θt,状态-动作值函数参数向量ωt,状态值函数参数向量υt,初始状态s0dπ(s),本地部署策略πnθ(s,a),外
       来迁移部署策略πeθ(s,a)
     (3) for 回合每一步t=0,1,···,Tdo
     (4) 由式(20)得到整体部署策略,遵循整体策略πθ(s,a)选择动作a(t),进行VNF放置和资源分配,而后更新环境状态s(t+1),并得到立即
       奖励Rt=τ(t)
     (5) end for
     (6) 评论家过程:
     (a) 计算相容特征:由式(10)得处于状态s的基函数向量,结合式(14),式(15)得相容特征
     (b) 相容近似:由式(11)得状态-动作值函数近似,由式(16)得状态值函数近似
     (c) TD误差计算:由式(12),式(17)分别得状态-动作值函数、状态值函数的TD误差
     (d) 更新评论家参数:由式(13)得状态-动作值函数参数向量更新,由式(18)得状态值函数参数向量更新
     (7) 演员过程:
     (a) 计算优势函数
     (b) 重写策略梯度:代入优势函数由式(19)得策略梯度
     (c) 更新演员参数:由式(8)得策略参数向量更新
     (8) end for
    下载: 导出CSV
  • AGARWAL S, MALANDRINO F, CHIASSERINI C F, et al. VNF placement and resource allocation for the support of vertical services in 5G networks[J]. IEEE/ACM Transactions on Networking, 2019, 27(1): 433–446. doi: 10.1109/TNET.2018.2890631
    史久根, 张径, 徐皓, 等. 一种面向运营成本优化的虚拟网络功能部署和路由分配策略[J]. 电子与信息学报, 2019, 41(4): 973–979. doi: 10.11999/JEIT180522

    SHI Jiugen, ZHANG Jing, XU Hao, et al. Joint optimization of virtualized network function placement and routing allocation for operational expenditure[J]. Journal of Electronics &Information Technology, 2019, 41(4): 973–979. doi: 10.11999/JEIT180522
    LI Defang, HONG Peilin, XUE Kaiping, et al. Virtual network function placement considering resource optimization and SFC requests in cloud datacenter[J]. IEEE Transactions on Parallel and Distributed Systems, 2018, 29(7): 1664–1677. doi: 10.1109/TPDS.2018.2802518
    PEI Jianing, HONG Peilin, and LI Defang. Virtual network function selection and chaining based on deep learning in SDN and NFV-Enabled networks[C]. 2018 IEEE International Conference on Communications Workshops, Kansas City, USA, 2018: 1–6. doi: 10.1109/ICCW.2018.8403657.
    CAI Yibin, WANG Ying, ZHONG Xuxia, et al. An approach to deploy service function chains in satellite networks[C]. NOMS 2018–2018 IEEE/IFIP Network Operations and Management Symposium, Taipei, China, 2018: 1–7. doi: 10.1109/NOMS.2018.8406159.
    QU Long, ASSI C, and SHABAN K. Delay-aware scheduling and resource optimization with network function virtualization[J]. IEEE Transactions on Communications, 2016, 64(9): 3746–3758. doi: 10.1109/TCOMM.2016.2580150
    陈前斌, 杨友超, 周钰, 等. 基于随机学习的接入网服务功能链部署算法[J]. 电子与信息学报, 2019, 41(2): 417–423. doi: 10.11999/JEIT180310

    CHEN Qianbin, YANG Youchao, ZHOU Yu, et al. Deployment algorithm of service function chain of access network based on stochastic learning[J]. Journal of Electronics &Information Technology, 2019, 41(2): 417–423. doi: 10.11999/JEIT180310
    PHAN T V, BAO N K, KIM Y, et al. Optimizing resource allocation for elastic security VNFs in the SDNFV-enabled cloud computing[C]. 2017 International Conference on Information Networking, Da Nang, Vietnam, 2017: 163–166. doi: 10.1109/ICOIN.2017.7899497.
    XIA Weiwei and SHEN Lianfeng. Joint resource allocation using evolutionary algorithms in heterogeneous mobile cloud computing networks[J]. China Communications, 2018, 15(8): 189–204. doi: 10.1109/CC.2018.8438283
    ZHU Zhengfa, PENG Jun, GU Xin, et al. Fair resource allocation for system throughput maximization in mobile edge computing[J]. IEEE Access, 2018, 6: 5332–5340. doi: 10.1109/ACCESS.2018.2790963
    MAO Yuyi, ZHANG Jun, and LETAIEF K B. Dynamic computation offloading for mobile-edge computing with energy harvesting devices[J]. IEEE Journal on Selected Areas in Communications, 2016, 34(12): 3590–3605. doi: 10.1109/JSAC.2016.2611964
    MEHRAGHDAM S, KELLER M, and KARL H. Specifying and placing chains of virtual network functions[C]. The 3rd IEEE International Conference on Cloud Networking, Luxembourg, Luxembourg, 2014: 7–13. doi: 10.1109/CloudNet.2014.6968961.
    HAGHIGHI A A, HEYDARI S S, and SHAHBAZPANAHI S. MDP modeling of resource provisioning in virtualized content-delivery networks[C]. The 25th IEEE International Conference on Network Protocols, Toronto, Canada, 2017: 1–6. doi: 10.1109/ICNP.2017.8117600.
    GRONDMAN I, BUSONIU L, LOPES G A D, et al. A survey of actor-critic reinforcement learning: Standard and natural policy gradients[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews) , 2012, 42(6): 1291–1307. doi: 10.1109/TSMCC.2012.2218595
    LEE D H and LEE J J. Incremental receptive field weighted actor-critic[J]. IEEE Transactions on Industrial Informatics, 2013, 9(1): 62–71. doi: 10.1109/TII.2012.2209660
    LI Rongpeng, ZHAO Zhifeng, CHEN Xianfu, et al. TACT: A transfer actor-critic learning framework for energy saving in cellular radio access networks[J]. IEEE Transactions on Wireless Communications, 2014, 13(4): 2000–2011. doi: 10.1109/TWC.2014.022014.130840
    KOUSHI A M, HU Fei, and KUMAR S. Intelligent spectrum management based on transfer actor-critic learning for rateless transmissions in cognitive radio networks[J]. IEEE Transactions on Mobile Computing, 2018, 17(5): 1204–1215. doi: 10.1109/TMC.2017.2744620
  • 期刊类型引用(4)

    1. 邓兴升,王清阳. 基于梯度提升决策树的植被高度模型研究. 长沙理工大学学报(自然科学版). 2023(01): 65-74 . 百度学术
    2. 谢俊峰,莫凡,奚绍礼,唐洪钊,褚存. 玉龙雪山地区地表三维温度场时空变化分析. 生态学报. 2021(07): 2548-2556 . 百度学术
    3. 余龙君. 基于视频卫星影像的数字表面模型生成方法. 国土资源信息化. 2021(04): 34-39 . 百度学术
    4. 杨雪峰,叶茂,木尼热·买买提. 基于WorldView-2高分影像的胡杨林结构参数获取研究. 干旱区研究. 2021(06): 1659-1667 . 百度学术

    其他类型引用(4)

  • 加载中
图(10) / 表(1)
计量
  • 文章访问数:  2708
  • HTML全文浏览量:  1409
  • PDF下载量:  101
  • 被引次数: 8
出版历程
  • 收稿日期:  2019-07-18
  • 修回日期:  2020-03-07
  • 网络出版日期:  2020-04-08
  • 刊出日期:  2020-11-16

目录

/

返回文章
返回