Advanced Search
Volume 39 Issue 5
May  2017
Turn off MathJax
Article Contents
CHEN Yulin, GU Yurun, YAN Yunfeng, DING Zhenyu. Secondary Control Methods Based on Distributed Event-triggered Control in Microgrids under Directed Communication Network[J]. Journal of Electronics & Information Technology, 2022, 44(11): 3806-3814. doi: 10.11999/JEIT220866
Citation: SHI Jiugen, XU Huiliang, LU Lipeng. Research on the Migration Queue of Data Centers Virtual Machine in Software Defined Networks[J]. Journal of Electronics & Information Technology, 2017, 39(5): 1193-1199. doi: 10.11999/JEIT160792

Research on the Migration Queue of Data Centers Virtual Machine in Software Defined Networks

doi: 10.11999/JEIT160792
Funds:

The National Major Scientific Instruments Development Project (2013YQ030595)

  • Received Date: 2016-07-26
  • Rev Recd Date: 2017-01-06
  • Publish Date: 2017-05-19
  • Virtual machine migration is one of the important features of the data center, which can effectively balance the workload of each infrastructure. In order to reduce the total time of virtual machine migration and impact on service performance, a Heuristic Algorithm based on Cost Evaluation (HACE) is proposed in this paper. The proposed algorithm considers both the residual bandwidth of the network and migration time in every step of the virtual machine migration. And through organic combination of parallel algorithm and heuristic algorithm, it solves migration sequence problem of numerous virtual machines in Software Defined Network (SDN). The algorithm reduces the total migration time of the virtual machine while ensuring the security, dependence and performance requirements. Comparing with the greedy algorithm, experiments show that the algorithm can reduce the total migration time of the virtual machine by up to 52.1%, improve the migration performance and ensure the quality of service.
  • 遥感图像分类是遥感图像处理的重要研究方向,能为遥感图像其他应用提供坚实的分析数据。现阶段,高分辨率遥感图像分类研究较多关注的是分类器的设计和改进,而遥感图像特征提取的准确性和有效性对分类精度和效率也有着非常重要的影响。如何针对高分辨率遥感图像,提取高准确度和高鲁棒性的特征仍是目前遥感图像分类中一个亟待攻克的难题[13]。近年来,深度学习作为机器学习的一个全新理论,被引入图像处理和模式识别领域,用于解决图像分类[4]、目标识别[5]、自然语言处理[6]、语音识别[7]等问题。

    通过对深度学习的研究,研究学者们发现深度学习模型的深层次直接决定了其对数据的刻画能力,深度学习得到的特征数据能良好地表示原始输入数据。对比基于深度学习和传统机器学习的图像分类方法可以发现:在本质上这些方法类似,都是在高维空间中,根据待处理样本的特征对其进行分类。然而,深度学习方法的表达能力远远高于传统的机器学习方法,它能从少数样本数据集中有力地提取数据的本质特征。深度学习通过学习一种深层非线性结构将输入数据特征进行分层表示,实现将数据低层特征抽象成益于分类的高层特征。随着深度学习研究的不断深入,各种深度学习模型也不断完善,使得深度学习更有利于挖掘数据的局部和全局特征,且这些特征更具代表性,这在理论上为基于深度学习的图像分类问题带来了一个全新的研究思路。

    目前,已有研究学者将深度学习应用于遥感图像分类问题。基于深度学习提取得到的遥感图像特征具有抗过拟合性、图像平移、旋转和扭曲鲁棒性等优良品质。例如,文献[8]提出一种基于深度学习的遥感图像分类方法。文献[9]提出一种基于卷积神经网络的遥感图像分类方法。文献[10]提出一种基于卷积神经网络的遥感图像飞机目标分类方法。文献[11]提出一种基于卷积神经网络的遥感图像舰船目标检测方法。上述方法在一定程度上都实现了遥感图像的分类,但这些方法大都采用某一种深度学习特征进行分类,且需人工调整分类器参数[1218],因此,仍存在未能有效融合多种深度特征、分类器参数选择困难的问题。

    本文充分考虑深度学习的优势,提出一种基于深度卷积神经网络和多核学习的遥感图像分类方法。首先基于深度卷积神经网络对遥感图像数据集进行训练,学习得到两个全连接层的输出将作为遥感图像的两种高层特征;其次,采用多核学习理论训练适合这两种高层特征的核函数,并将它们映射到高维空间,实现高层特征在高维空间的自适应融合;最后,在多核融合特征基础上,设计一种基于多核学习-支持向量机(Multi-Kernel Learning-Support Vector Machine, MKL-SVM)的遥感图像分类器,对图像进行精确分类。

    与传统遥感图像分类方法相比,本文所提算法具有两个优点:(1)本文方法针对卷积神经网络两个全连接层提取到的特征,采用多核学习方法将它们在核空间中自适应融合,融合后的特征可进一步加强特征的表现力和鲁棒性;(2)本文方法采用多核学习-支持向量机分类器对遥感图像进行分类,可通过多核学习得到分类器的最优参数,无需人工测试调整参数,优化了分类过程。

    本文所提方法框图如图1所示。

    图  1  本文算法的框图

    为提取遥感图像的深度特征,首先搭建和训练一个7层卷积神经网络,然后提取该网络的第6层和第7层两个全连接层的特征,将它们作为遥感图像两种不同的高层特征。具体步骤如下:

    (1) 构建多类遥感图像样本数据集Im=[Im1,Im2,···,ImN],并制作相应的样本标签La=[La1,La2,···,LaN],其中N表示有N类遥感图像,Imi(i=1,2,···,N)表示第i类遥感图像的集合,Lai表示第i类遥感图像的标签集合。

    (2) 将数据集分为训练集部分Tr和测试集部分Te。针对数据集中每类遥感图像,设其样本总数为n,从中随机抽取m张图像构建训练集,其余nm张图像构建测试集,则有:Tr=[Tr1,Tr2,···,TrN], Te=[Te1,Te2,···,TeN],其中,Tri表示第i类遥感图像的训练集合,它包含了m张图像,Tei表示第i类遥感图像的测试集合,它包含nm张图像。

    (3) 搭建一个7层的卷积神经网络,其中,前5层分别用L1~L5表示。L1, L2和L5分别包含卷积层和池化层,L3和L4分别只有1个卷积层,第6层和第7层,称为全连接层,分别用fc6和fc7表示。搭建好的网络结构如图2所示。

    图  2  搭建的7层卷积神经网络

    (4) 利用遥感图像样本进行卷积神经网络训练。首先,将遥感图像训练集输入搭建好的网络中,前向计算卷积神经网络每个神经元的输出值。假设第l层为卷积层,则第l层第j个特征图ylj计算公式为

    ylj=f(iMl1yl1iklij+blj)
    (1)

    其中,*表示卷积操作,yl1i为第l1层第i个特征图,klij表示yl1iylj之间用于连接的卷积核,blj表示ylj的偏置,f()表示线性整流激活函数ReLU,Ml1表示第l1层特征图的个数。

    假设第l层为池化层,则第l层第j个特征图ylj的计算公式为

    ylj=f(βljdn(yl1j)+blj)
    (2)

    其中,βlj表示ylj的池化参数,yl1j表示第l1层第j个特征图,dn()表示池化函数。

    假设第l层为全连接层,则第l层第j个特征图ylj的计算公式为

    ylj=f(yl1+blj)
    (3)

    其中,yl1表示第l1层所有特征图的加权结果。

    其次,反向计算卷积神经网络整体损失函数。设遥感图像训练集中任一带标签样本Ii(i=1,2,···,N×m),其中N表示有N类遥感图像,m表示每一类包括m个测试图像。Ii的标签实际是一对多标签

    Lki={1,Iik0,Iik, i=1,2,···,N
    (4)

    对于标签样本Ii,若卷积神经网络将其判别为第k类的概率为tki,k=1,2,···,N,则定义其误差为Ei

    Ei=12Nk=1(tkiLki)2
    (5)

    基于所有训练样本的误差,计算卷积神经网络的损失函数E0

    E0=N×mi=1Ei=12N×mi=1Nk=1(tkiLki)2
    (6)

    最后,采用梯度下降法最小化损失函数,并更新网络中各个参数。训练卷积神经网络的目的是寻找最优的参数,以最小化损失函数E0。卷积神经网络的参数是klij, βljblj,若用W表示上述3种参数,则W=(klij,βlj,blj),通过遥感图像训练集训练卷积神经网络后,可找到一组参数W,使得

    W=argminWE0
    (7)

    采用梯度下降算法更新卷积神经网络的参数W,同时最小化损失函数E0

    W(i)=W(i1)αE0W|W=W(i)
    (8)

    其中,α表示卷积神经网络的学习率,决定了每步调整的幅度,W(i)表示第i组更新的参数,W(i1)表示第i1组参数,E0W表示损失函数E0对参数W求偏导。

    (5) 根据式(3),得到fc6层输出结果fefc6,包含了fc6层计算得到的所有特征图。

    (6) 根据式(3),得到fc7层输出结果fefc7,包含了fc7层计算得到的所有特征图。

    (7) 最后,将fefc6fefc7将作为遥感图像的两种不同的高层特征。

    将学习所得遥感图像深度特征,在多核学习框架中进行自适应融合。多核学习是通过选择最优的基本核与核函数权重,选出最佳核函数组合来进行分类,从而得到输入图像的良好表达。考虑到核函数的参数会影响模型的复杂程度及多核学习融合分类的效果,因此本文设计采用参数较少,且在SVM分类中性能普遍取得良好的径向基核函数作为基本核函数[19]

    K(xi,xj)=exp(||xixj||22μ2)
    (9)

    其中,xi表示第i张遥感图像在多核某一尺度下fc6层的特征向量fefc6, xj表示第j张遥感图像在多核某一尺度下fc7层的特征向量fefc7, μ表示带宽参数。

    构建M=10个尺度的核函数,由这些核函数生成融合核。将遥感图像两种不同类型的高层特征分别分配固定权重的核函数进行融合,通过融合核函数将其映射到统一核空间。为实现两个全连接层特征在核空间中的自适应融合,设计如下多核融合策略

    k(xi,xj)=Mm=1βmKm(xi,xj)
    (10)

    其中,k(xi,xj)为组合后的核函数,βm表示各子核对应的权重,Mm=1βm=1, βm0。在式(10)的多核学习框架下,样本图像在特征空间中的表示问题转化为基本核与核函数权重的选择问题。利用多核学习训练的过程,实际上是优化多个基本核函数的线性组合并利用半无限线性规划训练算法得到最优权值βm的过程。

    在多核融合后的特征的基础上,设计MKL-SVM分类器

    g(xj)=sign(Numi=1aiyiMm=1βmKm(xi,xj)+b)
    (11)

    其中,Km(xi,xj)表示第m个核函数,g(xj)为第j张图像的预测标签值,ai表示优化参数,yi表示训练样本的标签,b为多核分类面的最优偏置,Num表示训练样本的个数。训练集输入时,Num为N×m;测试集输入时,Num为 N×(nm)

    将测试集Te中遥感图像融合后的特征输入到训练好的MKL-SVM分类器中,经过该分类器的每一张图像都会得到一个预测标签值plj,即为分类结果。将测试集中所有图像的预测值plj与其原始标签值La相比,可得到遥感图像分类准确率。

    为验证本算法的有效性,在CPU主频为2.5 GHz、内存为4 GB、仿真软件为Python 2.7、深度学习框架为Caffe的PC机上对本算法进行了实验。实验图像为遥感图像公共数据集UCMerced_LandUse,该数据集包含了21类遥感图像,每类遥感图像共100张,从每类遥感图像中随机抽取80张作为训练集,其余20张作为测试集。图3给出了部分示例。

    图  3  21类高分辨率遥感图像示例

    在给出本算法分类结果前,首先通过卷积神经网络可视化,来进一步说明基于深度学习遥感图像特征提取的本质。如图4所示,为本文搭建的卷积神经网络的第1层卷积层(conv1)中各卷积核可视化结果。

    图  4  conv1中96个卷积核可视化结果

    接着从遥感数据集中选取1张遥感图像样本,进行可视化展示。以第19类中的图像storagetanks95为例(如图5(a)),经过本文卷积神经网络conv1层,学习得到的特征图如图5(b)所示;经过conv2层,学习得到的特征图如图5(c)所示;经过conv3层,学习得到的特征图如图5(d)所示;经过conv4层,学习得到的特征图如图5(e)所示;经过conv5层,学习得到的特征图如图5(f)所示。需指出的是:conv1层共得到96个特征图;conv2层共得到256个特征图;conv3层和conv4层分别有384个特征图;conv5层得到256个特征图,为方便展示,这里仅显示每层前25张特征图。从图5可见,第1层卷积层conv1学习得到的是遥感图像底层特征,包括图像颜色、物体轮廓等,第2层卷积层conv2是第1层学习得到的特征的组合,之后的卷积层学习得到的特征则更加抽象化和概念化。

    图  5  各卷积层学习得到的特征图

    为评价本文方法的性能,与两种已有的基于深度学习的遥感图像分类方法进行对比实验。其中,第1种算法[10]基于深度学习卷积神经网络理论,设计了一个5层卷积神经网络,用于遥感图像分类(简称算法1);第2种算法[11]提出了一种基于卷积神经网络与支持向量机的舰船目标检测方法(简称算法2)。

    首先,计算3种算法的分类混淆矩阵,结果如图6所示。混淆矩阵的横轴表示被预测到的每类遥感图像的标签值,纵轴表示每类遥感图像的真实标签值,颜色较深的对角线上的值表示每类遥感图像的分类准确率,颜色越深代表其准确率越高。可见,比较算法1在个别类别上存在一些比较严重的误差,比较算法2在分类误差上有所改进,而本文算法分类准确率最高。

    图  6  3种算法的分类混淆矩阵

    其次,计算3种算法的分类准确率Ac、误分类率Er、及Kappa系数。其中,Kappa系数越高,表明算法整体分类精度越好。

    Ac=TP/Nr
    (12)

    其中,TP表示遥感图像测试集中被正确分类的图像数,Nr表示遥感图像测试集中图像总数。

    Er=1Ac=FP/Nr
    (13)

    其中,FP表示遥感图像测试集中被错误分类的图像数。

    Kappa系数定义为

    Kappa=(AcPe)/(1Pe)
    (14)

    其中,

    Pe=γ1×η1+γ2×η2+···+γN×ηNNr×Nr
    (15)

    其中,γ1,γ2,···,γN表示每类样本实际个数,η1,η2,···,ηN表示预测得到的每类样本个数。

    最终,3种算法的分类准确率Ac、误分类率Er和Kappa系数,如表1所示。由表可见,本文所提遥感图像分类方法在准确率、误分类率和Kappa系数上都明显优于另外两种算法。

    表  1  3种算法各分类性能指标值
    指标算法1算法2本文算法
    Ac0.88080.93370.9643
    Er0.11920.06630.0357
    Kappa系数0.87480.93040.9625
    下载: 导出CSV 
    | 显示表格

    本文提出一种基于深度卷积神经网络和多核学习的遥感图像分类方法,其优势在于:(1)充分挖掘多种深度学习特征;(2)实现不同特征的自适应融合;(3)设计精确的多核学习-支持向量机遥感图像分类器,从而有效解决了现有基于深度学习的遥感图像分类方法未能有效融合多种深度特征、分类器参数选择困难等难题。

  • KREUTZ D, RAMOS F M V, and ESTEVES V P. Software defined networking: A comprehensive survey[J]. Proceedings of the IEEE, 2015, 103(1): 14-76. doi: 10.1109/JPROC.2014. 2371999.
    HERMENIER F, LORCA X, and MENAUD J M. Entropy: A consolidation manager for clusters[C]. Proceedings of the ACM SIGPLAN/SIGOPS International Conference on Virtual Execution Environments, Washington, DC, USA, 2009: 41-50. doi: 10.1145/1508293.1508300.
    BARI M F, ZHANI M F, ZHANG Q, et al. CQNCR: Optimal VM migration planning in cloud data centers[C]. Proceedings of IFIP Networking Conference, Trondheim, Norway, 2014: 1-9. doi: 10.1109/IFIPNetworking. 2014. 6857120.
    DUOLIKUN D, WATANABE R, KATAOKA H, et al. An energy-aware migration of virtual machines[C]. 2016 IEEE 30th International Conference on Advanced Information Networking and Application, Crans-Montana, 2016: 557-564. doi: 10.1109/AINA.2016.156.
    MAIO V D, KECSKEMETI G, and PRODAN R. A workload-aware energy model for virtual machine migration[C]. 2015 IEEE International Conference on Cluster Computing, Chicago, IL, 2015: 274-283. doi: 10.1109/ CLUSTER.2015.47.
    GHORBANI S and CAESAR M. Walk the Line: Consistent network updates with bandwidth guarantees[C]. Proceedings of the First Workshop on Hot Topics in Software Defined Networks, HotSDN12, New York, NY, USA, 2012: 67-72. doi: 10.1145/2342441.2342455.
    YE Kejiang, JIANG Xiaohong, MA Ran, et al. VC-migration: live migration of virtual clusters in the cloud[C]. Proceedings of the 13th ACM/IEEE International Conference on Grid Computing, Beijing, China, 2012: 209-218. doi: 10.1109/Grid. 2012.27.
    高先明, 张晓哲, 王宝生, 等. 面向虚拟路由器的基于历史转发开销的资源调度算法[J].电子与信息学报, 2015, 37(3): 686-692. doi: 10.11999/JEIT140491.
    GAO Xianming, ZHANG Xiaozhe, WANG Baosheng, et al. Historical forwarding overhead based the resource scheduling algorithm for the virtual router[J]. Journal of Electronics Information Technology, 2015, 37(3): 686-692. doi: 10.11999/ JEIT140491.
    刘中金, 卓子寒, 何跃鹰, 等. 一种基于动态配额的虚拟网带宽公平调度算法[J]. 电子与信息学报, 2016, 38(10): 2654-2659. doi: 10.11999/JEIT151485.
    LIU Zhongjin, ZHUO Zihan, HE Yueying, et al. Dynamical Weighted Scheduling Algorithm supporting fair bandwidth allocation of virtual networks[J]. Journal of Electronics Information Technology, 2016, 38(10): 2654-2659. doi: 10.11999/JEIT151485.
    WOOD T, SHENOY P, VENKATARAMANI A, et al. Sandpiper: Black-box and gray-box resource management for virtual machines[J]. Computer Networks, 2009, 53(17): 2923-2938. doi: 10.1016/j.comnet.2009.04.014.
    ZHANI M F, ZHANG Q, SIMONA G, et al. VDC Planner: dynamic migration-aware virtual data center embedding for clouds[C]. Proceedings of the 13th IFIP/IEEE International Symposiun on Integrated Network Management, Ghent, Belgium, 2013: 18-25.
    GUO Chuanxiong, LU Guohan, WANG H J, et al. SecondNet: A data center network virtualization architecture with bandwidth guarantees[C]. Proceedings of the 6th International Conference, Philadelphia PA, USA, 2010. doi: 10.1145/ 1921168.1921188.
    AMANI A and ZAMANIFAR K. Improving the time of live migration virtual machine by optimized algorithm scheduler credit[C]. Proceedings of the 4th International conference on Computer and Knowledge Engineering (ICCKE), 2014: 346-351. doi: 10.1109/ICCKE.2014.6993374.
    CERRONI W and ESPOSITO F. Optimizing live migration of multiple virtual machines[J]. IEEE Transactions on Cloud Computing, 2016. doi: 10.1109/TCC.2016.2567381.
    MANN V, GUPTA A, DUTTA P, et al. Remedy: Network-aware steady state VM management for data centers[C]. Proceedings of the 11th International IFIP TC 6 Networking Conference, Prague, Czech Republic, 2012: 190-204. doi: 10.1007/978-3-642-30045-5_15.
    GANDHI R and MESTRE J. Combinatorial algorithms for data migration to minimize average completion time[C]. Proceedings of the 9th International Conference on Approximation Algorithms for Combinatorial Optimization Problems, Barcelona, Spain, 2006: 128-139. doi: 10.1007/ 11830924_14.
    BARI M F, BOUTABA R, ESTEVES R, et al. Data center network virtualization: A survey[J]. IEEE Communications Surveys Tutorials, 2013, 15(2): 909-928. doi: 10.1109/ SURV.2012.090512.00043.
    魏亮, 黄韬, 陈建亚, 等. 基于工作负载预测的虚拟机整合算法[J]. 电子与信息学报, 2013, 35(6): 1271-1276. doi: 10.3724/ SP.J.1146.2012.01131.
    WEI Liang, HUANG Tao, CHEN Jianya, et al. Workload prediction-based algorithm for consolidation of virtual machines[J]. Journal of Electronics Information Technology, 2013, 35(6): 1271-1276. doi: 10.3724/SP.J.1146. 2012.01131.
  • Cited by

    Periodical cited type(3)

    1. 岳有军,田涛,赵辉,王红君. 基于动态事件触发的微电网分布式协调控制策略. 陕西科技大学学报. 2024(01): 138-143 .
    2. 李一鸣,何奇,王海亮,钟浩,马辉,黄悦华. 基于分层事件触发的混合微电网集中控制策略. 中国电力. 2024(03): 73-82 .
    3. 严栋,李志明,许佳佳,史秋芸. 低频振荡下含分布式电源微电网非线性电压功率聚合控制方法. 自动化与仪器仪表. 2024(10): 241-245 .

    Other cited types(6)

  • 加载中

Catalog

    通讯作者: 陈斌, bchen63@163.com
    • 1. 

      沈阳化工大学材料科学与工程学院 沈阳 110142

    1. 本站搜索
    2. 百度学术搜索
    3. 万方数据库搜索
    4. CNKI搜索

    Article Metrics

    Article views (1222) PDF downloads(366) Cited by()
    Proportional views
    Related

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return