
Citation: | SHI Jiugen, XU Huiliang, LU Lipeng. Research on the Migration Queue of Data Centers Virtual Machine in Software Defined Networks[J]. Journal of Electronics & Information Technology, 2017, 39(5): 1193-1199. doi: 10.11999/JEIT160792 |
遥感图像分类是遥感图像处理的重要研究方向,能为遥感图像其他应用提供坚实的分析数据。现阶段,高分辨率遥感图像分类研究较多关注的是分类器的设计和改进,而遥感图像特征提取的准确性和有效性对分类精度和效率也有着非常重要的影响。如何针对高分辨率遥感图像,提取高准确度和高鲁棒性的特征仍是目前遥感图像分类中一个亟待攻克的难题[1–3]。近年来,深度学习作为机器学习的一个全新理论,被引入图像处理和模式识别领域,用于解决图像分类[4]、目标识别[5]、自然语言处理[6]、语音识别[7]等问题。
通过对深度学习的研究,研究学者们发现深度学习模型的深层次直接决定了其对数据的刻画能力,深度学习得到的特征数据能良好地表示原始输入数据。对比基于深度学习和传统机器学习的图像分类方法可以发现:在本质上这些方法类似,都是在高维空间中,根据待处理样本的特征对其进行分类。然而,深度学习方法的表达能力远远高于传统的机器学习方法,它能从少数样本数据集中有力地提取数据的本质特征。深度学习通过学习一种深层非线性结构将输入数据特征进行分层表示,实现将数据低层特征抽象成益于分类的高层特征。随着深度学习研究的不断深入,各种深度学习模型也不断完善,使得深度学习更有利于挖掘数据的局部和全局特征,且这些特征更具代表性,这在理论上为基于深度学习的图像分类问题带来了一个全新的研究思路。
目前,已有研究学者将深度学习应用于遥感图像分类问题。基于深度学习提取得到的遥感图像特征具有抗过拟合性、图像平移、旋转和扭曲鲁棒性等优良品质。例如,文献[8]提出一种基于深度学习的遥感图像分类方法。文献[9]提出一种基于卷积神经网络的遥感图像分类方法。文献[10]提出一种基于卷积神经网络的遥感图像飞机目标分类方法。文献[11]提出一种基于卷积神经网络的遥感图像舰船目标检测方法。上述方法在一定程度上都实现了遥感图像的分类,但这些方法大都采用某一种深度学习特征进行分类,且需人工调整分类器参数[12–18],因此,仍存在未能有效融合多种深度特征、分类器参数选择困难的问题。
本文充分考虑深度学习的优势,提出一种基于深度卷积神经网络和多核学习的遥感图像分类方法。首先基于深度卷积神经网络对遥感图像数据集进行训练,学习得到两个全连接层的输出将作为遥感图像的两种高层特征;其次,采用多核学习理论训练适合这两种高层特征的核函数,并将它们映射到高维空间,实现高层特征在高维空间的自适应融合;最后,在多核融合特征基础上,设计一种基于多核学习-支持向量机(Multi-Kernel Learning-Support Vector Machine, MKL-SVM)的遥感图像分类器,对图像进行精确分类。
与传统遥感图像分类方法相比,本文所提算法具有两个优点:(1)本文方法针对卷积神经网络两个全连接层提取到的特征,采用多核学习方法将它们在核空间中自适应融合,融合后的特征可进一步加强特征的表现力和鲁棒性;(2)本文方法采用多核学习-支持向量机分类器对遥感图像进行分类,可通过多核学习得到分类器的最优参数,无需人工测试调整参数,优化了分类过程。
本文所提方法框图如图1所示。
为提取遥感图像的深度特征,首先搭建和训练一个7层卷积神经网络,然后提取该网络的第6层和第7层两个全连接层的特征,将它们作为遥感图像两种不同的高层特征。具体步骤如下:
(1) 构建多类遥感图像样本数据集
(2) 将数据集分为训练集部分Tr和测试集部分Te。针对数据集中每类遥感图像,设其样本总数为
(3) 搭建一个7层的卷积神经网络,其中,前5层分别用L1~L5表示。L1, L2和L5分别包含卷积层和池化层,L3和L4分别只有1个卷积层,第6层和第7层,称为全连接层,分别用fc6和fc7表示。搭建好的网络结构如图2所示。
(4) 利用遥感图像样本进行卷积神经网络训练。首先,将遥感图像训练集输入搭建好的网络中,前向计算卷积神经网络每个神经元的输出值。假设第
ylj=f(∑i∈Ml−1yl−1i∗klij+blj) |
(1) |
其中,*表示卷积操作,
假设第
ylj=f(βlj⋅dn(yl−1j)+blj) |
(2) |
其中,
假设第
ylj=f(yl−1+blj) |
(3) |
其中,
其次,反向计算卷积神经网络整体损失函数。设遥感图像训练集中任一带标签样本
Lki={1,Ii实际属于第k类0,Ii实际不属于第k类, i=1,2,···,N |
(4) |
对于标签样本
Ei=12N∑k=1(tki−Lki)2 |
(5) |
基于所有训练样本的误差,计算卷积神经网络的损失函数
E0=N×m∑i=1Ei=12N×m∑i=1N∑k=1(tki−Lki)2 |
(6) |
最后,采用梯度下降法最小化损失函数,并更新网络中各个参数。训练卷积神经网络的目的是寻找最优的参数,以最小化损失函数
W∗=argminWE0 |
(7) |
采用梯度下降算法更新卷积神经网络的参数
W(i)=W(i−1)−α∂E0∂W|W=W(i) |
(8) |
其中,
(5) 根据式(3),得到fc6层输出结果
(6) 根据式(3),得到fc7层输出结果
(7) 最后,将
将学习所得遥感图像深度特征,在多核学习框架中进行自适应融合。多核学习是通过选择最优的基本核与核函数权重,选出最佳核函数组合来进行分类,从而得到输入图像的良好表达。考虑到核函数的参数会影响模型的复杂程度及多核学习融合分类的效果,因此本文设计采用参数较少,且在SVM分类中性能普遍取得良好的径向基核函数作为基本核函数[19]
K(xi,xj)=exp(−||xi−xj||22μ2) |
(9) |
其中,
构建
k(xi,xj)=M∑m=1βmKm(xi,xj) |
(10) |
其中,
在多核融合后的特征的基础上,设计MKL-SVM分类器
g(xj)=sign(Num∑i=1aiyiM∑m=1βmKm(xi,xj)+b) |
(11) |
其中,
将测试集Te中遥感图像融合后的特征输入到训练好的MKL-SVM分类器中,经过该分类器的每一张图像都会得到一个预测标签值
为验证本算法的有效性,在CPU主频为2.5 GHz、内存为4 GB、仿真软件为Python 2.7、深度学习框架为Caffe的PC机上对本算法进行了实验。实验图像为遥感图像公共数据集UCMerced_LandUse,该数据集包含了21类遥感图像,每类遥感图像共100张,从每类遥感图像中随机抽取80张作为训练集,其余20张作为测试集。图3给出了部分示例。
在给出本算法分类结果前,首先通过卷积神经网络可视化,来进一步说明基于深度学习遥感图像特征提取的本质。如图4所示,为本文搭建的卷积神经网络的第1层卷积层(conv1)中各卷积核可视化结果。
接着从遥感数据集中选取1张遥感图像样本,进行可视化展示。以第19类中的图像storagetanks95为例(如图5(a)),经过本文卷积神经网络conv1层,学习得到的特征图如图5(b)所示;经过conv2层,学习得到的特征图如图5(c)所示;经过conv3层,学习得到的特征图如图5(d)所示;经过conv4层,学习得到的特征图如图5(e)所示;经过conv5层,学习得到的特征图如图5(f)所示。需指出的是:conv1层共得到96个特征图;conv2层共得到256个特征图;conv3层和conv4层分别有384个特征图;conv5层得到256个特征图,为方便展示,这里仅显示每层前25张特征图。从图5可见,第1层卷积层conv1学习得到的是遥感图像底层特征,包括图像颜色、物体轮廓等,第2层卷积层conv2是第1层学习得到的特征的组合,之后的卷积层学习得到的特征则更加抽象化和概念化。
为评价本文方法的性能,与两种已有的基于深度学习的遥感图像分类方法进行对比实验。其中,第1种算法[10]基于深度学习卷积神经网络理论,设计了一个5层卷积神经网络,用于遥感图像分类(简称算法1);第2种算法[11]提出了一种基于卷积神经网络与支持向量机的舰船目标检测方法(简称算法2)。
首先,计算3种算法的分类混淆矩阵,结果如图6所示。混淆矩阵的横轴表示被预测到的每类遥感图像的标签值,纵轴表示每类遥感图像的真实标签值,颜色较深的对角线上的值表示每类遥感图像的分类准确率,颜色越深代表其准确率越高。可见,比较算法1在个别类别上存在一些比较严重的误差,比较算法2在分类误差上有所改进,而本文算法分类准确率最高。
其次,计算3种算法的分类准确率Ac、误分类率Er、及Kappa系数。其中,Kappa系数越高,表明算法整体分类精度越好。
Ac=TP/Nr |
(12) |
其中,TP表示遥感图像测试集中被正确分类的图像数,Nr表示遥感图像测试集中图像总数。
Er=1−Ac=FP/Nr |
(13) |
其中,FP表示遥感图像测试集中被错误分类的图像数。
Kappa系数定义为
Kappa=(Ac−Pe)/(1−Pe) |
(14) |
其中,
Pe=γ1×η1+γ2×η2+···+γN×ηNNr×Nr |
(15) |
其中,
最终,3种算法的分类准确率Ac、误分类率Er和Kappa系数,如表1所示。由表可见,本文所提遥感图像分类方法在准确率、误分类率和Kappa系数上都明显优于另外两种算法。
指标 | 算法1 | 算法2 | 本文算法 |
Ac | 0.8808 | 0.9337 | 0.9643 |
Er | 0.1192 | 0.0663 | 0.0357 |
Kappa系数 | 0.8748 | 0.9304 | 0.9625 |
本文提出一种基于深度卷积神经网络和多核学习的遥感图像分类方法,其优势在于:(1)充分挖掘多种深度学习特征;(2)实现不同特征的自适应融合;(3)设计精确的多核学习-支持向量机遥感图像分类器,从而有效解决了现有基于深度学习的遥感图像分类方法未能有效融合多种深度特征、分类器参数选择困难等难题。
KREUTZ D, RAMOS F M V, and ESTEVES V P. Software defined networking: A comprehensive survey[J]. Proceedings of the IEEE, 2015, 103(1): 14-76. doi: 10.1109/JPROC.2014. 2371999.
|
HERMENIER F, LORCA X, and MENAUD J M. Entropy: A consolidation manager for clusters[C]. Proceedings of the ACM SIGPLAN/SIGOPS International Conference on Virtual Execution Environments, Washington, DC, USA, 2009: 41-50. doi: 10.1145/1508293.1508300.
|
BARI M F, ZHANI M F, ZHANG Q, et al. CQNCR: Optimal VM migration planning in cloud data centers[C]. Proceedings of IFIP Networking Conference, Trondheim, Norway, 2014: 1-9. doi: 10.1109/IFIPNetworking. 2014. 6857120.
|
DUOLIKUN D, WATANABE R, KATAOKA H, et al. An energy-aware migration of virtual machines[C]. 2016 IEEE 30th International Conference on Advanced Information Networking and Application, Crans-Montana, 2016: 557-564. doi: 10.1109/AINA.2016.156.
|
MAIO V D, KECSKEMETI G, and PRODAN R. A workload-aware energy model for virtual machine migration[C]. 2015 IEEE International Conference on Cluster Computing, Chicago, IL, 2015: 274-283. doi: 10.1109/ CLUSTER.2015.47.
|
GHORBANI S and CAESAR M. Walk the Line: Consistent network updates with bandwidth guarantees[C]. Proceedings of the First Workshop on Hot Topics in Software Defined Networks, HotSDN12, New York, NY, USA, 2012: 67-72. doi: 10.1145/2342441.2342455.
|
YE Kejiang, JIANG Xiaohong, MA Ran, et al. VC-migration: live migration of virtual clusters in the cloud[C]. Proceedings of the 13th ACM/IEEE International Conference on Grid Computing, Beijing, China, 2012: 209-218. doi: 10.1109/Grid. 2012.27.
|
高先明, 张晓哲, 王宝生, 等. 面向虚拟路由器的基于历史转发开销的资源调度算法[J].电子与信息学报, 2015, 37(3): 686-692. doi: 10.11999/JEIT140491.
|
GAO Xianming, ZHANG Xiaozhe, WANG Baosheng, et al. Historical forwarding overhead based the resource scheduling algorithm for the virtual router[J]. Journal of Electronics Information Technology, 2015, 37(3): 686-692. doi: 10.11999/ JEIT140491.
|
刘中金, 卓子寒, 何跃鹰, 等. 一种基于动态配额的虚拟网带宽公平调度算法[J]. 电子与信息学报, 2016, 38(10): 2654-2659. doi: 10.11999/JEIT151485.
|
LIU Zhongjin, ZHUO Zihan, HE Yueying, et al. Dynamical Weighted Scheduling Algorithm supporting fair bandwidth allocation of virtual networks[J]. Journal of Electronics Information Technology, 2016, 38(10): 2654-2659. doi: 10.11999/JEIT151485.
|
WOOD T, SHENOY P, VENKATARAMANI A, et al. Sandpiper: Black-box and gray-box resource management for virtual machines[J]. Computer Networks, 2009, 53(17): 2923-2938. doi: 10.1016/j.comnet.2009.04.014.
|
ZHANI M F, ZHANG Q, SIMONA G, et al. VDC Planner: dynamic migration-aware virtual data center embedding for clouds[C]. Proceedings of the 13th IFIP/IEEE International Symposiun on Integrated Network Management, Ghent, Belgium, 2013: 18-25.
|
GUO Chuanxiong, LU Guohan, WANG H J, et al. SecondNet: A data center network virtualization architecture with bandwidth guarantees[C]. Proceedings of the 6th International Conference, Philadelphia PA, USA, 2010. doi: 10.1145/ 1921168.1921188.
|
AMANI A and ZAMANIFAR K. Improving the time of live migration virtual machine by optimized algorithm scheduler credit[C]. Proceedings of the 4th International conference on Computer and Knowledge Engineering (ICCKE), 2014: 346-351. doi: 10.1109/ICCKE.2014.6993374.
|
CERRONI W and ESPOSITO F. Optimizing live migration of multiple virtual machines[J]. IEEE Transactions on Cloud Computing, 2016. doi: 10.1109/TCC.2016.2567381.
|
MANN V, GUPTA A, DUTTA P, et al. Remedy: Network-aware steady state VM management for data centers[C]. Proceedings of the 11th International IFIP TC 6 Networking Conference, Prague, Czech Republic, 2012: 190-204. doi: 10.1007/978-3-642-30045-5_15.
|
GANDHI R and MESTRE J. Combinatorial algorithms for data migration to minimize average completion time[C]. Proceedings of the 9th International Conference on Approximation Algorithms for Combinatorial Optimization Problems, Barcelona, Spain, 2006: 128-139. doi: 10.1007/ 11830924_14.
|
BARI M F, BOUTABA R, ESTEVES R, et al. Data center network virtualization: A survey[J]. IEEE Communications Surveys Tutorials, 2013, 15(2): 909-928. doi: 10.1109/ SURV.2012.090512.00043.
|
魏亮, 黄韬, 陈建亚, 等. 基于工作负载预测的虚拟机整合算法[J]. 电子与信息学报, 2013, 35(6): 1271-1276. doi: 10.3724/ SP.J.1146.2012.01131.
|
WEI Liang, HUANG Tao, CHEN Jianya, et al. Workload prediction-based algorithm for consolidation of virtual machines[J]. Journal of Electronics Information Technology, 2013, 35(6): 1271-1276. doi: 10.3724/SP.J.1146. 2012.01131.
|
指标 | 算法1 | 算法2 | 本文算法 |
Ac | 0.8808 | 0.9337 | 0.9643 |
Er | 0.1192 | 0.0663 | 0.0357 |
Kappa系数 | 0.8748 | 0.9304 | 0.9625 |