
Citation: | Xin WANG, Ke LI, Chen NING, Fengchen HUANG. Remote Sensing Image Classification Method Based on Deep Convolution Neural Network and Multi-kernel Learning[J]. Journal of Electronics & Information Technology, 2019, 41(5): 1098-1105. doi: 10.11999/JEIT180628 |
To solve the problems of complex feature extraction process and low characteristic expressiveness of traditional remote sensing image classification methods, a high resolution remote sensing image classification method based on deep convolution neural network and multi-kernel learning is proposed. Firstly, the deep convolution neural network is constructed to train the remote sensing image data set to learn the outputs of two fully connected layers, which are taken as two high-level features of remote sensing images. Then, the multi-kernel learning is used to train the kernel functions for these two high-level features, so that they can be mapped to the high dimensional space, where these two features are fused adaptively. Finally, with the combined features, a remote sensing image classifier based on Multi-Kernel Learning-Support Vector Machine (MKL-SVM) is designed for remote sensing image classification. Experimental results show that compared with the existing deep learning based remote sensing classification methods, the proposed algorithm achieves improved results in terms of classification accuracy, error, and Kappa coefficient. On the experimental test set, the above three indicators reach 96.43%, 3.57%, and 96.25% respectively, and satisfactory results are obtained.
遥感图像分类是遥感图像处理的重要研究方向,能为遥感图像其他应用提供坚实的分析数据。现阶段,高分辨率遥感图像分类研究较多关注的是分类器的设计和改进,而遥感图像特征提取的准确性和有效性对分类精度和效率也有着非常重要的影响。如何针对高分辨率遥感图像,提取高准确度和高鲁棒性的特征仍是目前遥感图像分类中一个亟待攻克的难题[1–3]。近年来,深度学习作为机器学习的一个全新理论,被引入图像处理和模式识别领域,用于解决图像分类[4]、目标识别[5]、自然语言处理[6]、语音识别[7]等问题。
通过对深度学习的研究,研究学者们发现深度学习模型的深层次直接决定了其对数据的刻画能力,深度学习得到的特征数据能良好地表示原始输入数据。对比基于深度学习和传统机器学习的图像分类方法可以发现:在本质上这些方法类似,都是在高维空间中,根据待处理样本的特征对其进行分类。然而,深度学习方法的表达能力远远高于传统的机器学习方法,它能从少数样本数据集中有力地提取数据的本质特征。深度学习通过学习一种深层非线性结构将输入数据特征进行分层表示,实现将数据低层特征抽象成益于分类的高层特征。随着深度学习研究的不断深入,各种深度学习模型也不断完善,使得深度学习更有利于挖掘数据的局部和全局特征,且这些特征更具代表性,这在理论上为基于深度学习的图像分类问题带来了一个全新的研究思路。
目前,已有研究学者将深度学习应用于遥感图像分类问题。基于深度学习提取得到的遥感图像特征具有抗过拟合性、图像平移、旋转和扭曲鲁棒性等优良品质。例如,文献[8]提出一种基于深度学习的遥感图像分类方法。文献[9]提出一种基于卷积神经网络的遥感图像分类方法。文献[10]提出一种基于卷积神经网络的遥感图像飞机目标分类方法。文献[11]提出一种基于卷积神经网络的遥感图像舰船目标检测方法。上述方法在一定程度上都实现了遥感图像的分类,但这些方法大都采用某一种深度学习特征进行分类,且需人工调整分类器参数[12–18],因此,仍存在未能有效融合多种深度特征、分类器参数选择困难的问题。
本文充分考虑深度学习的优势,提出一种基于深度卷积神经网络和多核学习的遥感图像分类方法。首先基于深度卷积神经网络对遥感图像数据集进行训练,学习得到两个全连接层的输出将作为遥感图像的两种高层特征;其次,采用多核学习理论训练适合这两种高层特征的核函数,并将它们映射到高维空间,实现高层特征在高维空间的自适应融合;最后,在多核融合特征基础上,设计一种基于多核学习-支持向量机(Multi-Kernel Learning-Support Vector Machine, MKL-SVM)的遥感图像分类器,对图像进行精确分类。
与传统遥感图像分类方法相比,本文所提算法具有两个优点:(1)本文方法针对卷积神经网络两个全连接层提取到的特征,采用多核学习方法将它们在核空间中自适应融合,融合后的特征可进一步加强特征的表现力和鲁棒性;(2)本文方法采用多核学习-支持向量机分类器对遥感图像进行分类,可通过多核学习得到分类器的最优参数,无需人工测试调整参数,优化了分类过程。
本文所提方法框图如图1所示。
为提取遥感图像的深度特征,首先搭建和训练一个7层卷积神经网络,然后提取该网络的第6层和第7层两个全连接层的特征,将它们作为遥感图像两种不同的高层特征。具体步骤如下:
(1) 构建多类遥感图像样本数据集
(2) 将数据集分为训练集部分Tr和测试集部分Te。针对数据集中每类遥感图像,设其样本总数为
(3) 搭建一个7层的卷积神经网络,其中,前5层分别用L1~L5表示。L1, L2和L5分别包含卷积层和池化层,L3和L4分别只有1个卷积层,第6层和第7层,称为全连接层,分别用fc6和fc7表示。搭建好的网络结构如图2所示。
(4) 利用遥感图像样本进行卷积神经网络训练。首先,将遥感图像训练集输入搭建好的网络中,前向计算卷积神经网络每个神经元的输出值。假设第
ylj=f(∑i∈Ml−1yl−1i∗klij+blj) | (1) |
其中,*表示卷积操作,
假设第
ylj=f(βlj⋅dn(yl−1j)+blj) | (2) |
其中,
假设第
ylj=f(yl−1+blj) | (3) |
其中,
其次,反向计算卷积神经网络整体损失函数。设遥感图像训练集中任一带标签样本
Lki={1,Ii实际属于第k类0,Ii实际不属于第k类, i=1,2,···,N | (4) |
对于标签样本
Ei=12N∑k=1(tki−Lki)2 | (5) |
基于所有训练样本的误差,计算卷积神经网络的损失函数
E0=N×m∑i=1Ei=12N×m∑i=1N∑k=1(tki−Lki)2 | (6) |
最后,采用梯度下降法最小化损失函数,并更新网络中各个参数。训练卷积神经网络的目的是寻找最优的参数,以最小化损失函数
W∗=argminWE0 | (7) |
采用梯度下降算法更新卷积神经网络的参数
W(i)=W(i−1)−α∂E0∂W|W=W(i) | (8) |
其中,
(5) 根据式(3),得到fc6层输出结果
(6) 根据式(3),得到fc7层输出结果
(7) 最后,将
将学习所得遥感图像深度特征,在多核学习框架中进行自适应融合。多核学习是通过选择最优的基本核与核函数权重,选出最佳核函数组合来进行分类,从而得到输入图像的良好表达。考虑到核函数的参数会影响模型的复杂程度及多核学习融合分类的效果,因此本文设计采用参数较少,且在SVM分类中性能普遍取得良好的径向基核函数作为基本核函数[19]
K(xi,xj)=exp(−||xi−xj||22μ2) | (9) |
其中,
构建
k(xi,xj)=M∑m=1βmKm(xi,xj) | (10) |
其中,
在多核融合后的特征的基础上,设计MKL-SVM分类器
g(xj)=sign(Num∑i=1aiyiM∑m=1βmKm(xi,xj)+b) | (11) |
其中,
将测试集Te中遥感图像融合后的特征输入到训练好的MKL-SVM分类器中,经过该分类器的每一张图像都会得到一个预测标签值
为验证本算法的有效性,在CPU主频为2.5 GHz、内存为4 GB、仿真软件为Python 2.7、深度学习框架为Caffe的PC机上对本算法进行了实验。实验图像为遥感图像公共数据集UCMerced_LandUse,该数据集包含了21类遥感图像,每类遥感图像共100张,从每类遥感图像中随机抽取80张作为训练集,其余20张作为测试集。图3给出了部分示例。
在给出本算法分类结果前,首先通过卷积神经网络可视化,来进一步说明基于深度学习遥感图像特征提取的本质。如图4所示,为本文搭建的卷积神经网络的第1层卷积层(conv1)中各卷积核可视化结果。
接着从遥感数据集中选取1张遥感图像样本,进行可视化展示。以第19类中的图像storagetanks95为例(如图5(a)),经过本文卷积神经网络conv1层,学习得到的特征图如图5(b)所示;经过conv2层,学习得到的特征图如图5(c)所示;经过conv3层,学习得到的特征图如图5(d)所示;经过conv4层,学习得到的特征图如图5(e)所示;经过conv5层,学习得到的特征图如图5(f)所示。需指出的是:conv1层共得到96个特征图;conv2层共得到256个特征图;conv3层和conv4层分别有384个特征图;conv5层得到256个特征图,为方便展示,这里仅显示每层前25张特征图。从图5可见,第1层卷积层conv1学习得到的是遥感图像底层特征,包括图像颜色、物体轮廓等,第2层卷积层conv2是第1层学习得到的特征的组合,之后的卷积层学习得到的特征则更加抽象化和概念化。
为评价本文方法的性能,与两种已有的基于深度学习的遥感图像分类方法进行对比实验。其中,第1种算法[10]基于深度学习卷积神经网络理论,设计了一个5层卷积神经网络,用于遥感图像分类(简称算法1);第2种算法[11]提出了一种基于卷积神经网络与支持向量机的舰船目标检测方法(简称算法2)。
首先,计算3种算法的分类混淆矩阵,结果如图6所示。混淆矩阵的横轴表示被预测到的每类遥感图像的标签值,纵轴表示每类遥感图像的真实标签值,颜色较深的对角线上的值表示每类遥感图像的分类准确率,颜色越深代表其准确率越高。可见,比较算法1在个别类别上存在一些比较严重的误差,比较算法2在分类误差上有所改进,而本文算法分类准确率最高。
其次,计算3种算法的分类准确率Ac、误分类率Er、及Kappa系数。其中,Kappa系数越高,表明算法整体分类精度越好。
Ac=TP/Nr | (12) |
其中,TP表示遥感图像测试集中被正确分类的图像数,Nr表示遥感图像测试集中图像总数。
Er=1−Ac=FP/Nr | (13) |
其中,FP表示遥感图像测试集中被错误分类的图像数。
Kappa系数定义为
Kappa=(Ac−Pe)/(1−Pe) | (14) |
其中,
Pe=γ1×η1+γ2×η2+···+γN×ηNNr×Nr | (15) |
其中,
最终,3种算法的分类准确率Ac、误分类率Er和Kappa系数,如表1所示。由表可见,本文所提遥感图像分类方法在准确率、误分类率和Kappa系数上都明显优于另外两种算法。
指标 | 算法1 | 算法2 | 本文算法 |
Ac | 0.8808 | 0.9337 | 0.9643 |
Er | 0.1192 | 0.0663 | 0.0357 |
Kappa系数 | 0.8748 | 0.9304 | 0.9625 |
本文提出一种基于深度卷积神经网络和多核学习的遥感图像分类方法,其优势在于:(1)充分挖掘多种深度学习特征;(2)实现不同特征的自适应融合;(3)设计精确的多核学习-支持向量机遥感图像分类器,从而有效解决了现有基于深度学习的遥感图像分类方法未能有效融合多种深度特征、分类器参数选择困难等难题。
WANG Xin, SHEN Siqiu, NING Chen, et al. Multi-class remote sensing objects recognition based on discriminative sparse representation[J]. Applied Optics, 2016, 55(6): 1381–1394. doi: 10.1364/ao.55.001381
|
WANG Xin, XIONG Xingnan, NING Chen, et al. Integration of heterogeneous features for remote sensing scene classification[J]. Journal of Applied Remote Sensing, 2018, 12(1): 15–23. doi: 10.1117/1.jrs.12.015023
|
NING Chen, LIU Wenbo, ZHANG Gong, et al. Enhanced synthetic aperture radar automatic target recognition method based on novel features[J]. Applied Optics, 2016, 55(31): 8893–8904. doi: 10.1364/ao.55.008893
|
冯子勇. 基于深度学习的图像特征学习和分类方法的研究及应用[D]. [博士论文], 华南理工大学, 2016.
FENG Ziyong. Research and application of image feature learning and classification methods based on deep learning[D]. [Ph.D. dissertation], South China University of Technology, 2016.
|
林妙真. 基于深度学习的人脸识别研究[D]. [硕士论文], 大连理工大学, 2013.
LIN Miaozhen. Research on face recognition based on deep learning[D]. [Master dissertation], Dalian University of Technology, 2013.
|
奚雪峰, 周国栋. 面向自然语言处理的深度学习研究[J]. 自动化学报, 2016, 42(10): 1445–1465. doi: 10.16383/j.aas.2016.c150682
XI Xuefeng and ZHOU Guodong. A survey on learning for natural language processing[J]. Acta Automatica Sinica, 2016, 42(10): 1445–1465. doi: 10.16383/j.aas.2016.c150682
|
张建华. 基于深度学习的语音识别应用研究[D]. [硕士论文], 北京邮电大学, 2015.
ZHANG Jianhua. Research into speech recognition application based on deep learning[D]. [Master dissertation], Beijing University of Posts and Telecommunications, 2015.
|
刘大伟, 韩玲, 韩晓勇. 基于深度学习的高分辨率遥感影像分类研究[J]. 光学学报, 2016, 36(4): 306–314. doi: 10.3788/AOS201636.0428001
LIU Dawei, HAN Ling, and HAN Xiaoyong. High spatial resolution remote sensing image classification based on deep learning[J]. Acta Optica Sinica, 2016, 36(4): 306–314. doi: 10.3788/AOS201636.0428001
|
曲景影, 孙显, 高鑫. 基于CNN模型的高分辨率遥感图像目标识别[J]. 国外电子测量技术, 2016, 35(8): 45–50. doi: 10.19652/j.cnki.femt.2016.08.011
QU Xianying, SUN Xian, and GAO Xin. Remote sensing image target recognition based on CNN[J]. Foreign Electronic Measurement Technology, 2016, 35(8): 45–50. doi: 10.19652/j.cnki.femt.2016.08.011
|
周敏, 史振威, 丁火平. 遥感图像飞机目标分类的卷积神经网络方法[J]. 中国图象图形学报, 2017, 22(5): 702–708. doi: 10.11834/jig.160595
ZHOU Min, SHI Zhenwei, and DING Huoping. Aircraft classification in remote-sensing images using convolutional neural networks[J]. Journal of Image and Graphics, 2017, 22(5): 702–708. doi: 10.11834/jig.160595
|
黄洁, 姜志国, 张浩鹏, 等. 基于卷积神经网络的遥感图像舰船目标检测[J]. 北京航空航天大学学报, 2017, 43(9): 1841–1848. doi: 10.13700/j.bh.1001-5965.2016.0755
HUANG Jie, JIANG Zhiguo, ZHANG Haopeng, et al. Ship object detection in remote sensing images using convolutional neural networks[J]. Journal of Beijing University of Aeronautics and Astronsutics, 2017, 43(9): 1841–1848. doi: 10.13700/j.bh.1001-5965.2016.0755
|
LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278–2324. doi: 10.1109/5.726791
|
GAO Ligang, CHEN Paiyu, and YU Shimeng. Demonstration of convolution kernel operation on resistive crosspoint array[J]. IEEE Electron Device Letters, 2016, 7(7): 870–873. doi: 10.1109/LED.2016.2573140
|
GIRSHICK R, IANDOLA F, DARRELL T, et al. Deformable part models are convolutional neural networks[C]. Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA, 2015: 437–446. doi: 10.1109/CVPR.2015.7298641.
|
HINTON G E. How neural networks learn from experience[J]. Scientific American, 1992, 267(3): 145–151. doi: 10.1038/scientificamerican0992-144
|
BOUVRIE J. Notes on convolutional neural networks[R]. Massachusetts: Center for biological and computational learning, 2006: 38–44.
|
RUMELHAR T D E, HINTON G E, and WILLIAMS R J. Learning representations by back-propagating errors[J]. Nature, 1986, 323(6088): 533–536. doi: 10.1038/323533a0
|
KRIZHEVSKY A, SUTSKEVER I, and HINTON G E. ImageNet classification with deep convolutional neural networks[C]. Proceedings of Advances in Neural Information Processing Systems 25, Lake Tahoe, USA, 2012: 1097–1105. doi: 10.1145/3065386.
|
NING Chen, LIU Wenbo, and WANG Xin. Infrared object recognition based on monogenic features and multiple kernel learning[C]. The 2018 IEEE International Conference on Image, Vision and Computing. Chongqing, China, 2018: 204–208.
|
1. | 汪瑞,武芳宇,张百灵. 基于提示学习和注意力机制的多标签图像分类方法. 软件工程. 2024(07): 42-46 . ![]() | |
2. | 刘奕,崔艳荣. 基于改进ViT模型的水稻叶片病害识别方法. 江苏农业科学. 2024(11): 197-204 . ![]() | |
3. | 李国祥,夏国恩,白丽明,马文斌. 密集特征哈希的遥感场景分类. 自然资源遥感. 2023(01): 66-73 . ![]() | |
4. | 蒋正锋,何韬,施艳玲,龙翔,杨淑慧. 融合卷积注意力机制与深度残差网络的遥感图像分类. 激光杂志. 2022(04): 76-81 . ![]() | |
5. | 何婧媛,谢生龙,田原,田琴琴. 卷积神经网络和特征融合的遥感图像场景分类. 电子设计工程. 2022(16): 60-64 . ![]() | |
6. | 金平伟,黄俊,姜学兵,亢庆,杨胜权,林丽萍,杨平,罗志铖,李乐,寇馨月,刘斌. 基于深度学习的生产建设项目扰动图斑自动识别分类. 中国水土保持科学(中英文). 2022(06): 116-125 . ![]() | |
7. | 景维鹏,张明伟,林敬博. 一种神经网络架构搜索遥感图像分类方法. 哈尔滨理工大学学报. 2021(01): 25-29 . ![]() | |
8. | 梁哲恒,邓鹏,姜福泉,盛森,魏汝兰,谢刚生. 基于卷积神经网络的无人机影像违章建筑检测应用. 测绘通报. 2021(04): 111-115 . ![]() | |
9. | 宋中山,梁家锐,郑禄,刘振宇,帖军. 基于双向门控尺度特征融合的遥感场景分类. 计算机应用. 2021(09): 2726-2735 . ![]() | |
10. | 柳永春,李娟. 基于主动学习的图像分类协同训练模型研究. 赤峰学院学报(自然科学版). 2021(11): 3-6 . ![]() | |
11. | 盛晓光,王颖,钱力,王颖. 基于图卷积半监督学习的论文作者同名消歧方法研究. 电子与信息学报. 2021(12): 3442-3450 . ![]() | |
12. | 卢涵宇,胡超,张涛,卞林,袁咏仪,郭彩. 基于深度学习的高分辨率遥感影像分类研究. 广西大学学报(自然科学版). 2020(02): 328-335 . ![]() | |
13. | 郑远攀,李广阳,李晔. 深度学习在图像识别中的应用研究综述. 计算机工程与应用. 2019(12): 20-36 . ![]() |
指标 | 算法1 | 算法2 | 本文算法 |
Ac | 0.8808 | 0.9337 | 0.9643 |
Er | 0.1192 | 0.0663 | 0.0357 |
Kappa系数 | 0.8748 | 0.9304 | 0.9625 |