Overlapping Multiplexing in Both Time and Frequency Domain

1.   引言

遥感图像分类是遥感图像处理的重要研究方向，能为遥感图像其他应用提供坚实的分析数据。现阶段，高分辨率遥感图像分类研究较多关注的是分类器的设计和改进，而遥感图像特征提取的准确性和有效性对分类精度和效率也有着非常重要的影响。如何针对高分辨率遥感图像，提取高准确度和高鲁棒性的特征仍是目前遥感图像分类中一个亟待攻克的难题^[1–3]。近年来，深度学习作为机器学习的一个全新理论，被引入图像处理和模式识别领域，用于解决图像分类^[4]、目标识别^[5]、自然语言处理^[6]、语音识别^[7]等问题。

通过对深度学习的研究，研究学者们发现深度学习模型的深层次直接决定了其对数据的刻画能力，深度学习得到的特征数据能良好地表示原始输入数据。对比基于深度学习和传统机器学习的图像分类方法可以发现：在本质上这些方法类似，都是在高维空间中，根据待处理样本的特征对其进行分类。然而，深度学习方法的表达能力远远高于传统的机器学习方法，它能从少数样本数据集中有力地提取数据的本质特征。深度学习通过学习一种深层非线性结构将输入数据特征进行分层表示，实现将数据低层特征抽象成益于分类的高层特征。随着深度学习研究的不断深入，各种深度学习模型也不断完善，使得深度学习更有利于挖掘数据的局部和全局特征，且这些特征更具代表性，这在理论上为基于深度学习的图像分类问题带来了一个全新的研究思路。

目前，已有研究学者将深度学习应用于遥感图像分类问题。基于深度学习提取得到的遥感图像特征具有抗过拟合性、图像平移、旋转和扭曲鲁棒性等优良品质。例如，文献[8]提出一种基于深度学习的遥感图像分类方法。文献[9]提出一种基于卷积神经网络的遥感图像分类方法。文献[10]提出一种基于卷积神经网络的遥感图像飞机目标分类方法。文献[11]提出一种基于卷积神经网络的遥感图像舰船目标检测方法。上述方法在一定程度上都实现了遥感图像的分类，但这些方法大都采用某一种深度学习特征进行分类，且需人工调整分类器参数^[12–18]，因此，仍存在未能有效融合多种深度特征、分类器参数选择困难的问题。

本文充分考虑深度学习的优势，提出一种基于深度卷积神经网络和多核学习的遥感图像分类方法。首先基于深度卷积神经网络对遥感图像数据集进行训练，学习得到两个全连接层的输出将作为遥感图像的两种高层特征；其次，采用多核学习理论训练适合这两种高层特征的核函数，并将它们映射到高维空间，实现高层特征在高维空间的自适应融合；最后，在多核融合特征基础上，设计一种基于多核学习-支持向量机(Multi-Kernel Learning-Support Vector Machine, MKL-SVM)的遥感图像分类器，对图像进行精确分类。

与传统遥感图像分类方法相比，本文所提算法具有两个优点：(1)本文方法针对卷积神经网络两个全连接层提取到的特征，采用多核学习方法将它们在核空间中自适应融合，融合后的特征可进一步加强特征的表现力和鲁棒性；(2)本文方法采用多核学习-支持向量机分类器对遥感图像进行分类，可通过多核学习得到分类器的最优参数，无需人工测试调整参数，优化了分类过程。

2.   基于深度卷积神经网络和多核学习的高分辨率遥感图像分类算法

本文所提方法框图如图1所示。

图  1  本文算法的框图

下载: 全尺寸图片 幻灯片

2.1   基于深度卷积神经网络的遥感图像高层特征提取

为提取遥感图像的深度特征，首先搭建和训练一个7层卷积神经网络，然后提取该网络的第6层和第7层两个全连接层的特征，将它们作为遥感图像两种不同的高层特征。具体步骤如下：

(1) 构建多类遥感图像样本数据集${\rm{Im}} \!=\! [{\rm{Im}}_1, {\rm{Im}}_2,$$·\!·\!· ,{\rm{Im}}_N]$，并制作相应的样本标签${\rm{La}} = [{\rm{La}}_1, {\rm{La}}_2, ·\!·\!· ,$${\rm{La}}_N]$，其中$N$表示有$N$类遥感图像，${\rm{Im}}_i\left( {i \!=\!\! 1, 2, {·\!·\!· }, N} \right)$表示第$i$类遥感图像的集合，${\rm{La}}_i$表示第$i$类遥感图像的标签集合。

(2) 将数据集分为训练集部分Tr和测试集部分Te。针对数据集中每类遥感图像，设其样本总数为$n$，从中随机抽取$m$张图像构建训练集，其余$n-m$张图像构建测试集，则有：${\rm{Tr}} = [{\rm{Tr}}_1, {\rm{Tr}}_2, ·\!·\!· , {\rm{Tr}}_N]$, ${\rm{Te}} = [{\rm{Te}}_1, {\rm{Te}}_2, ·\!·\!· , {\rm{Te}}_N]$，其中，${\rm{Tr}}_i$表示第$i$类遥感图像的训练集合，它包含了$m$张图像，${\rm{Te}}_i$表示第$i$类遥感图像的测试集合，它包含$n-m$张图像。

(3) 搭建一个7层的卷积神经网络，其中，前5层分别用L1～L5表示。L1, L2和L5分别包含卷积层和池化层，L3和L4分别只有1个卷积层，第6层和第7层，称为全连接层，分别用fc6和fc7表示。搭建好的网络结构如图2所示。

图  2  搭建的7层卷积神经网络

下载: 全尺寸图片 幻灯片

(4) 利用遥感图像样本进行卷积神经网络训练。首先，将遥感图像训练集输入搭建好的网络中，前向计算卷积神经网络每个神经元的输出值。假设第$l$层为卷积层，则第$l$层第$j$个特征图$y_j^l$计算公式为

其中，*表示卷积操作，$y_i^{l-1}$为第$l-1$层第$i$个特征图，$k_{ij}^l$表示$y_i^{l-1}$和$y_j^l$之间用于连接的卷积核，$b_j^l$表示$y_j^l$的偏置，$f\left( \cdot \right)$表示线性整流激活函数ReLU，${M^{l - 1}}$表示第$l-1$层特征图的个数。

假设第$l$层为池化层，则第$l$层第$j$个特征图$y_j^l$的计算公式为

其中，$\beta _j^l$表示$y_j^l$的池化参数，$y_j^{l- 1}$表示第$l - 1$层第$j$个特征图，${\rm{dn}}\left( \cdot \right)$表示池化函数。

假设第$l$层为全连接层，则第$l$层第$j$个特征图$y_j^l$的计算公式为

其中，$y_{}^{l - 1}$表示第$l - 1$层所有特征图的加权结果。

其次，反向计算卷积神经网络整体损失函数。设遥感图像训练集中任一带标签样本${I_i}\left( {i = 1, 2, }\right.$$\left. ·\!·\!· , {N \times m} \right)$，其中$N$表示有$N$类遥感图像，$m$表示每一类包括$m$个测试图像。${I_i}$的标签实际是一对多标签

对于标签样本${I_i}$，若卷积神经网络将其判别为第$k$类的概率为$t_i^k, k = 1, 2, {·\!·\!·}, N$，则定义其误差为${E_i}$

基于所有训练样本的误差，计算卷积神经网络的损失函数${E_0}$

最后，采用梯度下降法最小化损失函数，并更新网络中各个参数。训练卷积神经网络的目的是寻找最优的参数，以最小化损失函数${E_0}$。卷积神经网络的参数是$k_{ij}^l$, $\beta _j^l$和$b_j^l$，若用$W\,$表示上述3种参数，则$W = (k_{ij}^l, \beta _j^l, b_j^l)$，通过遥感图像训练集训练卷积神经网络后，可找到一组参数${W^*}$，使得

采用梯度下降算法更新卷积神经网络的参数$W$，同时最小化损失函数${E_0}$

其中，$\alpha$表示卷积神经网络的学习率，决定了每步调整的幅度，${W^{(i)}}$表示第$i$组更新的参数，${W^{(i-1)}}$表示第$i-1$组参数，$\displaystyle\frac{{\partial {E_0}}}{{\partial W}}$表示损失函数${E_0}$对参数$W\,$求偏导。

(5) 根据式(3)，得到fc6层输出结果${\rm{fe}}_{-} {\rm{fc}}6$，包含了fc6层计算得到的所有特征图。

(6) 根据式(3)，得到fc7层输出结果${\rm{fe}}_{-} {\rm{fc}}7$，包含了fc7层计算得到的所有特征图。

(7) 最后，将${\rm{fe}}_{-} {\rm{fc}}6$和${\rm{fe}}_{-} {\rm{fc}}7$将作为遥感图像的两种不同的高层特征。

2.2   基于多核学习的深度特征自适应融合

将学习所得遥感图像深度特征，在多核学习框架中进行自适应融合。多核学习是通过选择最优的基本核与核函数权重，选出最佳核函数组合来进行分类，从而得到输入图像的良好表达。考虑到核函数的参数会影响模型的复杂程度及多核学习融合分类的效果，因此本文设计采用参数较少，且在SVM分类中性能普遍取得良好的径向基核函数作为基本核函数^[19]

其中，${x_i}$表示第$i$张遥感图像在多核某一尺度下fc6层的特征向量${\rm{fe}}_{-} {\rm{fc}}6$, ${x_j}$表示第$j$张遥感图像在多核某一尺度下fc7层的特征向量${\rm{fe}}_{-}{\rm{fc}}7$, $\mu$表示带宽参数。

构建$M = { {10}}$个尺度的核函数，由这些核函数生成融合核。将遥感图像两种不同类型的高层特征分别分配固定权重的核函数进行融合，通过融合核函数将其映射到统一核空间。为实现两个全连接层特征在核空间中的自适应融合，设计如下多核融合策略

其中，$k({x_i}, {x_j})$为组合后的核函数，${\beta _m}$表示各子核对应的权重，$\displaystyle\sum\nolimits_{m = 1}^M {{\beta _m} = 1}$, ${\beta _m} \ge 0$。在式(10)的多核学习框架下，样本图像在特征空间中的表示问题转化为基本核与核函数权重的选择问题。利用多核学习训练的过程，实际上是优化多个基本核函数的线性组合并利用半无限线性规划训练算法得到最优权值${\beta _m}$的过程。

2.3   基于多核学习-支持向量机的高分辨率遥感图像分类器

在多核融合后的特征的基础上，设计MKL-SVM分类器

其中，${K_m}({x_i}, {x_j})$表示第$m$个核函数，$g\left( {{x_j}} \right)$为第$j$张图像的预测标签值，${a_i}$表示优化参数，${y_i}$表示训练样本的标签，$b$为多核分类面的最优偏置，Num表示训练样本的个数。训练集输入时，Num为$N \times m$；测试集输入时，Num为 $N \times \left( {n{\rm{ - }}m} \right)$。

将测试集Te中遥感图像融合后的特征输入到训练好的MKL-SVM分类器中，经过该分类器的每一张图像都会得到一个预测标签值${\rm{pl}}_j$，即为分类结果。将测试集中所有图像的预测值${\rm{pl}}_j$与其原始标签值La相比，可得到遥感图像分类准确率。

3.   实验和分析

为验证本算法的有效性，在CPU主频为2.5 GHz、内存为4 GB、仿真软件为Python 2.7、深度学习框架为Caffe的PC机上对本算法进行了实验。实验图像为遥感图像公共数据集UCMerced_LandUse，该数据集包含了21类遥感图像，每类遥感图像共100张，从每类遥感图像中随机抽取80张作为训练集，其余20张作为测试集。图3给出了部分示例。

图  3  21类高分辨率遥感图像示例

下载: 全尺寸图片 幻灯片

3.1   基于卷积神经网络的遥感图像特征提取

在给出本算法分类结果前，首先通过卷积神经网络可视化，来进一步说明基于深度学习遥感图像特征提取的本质。如图4所示，为本文搭建的卷积神经网络的第1层卷积层(conv1)中各卷积核可视化结果。

图  4  conv1中96个卷积核可视化结果

下载: 全尺寸图片 幻灯片

接着从遥感数据集中选取1张遥感图像样本，进行可视化展示。以第19类中的图像storagetanks95为例(如图5(a))，经过本文卷积神经网络conv1层，学习得到的特征图如图5(b)所示；经过conv2层，学习得到的特征图如图5(c)所示；经过conv3层，学习得到的特征图如图5(d)所示；经过conv4层，学习得到的特征图如图5(e)所示；经过conv5层，学习得到的特征图如图5(f)所示。需指出的是：conv1层共得到96个特征图；conv2层共得到256个特征图；conv3层和conv4层分别有384个特征图；conv5层得到256个特征图，为方便展示，这里仅显示每层前25张特征图。从图5可见，第1层卷积层conv1学习得到的是遥感图像底层特征，包括图像颜色、物体轮廓等，第2层卷积层conv2是第1层学习得到的特征的组合，之后的卷积层学习得到的特征则更加抽象化和概念化。

图  5  各卷积层学习得到的特征图

下载: 全尺寸图片 幻灯片

3.2   分类结果和分析

为评价本文方法的性能，与两种已有的基于深度学习的遥感图像分类方法进行对比实验。其中，第1种算法^[10]基于深度学习卷积神经网络理论，设计了一个5层卷积神经网络，用于遥感图像分类(简称算法1)；第2种算法^[11]提出了一种基于卷积神经网络与支持向量机的舰船目标检测方法(简称算法2)。

首先，计算3种算法的分类混淆矩阵，结果如图6所示。混淆矩阵的横轴表示被预测到的每类遥感图像的标签值，纵轴表示每类遥感图像的真实标签值，颜色较深的对角线上的值表示每类遥感图像的分类准确率，颜色越深代表其准确率越高。可见，比较算法1在个别类别上存在一些比较严重的误差，比较算法2在分类误差上有所改进，而本文算法分类准确率最高。

图  6  3种算法的分类混淆矩阵

下载: 全尺寸图片 幻灯片

其次，计算3种算法的分类准确率Ac、误分类率Er、及Kappa系数。其中，Kappa系数越高，表明算法整体分类精度越好。

其中，TP表示遥感图像测试集中被正确分类的图像数，Nr表示遥感图像测试集中图像总数。

其中，FP表示遥感图像测试集中被错误分类的图像数。

Kappa系数定义为

其中，

其中，${\gamma _1}, {\gamma _2}, ·\!·\!· , {\gamma _N}$表示每类样本实际个数，${\eta _1}, {\eta _2}, ·\!·\!· , {\eta _N}$表示预测得到的每类样本个数。

最终，3种算法的分类准确率Ac、误分类率Er和Kappa系数，如表1所示。由表可见，本文所提遥感图像分类方法在准确率、误分类率和Kappa系数上都明显优于另外两种算法。

表  1  3种算法各分类性能指标值

指标	算法1	算法2	本文算法
Ac	0.8808	0.9337	0.9643
Er	0.1192	0.0663	0.0357
Kappa系数	0.8748	0.9304	0.9625

下载: 导出CSV 

| 显示表格

4.   结论

本文提出一种基于深度卷积神经网络和多核学习的遥感图像分类方法，其优势在于：(1)充分挖掘多种深度学习特征；(2)实现不同特征的自适应融合；(3)设计精确的多核学习-支持向量机遥感图像分类器，从而有效解决了现有基于深度学习的遥感图像分类方法未能有效融合多种深度特征、分类器参数选择困难等难题。