Scale Adaptive Fusion Network for Multimodal Remote Sensing Data Classification
-
摘要: 多模态融合方法能够利用不同模态的互补特性有效提升地物分类的准确性，近年来成为各领域的研究热点。现有多模态融合方法被成功应用于面向高光谱图像(HSI)和激光雷达(LiDAR)的联合分类任务。然而，现有的研究仍面临许多挑战，包括地物间空间依赖关系难捕获，多模态数据中判别性信息难获取等。为应对上述挑战，该文将多模态、多尺度、多视角特征融合整合到一个统一的框架中，提出一种尺度自适应融合网络(SAFN)。首先，提出动态多尺度图模块以捕获地物复杂的空间依赖关系，提升模型对不规则地物以及尺度迥异地物的适应能力。其次，基于激光雷达和高光谱图像的互补特性，约束同一空间近邻区域内的地物具有相近的特征表示，获取判别性遥感特征。然后，提出多模态空-谱融合模块，建立多模态、多尺度、多视角特征间的信息交互，捕获各特征间可共享的类辨识信息，为地物分类任务提供具有判别性的融合特征。最后，将融合特征输入分类器中得到类别概率得分，对地物类别进行预测。为验证方法的有效性，该文在3个数据集(Houston, Trento, MUUFL)上进行了实验。实验结果表明，与现有主流算法相比较，SAFN在多源遥感数据分类任务中取得了最佳的视觉效果和最高精度。Abstract: The multimodal fusion method can effectively improve the ground object classification accuracy by using the complementary characteristics of different modalities, which has become a research hotspot in various fields in recent years. The existing multimodal fusion methods have been successfully applied to multi-source remote sensing classification tasks oriented to HyperSpectral Image (HSI) and Light Detection And Ranging (LiDAR). However, existing research still faces many challenges, including difficulty in capturing spatial dependencies among irregular ground objects and obtaining discriminative information in multimodal data. To address the above challenges, a Scale Adaptive Fusion Network (SAFN)is proposed in this paper, by integrating the fusion of multimodal, multiscale, and multiview features into a unified framework. First, a dynamic multiscale graph module is proposed to capture the complex spatial dependencies of ground object, enhancing the model’s adaptability to irregular and scale-dissimilar ground object. Second, the complementary properties of LiDAR and HSI are utilized to constrain ground object within the same spatial neighborhood to have similar feature representations, thereby acquiring discriminative remote sensing features. Then, a multimodal spatial-spectral graph fusion module is proposed to establish feature interactions among multimodal, multiscale, and multiview features, providing discriminative fusion features for classification tasks by capturing class-recognition information that can be shared among features. Finally, the fusion features are fed into a classifier to obtain class probability scores for predicting the ground object class. To verify the effectiveness of SAFN, experiments are conducted on three datasets (i.e., Houston, Trento, and MUUFL). The experimental results show that, SAFN achieved state-of-the-art performance in multi-source remote sensing data classification tasks when compared with existing mainstream methods.
-
1. 引言
高光谱图像(HyperSpectral Image, HSI)[1]、激光雷达(Light Detection And Ranging, LiDAR)[2]和高分辨率遥感图像(High-resolution Remote Sensing Image, HRSI)[3]等各种遥感信息的合理应用受到了研究者的广泛关注。HSI拥有较高的光谱分辨率，能够帮助分辨光谱波段不同的像素的所属类别[4]。利用HSI进行地物分类在军事侦察、农业灌溉、灾害预防等[5–7]领域中展示出了巨大的应用潜力。然而此类方法在面对拍摄于复杂地形和城市环境的地物分类任务时，往往难以获得高精度。以上现象是因为HSI不具有高程信息，无法帮助模型区分光谱相似但海拔高度不同(如混凝土屋顶和道路等)的地物[8]，而提供地物高程信息的LiDAR能够帮助解决以上问题。多模态融合方法可通过将HSI和LiDAR数据相融合，为多源遥感数据分类提供光谱判别信息和关键空间近邻信息[9]。
目前的多模态数据融合方法主要分为像素级融合[10]、决策级融合[11]和特征级融合[12]3类。像素级融合旨在将HSI与LiDAR像素组合在一起，生成包含两种数据特性的新图像。雷大江等人[13]提出一种联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法，将梯度信息和通过卷积后的全色图像与光谱特征图在通道上拼接输入到具有多流融合架构的金字塔模块进行图像重构，获得了高质量融合图像。然而，由于像素细节是从多种数据源中获取的，多模态融合过程容易受到各种噪声的干扰从而导致模型分类精度下降。
决策级融合通过对多源数据的分类结果进行加权组合或投票得到最终的分类决策。Jia等人[14]提出一种基于多特征的超像素级决策融合方法，利用不同方法分别生成两个超像素图并进行正则化，再采用加权多数投票的决策融合策略合理利用两模态信息。
特征级融合方法旨将HSI和LiDAR数据映射到特征空间中，然后进行特征级的多模态数据融合。此类方法能够利用多模态数据的互补性的同时，减少原始数据中的冗余信息，为地物分类任务提供具有类别辨识性的融合特征[15]。多尺度特征融合[16]和多视角技术[17]在特征级融合方法中较流行。多尺度特征融合能够捕获从粗糙到精细的多层次空间结构和上下文信息，完成对不同尺度地物的精确描述，从而提升模型的地物分类性能。Li等人[18]采用3种不同网络分别提取HSI的光谱特征、空间特征和LiDAR特征，通过比较不同视角的分类结果，生成具有高置信度的伪标签以辅助地物分类。Dong等人[19]充分利用HSI和LiDAR不同视角的层次化特征，并综合多视角信息以有效地提升模型的地物分类性能。马梁等人[20]提出了基于多尺度融合的遥感图像小目标检测方法和新遥感飞机小目标数据集。针对常用特征提取网络庞大参数量和基于自然图像的预训练模型难以直接应用于遥感数据处理任务的难题，根据具体任务情景设计轻量化特征提取器、自适应加权融合模块，实现了基于遥感数据的精准小目标检测。
尽管上述的多模态特征融合方法已经取得了令人印象深刻的性能。然而，其分类准确率的进一步提高仍面临以下挑战：(1)多模态数据的判别性特征提取难；(2)地物之间的空间依赖关系捕获难，易在特征提取过程中不可避免地引入背景信息或异类地物信息。为了应对上述挑战，本文提出一种面向HSI和LiDAR联合分类的尺度自适应融合网络(Scale Adaptive Fusion Network, SAFN)，本文的贡献如下：
(1)将多模态、多尺度、多视角特征融合整合到一个统一的框架中，提出一种新特征级融合网络，解决多模态判别性特征难提取和空间信息难捕获的问题。
(2)设计一种动态多尺度图模块(Dynamic Multiscale Graph Module, DMGM)，根据地物特征动态调整图结构以捕获地物复杂的空间近邻结构，学习了地物间的空间依赖关系，提升模型对现实情景中地物状态的适应能力。
(3)提出一种空间近邻约束，利用空间近邻矩阵建模两模态的空间近邻结构，并通过约束同一空间近邻区域内的地物具有一致的特征表示，提升地物特征的类内一致性。
(4)设计一种多模态空-谱融合模块(Multimodal Spatial-spectral Fusion Module, MSFM)，通过捕获并聚合多模态、多尺度和多视角特征中可共享的类辨识信息，提升了融合特征的判别性。
2. 用于HSI分类的SAFN
2.1 SAFN框架
SAFN的训练流程如图1所示，主要分为以下几个步骤：
(1)维度统一：为确保模型训练时输入数据具有相同的维度，利用特征映射层对HSI和LiDAR数据进行维度统一处理。
(2)动态多尺度近邻图构建：考虑到现实中的地物通常呈现出不规则的多尺度空间结构，该阶段拟通过构建多尺度空间图[21]，实现对地物空间结构的准确捕获。具体而言，首先，利用1D卷积对HSI和LiDAR数据进行特征提取，将数据映射到可学习的特征空间。然后，利用层次聚类将HSI和LiDAR特征在空间维度上划分为不同细粒度的超像素区域。这些不同细粒度超像素区域是根据地物像素之间的相似度在不同空间尺度范围内划分得到的，因此可以反映地物的不规则的多尺度空间结构。最后，在每个细粒度层次上，将超像素视作图节点以构建多尺度近邻图。
(3)空间近邻学习：首先，利用图注意力网络[22]对HSI和LiDAR的多尺度近邻图进行节点特征聚合。在此过程中，图注意力机制被用于在聚合过程中捕获各节点间的可共享类辨识信息。之后，空间近邻约束通过约束两模态在同一空间近邻区域内的地物具有一致的特征表示，利用了LiDAR数据中地物精确的空间近邻结构信息帮助模型抑制HSI中潜在的噪声信息干扰，以获取纯净的多尺度空间特征。
(4)光谱特征学习：考虑到HSI具有图-谱合一[23]的特性，为进一步挖掘HSI丰富的光谱特征，本文构建了一个光谱支路。具体而言，首先，使用重采样策略统一HSI的各尺度近邻图的节点数量，以适配光谱Transformer的输入。然后，利用光谱Transformer[24]的自注意力机制捕获HSI中各光谱波段间的依赖关系，获得多尺度光谱特征。
(5)特征融合：首先，将上述阶段获得的多模态、多尺度、多视角特征视作图节点，构建多模态空谱图。之后，利用图神经网络的信息传递机制[25]捕获各图节点之间的可共享信息，实现多模态、多尺度、多视角特征融合，得到融合特征。
(6)地物分类：将融合特征输入分类器，预测各地物像素的类别。
2.2 DMGM
在HSI和LiDAR中，同时具有高度空间一致性和特征相似度的空间近邻像素大概率具有相同的类别标签。基于这一先验，本文设计了DMGM，动态捕获地物在多个细粒度的图结构，以提升模型对于地物尺度变化的适应能力。DMGM主要包括层次聚类、多尺度近邻图构建和节点特征聚合3个部分。
2.2.1 层次聚类
首先，利用特征映射层统一HSI和LiDAR的数据维度，并利用1D卷积提取各像素的辨识性特征，得到HSI和LiDAR的深度特征，第i维的深度特征可表示为
XHi=m∑j=1KHjMH(˜XHi)i+j−1+bLjXLi=m∑j=1KLjM(˜XLi)i+j−1+bLi} (1) 其中，˜XH和˜XL为原始HSI和LiDAR，K表示卷积核，b为偏置项，M(⋅)为由多层感知机(Multi-Layer Perceptron, MLP)组成的特征映射层，m为维度数量。
然后，基于层次聚类获得各像素在不同细粒度层次的聚类结果。具体而言，首先，将每个像素都视作一个超像素，并计算各个超像素之间的相似度矩阵。然后，将最相似的超像素合并，并更新相似度矩阵。最后，重复超像素合并直到其数量为1，得到层次聚类结果
SH={SH1,⋯,SHd,⋯,SHD}SL={SL1,⋯,SLd,⋯,SLD}} (2) 其中，D为层次聚类的层数，S1中的超像素数量和像素数量相同，SD中仅包含1个超像素，Sd和Sd−1中的超像素数量仅相差1。为获取具有代表性的层次聚类结果，选取4个细粒度超像素集合{Sd1,Sd2,Sd3,Sd4}进行近邻图构建，使得Sdi−1中的超像素数量是Sdi的4倍。
2.2.2 多尺度近邻图构建
首先，将HSI和LiDAR中包含了中心像素的超像素视作无向图G(V,E)，其中V表示节点集合，E表示边集合。通过计算中心像素vc和vj之间的余弦相似度，在特征空间找到中心像素的最近邻，并将它们添加到邻接矩阵A中
Ac,j=1, vj∈Neivc(k)Ac,j=0, 其他} (3) 其中，Neivc(k)表示中心节点vc的近邻集合。
然后，在各层次细粒度的超像素中重复该过程，得到HSI和LiDAR的多尺度近邻图集合
GH(V,E)={GHd1(Vd1,Ed1),GHd2(Vd2,Ed2),GHd3(Vd3,Ed3),GHd4(Vd4,Ed4)}GL(V,E)={GLd1(Vd1,Ed1),GLd2(Vd2,Ed2),GLd3(Vd3,Ed3),GLd4(Vd4,Ed4)}} (4) 2.2.3 节点特征聚合
首先，利用图注意力机制计算各节点的注意力分数。中心节点vc及其邻域节点vj之间的注意力分数可表示为
αcj=Softmax(ecj)=exp(LeakyReLU(ecj))∑k∈Nvcexp(LeakyReLU(eck)) (5) 其中，Nvc表示中心节点vc的邻域集合，ecj表示邻域节点和中心节点之间的相似系数，可表示为
ecj=CONCAT(Wmvc,Wmvj)a (6) 其中，Wm为映射矩阵，a为可学习的注意力矩阵。
其次，基于αqcj为各节点分配重要性权重，并利用信息传递机制聚合各节点特征
hj=σ(∑j∈NvcαqcjWavj) (7) 其中，Wa是节点聚合矩阵，σ是激活函数。
然后，利用多头注意力机制捕获丰富的上下文信息，进而实现节点特征聚合，节点聚合特征可表示为
⌢hc=σ(1QQ∑q=1∑j∈NvcαqijWqhj) (8) 其中，Q为注意力头的数量。
最后，在两模态的各空间尺度上分别进行节点特征聚合，得到多尺度聚合特征
HHc=[⌢hd1c,⌢hd2c,⌢hd3c,⌢hd4c]HLc=[˜hd1c,˜hd2c,˜hd3c,˜hd4c]} (9) 其中，⌢hdic,˜hdic分别表示HSI和LiDAR的节点聚合特征。
2.3 空间近邻约束
首先，通过计算HSI和LiDAR近邻图中各节点和中心像素之间的余弦相似度，得到空间近邻矩阵CH和CL，捕获HSI和LiDAR的空间近邻结构，空间近邻矩阵可表示为
Cc,j=(E∑e=1vec×vej)/√E∑e=1vec×√E∑e=1vej (10) 其中，E为节点特征维度。
然后，通过引入空间近邻约束Ls，最小化两模态空间近邻矩阵之间的KL(Kullback-Leibler)散度，以实现空间近邻分布的对齐
Ls=‖ (11) 其中， {{{\boldsymbol{C}}}^{\text{H}}} 和 {{{\boldsymbol{C}}}^{\text{L}}} 分别表示HSI和LiDAR的空间近邻矩阵。
2.4 基于光谱和空间双支路的多视角学习
首先，为保证输入数据的一致性，基于重采样策略统一各尺度近邻图的节点数量。然后，将近邻图视作一个光谱序列输入光谱Transformer中，并利用多头自注意力机制捕获光谱波段之间的上下文关联
\left. \begin{aligned} & {{\boldsymbol{f}}} = {\text{Ave}}\left( {{\text{CONCAT}}\left( {{\text{hea}}{{\text{d}}_1},{\text{hea}}{{\text{d}}_2},\cdots,{\text{hea}}{{\text{d}}_u}} \right){{{\boldsymbol{W}}}^{\text{O}}}} \right) \\ & {\text{hea}}{{\text{d}}_i} = {\text{Softmax}}\left( {\frac{{{{\boldsymbol{Q}}}{{{\boldsymbol{K}}}^{\text{T}}}}}{{\sqrt {{d_k}} }}} \right){{\boldsymbol{V}}} \end{aligned} \right\} (12) 其中，{\text{Ave}}\left( \cdot \right)为全局平均池化，{{{\boldsymbol{W}}}^{\text{O}}}为可学习的网络参数， {{\boldsymbol{Q}}},{\text{ }}{{\boldsymbol{K}}},{\text{ }}{{\boldsymbol{V}}} 分别表示查询向量、键向量和值向量，可通过对节点特征进行线性映射得到。
最后，得到多尺度光谱特征集合
{{{\boldsymbol{F}}}^{\text{H}}} = \left[ {{{{\boldsymbol{f}}}^{{d_1}}},{{{\boldsymbol{f}}}^{{d_2}}},{{{\boldsymbol{f}}}^{{d_3}}},{{{\boldsymbol{f}}}^{{d_4}}}} \right] (13) 其中，{{{\boldsymbol{f}}}^{{d_i}}}为 G_{{d_i}}^{\text{H}}\left( {{V_{{d_i}}},{E_{{d_i}}}} \right) 的光谱特征。
2.5 基于MSFM的特征融合
首先，设置虚拟节点 {{{\boldsymbol{v}}}_{\text{v}}} 并将其定义为中心节点， {{{\boldsymbol{v}}}_{\text{v}}} 通过计算多模态、多尺度、多视角特征的均值对它们进行初步整合
{{{\boldsymbol{v}}}_{\text{v}}} = \frac{1}{{3I}}\sum\limits_{i = 1}^I {{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{{\boldsymbol{h}}} }_{\text{c}}^{{d_i}}} + {\tilde {\boldsymbol{h}}}_{\text{c}}^{{d_i}} + {{{\boldsymbol{f}}}^{{d_i}}} (14) 其中，I为尺度数量。
其次，将多模态、多尺度、多视角特征都视作图节点且与中心节点相连，构建多模态空谱图{{{{G}}}_{\text{M}}}\left( {{V_{\text{M}}},{E_{\text{M}}}} \right)，其节点集合 {V_{\text{M}}} 和边集合 {E_{\text{M}}} 可表示为
\left. \begin{aligned} & {V_{\text{M}}} = \left\{ {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{f}}}^{{d_1}}},\cdots,{{{\boldsymbol{f}}}^{{d_I}}}{,\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{{\boldsymbol{h}}} }_{\text{c}}^{{d_1}},\cdots,{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{{\boldsymbol{h}}} }_{\text{c}}^{{d_I}}{,\tilde {\boldsymbol{h}}}_{\text{c}}^{{d_1}},\cdots,{\tilde {\boldsymbol{h}}}_{\text{c}}^{{d_I}}} \right\} \\ & {E_{\text{M}}} = \left\{\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{f}}}^{{d_1}}}} \right),\cdots,\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{f}}}^{{d_I}}}} \right){,}\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{{\boldsymbol{h}}} }_{\text{c}}^{{d_1}}} \right),\cdots,\right.\\ & \qquad\left. \left( {{{{\boldsymbol{v}}}_{\text{v}}}{,\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{{\boldsymbol{h}}} }_{\text{c}}^{{d_I}}} \right){,}\left( {{{\boldsymbol{{v}}}_{\text{v}}}{,\tilde {\boldsymbol{h}}}_{\text{c}}^{{d_1}}} \right),\cdots,\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,\tilde {\boldsymbol{h}}}_{\text{c}}^{{d_I}}} \right) \right\} \end{aligned} \right\} (15) 为表述方便，在后面的阐述中，将节点集合和边集合表示为 {V_{\text{M}}} = \left\{ {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{v}}}_1},\cdots ,{{{\boldsymbol{v}}}_i},\cdots ,{{{\boldsymbol{v}}}_{3I}}} \right\} , {E_{\text{M}}} = \left\{ {\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{v}}}_1}} \right),\cdots ,\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{v}}}_i}} \right),\cdots ,\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{v}}}_{3I}}} \right)} \right\} 。
然后，量化不同图节点的重要性。计算中心节点 {{{\boldsymbol{v}}}_{\text{v}}} 和各图节点 {{{\boldsymbol{v}}}_i} 之间的相似性分数 {\text{si}}{{\text{m}}_{{\boldsymbol{v}}i}}
\begin{split} & {\text{si}}{{\text{m}}_{{\boldsymbol{v}}i}} = \\ & \frac{{\exp ({\mathrm{LeakyReLU}}({\text{CONCAT}}\left( {{{{\boldsymbol{W}}}_{{\text{nm}}}}{{{\boldsymbol{v}}}_{\text{v}}},{{{\boldsymbol{W}}}_{{\text{nm}}}}{{{\boldsymbol{v}}}_i}} \right){{\boldsymbol{A}}}))}}{{\displaystyle\sum\limits_{{{{\boldsymbol{v}}}_i} \in {V_{\text{M}}}} {\exp ({\mathrm{LeakyReLU}} ({\text{CONCAT}} \left( {{{{\boldsymbol{W}}}_{{\text{nm}}}}{{{\boldsymbol{v}}}_{\text{v}}},{{{\boldsymbol{W}}}_{{\text{nm}}}}{{{\boldsymbol{v}}}_i}} \right) {{\boldsymbol{A}}}) )} }} \end{split} (16) 其中， {{{\boldsymbol{W}}}_{{\text{nm}}}} 为可学习的节点映射参数，{{\boldsymbol{A}}}为可学习的注意力矩阵。
接着，利用信息传递机制整合各图节点的可共享信息，并将其传递到中心节点以得到融合特征，实现多模态、多尺度、多视角特征融合。融合特征 {{\hat {\boldsymbol{v}}}_{\text{v}}} 可表示为
{{\hat {\boldsymbol{v}}}_{\text{v}}} = \sigma \left( {\sum\limits_{i = 1}^{3I} {{\text{si}}{{\text{m}}_{{\boldsymbol{v}}i}}{{{\boldsymbol{W}}}_{^{{\text{nf}}}}}{{{\boldsymbol{v}}}_i}} } \right) (17) 其中， {{{\boldsymbol{W}}}_{^{{\text{nf}}}}} 为可学习的节点融合参数。
最后，将融合特征输入分类器中得到类别概率得分，对地物类别进行预测。类别预测{\hat {\boldsymbol{y}}}可表示为
{\hat {\boldsymbol{y}}} = {\text{Softmax}}\left( {{{{\boldsymbol{W}}}^{{\text{cls}}}}{{{\hat {\boldsymbol{v}}}}_{\text{v}}}} \right) (18) 其中， {{{\boldsymbol{W}}}^{{\text{cls}}}} 为可学习的分类器参数。在本文中，分类器由多层感知机构成。
3. 实验结果与分析
3.1 HSI数据集
本节选择3个流行且被广泛使用的HSI和LiDAR数据集，用于评估所提算法的性能和有效性：
(1)Houston 2013数据集。该数据集在休斯顿大学校园和邻近地区采集，包括HSI和LiDAR图像，尺寸为349×1 905像素，空间分辨率为2.5 m，其中HSI包含144个光谱波段。数据集共有15 029个地物样本，涵盖15个地物类别。
(2)Trento数据集。该数据集拍摄于意大利特伦托南部农村地区，包含HSI和LiDAR数据，尺寸为166×600 像素，空间分辨率为1 m，其中HSI具有63个光谱波段。数据集共有30 214个地物样本，涵盖6个地物类别。
(3)MUFFL数据集。该数据集拍摄于南密西西比大学海湾公园校区，包含HSI和LiDAR图像，尺寸为325×220像素。HSI的空间分辨率为0.54 m×1.0 m，而LiDAR的空间分辨率是0.60 m×0.78 m。数据集共有53 687个地物样本，涵盖11个地物类别。
3.2 实验设置
为验证本文所提算法的有效性，本文在3组数据集上和多种方法进行了比较，包括卷积神经网络(Convolutional Neural Network, CNN)[26]、层次化随机行走网络(Hierarchical Random Walk Network, HRWN)[27]、深度编解码器网络(deep Encoder–decoder Network, EndNet)[28]、跨信道重建网络(Cross-Channel Reconstruction Network, CCR-Net)[29]、分数高波卷积网络(Factional Gabor Convolutional Network, FGCN)[30]和马尔可夫边解耦融合网络(Markov Edge Decoupled Fusion Network, MEDFN)[31]。实验环境为PyTorch框架，运行在一台配备了Intel i7-12700k CPU, RTX 2080ti GPU和64 GB内存的服务器上。
为保证实验的公平性，对于CNN，每类使用20个HSI样本进行训练，对于HRWN, EndNet, CCR-Net, FGCN和SAFN，每类使用20个HSI和LiDAR样本参与训练。使用Adam作为优化器，学习率设置为0.001，权重衰减设置为0.000 5，每批样本大小设定为100。在对比实验中，各对比算法的均遵循原文参数设置。为消除随机性对实验的影响，所有实验结果均为10次实验的平均值。实验选择了3个评价指标，包括总体精度(Overall Accuracy, OA)、平均精度(Average Accuracy, AA)、Kappa系数。
3.3 对比实验
表 1 Houston数据集分类精度(%)类别 CNN HRWN EndNet CCR-Net FGCN CNN-DF-S MEDFN SAFN Healthy grass 98.62 89.60 99.35 97.48 95.42 92.20 94.96 81.48 Stressed grass 94.41 97.08 99.51 86.14 92.11 99.35 83.47 97.25 Synthetic grass 94.39 99.85 99.85 97.49 98.92 98.23 97.49 99.71 Trees 98.20 92.08 90.28 99.10 96.39 98.20 96.49 97.30 Soil 99.02 99.51 97.71 99.67 99.74 99.76 98.53 97.71 Water 82.62 90.49 95.74 96.72 94.18 93.44 98.69 85.57 Residential 69.39 79.41 83.89 89.58 78.90 77.89 86.22 94.15 Commercial 67.40 79.49 51.63 69.85 80.74 75.49 83.99 89.30 Road 74.76 53.90 73.54 96.40 76.37 64.69 76.22 86.04 Highway 79.79 86.00 87.57 88.57 87.94 90.89 94.12 87.99 Railway 75.89 64.28 84.77 80.82 83.38 77.04 89.71 85.93 Parking lot 1 62.41 77.41 73.54 81.62 78.87 85.24 94.23 95.30 Parking lot 2 83.30 85.52 85.75 86.86 83.05 93.32 95.10 99.56 Tennis court 98.78 99.02 100 99.27 98.41 99.76 99.51 99.76 Running track 97.50 99.06 99.38 96.41 98.03 100 98.28 95.00 OA 83.75 84.22 86.30 87.79 88.32 87.98 91.11 92.17 AA 85.09 86.18 88.17 89.27 89.50 89.70 92.47 92.80 Kappa 82.45 82.93 86.21 86.71 87.36 87.00 90.39 91.54 表 2 Trento数据集分类精度(%)类别 CNN HRWN EndNet CCR-Net FGCN CNN-DF-S MEDFN SAFN Apple trees 95.04 96.01 95.37 96.11 97.09 98.96 97.78 99.53 Buildings 77.77 81.93 94.03 96.53 92.02 92.08 97.82 97.85 Ground 97.82 100 99.78 96.95 97.82 99.47 99.13 96.30 Woods 99.78 99.50 99.53 99.96 99.98 99.57 99.97 99.90 Vineyard 98.57 98.51 99.04 99.74 99.95 98.57 99.96 99.46 Roads 79.04 86.21 81.20 81.26 87.83 90.05 94.07 97.78 OA 94.41 95.62 96.35 97.03 97.51 97.44 98.84 99.22 AA 91.34 93.69 94.82 59.09 95.78 96.45 98.12 98.47 Kappa 92.56 94.16 95.15 96.04 96.68 96.57 98.45 98.96 表 3 MUUFL数据集分类精度(%)类别 CNN HRWN EndNet CCR-Net FGCN CNN-DF-S MEDFN SAFN Trees 81.82 81.85 80.01 83.16 82.39 83.63 80.94 82.63 Mostly grass 65.47 61.94 80.90 71.52 76.71 76.19 76.33 84.99 Mixed ground surface 55.96 59.40 57.51 58.18 67.20 50.25 71.31 70.72 Dirt and sand 78.78 79.90 79.62 86.54 87.22 72.81 90.77 86.93 Road 75.76 71.21 79.49 72.79 76.96 81.87 85.63 86.85 Water 98.32 98.08 92.55 98.56 97.84 96.86 91.83 98.21 Building shadow 82.50 87.36 84.52 78.24 77.74 79.49 82.68 92.23 Building 72.71 77.16 71.65 80.24 76.70 84.57 83.93 87.25 Sidewalk 45.62 63.52 61.65 67.34 64.49 59.41 77.90 73.33 Yellow curb 57.14 66.92 77.44 77.44 81.20 64.42 88.72 96.93 Cloth panels 98.17 96.35 95.43 99.09 99.54 90.76 99.54 93.57 OA 74.52 75.36 76.25 77.07 78.35 77.57 80.77 82.88 AA 73.81 76.70 78.43 79.37 80.73 76.39 84.51 86.70 Kappa 67.63 68.63 69.90 70.87 72.39 71.49 75.57 78.19 (1)相对于仅使用HSI的CNN，所有融合分类方法皆在分类精度上表现更好。这是因为多LiDAR能够为HSI提供信息补充，LiDAR提供了精确的高程信息，更好地反映了地物的空间近邻结构，从而增强了高光谱特征的类辨识能力。
(2)本文所提SAFN在多源遥感数据分类任务上展现出了最佳的分类性能。这是源于其两点优势：一方面，SAFN能根据输入地物特征动态捕获地物间复杂的空间近邻结构，挖掘不同尺度的空间上下文关联，提升样本特征的辨识性。另一方面，SAFN从光谱和空间的视角保留各模态特有属性的同时，能够充分利用两模态特征的互补性。
(3)从图2可看出，SAFN的t-分布随机邻近嵌入(t-distributed Stochastic Neighbor Embedding, t-SNE)图展现出了最好的效果。这是因为SAFN能够利用图注意力机制捕获多模态、多尺度、多视角特征间可共享的类辨识信息，降低异类地物信息对特征辨识性的误导。
3.4 消融实验
为验证SAFN中各组件的有效性，本文对各组件进行消融，并在3组数据集上进行了实验。在消融了动态多尺度图模块、空间近邻约束和多模态空-谱融合模块后，得到了SAFN-A, SAFN-B和SAFN-C。
3.4.1 定量对比分析
消融实验结果如表4所示，从中可看出：
表 4 不同组件对总体精度的影响(%)数据集 SAFN-A SAFN-B SAFN-C SAFN Houston 2013 87.89 89.23 90.35 92.17 Trento 96.73 97.54 98.48 99.22 MUUFL 78.13 80.15 81.76 82.88 (1) 相较于SAFN-A, SAFN-B在3组数据集上的分类精度分别提升了1.34%, 0.81%, 2.02%。这是因为：动态多尺度图模块能够根据输入捕获地物的不规则多尺度上下文信息，在充分利用HSI和LiDAR空间信息的同时，抑制异类近邻地物干扰，从而提升模型对地物类辨识信息的捕获能力。
(2) 相较于SAFN-B, SAFN-C在3组数据集上的分类精度分别提升了1.12%, 0.94%, 1.61%。这是因为：空间近邻约束能够充分利用LiDAR数据中地物精确的空间近邻结构信息，提升地物特征的类内一致性，有效缓解HSI中“同谱异物”现象对地物类辨识性造成的损害。
(3) 相较于SAFN-C, SAFN在3组数据集上的分类精度分别提升了1.82%, 0.74%, 1.12%。这是因为：多模态空-谱融合模块可在特征融合时通过捕获多模态、多尺度、多视角特征间可共享的类辨识信息，从而缓解特征融合过程中不同特征间的信息干扰，实现对多模态、多尺度、多视角信息的充分利用。
3.4.2 定性对比分析
为更直观地展示各组件的有效性，本文以Trento数据集为例，展示了SAFN-A, SAFN-B, SAFN-C, SAFN的t-SNE图，如图3所示，从中可看出：本文提出的每个组件都有助于提升模型的特征学习能力，且当所有组件都被使用时，模型学习到了具有最佳类内一致性和类间分离性的特征。
4. 结束语
本文提出的SAFN通过整合多模态、多尺度和多视角信息，提升了模型的判别性特征提取能力，有效解决了地物分类任务中单一模态信息的局限性以及现有多模态特征融合方法面临的关键挑战。SAFN具备以下优势：(1)可适应不规则空间分布的地物，通过捕获不同细粒度的多尺度上下文信息，提升特征辨识性；(2)可通过对齐HSI和LiDAR的空间近邻结构，提高模型对于地物分类的准确性和稳定性；(3)可基于输入地物特征动态调整多模态、多尺度和多视角信息的权重，具有对不同类型地物的广泛适应性。实验结果显示，SAFN在3组基准的多模态遥感图像分类数据集上取得了最先进的性能。在未来的工作中，将尝试调整模型的优化过程，以缓解模型学习过程中不同类别知识之间的潜在冲突，进而确保其可学习到能够适应所有类别的通用知识。
-
表 1 Houston数据集分类精度(%)
类别 CNN HRWN EndNet CCR-Net FGCN CNN-DF-S MEDFN SAFN Healthy grass 98.62 89.60 99.35 97.48 95.42 92.20 94.96 81.48 Stressed grass 94.41 97.08 99.51 86.14 92.11 99.35 83.47 97.25 Synthetic grass 94.39 99.85 99.85 97.49 98.92 98.23 97.49 99.71 Trees 98.20 92.08 90.28 99.10 96.39 98.20 96.49 97.30 Soil 99.02 99.51 97.71 99.67 99.74 99.76 98.53 97.71 Water 82.62 90.49 95.74 96.72 94.18 93.44 98.69 85.57 Residential 69.39 79.41 83.89 89.58 78.90 77.89 86.22 94.15 Commercial 67.40 79.49 51.63 69.85 80.74 75.49 83.99 89.30 Road 74.76 53.90 73.54 96.40 76.37 64.69 76.22 86.04 Highway 79.79 86.00 87.57 88.57 87.94 90.89 94.12 87.99 Railway 75.89 64.28 84.77 80.82 83.38 77.04 89.71 85.93 Parking lot 1 62.41 77.41 73.54 81.62 78.87 85.24 94.23 95.30 Parking lot 2 83.30 85.52 85.75 86.86 83.05 93.32 95.10 99.56 Tennis court 98.78 99.02 100 99.27 98.41 99.76 99.51 99.76 Running track 97.50 99.06 99.38 96.41 98.03 100 98.28 95.00 OA 83.75 84.22 86.30 87.79 88.32 87.98 91.11 92.17 AA 85.09 86.18 88.17 89.27 89.50 89.70 92.47 92.80 Kappa 82.45 82.93 86.21 86.71 87.36 87.00 90.39 91.54 
下载: 导出CSV
表 2 Trento数据集分类精度(%)
类别 CNN HRWN EndNet CCR-Net FGCN CNN-DF-S MEDFN SAFN Apple trees 95.04 96.01 95.37 96.11 97.09 98.96 97.78 99.53 Buildings 77.77 81.93 94.03 96.53 92.02 92.08 97.82 97.85 Ground 97.82 100 99.78 96.95 97.82 99.47 99.13 96.30 Woods 99.78 99.50 99.53 99.96 99.98 99.57 99.97 99.90 Vineyard 98.57 98.51 99.04 99.74 99.95 98.57 99.96 99.46 Roads 79.04 86.21 81.20 81.26 87.83 90.05 94.07 97.78 OA 94.41 95.62 96.35 97.03 97.51 97.44 98.84 99.22 AA 91.34 93.69 94.82 59.09 95.78 96.45 98.12 98.47 Kappa 92.56 94.16 95.15 96.04 96.68 96.57 98.45 98.96
下载: 导出CSV
表 3 MUUFL数据集分类精度(%)
类别 CNN HRWN EndNet CCR-Net FGCN CNN-DF-S MEDFN SAFN Trees 81.82 81.85 80.01 83.16 82.39 83.63 80.94 82.63 Mostly grass 65.47 61.94 80.90 71.52 76.71 76.19 76.33 84.99 Mixed ground surface 55.96 59.40 57.51 58.18 67.20 50.25 71.31 70.72 Dirt and sand 78.78 79.90 79.62 86.54 87.22 72.81 90.77 86.93 Road 75.76 71.21 79.49 72.79 76.96 81.87 85.63 86.85 Water 98.32 98.08 92.55 98.56 97.84 96.86 91.83 98.21 Building shadow 82.50 87.36 84.52 78.24 77.74 79.49 82.68 92.23 Building 72.71 77.16 71.65 80.24 76.70 84.57 83.93 87.25 Sidewalk 45.62 63.52 61.65 67.34 64.49 59.41 77.90 73.33 Yellow curb 57.14 66.92 77.44 77.44 81.20 64.42 88.72 96.93 Cloth panels 98.17 96.35 95.43 99.09 99.54 90.76 99.54 93.57 OA 74.52 75.36 76.25 77.07 78.35 77.57 80.77 82.88 AA 73.81 76.70 78.43 79.37 80.73 76.39 84.51 86.70 Kappa 67.63 68.63 69.90 70.87 72.39 71.49 75.57 78.19
下载: 导出CSV
表 4 不同组件对总体精度的影响(%)
数据集 SAFN-A SAFN-B SAFN-C SAFN Houston 2013 87.89 89.23 90.35 92.17 Trento 96.73 97.54 98.48 99.22 MUUFL 78.13 80.15 81.76 82.88
下载: 导出CSV
-
[1] WANG Leiquan, ZHU Tongchuan, KUMAR N, et al. Attentive-adaptive network for hyperspectral images classification with noisy labels[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5505514. doi: 10.1109/TGRS.2023.3254159. [2] HANG Renlong, LI Zhu, GHAMISI P, et al. Classification of hyperspectral and LiDAR data using coupled CNNs[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(7): 4939–4950. doi: 10.1109/TGRS.2020.2969024. [3] 王成龙, 赵倩, 赵琰, 等. 基于深度可分离卷积的实时遥感目标检测算法[J]. 电光与控制, 2022, 29(8): 45–49. doi: 10.3969/j.issn.1671-637X.2022.08.009.WANG Chenglong, ZHAO Qian, ZHAO Yan, et al. A real-time remote sensing target detection algorithm based on depth separable convolution[J]. Electronics Optics & Control, 2022, 29(8): 45–49. doi: 10.3969/j.issn.1671-637X.2022.08.009. [4] AHMAD M, KHAN A M, MAZZARA M, et al. Multi-layer extreme learning machine-based autoencoder for hyperspectral image classification[C]. The 14th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, Prague, Czech, 2019: 75–82. doi: 10.5220/0007258000750082. [5] CUI Ying, SHAO Chao, LUO Li, et al. Center weighted convolution and GraphSAGE cooperative network for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5508216. doi: 10.1109/TGRS.2023.3264653. [6] LI Mingsong, LI Wei, LIU Yikun, et al. Adaptive mask sampling and manifold to Euclidean subspace learning with distance covariance representation for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5508518. doi: 10.1109/TGRS.2023.3265388. [7] OU Xianfeng, WU Meng, TU Bing, et al. Multi-objective unsupervised band selection method for hyperspectral images classification[J]. IEEE Transactions on Image Processing, 2023, 32: 1952–1965. doi: 10.1109/TIP.2023.3258739. [8] XUE Zhixiang, TAN Xiong, YU Xuchu, et al. Deep hierarchical vision transformer for hyperspectral and LiDAR data classification[J]. IEEE Transactions on Image Processing, 2022, 31: 3095–3110. doi: 10.1109/TIP.2022.3162964. [9] 赵伍迪, 李山山, 李安, 等. 结合深度学习的高光谱与多源遥感数据融合分类[J]. 遥感学报, 2021, 25(7): 1489–1502. doi: 10.11834/jrs.20219117.ZHAO Wudi, LI Shanshan, LI An, et al. Deep fusion of hyperspectral images and multi-source remote sensing data for classification with convolutional neural network[J]. National Remote Sensing Bulletin, 2021, 25(7): 1489–1502. doi: 10.11834/jrs.20219117. [10] ZHAO Xudong, ZHANG Mengmeng, TAO Ran, et al. Fractional Fourier image transformer for multimodal remote sensing data classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35(2): 2314–2326. doi: 10.1109/TNNLS.2022.3189994. [11] ROY S K, DERIA A, HONG Danfeng, et al. Hyperspectral and LiDAR data classification using joint CNNs and morphological feature learning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5530416. doi: 10.1109/TGRS.2022.3177633. [12] 孙强, 陈远. 多层次时空特征自适应集成与特有-共享特征融合的双模态情感识别[J]. 电子与信息学报, 2024, 46(2): 574–587. doi: 10.11999/JEIT231110.SUN Qiang and CHEN Yuan. Bimodal emotion recognition with adaptive integration of multi-level spatial-temporal features and specific-shared feature fusion[J]. Journal of Electronics & Information Technology. 2024, 46(2): 574–587. doi: 10.11999/JEIT231110. [13] 雷大江, 杜加浩, 张莉萍, 等. 联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法[J]. 电子与信息学报, 2022, 44(1): 237–244. doi: 10.11999/JEIT200792.LEI Dajiang, DU Jiahao, ZHANG Liping, et al. Multi-stream architecture and multi-scale convolutional neural network for remote sensing image fusion[J]. Journal of Electronics & Information Technology, 2022, 44(1): 237–244. doi: 10.11999/JEIT200792. [14] JIA Sen, ZHAN Zhangwei, ZHANG Meng, et al. Multiple feature-based superpixel-level decision fusion for hyperspectral and LiDAR data classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(2): 1437–1452. doi: 10.1109/TGRS.2020.2996599. [15] ZHAO Guangrui, YE Qiaolin, SUN Le, et al. Joint classification of hyperspectral and LiDAR data using a hierarchical CNN and transformer[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 5500716. doi: 10.1109/TGRS.2022.3232498. [16] LI Hengchao, HU Wenshuai, LI Wei, et al. A3 CLNN: Spatial, spectral and multiscale attention ConvLSTM neural network for multisource remote sensing data classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(2): 747–761. doi: 10.1109/TNNLS.2020.3028945. [17] ZHANG Mengmeng, LI Wei, ZHANG Yuxiang, et al. Hyperspectral and LiDAR data classification based on structural optimization transmission[J]. IEEE Transactions on Cybernetics, 2023, 53(5): 3153–3164. doi: 10.1109/TCYB.2022.3169773. [18] LI Jiaojiao, MA Yinle, SONG Rui, et al. A triplet semisupervised deep network for fusion classification of hyperspectral and LiDAR data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5540513. doi: 10.1109/TGRS.2022.3213513. [19] DONG Wenqian, ZHANG Tian, QU Jiahui, et al. Multibranch feature fusion network with self- and cross-guided attention for hyperspectral and LiDAR classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5530612. doi: 10.1109/TGRS.2022.3179737. [20] 马梁, 苟于涛, 雷涛, 等. 基于多尺度特征融合的遥感图像小目标检测[J]. 光电工程, 2022, 49(4): 210363. doi: 10.12086/oee.2022.210363.MA Liang, GOU Yutao, LEI Tao, et al. Small object detection based on multi-scale feature fusion using remote sensing images[J]. Opto-Electronic Engineering, 2022, 49(4): 210363. doi: 10.12086/oee.2022.210363. [21] ZHANG Zhongqiang, LIU Danhua, GAO Dahua, et al. A novel spectral-spatial multi-scale network for hyperspectral image classification with the Res2Net block[J]. International Journal of Remote Sensing, 2022, 43(3): 751–777. doi: 10.1080/01431161.2021.2005840. [22] XU Kejie, ZHAO Yue, ZHANG Lingming, et al. Spectral–spatial residual graph attention network for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 5509305. doi: 10.1109/LGRS.2021.3111985. [23] TAN Xiong and XUE Zhixiang. Spectral-spatial multi-layer perceptron network for hyperspectral image land cover classification[J]. European Journal of Remote Sensing, 2022, 55(1): 409–419. doi: 10.1080/22797254.2022.2087540. [24] HONG Danfeng, HAN Zhu, YAO Jing, et al. SpectralFormer: Rethinking hyperspectral Image classification with transformers[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5518615. doi: 10.1109/TGRS.2021.3130716. [25] HAMILTON W L, YING R, and LESKOVEC J. Inductive representation learning on large graphs[C]. The 31st International Conference on Neural Information Processing Systems, Long Beach, USA, 2017: 1025–1035. [26] YU Haoyang, ZHANG Hao, LIU Yao, et al. Dual-channel convolution network with image-based global learning framework for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 6005705. doi: 10.1109/LGRS.2021.3139358. [27] ZHAO Xudong, TAO Ran, LI Wei, et al. Joint classification of hyperspectral and LiDAR data using hierarchical random walk and deep CNN architecture[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(10): 7355–7370. doi: 10.1109/TGRS.2020.2982064. [28] HONG Danfeng, GAO Lianru, HANG Renlong, et al. Deep encoder–decoder networks for classification of hyperspectral and LiDAR data[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 5500205. doi: 10.1109/LGRS.2020.3017414. [29] WU Xin, HONG Danfeng, and CHANUSSOT J. Convolutional neural networks for multimodal remote sensing data classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5517010. doi: 10.1109/TGRS.2021.3124913. [30] ZHAO Xudong, TAO Ran, LI Wei, et al. Fractional Gabor convolutional network for multisource remote sensing data classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5503818. doi: 10.1109/TGRS.2021.3065507. [31] WANG Haoyu, CHENG Yuhu, LIU Xiaomin, et al. Reinforcement learning based Markov edge decoupled fusion network for fusion classification of hyperspectral and LiDAR[J]. IEEE Transactions on Multimedia, 2024, 26: 7174–7187. doi: 10.1109/TMM.2024.3360717. -
计量
- 文章访问数: 352
- HTML全文浏览量: 298
- PDF下载量: 59
- 被引次数: 0
下载:
