1.   引言

高光谱图像(HyperSpectral Image, HSI)^[1]、激光雷达(Light Detection And Ranging, LiDAR)^[2]和高分辨率遥感图像(High-resolution Remote Sensing Image, HRSI)^[3]等各种遥感信息的合理应用受到了研究者的广泛关注。HSI拥有较高的光谱分辨率，能够帮助分辨光谱波段不同的像素的所属类别^[4]。利用HSI进行地物分类在军事侦察、农业灌溉、灾害预防等^[5–7]领域中展示出了巨大的应用潜力。然而此类方法在面对拍摄于复杂地形和城市环境的地物分类任务时，往往难以获得高精度。以上现象是因为HSI不具有高程信息，无法帮助模型区分光谱相似但海拔高度不同(如混凝土屋顶和道路等)的地物^[8]，而提供地物高程信息的LiDAR能够帮助解决以上问题。多模态融合方法可通过将HSI和LiDAR数据相融合，为多源遥感数据分类提供光谱判别信息和关键空间近邻信息^[9]。

目前的多模态数据融合方法主要分为像素级融合^[10]、决策级融合^[11]和特征级融合^[12]3类。像素级融合旨在将HSI与LiDAR像素组合在一起，生成包含两种数据特性的新图像。雷大江等人^[13]提出一种联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法，将梯度信息和通过卷积后的全色图像与光谱特征图在通道上拼接输入到具有多流融合架构的金字塔模块进行图像重构，获得了高质量融合图像。然而，由于像素细节是从多种数据源中获取的，多模态融合过程容易受到各种噪声的干扰从而导致模型分类精度下降。

决策级融合通过对多源数据的分类结果进行加权组合或投票得到最终的分类决策。Jia等人^[14]提出一种基于多特征的超像素级决策融合方法，利用不同方法分别生成两个超像素图并进行正则化，再采用加权多数投票的决策融合策略合理利用两模态信息。

特征级融合方法旨将HSI和LiDAR数据映射到特征空间中，然后进行特征级的多模态数据融合。此类方法能够利用多模态数据的互补性的同时，减少原始数据中的冗余信息，为地物分类任务提供具有类别辨识性的融合特征^[15]。多尺度特征融合^[16]和多视角技术^[17]在特征级融合方法中较流行。多尺度特征融合能够捕获从粗糙到精细的多层次空间结构和上下文信息，完成对不同尺度地物的精确描述，从而提升模型的地物分类性能。Li等人^[18]采用3种不同网络分别提取HSI的光谱特征、空间特征和LiDAR特征，通过比较不同视角的分类结果，生成具有高置信度的伪标签以辅助地物分类。Dong等人^[19]充分利用HSI和LiDAR不同视角的层次化特征，并综合多视角信息以有效地提升模型的地物分类性能。马梁等人^[20]提出了基于多尺度融合的遥感图像小目标检测方法和新遥感飞机小目标数据集。针对常用特征提取网络庞大参数量和基于自然图像的预训练模型难以直接应用于遥感数据处理任务的难题，根据具体任务情景设计轻量化特征提取器、自适应加权融合模块，实现了基于遥感数据的精准小目标检测。

尽管上述的多模态特征融合方法已经取得了令人印象深刻的性能。然而，其分类准确率的进一步提高仍面临以下挑战：(1)多模态数据的判别性特征提取难；(2)地物之间的空间依赖关系捕获难，易在特征提取过程中不可避免地引入背景信息或异类地物信息。为了应对上述挑战，本文提出一种面向HSI和LiDAR联合分类的尺度自适应融合网络(Scale Adaptive Fusion Network, SAFN)，本文的贡献如下：

(1)将多模态、多尺度、多视角特征融合整合到一个统一的框架中，提出一种新特征级融合网络，解决多模态判别性特征难提取和空间信息难捕获的问题。

(2)设计一种动态多尺度图模块(Dynamic Multiscale Graph Module, DMGM)，根据地物特征动态调整图结构以捕获地物复杂的空间近邻结构，学习了地物间的空间依赖关系，提升模型对现实情景中地物状态的适应能力。

(3)提出一种空间近邻约束，利用空间近邻矩阵建模两模态的空间近邻结构，并通过约束同一空间近邻区域内的地物具有一致的特征表示，提升地物特征的类内一致性。

(4)设计一种多模态空-谱融合模块(Multimodal Spatial-spectral Fusion Module, MSFM)，通过捕获并聚合多模态、多尺度和多视角特征中可共享的类辨识信息，提升了融合特征的判别性。

2.   用于HSI分类的SAFN

2.1   SAFN框架

SAFN的训练流程如图1所示，主要分为以下几个步骤：

图 1  SAFN流程图

下载: 全尺寸图片 幻灯片

(1)维度统一：为确保模型训练时输入数据具有相同的维度，利用特征映射层对HSI和LiDAR数据进行维度统一处理。

(2)动态多尺度近邻图构建：考虑到现实中的地物通常呈现出不规则的多尺度空间结构，该阶段拟通过构建多尺度空间图^[21]，实现对地物空间结构的准确捕获。具体而言，首先，利用1D卷积对HSI和LiDAR数据进行特征提取，将数据映射到可学习的特征空间。然后，利用层次聚类将HSI和LiDAR特征在空间维度上划分为不同细粒度的超像素区域。这些不同细粒度超像素区域是根据地物像素之间的相似度在不同空间尺度范围内划分得到的，因此可以反映地物的不规则的多尺度空间结构。最后，在每个细粒度层次上，将超像素视作图节点以构建多尺度近邻图。

(3)空间近邻学习：首先，利用图注意力网络^[22]对HSI和LiDAR的多尺度近邻图进行节点特征聚合。在此过程中，图注意力机制被用于在聚合过程中捕获各节点间的可共享类辨识信息。之后，空间近邻约束通过约束两模态在同一空间近邻区域内的地物具有一致的特征表示，利用了LiDAR数据中地物精确的空间近邻结构信息帮助模型抑制HSI中潜在的噪声信息干扰，以获取纯净的多尺度空间特征。

(4)光谱特征学习：考虑到HSI具有图-谱合一^[23]的特性，为进一步挖掘HSI丰富的光谱特征，本文构建了一个光谱支路。具体而言，首先，使用重采样策略统一HSI的各尺度近邻图的节点数量，以适配光谱Transformer的输入。然后，利用光谱Transformer^[24]的自注意力机制捕获HSI中各光谱波段间的依赖关系，获得多尺度光谱特征。

(5)特征融合：首先，将上述阶段获得的多模态、多尺度、多视角特征视作图节点，构建多模态空谱图。之后，利用图神经网络的信息传递机制^[25]捕获各图节点之间的可共享信息，实现多模态、多尺度、多视角特征融合，得到融合特征。

(6)地物分类：将融合特征输入分类器，预测各地物像素的类别。

2.2   DMGM

在HSI和LiDAR中，同时具有高度空间一致性和特征相似度的空间近邻像素大概率具有相同的类别标签。基于这一先验，本文设计了DMGM，动态捕获地物在多个细粒度的图结构，以提升模型对于地物尺度变化的适应能力。DMGM主要包括层次聚类、多尺度近邻图构建和节点特征聚合3个部分。

2.2.1   层次聚类

首先，利用特征映射层统一HSI和LiDAR的数据维度，并利用1D卷积提取各像素的辨识性特征，得到HSI和LiDAR的深度特征，第$i$维的深度特征可表示为

其中，${{\tilde {\boldsymbol{X}}}^{\text{H}}}$和${{\tilde {\boldsymbol{X}}}^{\text{L}}}$为原始HSI和LiDAR，${{\boldsymbol{K}}}$表示卷积核，${{\boldsymbol{b}}}$为偏置项，${\boldsymbol{M}}\left( \cdot \right)$为由多层感知机(Multi-Layer Perceptron, MLP)组成的特征映射层，$m$为维度数量。

然后，基于层次聚类获得各像素在不同细粒度层次的聚类结果。具体而言，首先，将每个像素都视作一个超像素，并计算各个超像素之间的相似度矩阵。然后，将最相似的超像素合并，并更新相似度矩阵。最后，重复超像素合并直到其数量为1，得到层次聚类结果

其中，$D$为层次聚类的层数，${S_1}$中的超像素数量和像素数量相同，${S_D}$中仅包含1个超像素，${S_d}$和${S_{d{{ - 1}}}}$中的超像素数量仅相差1。为获取具有代表性的层次聚类结果，选取4个细粒度超像素集合$\left\{ {{S_{{d_1}}},{S_{{d_2}}},{S_{{d_3}}},{S_{{d_4}}}} \right\}$进行近邻图构建，使得${S_{{d_{i - 1}}}}$中的超像素数量是${S_{{d_i}}}$的4倍。

2.2.2   多尺度近邻图构建

首先，将HSI和LiDAR中包含了中心像素的超像素视作无向图$G\left( {V,E} \right)$，其中$V$表示节点集合，$E$表示边集合。通过计算中心像素${{{\boldsymbol{v}}}_{\text{c}}}$和${{{\boldsymbol{v}}}_j}$之间的余弦相似度，在特征空间找到中心像素的最近邻，并将它们添加到邻接矩阵${{\boldsymbol{A}}}$中

其中，${\text{Ne}}{{\text{i}}_{{{{\boldsymbol{v}}}_{\text{c}}}}}\left( k \right)$表示中心节点${{{\boldsymbol{v}}}_{\text{c}}}$的近邻集合。

然后，在各层次细粒度的超像素中重复该过程，得到HSI和LiDAR的多尺度近邻图集合

2.2.3   节点特征聚合

首先，利用图注意力机制计算各节点的注意力分数。中心节点${{{\boldsymbol{v}}}_{\text{c}}}$及其邻域节点${{{\boldsymbol{v}}}_j}$之间的注意力分数可表示为

其中，${\mathcal{N}_{{{{\boldsymbol{v}}}_{\text{c}}}}}$表示中心节点${{{\boldsymbol{v}}}_{\text{c}}}$的邻域集合，${{{\boldsymbol{e}}}_{{\text{c}}j}}$表示邻域节点和中心节点之间的相似系数，可表示为

其中，${{{\boldsymbol{W}}}_{\text{m}}}$为映射矩阵，${{\boldsymbol{a}}}$为可学习的注意力矩阵。

其次，基于${{\boldsymbol{\alpha}} }_{{\text{c}}j}^{{q}}$为各节点分配重要性权重，并利用信息传递机制聚合各节点特征

其中，${{{\boldsymbol{W}}}^{\text{a}}}$是节点聚合矩阵，$\sigma$是激活函数。

然后，利用多头注意力机制捕获丰富的上下文信息，进而实现节点特征聚合，节点聚合特征可表示为

其中，$Q$为注意力头的数量。

最后，在两模态的各空间尺度上分别进行节点特征聚合，得到多尺度聚合特征

其中，${\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\frown}$}}{{\boldsymbol{h}}} }_{\text{c}}^{{d_i}},\;{\tilde {\boldsymbol{h}}}_{\text{c}}^{{d_i}}$分别表示HSI和LiDAR的节点聚合特征。

2.3   空间近邻约束

首先，通过计算HSI和LiDAR近邻图中各节点和中心像素之间的余弦相似度，得到空间近邻矩阵${{{\boldsymbol{C}}}^{\text{H}}}$和${{{\boldsymbol{C}}}^{\text{L}}}$，捕获HSI和LiDAR的空间近邻结构，空间近邻矩阵可表示为

其中，$E$为节点特征维度。

然后，通过引入空间近邻约束${L_{\text{s}}}$，最小化两模态空间近邻矩阵之间的KL(Kullback-Leibler)散度，以实现空间近邻分布的对齐

其中，${{{\boldsymbol{C}}}^{\text{H}}}$和${{{\boldsymbol{C}}}^{\text{L}}}$分别表示HSI和LiDAR的空间近邻矩阵。

2.4   基于光谱和空间双支路的多视角学习

首先，为保证输入数据的一致性，基于重采样策略统一各尺度近邻图的节点数量。然后，将近邻图视作一个光谱序列输入光谱Transformer中，并利用多头自注意力机制捕获光谱波段之间的上下文关联

其中，${\text{Ave}}\left( \cdot \right)$为全局平均池化，${{{\boldsymbol{W}}}^{\text{O}}}$为可学习的网络参数，${{\boldsymbol{Q}}},{\text{ }}{{\boldsymbol{K}}},{\text{ }}{{\boldsymbol{V}}}$分别表示查询向量、键向量和值向量，可通过对节点特征进行线性映射得到。

最后，得到多尺度光谱特征集合

其中，${{{\boldsymbol{f}}}^{{d_i}}}$为$G_{{d_i}}^{\text{H}}\left( {{V_{{d_i}}},{E_{{d_i}}}} \right)$的光谱特征。

2.5   基于MSFM的特征融合

首先，设置虚拟节点${{{\boldsymbol{v}}}_{\text{v}}}$并将其定义为中心节点，${{{\boldsymbol{v}}}_{\text{v}}}$通过计算多模态、多尺度、多视角特征的均值对它们进行初步整合

其中，$I$为尺度数量。

其次，将多模态、多尺度、多视角特征都视作图节点且与中心节点相连，构建多模态空谱图${{{{G}}}_{\text{M}}}\left( {{V_{\text{M}}},{E_{\text{M}}}} \right)$，其节点集合${V_{\text{M}}}$和边集合${E_{\text{M}}}$可表示为

为表述方便，在后面的阐述中，将节点集合和边集合表示为${V_{\text{M}}} = \left\{ {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{v}}}_1},\cdots ,{{{\boldsymbol{v}}}_i},\cdots ,{{{\boldsymbol{v}}}_{3I}}} \right\}$, ${E_{\text{M}}} = \left\{ {\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{v}}}_1}} \right),\cdots ,\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{v}}}_i}} \right),\cdots ,\left( {{{{\boldsymbol{v}}}_{\text{v}}}{,}{{{\boldsymbol{v}}}_{3I}}} \right)} \right\}$。

然后，量化不同图节点的重要性。计算中心节点${{{\boldsymbol{v}}}_{\text{v}}}$和各图节点${{{\boldsymbol{v}}}_i}$之间的相似性分数${\text{si}}{{\text{m}}_{{\boldsymbol{v}}i}}$

其中，${{{\boldsymbol{W}}}_{{\text{nm}}}}$为可学习的节点映射参数，${{\boldsymbol{A}}}$为可学习的注意力矩阵。

接着，利用信息传递机制整合各图节点的可共享信息，并将其传递到中心节点以得到融合特征，实现多模态、多尺度、多视角特征融合。融合特征${{\hat {\boldsymbol{v}}}_{\text{v}}}$可表示为

其中，${{{\boldsymbol{W}}}_{^{{\text{nf}}}}}$为可学习的节点融合参数。

最后，将融合特征输入分类器中得到类别概率得分，对地物类别进行预测。类别预测${\hat {\boldsymbol{y}}}$可表示为

其中，${{{\boldsymbol{W}}}^{{\text{cls}}}}$为可学习的分类器参数。在本文中，分类器由多层感知机构成。

3.   实验结果与分析

3.1   HSI数据集

本节选择3个流行且被广泛使用的HSI和LiDAR数据集，用于评估所提算法的性能和有效性：

(1)Houston 2013数据集。该数据集在休斯顿大学校园和邻近地区采集，包括HSI和LiDAR图像，尺寸为349×1 905像素，空间分辨率为2.5 m，其中HSI包含144个光谱波段。数据集共有15 029个地物样本，涵盖15个地物类别。

(2)Trento数据集。该数据集拍摄于意大利特伦托南部农村地区，包含HSI和LiDAR数据，尺寸为166×600 像素，空间分辨率为1 m，其中HSI具有63个光谱波段。数据集共有30 214个地物样本，涵盖6个地物类别。

(3)MUFFL数据集。该数据集拍摄于南密西西比大学海湾公园校区，包含HSI和LiDAR图像，尺寸为325×220像素。HSI的空间分辨率为0.54 m×1.0 m，而LiDAR的空间分辨率是0.60 m×0.78 m。数据集共有53 687个地物样本，涵盖11个地物类别。

3.2   实验设置

为验证本文所提算法的有效性，本文在3组数据集上和多种方法进行了比较，包括卷积神经网络(Convolutional Neural Network, CNN)^[26]、层次化随机行走网络(Hierarchical Random Walk Network, HRWN)^[27]、深度编解码器网络(deep Encoder–decoder Network, EndNet)^[28]、跨信道重建网络(Cross-Channel Reconstruction Network, CCR-Net)^[29]、分数高波卷积网络(Factional Gabor Convolutional Network, FGCN)^[30]和马尔可夫边解耦融合网络(Markov Edge Decoupled Fusion Network, MEDFN)^[31]。实验环境为PyTorch框架，运行在一台配备了Intel i7-12700k CPU, RTX 2080ti GPU和64 GB内存的服务器上。

为保证实验的公平性，对于CNN，每类使用20个HSI样本进行训练，对于HRWN, EndNet, CCR-Net, FGCN和SAFN，每类使用20个HSI和LiDAR样本参与训练。使用Adam作为优化器，学习率设置为0.001，权重衰减设置为0.000 5，每批样本大小设定为100。在对比实验中，各对比算法的均遵循原文参数设置。为消除随机性对实验的影响，所有实验结果均为10次实验的平均值。实验选择了3个评价指标，包括总体精度(Overall Accuracy, OA)、平均精度(Average Accuracy, AA)、Kappa系数。

3.3   对比实验

从表1-表3和图2可得：

表 1  Houston数据集分类精度(%)

类别	CNN	HRWN	EndNet	CCR-Net	FGCN	CNN-DF-S	MEDFN	SAFN
Healthy grass	98.62	89.60	99.35	97.48	95.42	92.20	94.96	81.48
Stressed grass	94.41	97.08	99.51	86.14	92.11	99.35	83.47	97.25
Synthetic grass	94.39	99.85	99.85	97.49	98.92	98.23	97.49	99.71
Trees	98.20	92.08	90.28	99.10	96.39	98.20	96.49	97.30
Soil	99.02	99.51	97.71	99.67	99.74	99.76	98.53	97.71
Water	82.62	90.49	95.74	96.72	94.18	93.44	98.69	85.57
Residential	69.39	79.41	83.89	89.58	78.90	77.89	86.22	94.15
Commercial	67.40	79.49	51.63	69.85	80.74	75.49	83.99	89.30
Road	74.76	53.90	73.54	96.40	76.37	64.69	76.22	86.04
Highway	79.79	86.00	87.57	88.57	87.94	90.89	94.12	87.99
Railway	75.89	64.28	84.77	80.82	83.38	77.04	89.71	85.93
Parking lot 1	62.41	77.41	73.54	81.62	78.87	85.24	94.23	95.30
Parking lot 2	83.30	85.52	85.75	86.86	83.05	93.32	95.10	99.56
Tennis court	98.78	99.02	100	99.27	98.41	99.76	99.51	99.76
Running track	97.50	99.06	99.38	96.41	98.03	100	98.28	95.00
OA	83.75	84.22	86.30	87.79	88.32	87.98	91.11	92.17
AA	85.09	86.18	88.17	89.27	89.50	89.70	92.47	92.80
Kappa	82.45	82.93	86.21	86.71	87.36	87.00	90.39	91.54

下载: 导出CSV 

| 显示表格

表 2  Trento数据集分类精度(%)

类别	CNN	HRWN	EndNet	CCR-Net	FGCN	CNN-DF-S	MEDFN	SAFN
Apple trees	95.04	96.01	95.37	96.11	97.09	98.96	97.78	99.53
Buildings	77.77	81.93	94.03	96.53	92.02	92.08	97.82	97.85
Ground	97.82	100	99.78	96.95	97.82	99.47	99.13	96.30
Woods	99.78	99.50	99.53	99.96	99.98	99.57	99.97	99.90
Vineyard	98.57	98.51	99.04	99.74	99.95	98.57	99.96	99.46
Roads	79.04	86.21	81.20	81.26	87.83	90.05	94.07	97.78
OA	94.41	95.62	96.35	97.03	97.51	97.44	98.84	99.22
AA	91.34	93.69	94.82	59.09	95.78	96.45	98.12	98.47
Kappa	92.56	94.16	95.15	96.04	96.68	96.57	98.45	98.96

下载: 导出CSV 

| 显示表格

表 3  MUUFL数据集分类精度(%)

类别	CNN	HRWN	EndNet	CCR-Net	FGCN	CNN-DF-S	MEDFN	SAFN
Trees	81.82	81.85	80.01	83.16	82.39	83.63	80.94	82.63
Mostly grass	65.47	61.94	80.90	71.52	76.71	76.19	76.33	84.99
Mixed ground surface	55.96	59.40	57.51	58.18	67.20	50.25	71.31	70.72
Dirt and sand	78.78	79.90	79.62	86.54	87.22	72.81	90.77	86.93
Road	75.76	71.21	79.49	72.79	76.96	81.87	85.63	86.85
Water	98.32	98.08	92.55	98.56	97.84	96.86	91.83	98.21
Building shadow	82.50	87.36	84.52	78.24	77.74	79.49	82.68	92.23
Building	72.71	77.16	71.65	80.24	76.70	84.57	83.93	87.25
Sidewalk	45.62	63.52	61.65	67.34	64.49	59.41	77.90	73.33
Yellow curb	57.14	66.92	77.44	77.44	81.20	64.42	88.72	96.93
Cloth panels	98.17	96.35	95.43	99.09	99.54	90.76	99.54	93.57
OA	74.52	75.36	76.25	77.07	78.35	77.57	80.77	82.88
AA	73.81	76.70	78.43	79.37	80.73	76.39	84.51	86.70
Kappa	67.63	68.63	69.90	70.87	72.39	71.49	75.57	78.19

下载: 导出CSV 

| 显示表格

图 2  使用不同算法获得的Trento数据的t-SNE图

下载: 全尺寸图片 幻灯片

(1)相对于仅使用HSI的CNN，所有融合分类方法皆在分类精度上表现更好。这是因为多LiDAR能够为HSI提供信息补充，LiDAR提供了精确的高程信息，更好地反映了地物的空间近邻结构，从而增强了高光谱特征的类辨识能力。

(2)本文所提SAFN在多源遥感数据分类任务上展现出了最佳的分类性能。这是源于其两点优势：一方面，SAFN能根据输入地物特征动态捕获地物间复杂的空间近邻结构，挖掘不同尺度的空间上下文关联，提升样本特征的辨识性。另一方面，SAFN从光谱和空间的视角保留各模态特有属性的同时，能够充分利用两模态特征的互补性。

(3)从图2可看出，SAFN的t-分布随机邻近嵌入(t-distributed Stochastic Neighbor Embedding, t-SNE)图展现出了最好的效果。这是因为SAFN能够利用图注意力机制捕获多模态、多尺度、多视角特征间可共享的类辨识信息，降低异类地物信息对特征辨识性的误导。

3.4   消融实验

为验证SAFN中各组件的有效性，本文对各组件进行消融，并在3组数据集上进行了实验。在消融了动态多尺度图模块、空间近邻约束和多模态空-谱融合模块后，得到了SAFN-A, SAFN-B和SAFN-C。

3.4.1   定量对比分析

消融实验结果如表4所示，从中可看出：

表 4  不同组件对总体精度的影响(%)

数据集	SAFN-A	SAFN-B	SAFN-C	SAFN
Houston 2013	87.89	89.23	90.35	92.17
Trento	96.73	97.54	98.48	99.22
MUUFL	78.13	80.15	81.76	82.88

下载: 导出CSV 

| 显示表格

(1) 相较于SAFN-A, SAFN-B在3组数据集上的分类精度分别提升了1.34%, 0.81%, 2.02%。这是因为：动态多尺度图模块能够根据输入捕获地物的不规则多尺度上下文信息，在充分利用HSI和LiDAR空间信息的同时，抑制异类近邻地物干扰，从而提升模型对地物类辨识信息的捕获能力。

(2) 相较于SAFN-B, SAFN-C在3组数据集上的分类精度分别提升了1.12%, 0.94%, 1.61%。这是因为：空间近邻约束能够充分利用LiDAR数据中地物精确的空间近邻结构信息，提升地物特征的类内一致性，有效缓解HSI中“同谱异物”现象对地物类辨识性造成的损害。

(3) 相较于SAFN-C, SAFN在3组数据集上的分类精度分别提升了1.82%, 0.74%, 1.12%。这是因为：多模态空-谱融合模块可在特征融合时通过捕获多模态、多尺度、多视角特征间可共享的类辨识信息，从而缓解特征融合过程中不同特征间的信息干扰，实现对多模态、多尺度、多视角信息的充分利用。

3.4.2   定性对比分析

为更直观地展示各组件的有效性，本文以Trento数据集为例，展示了SAFN-A, SAFN-B, SAFN-C, SAFN的t-SNE图，如图3所示，从中可看出：本文提出的每个组件都有助于提升模型的特征学习能力，且当所有组件都被使用时，模型学习到了具有最佳类内一致性和类间分离性的特征。

图 3  各消融模型的t-SNE图

下载: 全尺寸图片 幻灯片

4.   结束语

本文提出的SAFN通过整合多模态、多尺度和多视角信息，提升了模型的判别性特征提取能力，有效解决了地物分类任务中单一模态信息的局限性以及现有多模态特征融合方法面临的关键挑战。SAFN具备以下优势：(1)可适应不规则空间分布的地物，通过捕获不同细粒度的多尺度上下文信息，提升特征辨识性；(2)可通过对齐HSI和LiDAR的空间近邻结构，提高模型对于地物分类的准确性和稳定性；(3)可基于输入地物特征动态调整多模态、多尺度和多视角信息的权重，具有对不同类型地物的广泛适应性。实验结果显示，SAFN在3组基准的多模态遥感图像分类数据集上取得了最先进的性能。在未来的工作中，将尝试调整模型的优化过程，以缓解模型学习过程中不同类别知识之间的潜在冲突，进而确保其可学习到能够适应所有类别的通用知识。