2024, 46(9): 3693-3702.
doi: 10.11999/JEIT240178
摘要:
多模态融合方法能够利用不同模态的互补特性有效提升地物分类的准确性,近年来成为各领域的研究热点。现有多模态融合方法被成功应用于面向高光谱图像(HSI)和激光雷达(LiDAR)的联合分类任务。然而,现有的研究仍面临许多挑战,包括地物间空间依赖关系难捕获,多模态数据中判别性信息难获取等。为应对上述挑战,该文将多模态、多尺度、多视角特征融合整合到一个统一的框架中,提出一种尺度自适应融合网络(SAFN)。首先,提出动态多尺度图模块以捕获地物复杂的空间依赖关系,提升模型对不规则地物以及尺度迥异地物的适应能力。其次,基于激光雷达和高光谱图像的互补特性,约束同一空间近邻区域内的地物具有相近的特征表示,获取判别性遥感特征。然后,提出多模态空-谱融合模块,建立多模态、多尺度、多视角特征间的信息交互,捕获各特征间可共享的类辨识信息,为地物分类任务提供具有判别性的融合特征。最后,将融合特征输入分类器中得到类别概率得分,对地物类别进行预测。为验证方法的有效性,该文在3个数据集(Houston, Trento, MUUFL)上进行了实验。实验结果表明,与现有主流算法相比较,SAFN在多源遥感数据分类任务中取得了最佳的视觉效果和最高精度。