多尺度超像素纹理特征保持与融合的高光谱图像分类

涂兵; 朱禹; 周承乐; 陈思源; 何伟

doi:10.11999/JEIT210333

多尺度超像素纹理特征保持与融合的高光谱图像分类

doi: 10.11999/JEIT210333

湖南理工学院信息科学与工程学院岳阳 414000

基金项目: 国家自然科学基金(51704115)，湖南省杰出青年科学基金(2020JJ2017)，湖南省水利厅重大科技项目(XSKJ2021000-12)，湖南省重点领域研究计划(2019SK2012)，湖南省自然科学基金(2019JJ50211, 2019JJ50212, 2020JJ4340, 2021JJ40226)，湖南省教育厅优秀青年基金(19B245, 19B237, 20B257, 20B266)，湖南省水利厅一般科研项目(XSKJ2021000-13)。

详细信息

作者简介:
涂兵：男，1983年生，教授，研究方向为高光谱遥感图像处理、深度学习

朱禹：女，1996年生，硕士生，研究方向为高光谱遥感图像分类、多源遥感数据融合

周承乐：男，1994年生，硕士生，研究方向为机器学习、高光谱遥感图像分类

陈思源：男，1990年生，讲师，研究方向为数字图像处理、3D重建

何伟：男，1983年生，副教授，研究方向为数字图像处理、计算机视觉

通讯作者:
陈思源　siyuan@hnist.edu.cn

中图分类号: TN911.73; TP751
计量
- 文章访问数: 1499
- HTML全文浏览量: 853
- PDF下载量: 168
- 被引次数: 17
出版历程
- 收稿日期: 2021-04-20
- 修回日期: 2021-09-15
- 网络出版日期: 2021-09-28
- 刊出日期: 2022-06-21

Hyperspectral Image Classification Based on Multi-scale Superpixel Texture Preservation and Fusion

School of Information Science and Engineering, Hunan Institute of Science and Technology, Yueyang 414000, China

Funds: The National Natural Science Foundation of China (51704115), Science Foundation for Distinguished Young Scholars of Hunan Province (2020JJ2017), Foundation of Department of Water Resources of Hunan Province (XSKJ2021000-12), Key Research and Development Program of Hunan Province (2019SK2012), Natural Science Foundation of Hunan Province (2019JJ50211, 2019JJ50212, 2020JJ4340, 2021JJ40226), Foundation of Education Bureau of Hunan Province (19B245, 19B237, 20B257, 20B266), Foundation of Department of Water Resources of Hunan Province (XSKJ2021000-13).

摘要

摘要: 高光谱图像的低空间分辨率特性往往导致全局纹理提取技术难以获取地物要素的精准纹理信息，同时，单一尺度的局部纹理提取技术难以达到有效识别地物的目的。基于此，该文设计了一种多尺度超像素纹理保持与融合(MSuTPF)的高光谱图像分类方法，主要架构如下：首先，利用2D Gabor滤波器对高光谱图像进行多方向与尺度的全局纹理提取，并通过融合各尺度的纹理特征，增强纹理结构表征能力；其次，融合纹理与光谱主成分特征以形成光谱-纹理联合判别特征；再次，采用形状自适应的超分割方法，作用至光谱-纹理联合特征进行局部纹理信息保持与融合，尤其是，为克服超像素邻域像元的隐性不相关问题，该文定义了基于密度最近邻相似性评价准则，使超像素纹理进一步趋于一致性；最后，将各更新的光谱-纹理联合特征输入像素级分类器获取其对应的类标签，并采用多数表决的决策融合机制取得最终分类结果。Indian Pines和Pavia University真实数据集的实验表明，该方法在小样本条件下的分类精度优于基准分类器(SVM)、深度学习方法(GFDN)以及最新的空-谱分类方法(S3-PCA)等8个对比方法，充分证明了该文所提方法的实用性和有效性。
- 高光谱图像分类 /
- 特征提取 /
- 超像素 /
- 纹理一致性
Abstract: The low spatial resolution characteristics of hyperspectral images often make it difficult for global texture extraction techniques to obtain accurate texture information and the single-scale local texture extraction technology is not satisfactory for effectively identifying the features. In this article, a Multi-scale Superpixel Texture Preservation and Fusion is proposed for hyperspectral image classification. Specifically, the original hyperspectral image is first extracted with multi-direction and scale global texture using 2D Gabor filter, and the texture feature of each scale is merged to enhance the texture structure characterization ability. Next, texture and spectral principal component features are fused to form spectral-texture joint discriminant features. After that, the shape adaptive oversegmentation method is applied to the spectral-texture joint feature for local texture information preservation and fusion. In particular, in order to overcome the hidden irrelevance problem of neighboring pixels, a density-based nearest neighbor similarity evaluation criterion is defined, which aims to make the superpixel texture more consistent. Finally, the updated spectral-texture joint discriminant features are input into the pixel-level classifiers to obtain their corresponding class labels, and the decision fusion mechanism of majority voting is adopted to obtain the final classification result. Experiments on the real data sets of Indian Pines and Pavia University show that the classification accuracy of this method under the condition of small samples is better than eight comparison methods such as the benchmark classifier Support Vector Machine (SVM), deep learning method Gabor Filtering and Deep Network (GFDN), and the latest spatial-spectral method Spectral-Spatial and Superpixelwise Principal Component Analysis (S3-PCA), which proves fully the practicability and effectiveness of the proposed method.
- Hyperspectral image classification /
- Feature extraction /
- Superpixel /
- Texture consistency

HTML全文

1. 引言

高光谱图像蕴含着密集的光谱信息，适用于地表诊断、矿物勘探、精准农业等众多应用领域。尽管丰富的光谱信息为材质识别与分类提供了便捷与高效的途径，然而高光谱图像的低光谱可分离性及低空间分辨率的特性给高光谱图像的数据处理带来了不可避免的困难与挑战。

高光谱图像特征提取技术可分为光谱特征提取以及空间特征提取。前者旨在将高维非线性光谱特征进行投影或映射至低维线性子空间，以期改善像元的可分离性。如主成分分析法(Principal Component Analysis, PCA)^[1] 通过线性变换将高维特征映射到低维子空间，降低信息冗余并保留有价值的判别信息。再如罗甫林等人^[2]利用稀疏流形嵌入对原始光谱信息进行特征提取以提升光谱特征的判别性。然而，光谱特征提取技术仅考虑了高光谱图像的光谱信息，并不能显著提升分类器的精度。后者则是在特征提取过程中引入像元的空间上下文信息，利用邻域像元具有相似性的特点去进一步提升分类器精度。如Chen等人^[3]利用像元空间上下文相关性，提出联合稀疏表示模型(Joint Sparsity Reconstruction and Classification, JSRC)，有效平滑了分类中椒盐噪声。但固定的方形窗口未能有效刻画像元分布的空间结构，致使分类结果中依然存在边缘误分类现象。超像素分割算法是一种依据图像颜色、亮度等显性特征对像元进行聚类的技术，能够有效提取到像元局部空间结构信息。如Yu等人^[4]结合多尺度超像素子空间与支持向量机设计了一种超像素级的分类器，实验证明该方法能够缓解方形窗口邻域内的噪声及信息缺失问题。此外，结合超像素空间特征提取的新技术^[5,6]已被成功证实能够有效应用于高光谱图像分类，提高地物解译的精度。

图像纹理是符合人类视觉感知的材质表征信息之一，被成功应用于高光谱图像分类、异常检测等领域。同时，图像纹理信息的重要性催生了许多特征提取技术，如灰度共生矩阵(Gray Level Co-occurrence Matrix, GLCM)、局部二值模式(Local Binary Pattern, LBP)及Gabor等。GMCL与LBP是自然图像处理中较为流行的纹理描述方法，可以最大限度地提高图像纹理特征的表征力^[7,8]。但由于高光谱图像的纹理基元呈非规则化排列，且随着观察距离的不同纹理基元发生变化，因此单一分辨率的纹理描述方法损失了部分纹理相关信息。Gabor滤波器因其多通道、多分辨率的特性，能够获得多方向及多尺度纹理特征，被广泛用于大量的高光谱研究工作中。如Xu等人^[9]提出基于Gabor滤波协同表示的分类方法，与原始协同表示方法相比，具有良好的分类性能。再如Kang等人^[10]将Gabor特征与深度学习结合并应用于高光谱图像分类领域，取得了良好的效果。然而，上述工作均未从Gabor滤波器的不同方向以及尺度来刻画与提取高光谱图像的纹理特征，因此，不可避免地影响高光谱图像中类边界以及角点像元的精准识别。

综上，相比于光谱特征提取技术，空谱特征提取技术在提升分类器精度方面具有良好优势，同时，基于超分割的空间邻域信息比方形窗口的空间信息更有优越性。然而，超像素是一种基于图像显性特性的像元聚类方法，难以避免邻域中存在隐性不相关像元。此外，Gabor作为多通道及多分辨率纹理特征提取的滤波器，简单地将Gabor滤波器作用于高光谱图像并不能多层次地反映与提取其深层纹理特征。为了解决上述问题，本文提出多尺度超像素纹理保持与融合的特征提取方法。

2. 本文方法

本文所提多尺度超像素纹理保持与融合的高光谱图像分类方法MSuTPF (Multi-scale Superpixel Texture Preservation Fusion)如图1所示，主要包括纹理特征提取与融合、多尺度超像素分割、同质区域纹理保持和多尺度决策融合4个主要步骤。

图 1 多尺度超像素纹理保持与融合的高光谱图像分类方法示意图

下载: 全尺寸图片幻灯片

2.1 纹理特征提取与融合

假设由PCA算法从原始高光谱图像提取的3个2维主成分图像为 ${M^{3{\text{pc}}}}$ ，那么可采用2D Gabor滤波器作用至 ${M^{3{\text{pc}}}}$ ，提取原始高光谱图像的丰富纹理特征信息，其定义为

${G_{u,v}}(x,y) = \frac{{{f^2}}}{{\sigma \delta \pi }}\exp \left( - {f^2}\left(\frac{x^{{'}2}}{\sigma^2} + \frac{y^{{'}2}}{\delta ^2}\right) \right) \exp ({\rm{j}}2\pi f{x^{'}})$

(1)

其中

${x'} = \left(x - \frac{{p + 1}}{2}\right)\cos \alpha + \left(y - \frac{{q + 1}}{2}\right)\sin \alpha$

(2)

${y'} = \left(x - \frac{{p + 1}}{2}\right)\sin \alpha + \left(y - \frac{{q + 1}}{2}\right)\cos \alpha$

(3)

$x,y$ 是图像中某一像素的坐标位置， $\alpha$ 代表小波函数的方向角， $f$ 是中心频域，且滤波器的尺寸大小与窗口有关，窗口长宽常设置相等，即 $p = q$ 。 $\sigma$ 和 $\delta$ 分别代表着沿 $x$ 轴与 $y$ 轴的波长，通常均被设置为常数 $\sqrt 2$ ^[11]。

不同尺度的滤波器，可以提供较强的空间和方向信息，通过调整相关系数，Gabor滤波器能够进行多尺度及方向的滤波处理，所以有

$\begin{split} & {\alpha _v} = \frac{v}{8}\pi,{\text{ }}{f_u} = \frac{{{f_{{\text{max}}}}}}{{{{\sqrt 2 }^u}}},\\ & v = 0,1,\cdots,V - 1,{\rm{ }}u = 0,1,\cdots,U - 1 \end{split}$

(4)

其中， ${\alpha _v}$ 表示为方向角， ${f_u}$ 为空间频率， ${f_{{\text{max}}}}$ 是最大空间频率， $v$ 和 $u$ 分别是滤波器不同方向和尺度的数目。

因此，高光谱图像纹理信息可以通过高光谱图像前3个主成分 ${M^{3{\text{pc}}}}\left( {x,y} \right)$ 与滤波器 ${G_{u,v}}$ 进行卷积运算而获取，即

${I_{u,v}}\left( {x,y} \right) = \left| {{M^{3{\text{pc}}}}\left( {x,y} \right) * {G_{u,v}}} \right|$

(5)

其中， $\left| * \right|$ 表示卷积运算符号， ${I_{u,v}}(x,y)$ 为卷积函数返回的结果，可得到 $V \times U$ 个幅值图像，分别代表 $V$ 个方向和U个尺度的Gabor特征。

2维Gabor滤波器在不同方向可反映同一材质不同丰富度的纹理信息，而多个尺度则反映其不同分辨率的纹理信息。由于地物自身的尺度属性，其空间特征常利用不同尺度加以度量，本文将不同层次的频率信息进行融合，强化图像边缘细节，使纹理特征进一步增强。特别地，多方向与尺度的Gabor纹理特征中包含冗余信息，因此，通过融合同方向的不同尺度Gabor纹理特征，可以降低信息冗余。Gabor纹理特征融合的定义为

${\phi _{H,\Sigma }} = \mathop H\limits_{v = 0}^{V - 1} \left|\sum\limits_{u = 0}^{U - 1} {{Y^{{\text{PCA}}}}} (x,y)*{G_{u,v}}\right|$

(6)

其中， $\Sigma$ 表示串联各主成分的 $U$ 个尺度的频率信息， $H$ 表示将各方向的滤波器响应进行并联， ${\phi _{H,\Sigma }}$ 代表同方向多尺度融合后的Gabor纹理特征。

最后，将融合的Gabor纹理特征与PCA提取到的高光谱图像前20个主成分进行堆叠，形成高光谱图像光谱-纹理联合特征 ${T_i} \in {\mathbb{Z}^n}$ ，其中 $i = 1,2, \cdots ,V$ 。

2.2 多尺度超像素分割

超像素分割已被成功证明是一种鲁棒的高光谱图像空间结构信息提取算法^[12,13]。但是，受高光谱图像低空间分辨率及成像干扰等因素限制，单一尺度的超像素分割方法往往面临着空间信息描述不充分和分割尺度非最优等问题。针对上述问题，本文采用多尺度超像素分割策略，以期提取高光谱图像多尺度空间结构信息。假设，给定第k个尺度下的超像素数目为 ${n_k}$ ，本文利用熵率超像素分割算法(Entropy Rate Superpixel, ERS)^[14]对由 ${M^{3{\text{pc}}}}$ 合成的伪彩色图像执行超分割，获取 ${n_k}$ 个互不重叠的同质区域，形成超像素集 ${S^k} = \{ S_1^k,S_2^k, \cdots S_{{n_k}}^k\}$ ，其中 $S_i^k$ 表示第k个尺度下的超像素集 ${S^k}$ 中的第 $n$ 个超像素块。

2.3 同质区域纹理保持

超像素内部纹理基元的排列方式、规律以及纹理的粗糙程度等表现相似，且超像素纹理受观察区域规模大小的影响，因此通过利用多尺度超像素度量策略，可提取到既具有整体纹理趋势又包含细节信息的纹理特征。不同尺度的超像素集 ${S^k}$ 是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的 ${n_k}$ 个局部区域。然而，利用颜色、亮度、纹理等显性特征获取的高光谱遥感图像所对应的超像素集往往使得超像素内部存在隐性不相关像元。也就是说，超像素分割的理想情况是超像素内部光谱差异较小且超像素之间光谱差异性较大，然而实际上超像素 $S_i^k$ 内可能包含少量来自其他类别的像素，使超像素表现为局部隐性不相关，此时超像素并不是真正意义上的纹理一致性区域而是弱同质区域。

通过执行2.1及2.2的步骤，获得 $V$ 个光谱-纹理联合特征图 ${T_i}$ 与其对应的超像素分割 $M_i^{{\text{ERS}}}$ 。

此处，特征图集 ${\text{\{ }}{T_1},{T_2},\cdots,{T_8}{\text{\} }}$ 分别对应着8个不同的超像素分割尺度 ${\text{\{ }}{S^1},{S^2},\cdots,{S^8}{\text{\} }}$ ，其目的在于从超像素多尺度角度出发，提取高光谱图像的空间结构信息。此外，为缓解超像素局部像元隐性不相关现象，本文设计了基于密度最近邻的相似性评价准则，旨在改善超像素块的局部同质性，使同质区域纹理趋于一致性。具体来说，给定一个超像素块 $S_i^k$ 内的两个样本 ${x_i}$ 和 ${x_j}$ ，首先，采用光谱角测度法(Spectral Angle Metric, SAM)^[15]获取两个光谱向量的欧氏空间夹角来衡量像素间相似程度，定义

${d_{{\text{SAM}}}}\left( {{x_i},{x_j}} \right) = {\cos ^{ - 1}}\left( { \lt {x_i},{x_j} \gt /\left\| {{x_i}} \right\| \times \left\| {{x_j}} \right\|} \right)$

(7)

其次，利用高斯核函数计算 ${S_n}$ 中样本点的峰值密度

${D_{i,n}} = \exp \left\{ { - \left( {\frac{\bf{mSAM}}{{{d_c}}}} \right)} \right\}$

(8)

其中， ${\bf{mSAM}}$ 表示光谱角相似性矩阵， ${d_c}$ 为高斯核半径。

然后，引入自由参数 $\xi$ 约束 ${S_n}$ 中具有较高密度的样本点 ${\tilde D_{i,n}} = \{ {\tilde D_{1,n}},{\tilde D_{2,n}}, \cdots ,{\tilde D_{r,n}}\} ,{\tilde D_{i,n}} \subset {D_{i,n}}$ ，其中 $r$ 为参数 $\xi$ 约束选取的置信度较大的样本数。同质区域 ${S_n}$ 纹理一致性计算为

$\left[{D_m}({S_n}) = \frac{1}{r}\sum {{{\tilde D}_{i,n}}} \right]$

(9)

由此，通过修正弱同质区域可得到具有空间纹理一致性的联合特征 ${\tilde T_i},i \in [1,2, \cdots ,V]$ 。

最后，对每个具有空间纹理一致性的光谱-纹理联合特征，采用Softmax回归模型进行分类得到测试样本初始预测标签。其中，样本 $x$ 属于类别 $c$ 的概率定义为

$\left[{r_c}(x) = \frac{{{{\rm{e}}^{{\omega _c}x}}}}{{\displaystyle\sum\limits_{i = 1}^K {{{\rm{e}}^{{\omega _i}x}}} }},c \in [1,2, \cdots ,K]\right]$

(10)

其中， $K$ 表示图像类别数， ${\omega _c}$ 表示样本 $x$ 在类别 $c$ 位置上的回归模型权重，且经过训练权重会不断更新，输出概率集合 $r(x) = \{ {r_1}(x),{r_2}(x), \cdots ,{r_K}(x)\}$ ， ${r_c}(x) \in [0,1]$ 。因此，样本 $x$ 的样本类别标签为

$R(x) = \arg \mathop {{\text{max }}r}\limits_c (x)$

(11)

2.4 多尺度决策融合机制

尽管多尺度超像素引导光谱-纹理联合特征能够显著增强不同局部区域的光谱可分离性，提升像元的分类准确性，但是当场景中某些类别的样本数较少且分布不集中时，超像素引导的方法可能会对分类结果产生负面影响，导致整个局部像素被误分类。因此，为了进一步增强所提方法的鲁棒性，本文在由各尺度超像素光谱-纹理联合特征得到的分类图的基础上引入多数投票机制去进一步提升分类精度，最终分类图 $F$ 由式(12)确定

${F_i} = \mathop {\arg \max }\limits_{c = 1,2, \cdots ,K} \sum\limits_{i = 1}^V {f\left( {R{{(x)}_i},c} \right)}$

(12)

3. 实验与分析

3.1 实验数据

(1) Indian Pines高光谱图像：于1992年在印第安纳州西北部的农业印度派恩斯测试地点获取，图像大小为145×145，空间分辨率为20 m，数据光谱波段为200，波段范围是400～2500 nm，共标记10249个像素，其主要地物类型被划分为16类。

(2) Pavia University高光谱图像：在意大利帕维亚大学周围的市区记录，由610×340个像素组成，图像空间分辨率为1.3 m，其包含42776个像素，实验保留了剔除噪声后的103个波段，地面覆盖包含9个目标类别。

3.2 参数设置

影响本文算法性能的参数主要包括以下这些。它们对本文算法的影响在3.4节中详细分析。

(1) Gabor滤波器固有参数。鉴于Gabor滤波器的性能对空间局部特征具有较大影响，将Gabor滤波器尺度 $U$ 与方向 $V$ 分别设置为5和8，以提取局部纹理特征，其中，8个方向 $\theta$ 分别为 $\left[ {\text{0,}}\pi/8,\pi/4,3\pi/8, \pi/2,5\pi/8,3\pi/4,7\pi/8\right]$ 。在具体实验中，针对每个高光谱图像，Gabor滤波器窗口 $d$ 设置为55。

(2) 在3.3.1节和3.3.2节中，自由参数 $\xi$ 统一设置为0.7。

(3) 超像素数量 ${S_n}$ ：在3.3.1节和3.3.2中，超像素尺度分别设置为100～800, 600～1300。

3.3 实验

为了客观而有效地评价所提方法MSuTPF的性能，本文选取了支持向量机(Support Vector Machine, SVM)^[15]、稀疏表示(Sparsity Reconstruction and Classification, SRC)^[3]、联合稀疏表示(Joint Sparsity Reconstruction and Classification, JSRC)^[3]、超像素多核(Superpixel-based Classification via Multiple Kernels, SC-MK)^[16]、超像素主成分分析(Superpixelwise PCA, SuperPAC)^[17]、分层引导滤波(Hierarchical Guidance Filtering-Weighted Voting, HiFi-we)^[18]、Gabor滤波稀疏自编码深度网络(Gabor Filtering and Deep Network, GFDN)^[10]和无监督空-谱超像素PCA(Spectral-Spatial and Superpixelwise PCA, S3-PCA)^[19]8个高光谱图分类算法与本文MSuTPF方法进行分类性能比较和分析。其中，SVM参数通过5层交叉验证设置，对比方法中的参数均为对应论文中的默认参数。此外，实验采用常用的总体分类精度(Overall Accuracy , OA)、平均分类精度(Average Accuracy, AA)以及Kappa系数，作为量化指标来衡量分类性能。同时，为了消除随机性影响，所有量化指标结果均为10次结果的均值。

3.3.1 Indian Pines数据实验结果与分析

表1和图2给出在Indian Pines真实数据上不同对比算法采用1.5%的标记样本作为训练集得到的分类精度及结果(黑色加粗数字表示同行中的最大值)，以及客观评价结果。

表 1 Indian Pines高光谱图像不同方法的分类精度(%)

客观指标	训练样本	测试样本	高光谱图像分类算法(部分经典的、主流的与最新的)
客观指标	训练样本	测试样本	SVM	SRC	JSRC	SC-MK	SuperPCA	HiFi-we	GFDN	S3-PCA	MSuTPF^*	MSuTPF
OA	占比1.5%	占比98.5%	65.07	63.03	78.46	87.36	85.55	88.02	89.97	88.23	92.39	94.32
OA			(1.66)	(1.73)	(1.90)	(2.47)	(2.42)	(1.41)	(1.57)	(2.00)	(1.21)	(0.77)
AA			62.55	67.57	80.50	89.60	75.13	82.87	89.30	86.49	94.19	95.00
AA			(2.10)	(1.67)	(2.68)	(2.83)	(2.18)	(2.29)	(1.92)	(2.31)	(1.44)	(1.99)
Kappa			59.93	57.95	75.40	85.60	85.60	86.39	88.58	88.75	91.32	93.52
Kappa			(1.83)	(1.97)	(2.18)	(2.83)	(2.73)	(1.58)	(1.78)	(1.70)	(1.38)	(0.88)

下载: 导出CSV

| 显示表格

图 2 Indian Pines高光谱图像不同方法的分类图

下载: 全尺寸图片幻灯片

SVM和SCR分类器由于仅考虑了像元的光谱信息，导致分类结果中存在较多的“椒盐噪声”。JSRC分类器通过像元的上下文信息来改善SRC的分类性能，尽管分类精度有所提升，但边界与角点像元容易被误分类。SC-MK以超像素的方式引入像元的空间信息，但未考虑超像素块内隐性不相关像元的存在，导致分类精度受限。SuperPCA与S3-PCA是超像素引导的局部特征提取方法，虽然利用多尺度超像素提取空间结构，但同样地未考虑超像素块内隐性不相关像元的存在，因而存在性能瓶颈。此外，HiFi-we在每个层次结构中进行边缘保持滤波操作，图像细节易被过平滑处理。同时，1.5%的训练样本无法充分训练自适应编码深度网络，导致GFDN未能得到有效的训练，使得GFDN分类精度有限。特别地，从表1和图2可以看出本文的MSuTPF方法无论是在OA(94.32%), AA(95.00%)及Kappa(93.52%)3个客观评价指标上还是在分类图上都取得了比上述8个对比方法更优的实验结果。

此外，本文将基于单一尺度光谱-纹理联合特征的方法架构定义为MSuTPF*，并给出相应的实验结果。由表1发现，MSuTPF*方法的分类指标都低于MSuTPF方法，说明仅用单一尺度不能有效地提取出不同大小地物的纹理信息，而以多尺度超像素构造的光谱-纹理联合特征能够获得各同质区域丰富的空间纹理结构信息，从而提升了分类器对边界地物的鉴别准确率。

3.3.2 Pavia University数据实验结果与分析

对于Pavia University数据实验随机选取总样本数的0.42%作为训练样本集，剩余样本作为测试样本。表2展示了各种分类算法的定量指标(黑色加粗数字表示同行中的最大值)，本文所提出的MSuTPF方法的OA, AA及Kappa均为最高值。同时，如图3所示，在有限的标记训练样本的情况下，MSuTPF方法相比于8个对比方法获得的分类结果具有明显较少的误分类现象。由此，该实验充分验证了本文MSuTPF方法的可行性和优越性。

表 2 Pavia University高光谱图像不同方法的分类精度(%)

客观指标	训练样本	测试样本	高光谱图像分类算法(部分经典的、主流的与最新的)
客观指标	训练样本	测试样本	SVM	SRC	JSRC	SC-MK	SuperPCA	HiFi-we	GFDN	S3-PCA	MSuTPF^*	MSuTPF
OA	占比0.42%	占比99.58%	82.65	74.55	78.28	94.49	93.21	90.59	93.23	85.99	94.54	95.57
OA			(1.81)	(1.25)	(1.27)	(1.07)	(1.92)	(1.26)	(0.87)	(1.40)	(0.80)	(1.07)
AA			80.04	70.48	69.11	91.39	89.15	88.64	90.47	81.22	94.28	95.86
AA			(2.41)	(2.05)	(1.38)	(1.57)	(2.06)	(1.71)	(1.37)	(1.91)	(1.28)	(0.95)
Kappa			76.73	65.66	70.74	92.67	92.27	87.46	90.92	81.22	92.72	94.08
Kappa			(2.47)	(1.75)	(1.68)	(1.43)	(1.88)	(1.68)	(1.19)	(1.54)	(1.07)	(1.44)

下载: 导出CSV

| 显示表格

图 3 Pavia University高光谱图像不同方法的分类图

下载: 全尺寸图片幻灯片

3.4 相关参数影响分析

3.4.1 参数 $w$ 与 $\xi$ 对MSuTPF方法的性能影响

当Gabor滤波窗口 $w$ 较小时纹理特征提取仅考虑有限的局部结构，局部纹理方向性不明显，易损失具有代表性的信息。图4(a)与图4(b)展示了随着窗口尺寸增大，OA精度呈现明显上升趋势，但窗口 $w$ 规模大于55时，分类精度增幅变缓，计算时间持续上升。自由参数 $\xi$ 改变对最终分类精度影响不大。考虑到算法时间代价与满意的整体分类精度，本文实验默认Gabor滤波窗口 $w$ 与自由参数 $\xi$ 分别设置为55和0.7。

图 4 不同参数对所提算法性能的影响

下载: 全尺寸图片幻灯片

3.4.2 超像素尺度对算法的影响

图4(c)与图4(d)给出了不同尺度超像素对基于单一尺度光谱-纹理联合特征的方法MSuTPF*性能影响的量化指标(OA)。由此可知，OA曲线伴随超像素尺度(数量)增加表现为短上升、长下降的趋势。这说明，单一尺度的超像素存在空间结构信息提取不充分的现象。因此，本文采用多尺度超像素分割策略，进一步提出了MSuTPF算法，以期提取高光谱图像多尺度空间结构信息。对每个方向的光谱-纹理联合特征进行多尺度超像素分割，其中，以Indian Pines为例，将图4(c)中算法性能较好且连续的8个超像素分割尺度(步长为100)作为MSuTPF算法多尺度分割的依据(100～800超像素)。同样地，对于Pavia University高光谱图像选取800～1500超像素作为超像素分割的尺度范围(步长为100)提取不同高光谱图像8个2D Gabor方向上的光谱-纹理联合特征 ${T_i}$ 的同质空间信息。

3.4.3 各架构组件对MSuTPF的性能影响

首先，本文通过比较递归滤波(Recursive Filtering, RF)^[20] 、Savitzky-Gola滤波(Savitzky-Gola Filtering, SGF)^[21]、双边滤波(Bilateral Filtering, BF)^[22]、高斯滤波(Gaussian Filtering, GuF)^[23]及Gabor滤波^[10]5种常用的滤波方法在MSuTPF方法架构中对分类性能的贡献。特别地，上述方法中滤波参数设置采用相关参考文献默认参数。由图5发现，在两个真实数据上，Gabor滤波对MSuTPF方法的分类性能贡献均比其它4种滤波法更优。因此，Gabor滤波被选为MSuTPF方法的默认组成。

图 5 不同滤波方法的整体分类效果

下载: 全尺寸图片幻灯片

其次，本文深入研究了Gabor滤波在不同方式下的纹理特征提取能力。实验结果如表3所示，其中，I-Gabor表示各尺度和方向顺序堆叠的纹理特征；II-Gabor表示保留尺度融合各方向的纹理特征；III-Gabor表示方向融合各尺度的纹理特征；III-Gabor的实验结果证明，融合Gabor滤波器响应后同一方向不同尺度的特征信息对MSuTPF方法的性能贡献大于I-Gabor和II-Gabor方法。此外，本文探讨了考虑局部像元隐性不相关现象对MSuTPF方法的性能贡献问题。同样地，实验结果如表3所示，II-ERS和I-ERS分别表示有无采用基于密度最近邻的相似性评价准则进行纹理一致化处理的实验结果。结果发现II-ERS对MSuTPF方法的性能贡献大于I-ERS，说明基于密度最近邻的相似性评价准则可以有效地提高算法的分类性能。

表 3 采用不同的2D-Gabor和ERS超像素分割处理方法在Indian Pines高光谱图像上的分类效果

指标	I-Gabor	II-Gabor	III-Gabor	I-ERS	II-ERS
OA(%)	92.89(1.37)	93.79(2.03)	94.32(0.77)	93.68(0.91)	94.32(0.77)
AA(%)	93.84(1.63)	95.11(1.35)	95.00(1.99)	93.14(2.97)	95.00(1.99)
Kappa	91.88(1.55)	92.93(2.3)	93.32(0.88)	92.79(1.04)	93.32(0.88)

下载: 导出CSV

| 显示表格

3.4.4 不同光谱维数对MSuTPF的性能影响

本文将原始高光谱图像的主成分(Principal Components, PCs)作为光谱特征与Gabor融合的纹理特征串联构建光谱-纹理联合特征。由表4可知，当光谱特征维数控制在20左右时，整体分类精度OA较高，且随着光谱维数的增加，算法性能并没有明显的提升。虽然更多的PCs中仍可能具有对光谱信息的贡献，但由于存在较多的冗余信息与图像噪声点等情况，因此对分类性能产生负影响。同时考虑到Gabor融合特征仅具有15个波段，若使用全光谱作为联合特征的光谱特征，庞大的光谱信息将会淹没纹理特征信息，且维数增大时间复杂度随之提升。因此本文将主成分数量设置为20。

表 4 不同维数光谱特征对算法性能的影响

真实数据集		光谱特征维数
真实数据集		5	10	15	20	25	30	35
Indian Pines	OA(%)	93.27	93.98	94.23	94.32	93.64	92.91	92.47
Indian Pines	Kappa	0.9256	0.9331	0.9357	0.9352	0.9285	0.9226	0.9163
Pavia University	OA(%)	94.39	94.86	95.14	95.57	95.42	95.21	94.83
Pavia University	Kappa	0.9287	0.9332	0.9391	0.9408	0.9494	0.9480	0.9331

下载: 导出CSV

| 显示表格

3.4.5 不同训练样本数量对算法性能的影响

在本节中，分析了训练样本数量变化对不同分类算法性能的影响。对于Indian Pines和Pavia University，随机选取不同百分比数据(Indian Pines每类地物标记1%～10%，Pavia University每类地物标记0.42%～4.2%)作为训练样本。图6展示了在不同方法在不同训练集下的总体分类精度的变化趋势。可以观察到，增加训练样本数量对所有分类方法的分类精度均具有较为积极的影响。尤其是，本文所提出的MSuTPF方法在有限的训练样本情况下比8个对比方法的分类精度更为理想。

图 6 不同训练样本数量对于不同方法的影响

下载: 全尺寸图片幻灯片

4. 结论

结合Gabor、超像素与峰值密度聚类的优势，本文提出了一种多尺度超像素纹理特征保持与融合的高光谱图像分类方法MSuPTF，其主要贡献如下：(1)依据各方向对不同尺度的高光谱图像Gabor纹理特征进行融合，增强高光谱图像纹理信息的表征力；(2)设计基于密度最近邻相似性评价准则，有效地解决了超像素内邻域像元的隐性不相关问题，提升了超像素块的同质化程度；(3)提出了Gabor方向与超像素对应的多尺度空间结构提取策略，显著增强了边界与角点像元的细节信息。

图 1 多尺度超像素纹理保持与融合的高光谱图像分类方法示意图

下载: 全尺寸图片幻灯片

图 2 Indian Pines高光谱图像不同方法的分类图

下载: 全尺寸图片幻灯片

图 3 Pavia University高光谱图像不同方法的分类图

下载: 全尺寸图片幻灯片

图 4 不同参数对所提算法性能的影响

下载: 全尺寸图片幻灯片

图 5 不同滤波方法的整体分类效果

下载: 全尺寸图片幻灯片

图 6 不同训练样本数量对于不同方法的影响

下载: 全尺寸图片幻灯片

表 1 Indian Pines高光谱图像不同方法的分类精度(%)

客观指标	训练样本	测试样本	高光谱图像分类算法(部分经典的、主流的与最新的)
客观指标	训练样本	测试样本	SVM	SRC	JSRC	SC-MK	SuperPCA	HiFi-we	GFDN	S3-PCA	MSuTPF^*	MSuTPF
OA	占比1.5%	占比98.5%	65.07	63.03	78.46	87.36	85.55	88.02	89.97	88.23	92.39	94.32
OA			(1.66)	(1.73)	(1.90)	(2.47)	(2.42)	(1.41)	(1.57)	(2.00)	(1.21)	(0.77)
AA			62.55	67.57	80.50	89.60	75.13	82.87	89.30	86.49	94.19	95.00
AA			(2.10)	(1.67)	(2.68)	(2.83)	(2.18)	(2.29)	(1.92)	(2.31)	(1.44)	(1.99)
Kappa			59.93	57.95	75.40	85.60	85.60	86.39	88.58	88.75	91.32	93.52
Kappa			(1.83)	(1.97)	(2.18)	(2.83)	(2.73)	(1.58)	(1.78)	(1.70)	(1.38)	(0.88)

下载: 导出CSV

表 2 Pavia University高光谱图像不同方法的分类精度(%)

客观指标	训练样本	测试样本	高光谱图像分类算法(部分经典的、主流的与最新的)
客观指标	训练样本	测试样本	SVM	SRC	JSRC	SC-MK	SuperPCA	HiFi-we	GFDN	S3-PCA	MSuTPF^*	MSuTPF
OA	占比0.42%	占比99.58%	82.65	74.55	78.28	94.49	93.21	90.59	93.23	85.99	94.54	95.57
OA			(1.81)	(1.25)	(1.27)	(1.07)	(1.92)	(1.26)	(0.87)	(1.40)	(0.80)	(1.07)
AA			80.04	70.48	69.11	91.39	89.15	88.64	90.47	81.22	94.28	95.86
AA			(2.41)	(2.05)	(1.38)	(1.57)	(2.06)	(1.71)	(1.37)	(1.91)	(1.28)	(0.95)
Kappa			76.73	65.66	70.74	92.67	92.27	87.46	90.92	81.22	92.72	94.08
Kappa			(2.47)	(1.75)	(1.68)	(1.43)	(1.88)	(1.68)	(1.19)	(1.54)	(1.07)	(1.44)

下载: 导出CSV

表 3 采用不同的2D-Gabor和ERS超像素分割处理方法在Indian Pines高光谱图像上的分类效果

指标	I-Gabor	II-Gabor	III-Gabor	I-ERS	II-ERS
OA(%)	92.89(1.37)	93.79(2.03)	94.32(0.77)	93.68(0.91)	94.32(0.77)
AA(%)	93.84(1.63)	95.11(1.35)	95.00(1.99)	93.14(2.97)	95.00(1.99)
Kappa	91.88(1.55)	92.93(2.3)	93.32(0.88)	92.79(1.04)	93.32(0.88)

下载: 导出CSV

表 4 不同维数光谱特征对算法性能的影响

真实数据集		光谱特征维数
真实数据集		5	10	15	20	25	30	35
Indian Pines	OA(%)	93.27	93.98	94.23	94.32	93.64	92.91	92.47
Indian Pines	Kappa	0.9256	0.9331	0.9357	0.9352	0.9285	0.9226	0.9163
Pavia University	OA(%)	94.39	94.86	95.14	95.57	95.42	95.21	94.83
Pavia University	Kappa	0.9287	0.9332	0.9391	0.9408	0.9494	0.9480	0.9331

下载: 导出CSV

参考文献(23)

[1]	PRASAD S and BRUCE L M. Limitations of principal components analysis for hyperspectral target recognition[J]. IEEE Geoscience and Remote Sensing Letters, 2008, 5(4): 625–629. doi: 10.1109/LGRS.2008.2001282
[2]	罗甫林, 黄鸿, 刘嘉敏, 等. 基于半监督稀疏流形嵌入的高光谱影像特征提取[J]. 电子与信息学报, 2016, 38(9): 2321–2329. doi: 10.11999/JEIT151340 LUO Fulin, HUANG Hong, LIU Jiamin, et al. Feature extraction of hyperspectral image using semi-supervised sparse manifold embedding[J]. Journal of Electronics &Information Technology, 2016, 38(9): 2321–2329. doi: 10.11999/JEIT151340
[3]	CHEN Yi, NASRABADI N M, and TRAN T D. Hyperspectral image classification using dictionary-based sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(10): 3973–3985. doi: 10.1109/TGRS.2011.2129595
[4]	YU Haoyang, GAO Lianru, LIAO Wenzhi, et al. Multiscale superpixel-level subspace-based support vector machines for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(11): 2142–2146. doi: 10.1109/LGRS.2017.2755061
[5]	TU Bing, ZHOU Chengle, LIAO Xiaolong, et al. Feature extraction via 3-D block characteristics sharing for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(12): 10503–10518. doi: 10.1109/TGRS.2020.3042274
[6]	TU Bing, ZHOU Chengle, PENG Jin, et al. Feature extraction via joint adaptive structure density for hyperspectral imagery classification[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 5006916. doi: 10.1109/TIM.2020.3038557
[7]	李光, 姜春雪, 刘争战, 等. Laws纹理能量结合灰度共生矩阵的遥感影像面状地物提取[J]. 测绘与空间地理信息, 2017, 40(7): 179–181,185. doi: 10.3969/j.issn.1672-5867.2017.07.057 LI Guang, JIANG Chunxue, LIU Zhengzhan, et al. Polygon feature extraction of remote sensing image based on laws texture energy and gray level co-occurrence matrix[J]. Geomatics &Spatial Information Technology, 2017, 40(7): 179–181,185. doi: 10.3969/j.issn.1672-5867.2017.07.057
[8]	JIA Sen, HU Jie, DENG Lin, et al. Fuzzy threshold-based uniform local binary patterns for hyperspectral imagery classification[C]. 2016 8th Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing (WHISPERS), Los Angeles, USA, 2016: 1–4. doi: 10.1109/WHISPERS.2016.8071771.
[9]	XU Yan, DU Qian, LI Wei, et al. . Gabor-filtering-based probabilistic collaborative representation for hyperspectral image classification[C]. IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium, Valencia, Spain, 2018: 5081–5084. doi: 10.1109/IGARSS.2018.8517805.
[10]	KANG Xudong, LI Chengchao, LI Shutao, et al. Classification of hyperspectral images by Gabor filtering based deep network[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(4): 1166–1178. doi: 10.1109/JSTARS.2017.2767185
[11]	LIU Chengjun and WECHSLER H. Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J]. IEEE Transactions on Image Processing, 2002, 11(4): 467–476. doi: 10.1109/TIP.2002.999679
[12]	TU Bing, ZHOU Chengle, LIAO Xiaolong, et al. Spectral-spatial hyperspectral classification via structural-kernel collaborative representation[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(5): 861–865. doi: 10.1109/LGRS.2020.2988124
[13]	WANG Xinyu, ZHONG Yanfei, ZHANG Liangpei, et al. Spatial group sparsity regularized nonnegative matrix factorization for hyperspectral unmixing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(11): 6287–6304. doi: 10.1109/TGRS.2017.2724944
[14]	LIU Mingyu, TUZEL O, RAMALINGAM S, et al. Entropy-rate clustering: Cluster analysis via maximizing a submodular function subject to a matroid constraint[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(1): 99–112. doi: 10.1109/TPAMI.2013.107
[15]	MELGANI F and BRUZZONE L. Classiﬁcation of hyperspectral remote sensing images with support vector machines[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(8): 1778–1790. doi: 10.1109/TGRS.2004.831865
[16]	FANG Leyuan, LI Shutao, DUAN Wuhui, et al. Classiﬁcation of hyperspectral images by exploiting spectral-spatial information of superpixel via multiple kernels[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(12): 6663–6674. doi: 10.1109/TGRS.2015.2445767
[17]	JIANG Junjun, MA Jiayi, CHEN Chen, et al. SuperPCA: A superpixelwise PCA approach for unsupervised feature extraction of hyperspectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(8): 4581–4593. doi: 10.1109/TGRS.2018.2828029
[18]	PAN Bin, SHI Zhenwei, and XU Xia. Hierarchical guidance filtering-based ensemble classification for hyperspectral images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(7): 4177–4189. doi: 10.1109/TGRS.2017.2689805
[19]	ZHANG Xin, JIANG Xinwei, JIANG Junjun, et al. . Spectral-spatial and superpixelwise PCA for unsupervised feature extraction of hyperspectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, To be published. doi: 10.1109/TGRS.2021.3057701.
[20]	KANG Xudong, LI Shutao, and BENEDIKTSSON J A. Feature extraction of hyperspectral images with image fusion and recursive filtering[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(6): 3742–3752. doi: 10.1109/TGRS.2013.2275613
[21]	宁鸿章, 谭鑫, 李宇航, 等. 空-谱维联合Savitzky-Golay高光谱滤波算法及其应用[J]. 光谱学与光谱分析, 2020, 40(12): 3699–3704. doi: 10.3964/j.issn.1000-0593(2020)12-3699-06 NING Hongzhang, TAN Xin, LI Yuhang, et al. Joint space-spectrum sg filtering algorithms for hyperspectral images and its application[J]. Spectroscopy and Spectral Analysis, 2020, 40(12): 3699–3704. doi: 10.3964/j.issn.1000-0593(2020)12-3699-06
[22]	CHEN Zhikun, JIANG Junjun, ZHOU Chong, et al. SuperBF: Superpixel-based bilateral filtering algorithm and its application in feature extraction of hyperspectral images[J]. IEEE Access, 2019, 7: 147796–147807. doi: 10.1109/ACCESS.2019.2938397
[23]	JAIN A and GUPTA R. Gaussian filter threshold modulation for filtering flat and texture area of an image[C]. 2015 International Conference on Advances in Computer Engineering and Applications, Ghaziabad, India, 2015: 760–763. doi: 10.1109/ICACEA.2015.7164804.

施引文献

期刊类型引用(10)

1.	鹿宸铭. 低秩矩阵恢复下的自适应图像超分辨率重建. 现代电子技术. 2024(03): 34-38 . 百度学术
2.	王伟，张海民. 基于卷积神经网络的高相似度图像识别方法. 黑龙江工业学院学报(综合版). 2024(03): 80-84 . 百度学术
3.	刘龙. 基于激光雷达点云数据的虚拟室内场景搭建研究. 激光杂志. 2024(05): 159-163 . 百度学术
4.	赵会宾，张立. 组合光透视下小面积室内封闭空间分割方法. 激光杂志. 2024(05): 231-235 . 百度学术
5.	朱萌，俞阳，翟千惠，何玮，康雨萌. 基于光谱和纹理特征的高光谱图像分类. 计算技术与自动化. 2024(02): 123-130 . 百度学术
6.	赵丽斌，杜娇娇，贺铮，王祝先，韩宏亮，范蕊，徐翌博. 无人机遥感图像几何畸变校正全过程控制方法研究. 计算机测量与控制. 2024(07): 133-139 . 百度学术
7.	田静. 基于特征加权融合的红外图像增强方法. 激光杂志. 2024(08): 155-158 . 百度学术
8.	曹鹤玲，宋昌隆，楚永贺. 基于局部敏感判别宽度学习的高光谱图像分类. 计算机应用研究. 2023(04): 1239-1245+1262 . 百度学术
9.	李佳逊. 基于改进核联合稀疏表示的高光谱图像分类算法. 电脑知识与技术. 2023(18): 21-25 . 百度学术
10.	牛玉玺. 视觉传达技术的多光谱图像高效压缩方法. 激光杂志. 2023(12): 110-114 . 百度学术

其他类型引用(7)

资源附件(0)

访问统计

图(6) / 表(4)

计量

文章访问数: 1499
HTML全文浏览量: 853
PDF下载量: 168
被引次数: 17

1. 引言
2. 本文方法
2.1 纹理特征提取与融合
2.2 多尺度超像素分割
2.3 同质区域纹理保持
2.4 多尺度决策融合机制
3. 实验与分析
3.1 实验数据
3.2 参数设置
3.3 实验
3.4 相关参数影响分析
4. 结论

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

多尺度超像素纹理特征保持与融合的高光谱图像分类

doi: 10.11999/JEIT210333

通讯作者: 陈思源 siyuan@hnist.edu.cn

计量

出版历程

Hyperspectral Image Classification Based on Multi-scale Superpixel Texture Preservation and Fusion

1. 引 言

2. 本文方法

2.1 纹理特征提取与融合

2.2 多尺度超像素分割

2.3 同质区域纹理保持

2.4 多尺度决策融合机制

3. 实验与分析

3.1 实验数据

3.2 参数设置

3.3 实验

3.3.1 Indian Pines数据实验结果与分析

3.3.2 Pavia University数据实验结果与分析

3.4 相关参数影响分析

3.4.1 参数ww与ξ\xi 对MSuTPF方法的性能影响

3.4.2 超像素尺度对算法的影响

3.4.3 各架构组件对MSuTPF的性能影响

3.4.4 不同光谱维数对MSuTPF的性能影响

3.4.5 不同训练样本数量对算法性能的影响

4. 结 论

期刊类型引用(10)

其他类型引用(7)

计量

出版历程

目录

1. 引 言

2. 本文方法

2.1 纹理特征提取与融合

2.2 多尺度超像素分割

2.3 同质区域纹理保持

2.4 多尺度决策融合机制

3. 实验与分析

3.1 实验数据

3.2 参数设置

3.3 实验

3.4 相关参数影响分析

4. 结 论

通讯作者:
陈思源　siyuan@hnist.edu.cn

1. 引言

3.4.1 参数 $w$ 与 $\xi$ 对MSuTPF方法的性能影响

4. 结论

1. 引言

4. 结论