1.   引言

高光谱成像技术是光学成像技术与光谱仪技术的有效结合，在捕获目标地物空间图像信息的同时也能获取可见光至红外区域的光谱反射信息，输出数据是一组“空谱合一”的3维立方体，称为高光谱图像(HyperSpectral Image, HSI)^[1]，如图1所示。与传统的3通道可见光图像和多光谱图像相比，高光谱图像为人类进一步认识不同地物目标的各种特性提供了更为丰富和全面的信息^[2]。受益于其精细化的光谱判别能力，高光谱图像最早诞生于遥感探测领域，随着成像技术的不断成熟，逐渐在其他领域(比如医学诊断、精准农林业、城市规划等)也具有了很广泛的应用基础并展现出了可观的应用前景。

图 1  高光谱图像示意图

下载: 全尺寸图片 幻灯片

然而，精细化光谱维判别信息与空域信息的集成同时也对高光谱图像数据采集、传输和处理等各个过程提出了新挑战^[3,4]：首先，高光谱图像包含几十至成百上千的光谱通道，是典型的具备高维特征、高数据体量特性的3阶张量数据，这导致高光谱图像在获取、存储、处理和应用等阶段对成像传感器的成像速率、对存储单元的空间大小、对处理及应用算法的有效性等方面均有较高的要求^[5]。丰富的光谱维度特性致使高光谱图像波段间具有很强的相关性，造成特征信息冗余，为数据处理及分析带来困难，伴随着“维数灾难”和“休斯现象”^[6,7]。其次，受成像传感技术限制及复杂光照、气候等成像环境干扰，高光谱图像空间维分辨率较低且伴随光谱维信息失真和时间维序列信息匮乏等图像质量差的问题，限制了其在复杂场景智能解译任务中的精确度以及性能发挥^[8]。而且，不同于传统的光学图像，高光谱遥感图像噪声分布多样和退化情况更为复杂，比如条带噪声分布^[9]、大气吸收^[10]等。此外，高光谱图像在实际解译分类任务中，面临着两大难题，即“同物异谱”和“同谱异物”^[11,12]。“同物异谱”意味着在一副高光谱图像中，同一类地物由于地理位置、生长条件等差异在不同区域呈现出完全不同的光谱曲线；而“同谱异物”则是受到传感器分辨率的制约，导致同一光谱曲线内同时包含着多种地物的光谱信息，在数据解译时可能会产生不同的输出类别。因此，尽管高光谱数据中包含着丰富的空、谱信息，具备极强的地物属性识别能力，但在光谱特性的有效挖掘和在实际应用场景中的解译精度的提高方面仍然不足。

针对以上问题，传统信号处理方法无法充分考虑高光谱图像数据的图谱合一特性，难以刻画和有效利用像素光谱矢量间的内在本征关联特性和差异化光谱结构分布^[13]。而通过借鉴图信号处理(Graph Signal Processing, GSP)技术^[14,15]的思想，可以将高光谱图像定义为图结构数据，进而利用图拓扑结构刻画高光谱图像各样本间的关联特性。图信号处理为有效解决高光谱图像处理与解译所面临的困境提供了全新的思路和理论基础，在高光谱图像数据表征^[16]、维度约简^[17]、数据质量增强^[18]、解混^[19]、地物分类^[20]等方面均有很好的应用。此外，在图信号处理基础上发展而来的图卷积神经网络(Graph Convolutional Network, GCN)^[21]也在高光谱图像分类任务中取得了一定成效^[22]。相较于基于传统卷积神经网络架构的局部空间信息提取能力，图卷积神经网络能够捕获图结构数据间的短距离、长距离空间依赖关系，从而更好地利用空间局部和全局结构关系对目标样本进行预测^[23]。

本文主要以综述的形式、从方法论角度介绍基于图信号处理的高光谱图像处理方法和技术，结合图信号处理关键技术：图嵌入学习、图正则方法和图卷积深度学习等，重点阐述和探讨图信号处理在高光谱图像特征提取、质量重构和地理要素分类等任务中的典型应用和方法实现过程，并指出了当前图信号处理技术在该领域存在的技术瓶颈，同时对后续发展趋势进行了展望。本文的主要结构安排如下：第2节介绍图信号处理基本理论及方法：包括图信号处理理论基础—谱图理论，以及在此基础上发展而来的图卷积神经网络；第3节重点阐述图信号处理技术在高光谱图像处理关键任务中的典型应用；第4节进一步分析图信号处理在高光谱图像处理任务中潜在问题，并对相关技术发展进行了展望，并总结全文。

2.   图信号处理理论及方法

图信号处理理论最早可以追溯至图学习^[24]，核心思想是建立非规则结构^[25,26]或者高维数据各样本节点之间的几何关系并利用谱图理论^[27]等机器学习和信号处理技术对构建的关系图进行处理和分析。随着信息时代的到来，海量不同结构类型的数据不断产生，比如社交网络中的用户关系数据，多元传感器网络的传感器节点信息，多模态多域多维遥感卫星影像等^[28,29]。这些数据为图信号处理理论和技术的快速发展和完善提供了良好的数据基础。

图信号处理可以看作传统信号处理方法在非结构化数据和高维信号的拓展，在图结构数据上重新定义传统几何规则域信号处理方法，比如图傅里叶变换、图结构滤波器、图卷积操作等。如图2所示，定义$N$节点图结构数据为$\mathcal{G} = (\mathcal{V},\mathcal{E},{\boldsymbol{W}})$，其中，$\mathcal{V}$和$\mathcal{E}$分别表示图结构数据的顶点集合$\mathcal{V}=\{{v}_{1}, {v}_{2},\cdots,{v}_{N}\}$和边集合$\mathcal{E} = \{ {e_1},{e_2},\cdots,{e_M}\}$，${\boldsymbol{W}} \in {\mathbb{R}^{N \times N}}$为边相似性度量矩阵。在本文中，为便于读者理解，统一采用无向图结构，也即边相似性度量矩阵${\boldsymbol{W}}$为对称矩阵，${W_{ij}} = W{}_{ji}$。定义在图模型所有顶点上的数据${\boldsymbol{X}} = \{ {{\boldsymbol{x}}_i}\} _{i = 1}^N$则被称作图信号，图信号又可看作图$\mathcal{G}$上定点元素$\mathcal{V}$到复数域$\mathbb{C}$的映射$f:\mathcal{V} \mapsto \mathbb{C},{v_i} \mapsto {c_i}$。本文考虑$d$维实信号${{\boldsymbol{x}}_i} \in {\mathbb{R}^{d \times 1}}$，则有$f:\mathcal{V} \mapsto {\boldsymbol{X}},{v_i} \mapsto {{\boldsymbol{x}}_i}$，且${{\boldsymbol{x}}_i} = f({v_i})$。

图 2  图信号可视化(节点数$N = 5$，邻接边$M = 6$)

下载: 全尺寸图片 幻灯片

2.1   谱图理论及图傅里叶变换

图信号处理的核心任务是构建图信号之间的关联关系，也即构建${\boldsymbol{W}}$。不同的图信号处理任务对${\boldsymbol{W}}$取值要求也大为不同。主流的图信号处理任务涉及两种构建方式：邻接关系矩阵和权重关系矩阵。对于邻接关系矩阵，当图顶点${v_i}$和${v_j}$之间具备关联关系时，${W_{ij}} = W{}_{ji}$=1，否则${W_{ij}} = W{}_{ji}$=0；而对于权重关系矩阵而言，图顶点${v_i}$和${v_j}$之间连接关系通常有定义在顶点上的信号${{\boldsymbol{x}}_i}$和${{\boldsymbol{x}}_j}$确定，也即${W_{ij}} = W{}_{ji}$通过某种准则计算得出。在构建${\boldsymbol{W}}$的基础上，可以通过谱图理论对图结构信号进行直观分析。谱图理论的主要研究内容是拉普拉斯矩阵(又称拉氏矩阵)，主要通过计算拉氏矩阵的特征值分布和特征向量来分析图结构信号的特性。

首先，定义度矩阵${\boldsymbol{D}} = {{\rm{diag}}} ({d_1},{d_2},\cdots,{d_i},\cdots,{d_N})$，其中${d_i}$为顶点${v_i}$的度，描述顶点${v_i}$的重要程度，为其他顶点与顶点${v_i}$的相似性关系总和，即由${\boldsymbol{W}}$第$i$列所有元素之和求出：${d_i} = \displaystyle\sum\nolimits_{i = 1}^N {{W_{ij}}}$。

更进一步地，图拉普拉斯矩阵定义为${\boldsymbol{L}} = {\boldsymbol{D}} - {\boldsymbol{W}}$，是对称矩阵，其特征分解可表示为${\boldsymbol{L}} = {\boldsymbol{U\varLambda }}{{\boldsymbol{U}}^{\text{T}}}$。其中，${\boldsymbol{\varLambda }}$为由特征值$\{ {\lambda _1},{\lambda _2},\cdots,{\lambda _N}\}$为对角线元素组成的特征值矩阵${\boldsymbol{\varLambda }} = {{\rm{diag}}} ({\lambda _1},{\lambda _2},\cdots,{\lambda _N})$，${\boldsymbol{U}}$为特征向量$\{ {{\boldsymbol{u}}_1},{{\boldsymbol{u}}_2},\cdots,{{\boldsymbol{u}}_N}\}$组成的特征向量矩阵，${{\boldsymbol{U}}^{\text{T}}}$为${\boldsymbol{U}}$的转置矩阵。特征值与特征向量包含了图结构信号的丰富信息。将特征值由小到大进行排序${\lambda _1} \le {\lambda _2} \le \cdots \le {\lambda _N}$，并令${\boldsymbol{\lambda }} = \{ {\lambda _1},{\lambda _2},\cdots,{\lambda _i},\cdots,{\lambda _N}\}$，则${\boldsymbol{\lambda }}$称作$\mathcal{G}$的图谱，${\lambda _i}$称作频率。特征值越大意味着对应的特征分量里面包含的高频信息越多，波动越剧烈；反之，特征值较小的特征向量对应低频特征向量，刻画图结构信号中的平滑特性，波动较小。

在实际应用中，为便于计算，通常需计算归一化拉普拉斯矩阵${{\boldsymbol{L}}_{{{\rm{nor}}} }} = {{\boldsymbol{D}}^{ - 1/2}}{\boldsymbol{L}}{{\boldsymbol{D}}^{ - 1/2}} = {\boldsymbol{I}} - {{\boldsymbol{D}}^{ - 1/2}} {\boldsymbol{W}}{{\boldsymbol{D}}^{ - 1/2}}$，其中${\boldsymbol{I}}$表示单位矩阵。对于无向图，其拉普拉斯矩阵具有半正定性

其中，$\left|\right|\cdot|{|}_{\text{F}}$表示F范数；${\boldsymbol{X}} = \{ {{\boldsymbol{x}}_i}\} _{i = 1}^N$为图信号，${{\boldsymbol{x}}_i},i = 1,2,\cdots,N$为顶点${v_i}$上的信号值。拉普拉斯矩阵又被称为拉普拉斯算子或者图算子，在图像处理、样本选择和信号去噪等领域具有重要应用价值。

图信号可以看作离散信号在图结构数据上的拓展，离散信号的频谱分析通过离散傅里叶变换实现。传统傅里叶变换所采用的基函数是${{{\rm{e}}}^{ - {{\rm{j}}}\varOmega t}}$，其实质是1维拉普拉斯算子的特征函数^[30]。而对信号$f(t = n{T_{\text{s}}})$进行傅里叶变换则等价于将信号$f(t = n{T_{\text{s}}})$在1维拉普拉斯算子特征函数上进行展开。从矩阵化描述的角度来看，傅里叶变换矩阵为标准正交矩阵，且每一列基向量都对应于不同的频率值^[31]。基于这一点，可借助图拉普拉斯算子，定义图结构上的傅里叶变换(称作图傅里叶变换(Graph Fourier Transform, GFT))，进而在谱域对图信号进行处理和分析^[31]。对于实对称矩阵${\boldsymbol{L}}$，其对应的特征向量${{\boldsymbol{u}}_i}$是相互正交的，则${\boldsymbol{U}}$为正交矩阵。以${\boldsymbol{L}}$的$N$个线性无关特征向量$\{ {{\boldsymbol{u}}_1},{{\boldsymbol{u}}_2},\cdots,{{\boldsymbol{u}}_N}\}$为基底张成特征空间，图傅里叶变换则为图$\mathcal{G}$上信号${\boldsymbol{X}} = \{ {{\boldsymbol{x}}_i}\} _{i = 1}^N$在这组基下的表示

相应地，图傅里叶逆变换定义为

2.2   图卷积神经网络

传统卷积神经网络(Convolutional Neural Network, CNN)^[32]中的卷积操作主要是针对欧氏空间形式规则的数据进行操作，利用$a \times b$大小的固定卷积核${\boldsymbol{\varPsi }}{[x,y]_{a \times b}}$依次对数据${\boldsymbol{I}}{[x,y]_{M \times N}}$相应位置进行相乘再求和，提取图像的局部特征。然而对于不规则的图结构数据，传统的卷积操作无法直接有效实施，需要设计能应用于图结构数据的卷积核^[33] 。图卷积神经网络有两种实现形式：基于谱域^[34,35]和基于图空间域^[36,37]。传统卷积操作与图上卷积操作对比如图3所示。

图 3  传统卷积操作与图上卷积操作对比

下载: 全尺寸图片 幻灯片

基于谱域的方法关键在于将频域响应矩阵进行参数化，首先将图的拉氏矩阵的特征向量作为基空间，将定义在图上的信号映射在该空间，然后进行卷积操作。相应地，对于图上的两组图信号${{\boldsymbol{x}}_1}$和${{\boldsymbol{x}}_2}$，图上的卷积操作定义为

其中，$\odot$表示元素为主的乘法操作。结合图傅里叶变换，式(4)可改写为

令${{\boldsymbol{H}}_{{{{\boldsymbol{\hat x}}}_1}}} = {\boldsymbol{U}}{{\rm{diag}}} ({{\boldsymbol{\hat x}}_1}){{\boldsymbol{U}}^{{\rm{T}}} }$为图滤波器，${{\boldsymbol{\varLambda }}_{\text{H}}} = {{\rm{diag}}} ({{\boldsymbol{\hat x}}_1})$为频率响应矩阵，对${{\boldsymbol{\varLambda }}_{\text{H}}}$进行参数化$\{ {\theta _1},{\theta _2},\cdots,{\theta _N}\}$，则可通过训练图卷积神经网络对不同频率处的特征信息进行提取，图卷积层可设计为

其中，${\boldsymbol{X}}$和${\boldsymbol{Y}}$分别表示输入和输出特征，$\sigma (\cdot)$是网络激活函数，网络模型$f(\cdot)$也是学到的图滤波器。基于谱域的图卷积神经网络具有较强的物理可解释性，但是在网络计算过程中涉及矩阵特征分解、傅里叶变换及逆变换，计算开销较大。此外，网络每个卷积层的参数与样本个数相同，网络训练规模过大，易于过拟合。以上两个问题导致基于频域的图卷积神经网络效率较低，在大规模训练任务中不可取。

为了避免上述问题，基于图空间域的卷积神经网络直接在空间节点上进行操作，基于节点的空间关系来定义图卷积。借鉴传统卷积神经网络的思想，空域图卷积神经网络构建的核心在于通过网络学习一个函数映射模型$f(\cdot)$，将图中顶点${v_i}$处的信号或者特征与其邻接节点${v_j}$($j \in \mathcal{N}({v_i})$表示${v_j}$在${v_i}$的邻接区域$\mathcal{N}({v_i})$内)的信号或者特征进行聚合，在该节点处生成新的信号或者特征表示。 空域图卷积的滤波过程引入了多项式近似的卷积操作，可简单理解为对邻节点信号的加权求和，这样就避免了复杂的频域滤波操作。此外，基于空间域的图卷积神经网络也能够实现局部区域特征提取和卷积权重共享，在计算效率、模型灵活性和通用性等方面具有一定优势，因此受到的关注和应用前景更为广泛。

在以上两种网络模型的基础上，图卷积神经网络进一步可与注意力机制相结合，形成图注意力网络^[38]；与自编码器相结合形成图自编码器网络^[39]和图生成网络^[40]；与循环网络相结合形成用于捕捉时空相关性的图空时网络^[41]等。这些网络等社交媒体数据、多传感器系统、交通流量预测等领域均有很好的应用价值。

谱图理论是图信号处理的基础，图卷积神经网络是图信号处理向深度学习领域的延拓。此外，与图信号处理理论紧密关联的还有图嵌入(graph embedding)^[42]和流形学习(manifold learning)^[43]。本文一并将这些方法纳入到图信号处理框架下，如图4所示。

图 4  本文涉及的图信号处理相关理论与方法

下载: 全尺寸图片 幻灯片

3.   基于图信号处理的高光谱图像处理关键技术

图信号处理在高光谱图像处理领域有广泛的应用，主要包括：特征提取、图像重构和解译分类3大方面。不同应用对图信号的定义方式和利用方式也不同。本节主要讨论相关理论在高光谱特征提取、图像重构和解译分类任务中的关键技术。

3.1   基于图嵌入的高光谱图像特征提取

高光谱图像数据体量大，光谱维波段数众多且存在大量冗余。同时，受限于“维数灾难”与“休斯现象”，高光谱图像特征提取是十分重要的研究课题。本节将介绍基于图嵌入理论的高光谱图像特征表示与提取方法，其核心思想是学习一个低维嵌入子空间，将高维高光谱数据映射到低维子空间，同时保留信号在原始高维空间中样本间表示特性和数据的本征嵌入结构。假设高光谱影像${\boldsymbol{X}} \in {\mathbb{R}^{d \times N}}$包含有$N$个像素$d$个波段，则可以在$d$维空间定义${\boldsymbol{X}} = \{ {{\boldsymbol{x}}_i}\} _{i = 1}^N$，其中，${{\boldsymbol{x}}_i} \in {\mathbb{R}^{d \times 1}}$是$d$维矢量。如图5所示，通过在图$\mathcal{G}$上定义影像信号，则每一个像素${{\boldsymbol{x}}_i}$对应于图中的点${v_i}$，${W_{ij}} = W{}_{ji}$是连接点${v_i}$和${v_j}$之间的边权重系数，描述了像素${{\boldsymbol{x}}_i}$和${{\boldsymbol{x}}_j}$之间的相互关系。

图 5  高光谱像素矢量在图上的定义

下载: 全尺寸图片 幻灯片

3.1.1   基于图结构的高光谱图像相似性表征

高光谱图像相似性关系表征目的是建立邻接矩阵${\boldsymbol{W}}$，学习高光谱图像本征结构关系。传统的图关系矩阵建立方法基于欧氏距离的倒数来计算两个数据之间的高斯相似度关系，用于表示边的权值${W_{ij}}$。根据图保持理论，两点之间距离越大，它们的关系越疏远，权值越小；两点之间距离越小，权值越大。但是基于欧氏距离的计算方法无法有效表示高光谱图像之间的相互关系。此外，高光谱图像存在典型的“同物异谱”和“异物同谱”现象，这导致高光谱图像的类间差异性和类内紧凑性受到了一定影响。如何在图像关系表征过程中学习到这种关联关系，避免在特征提取后破坏数据的原有类别分布十分关键。

高光谱图像根据其光谱成像原理描述，同类样本之间的光谱分布相似，而不同类样本间的光谱曲线存在特定波段存在差异。基于此，稀疏表示被用于构建高光谱图像的相似性表征关系图^[44]。对于任意一个像素${{\boldsymbol{x}}_i} \in {\boldsymbol{X}}$，它关于字典数据集${\boldsymbol{X}}$对其稀疏图表示的系数可以通过求解${L_1}$范数最优化模型得到

其中，${{\boldsymbol{w}}_i} = [{W_{i1}},{W_{i2}}, \cdots ,{W_{iN}}]$是一个$N \times 1$的向量，是数据集${\boldsymbol{X}}$中其余样本点对像素点${{\boldsymbol{x}}_i}$的表示系数组成的向量。${\Vert \cdot\Vert }_{1}$是矩阵理论的${L_1}$范数的描述，${L_1}$范数是${L_0}$的凸近似。进一步地，对于所有的像素点，写成矩阵的形式，则有

矩阵${\boldsymbol{W}}$表示在矩阵稀疏约束条件下，除自身点以外其他样本点对该点的线性表示，反映样本数据结构关系，可以看成是通过数据间的线性表示去刻画数据的几何结构。

稀疏表示只能求出样本间稀疏表示关系，缺乏对数据的全局约束，因此在低维流形空间中容易丧失原有数据结构的全局特性^[45,46]。对于高光谱图像数据而言，其局部结构和全局结构关系都十分重要。一方面，从物理意义的角度来看，高光谱图像包含有限类别地物目标，而同一类地物通常具有相同的地物光谱特征。当用其他像元作为字典基对中心像元进行表示时，同类地物像元的表示系数会远远高于异类像元，体现出很强的稀疏性。另一方面，如果将高光图像进行矩阵化表示，即表示成样本数乘以波段数的形式，则该高光谱数据矩阵的秩与影像所包含的地物目标类别个数理论上应该近似相等，这也从一定程度上说明了高光谱图像具有一定的低秩性。但是高光谱图像不可避免存在噪声或奇异数据值，导致某些光谱特征差异性大，增加表示系数矩阵的秩。所以引入低秩图构建用于学习全局结构信息也显得十分重要^[47]。因此，可通过稀疏性和低秩性同时约束表示系数矩阵，构建稀疏低秩表示图(Sparse and Low-Rank Graph, SLRG)

基于图嵌入的特征稀疏表示算法既能通过${L_1}$范数保留数据自表示的稀疏性，也可以通过核范数约束，保留具有全局约束的样本间表示的低秩特性，刻画了样本点之间的本征流形结构。此外，还有基于协同-竞争的图表示方法^[5]等，可以加强同类样本间的表示系数，同时抑制异类样本间的系数。

3.1.2   基于图嵌入的高光谱图像特征提取方法

高光谱特征提取方法主要是在低维子空间中找到对原始样本点${{\boldsymbol{x}}_i}$的低维表示。基于不同的目标和数据结构特点，可有不同的特征提取算法，但是它们均可以统一地在图嵌入保留框架下实现。图嵌入框架被认为是一个通用的平台，广泛地用于开发各种新型的基于图表示的特征提取算法^[42]。如图6所示，基于图嵌入理论的低维子空间学习的目标是寻求一个$d \times k$维的投影矩阵${\boldsymbol{P}}$$(k < d)$，通过对原始高维数据的投影变换，在低维空间有${\boldsymbol{Y}} = {{\boldsymbol{P}}^{\text{T}}}{\boldsymbol{X}}$^[48]。

图 6  基于图嵌入的子空间学习

下载: 全尺寸图片 幻灯片

为了保持原有空间的本征流形特性，最优化目标公式刻画为

其中，${{\boldsymbol{L}}_{\rm{s}}}$是图$\mathcal{G}$的拉普拉斯矩阵，${{\boldsymbol{L}}_{\rm{p}}}$是惩罚图的拉普拉斯矩阵，请参考文献[42]，这里不做过多解释。对含有$C$类样本的高光谱图像利用SLRG进行有监督特征提取的流程如算法1所示。

算法1 基于SLRG的有监督高光谱特征提取算法
(1) 输入${\boldsymbol{X}}$，特征提取维数$k$
(2) for $i = 1:C$ do
(3) 　for $j{\text{ = 1}}:{c_i}$(${c_i}$表示第$i$类样本个数) do
(4) 　　　根据式(9)对每个${\boldsymbol{x}}_j^{(i)}$用其同一类别的训练数据求稀疏 　　　　　 低秩表示系数${\boldsymbol{w} }_j^{(i)}$
(5) 　　　同一类别的稀疏低秩表示矩阵${{\boldsymbol{W}}^{(i)} } = [{{\boldsymbol{W}}^{(i)} };{\boldsymbol{w}}_j^{(i)}]$
(6) 　end for
(7) 　　构建稀疏低秩表示图${\boldsymbol{W} } = {\text{diag} }({ {\boldsymbol{W} }^{(1)} },{ {\boldsymbol{W} }^{(2)} }, \cdots ,{ {\boldsymbol{W} }^{(C)} })$
(8) end for
(9) 根据式(10)求得${\boldsymbol{P}}$
(10) 输出${\boldsymbol{Y}} = {{\boldsymbol{P}}^{\text{T} } }{\boldsymbol{X}}$

下载: 导出CSV 

| 显示表格

3.2   基于图正则的高光谱图像重构

受成像机制、大气效应和元器件校准等限制，高光谱图像的质量问题一直是困扰和阻碍其应用的关键因素。高光谱图像不可避免存在空间信息模糊、光谱吸收峰偏移、垃圾波段和条带失真等退化，导致输出质量低下、信息损失严重，极大制约了后续解译和分析的精度与可信度^[8]。因此，有效消除图像所含复杂噪声并重构缺失信息，对提升影像可解译性和可适用性具有重大研究意义，能为后续影像解译分析等实际应用提供质量保障、奠定数据基础^[49]。从数学优化角度来看，高光谱图像重构是典型的求逆问题^[50]。令$\mathcal{Y} \in {\mathbb{R}^{m \times n \times d}}$表示所观测的退质高光谱遥感影像(其中${{m}}$表示图像行数，$n$表示图像列数，${{d}}$为光谱波段数)，则$\mathcal{Y}$的退化过程可以表述为待估计(无干扰)影像$\mathcal{X} \in {\mathbb{R}^{m \times n \times d}}$经过某种退质操作${{\varPhi}}(\cdot)$后受噪声$\mathcal{N} \in {\mathbb{R}^{m \times n \times d}}$干扰的结果

则高光谱重构任务为：在一定的先验基础上，通过对${\varPhi }$和$\mathcal{N}$进行建模，将$\mathcal{X}$从$\mathcal{Y}$中重构出来

其中，$R(\mathcal{X})$和$E(\mathcal{X})$分别正则项和误差项，${\lambda _1}$和${\lambda _2}$为正则化参数。

根据退质过程的不同，高光谱图像重构任务主要包括去噪和分辨率增强两个方面。相应地，不同重构任务中对$\varPhi(\cdot)$的建模方式也不同。

(1)对于高光谱图像去噪任务，蒋俊正等人^[18]发明了一种基于自适应权重图全变分(Adaptive-Weighted- Graph Total Variation, AWGTV)的高光谱去噪方法

其中，${\boldsymbol{X}},{\boldsymbol{Y}} \in {\mathbb{R}^{N \times d}}$分别为矩阵化表示形式，$N = m \times n$。${\boldsymbol{S}} \in {\mathbb{R}^{N \times d}}$表示脉冲、坏点、条纹等稀疏噪声等，${\left\| {\boldsymbol{X}} \right\|_{{{\rm{AWGTV}}} }}$为自适应权重图变分项，考虑图像的分段平滑先验。在求解${\boldsymbol{X}}$时设计了基于图信号的全变分算法，并在图信号全变分中采用了自适应权重4邻域邻接矩阵，在去噪过程中有效保留了图像边缘细节信息和同质区域内图像平滑特性。Lu等人^[51]提出了图正则低秩表示的高光谱图像去条带方法

通过对低秩表示稀疏进行图信号建模，用于保留高光谱图像的本征局部结构关系。文中采用了简单的最近邻域构图方法，在此不做过多赘述。Liu等人^[52]提出了基于多图的低秩张量近似方法，用于复杂环境下高光谱图像复原

其中，$||{\mathcal{X}_{(k)}}|{|_{{\mathcal{G}_k}}}$为图正则项。该方法借鉴于图上矩阵复原的思想，分别构建了行图、列图和波段图，用于捕捉高光谱图像局部相似性关系。

(2)对于高光谱图像空间分辨率增强任务，Zhang等人^[53]设计了基于空-谱图正则低秩张量分解的高光谱与多光谱融合方法，利用超像素分割方法在多光谱图像(MultiSpectral Image, MSI)生成超像素内部空间图，而在高光谱图像上以波段为顶点信号建立光谱图。对于采用融合方法的高光谱图像超分辨率方法，其关键在于有效提取多光谱图像的空间信息和高光谱图像的光谱信息并有效融合到最终生成的高空-谱分辨率影像(High-Spatial-Spectral Image, HS²I)中。该方法将从空间和光谱图学到的空谱属性以图表示的形式融入生成的高分辨率HS²I中，保证了融合质量，最终将融合过程建模为

其中，$\mathcal{X}$为融合后空-谱分辨率重构影像HS²I，$\mathcal{M}$和$\mathcal{L}$分别为多光谱图像MSI和插值后低分辨率高光谱图图像，$\mathcal{S}$为高和低分辨率图像之差；${\boldsymbol{D}}$光谱响应矩阵；${{\boldsymbol{V}}_k}(k = 1,2,3)$为Tucker分解因子矩阵，$\mathcal{G}$为核张量。${{\boldsymbol{P}}_{\text{D}}}$和${{\boldsymbol{P}}_{\text{S}}}$分别为归一化空间和谱间图拉普拉斯矩阵。Bu等人^[54]也采用了同样的思想对因子矩阵进行了图模型正则化构建。Liu等人^[55]则是直接在MSI构建空间行图和列图，在HSI构建光谱图，并将图模型结合到基于核张量近似的融合框架里，最终生成融合后的高分辨率影像HS²I。

3.3   基于图卷积神经网络的高光谱图像分类

CNN能够挖掘高光谱图像光谱维、空间维、空-谱联合维深度特征，在高光谱地物分类任务中展现出了优异的性能^[56]。然而，高光谱图像与传统光学影像相比不仅在光谱波段数量上展现出差异性，在应用场景和图像质量等方面也具有很大不同。一方面，高光谱图像通常应用于遥感地物监测等大尺度和复杂应用场景，这就使得场景内地物目标类别分布参差不齐、不同地物样本数量分布不均匀等。因此，高光谱图像地物分类对卷积神经网络的模型泛化等能力提出了更高的挑战。另一方面，高光谱遥感成像技术的发展一直受到信噪比、空间分辨率、谱间分辨率等各种因素的制约，需要视应用情况折衷考虑。因此，对于超高光谱分辨率的影像而言，其空间分辨率往往较低，这就导致高光谱图像的空间纹理和轮廓等边界信息不明显。因而，擅长利用具有特定尺寸和形状的卷积核来提取图像领域空间特征的传统CNN就无法有效捕捉目标的几何边缘结构信息，也不能构建像元间的关联关系。这就导致基于传统计算机视觉领域发展而来的CNN在高光谱图像地物分类任务中仍然存在亟待解决的瓶颈问题。

通过对高光谱图像结构进行重新定义，可以引入图卷积神经网络来进一步增强CNN在高光谱图像分类任务中的性能，克服规则形状卷积核在样本间关系建模方面存在的局限。在高光谱图像结构重新定义方面，最为直观和直接的方法是将每一个光谱矢量作为图信号进行构图，这就需要在所有样本上构造邻接矩阵，导致传统GCN网络在训练过程中会消耗大量的计算资源，对于大规模遥感应用问题来说不现实^[22]。为了避免这一点，Qin等人^[57]提出了空谱GCN用于半监督的高光谱图像分类，通过2阶邻域去近似图卷积操作，虽然取得了一定进展，但是GCN的训练工作并不高效。因此，需要定义更加高效的图表示方法，Wan等人^[58]引入超像素分割对原始高光谱图像进行分割，然后在此基础上进一步构建图信号并进行图卷积网络设计(如图7所示)，形成了多尺度动态图卷积神经网络，网络内部不同层的邻接关系可以动态调整，这样在一定程度上能够减少计算量并且提升分类精度。

图 7  基于超像素分割的图卷积网络

下载: 全尺寸图片 幻灯片

Hong等人^[59]设计了一种新型的可以以小批量形式(minibatch)训练的GCN，在每个批次的训练过程中每个batch里面的像素进行图信号构建，从而避免了大规模构图。而且这种batch形式的GCN网络训练模式可以很好地和CNN训练模式进行兼容，可以同时利用CNN和GCN提取更加丰富的局部特征和相互关联特征，最后再将这些特征进行融合，从而实现更加鲁棒的分类精度提升。Wan等人^[60]进一步将空间内容信息与图卷积神经网络相结合，提出了对图像上下文感知的动态图卷积神经网络。Mou等人^[61]基于半监督图卷积神经网络展开工作，基于非局部、数据驱动的思想通过端到端的方法自适应地构建可学习的图表示，而非采取传统固定的图结构构造方式。因此，最终的图卷积操作是在实现了整个图像非局部关联特征的提取，不再局限于空间邻域范围。Liu等人^[62]提出了将CNN和GCN相结合的深度学习网络，利用CNN提取像素级规则结构图像特征，而利用GCN提取超像素级非规则图节点特征，通过编解码结构消除两路结构的不兼容性，并对两级信息进行融合然后分类输出。

基于CNN的深度模型在分类任务对训练样本需求比较大，而高光谱图像在实际应用过程中可利用的训练则十分有限。基于图信号处理模型的GCN能够在有标签和无标签样本间建立关联关系，从而样本不足或者半监督的学习任务中具有良好应用。对于少量样本训练问题，He等人^[63]提出了双GCN的有监督分类方法：其中一支GCN基于样本间的相关关系提取深度特征，而另一支GCN则聚焦于标签分布学习，然后将标签分布信息与样本结构图学习相结合以减少类内差异，提高分类精度。基于图信号处理在谱聚类领域的良好应用基础^[64]，Zeng等人^[65]将聚类与GCN相结合用于半监督高光谱图像分类，利用两个聚类操作对图中多跳节点关系进行学习：其中一个聚类操作用于产生超像素结果，对超像素构建图信号，然后再利用聚类操作对图结构信号进行分割生成子图，进一步加强对同类像素间相似关系的学习。而Xi等人^[66,67]则将元学习和度量学习的思想嵌入到GCN结构设计过程中，进一步解决训练样本有限和光谱不确定性等问题，从而提高分类精度。

4.   总结与展望

4.1   已有研究存在的不足之处与挑战

高光谱图像处理与解译分析技术在遥感对地观测、医学影像诊断、军事目标侦察、生态环境监测、城市规划等领域均有重要的研究价值。近年来随着人工智能、机器学习等技术的不断引入，高光谱图像处理与解译分析相关理论与技术得以快速发展，但是目前该领域大部分的研究工作尚处于理论研究与实践探索阶段，在实际复杂环境中的应用经验和理论发展等尚且不成熟。其中，图信号处理虽然在高光谱图像处理与解译应用领域取得了一些理论成果和研究进展，但是仍然面临着一些不足与挑战，具体体现在：

(1)对高光谱图像复杂退化过程的物理机制与图信号处理理论关联不足。目前，基于图信号处理的方法大多只关注高光谱图像的空间维和光谱维信息保留，多以正则化的形式集成在优化目标函数中，这种方法在一定程度上能够改进单一退化场景下高光谱图像的质量。但是，当高光谱图像受到复杂噪声干扰时，只对影像本征高维结构进行图正则优化是不够的，还需要对复杂噪声引起的非线性退化加以考虑，从而减少理论模型与实际物理退化过程的不一致性。因此，有必要发展面向复杂退化过程的高光谱重构方法，重视高光谱影像退化所蕴含的物理机制，将物理退化与图正则优化模型相结合，从物理角度解释信息退化和信号重构过程，实现高光谱图像重构的同时加强其物理可解释性。

(2)对实际应用环境下高光谱图像的解译能力不足。目前已有方法多基于公开的高光谱数据集^[68]展开理论研究和仿真实验验证，在这些数据集上取得了可观的特征提取、图像质量重构和解译分类性能。然而，实际应用中获取的高光谱图像与公开的高光谱数据存在很大的不同：在实际应用中获取的高光谱图像更具复杂性、多样性和不确定性。首先，高光谱图像的应用范围很广，以遥感探测和医学诊断为例，两种场景中所获取的高光谱图像目标分布特性完全不同；其次，对于大尺度的应用场景而言，每幅图像所包含的地物目标更加复杂多样；最后，不同场景中地物目标类别以及各类别的分布均衡性等都存在不确定性。这些特点对基于数据驱动的深度学习模型的泛化性能提出了很高的要求。然而，已有模型在高光谱图像解译分类方面，均是在当前分类场景中选择部分数据作为训练样本，而在剩余样本中进行测试，很难保证分类器的泛化性能。尽管基于领域自适应和迁移学习的方法被逐渐引入高光谱图像分类任务中，但这类模型多基于不同场景应遵循同分布等假设，仍然无法满足实际应用需求。

4.2   总结与展望

本文围绕基于图信号处理的高光谱图像处理与解译分类相关技术，首先介绍了图信号处理理论的基础—谱图理论，以及新型的图卷积神经网络；然后对高光谱图像处理和分析的3大核心任务(特征提取、图相重构和解译分类)进行了梳理，并阐述了图信号处理在各个任务中的应用和发展。图信号处理具有丰富的理论基础，目前仍在不断地发展和完善之中，本文无法完全涵盖所有内容。结合目前的发展情况和已有研究中存在的不足与挑战之处来看，未来图信号处理在高光谱图像处理领域的可能发展趋势有以下两个方面：

(1)图信号处理将不再局限于基于单模态数据的遥感图像处理任务。图信号处理具有能够表征非欧氏结构数据的优势，而高光谱图像与其他多源遥感图像(比如激光雷达影像)的融合已成为未来高光谱图像发展和应用的趋势。由于不同源不同模态间数据的异构性较强，因此传统的信号表征方法无法满足应用需求，而基于图信号处理的方法由于能够挖掘更深层次的数据关联和本征信息，从而可以应用于对多源遥感图像进行表征和分析。

(2)图信号处理理论与方法在高光谱图像处理领域中总体呈现出由模型驱动的传统机器学习向基于数据驱动的深度学习发展的趋势。因此，随着高光谱成像技术的不断发展和普及，同时在高性能计算的推动下，基于图信号处理的高光谱图像处理应用也会逐渐成熟，不断应用于实际任务中，为智能化高光谱图像解译奠定基础。