Loading [MathJax]/jax/element/mml/optable/BasicLatin.js
高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于Khatri-Rao积的三维前视声呐空间方位估计技术

周天 沈嘉俊 杜伟东 周曹韵 宋金阳 陈宝伟 李海森

钱智明, 钟平, 王润生. 基于图正则化与非负组稀疏的自动图像标注[J]. 电子与信息学报, 2015, 37(4): 784-790. doi: 10.11999/JEIT141282
引用本文: 周天, 沈嘉俊, 杜伟东, 周曹韵, 宋金阳, 陈宝伟, 李海森. 基于Khatri-Rao积的三维前视声呐空间方位估计技术[J]. 电子与信息学报, 2021, 43(3): 857-864. doi: 10.11999/JEIT200657
Qian Zhi-Ming, Zhong Ping, Wang Run-Sheng. Automatic Image Annotation via Graph Regularization and Non-negative Group Sparsity[J]. Journal of Electronics & Information Technology, 2015, 37(4): 784-790. doi: 10.11999/JEIT141282
Citation: Tian ZHOU, Jiajun SHEN, Weidong DU, Caoyun ZHOU, Jinyang SONG, Baowei CHEN, Haisen LI. DOA Estimation Technology Based on Khatri-Rao Product for 3D Forward-looking Sonar[J]. Journal of Electronics & Information Technology, 2021, 43(3): 857-864. doi: 10.11999/JEIT200657

基于Khatri-Rao积的三维前视声呐空间方位估计技术

doi: 10.11999/JEIT200657
基金项目: 后勤科研重点项目(BY119C008),国家自然科学基金(U1709203, 41976176, U1906218),中央高校基本业务费(3072020CFT0501),黑龙江省博士后科研发展基金(LBH-Q18042),黑龙江省自然科学基金(ZD2020D001)
详细信息
    作者简介:

    周天:男,1980年生,教授,研究方向为水声信号处理、水声目标探测

    沈嘉俊:男,1993年生,博士生,研究方向为水声阵列信号处理

    杜伟东:男,1984年生,讲师,研究方向为水声信号处理

    通讯作者:

    杜伟东 duweidong@hrbeu.edu.cn

  • 中图分类号: TB566

DOA Estimation Technology Based on Khatri-Rao Product for 3D Forward-looking Sonar

Funds: The Logistics Study Program(BY119C008), The National Natural Science Foundation of China (U1709203, 41976176, U1906218), The Fundamental Research Funds for the Central Universities(3072020CFT0501), The Postdoctoral Scientific Research Developmental Fund of Heilongjiang(LBH-Q18042), The Natural Science Foundation of Heilongjiang Province(ZD2020D001)
  • 摘要: 为了提高3维前视声呐的方位分辨能力,同时避免2维(2D)方位估计(DOA)方法失效,该文提出1维(1D)空间角估计方法、基于Vernier法的垂直角估计方法和基于最小角定理的水平角方位估计方法。首先基于不同子阵构造互协方差矩阵避免2维方位估计模型失效,再利用Khatri-Rao积进行虚拟孔径扩展;将扩展后的阵列导向矢量和观测向量模型用于2维方位估计。与原阵列的导向矢量相比,虚拟阵元数量约增加1倍,阵列的孔径得到有效扩展。仿真实验表明,与单观测向量波束形成2维方位估计方法相比,所提方法在2维方位估计问题中具有更高的分辨能力,均方根误差更低;水池实验进一步验证了该文所提方法的工程实用性。
  • 高光谱成像技术是光学成像技术与光谱仪技术的有效结合,在捕获目标地物空间图像信息的同时也能获取可见光至红外区域的光谱反射信息,输出数据是一组“空谱合一”的3维立方体,称为高光谱图像(HyperSpectral Image, HSI)[1],如图1所示。与传统的3通道可见光图像和多光谱图像相比,高光谱图像为人类进一步认识不同地物目标的各种特性提供了更为丰富和全面的信息[2]。受益于其精细化的光谱判别能力,高光谱图像最早诞生于遥感探测领域,随着成像技术的不断成熟,逐渐在其他领域(比如医学诊断、精准农林业、城市规划等)也具有了很广泛的应用基础并展现出了可观的应用前景。

    图 1  高光谱图像示意图

    然而,精细化光谱维判别信息与空域信息的集成同时也对高光谱图像数据采集、传输和处理等各个过程提出了新挑战[3,4]:首先,高光谱图像包含几十至成百上千的光谱通道,是典型的具备高维特征、高数据体量特性的3阶张量数据,这导致高光谱图像在获取、存储、处理和应用等阶段对成像传感器的成像速率、对存储单元的空间大小、对处理及应用算法的有效性等方面均有较高的要求[5]。丰富的光谱维度特性致使高光谱图像波段间具有很强的相关性,造成特征信息冗余,为数据处理及分析带来困难,伴随着“维数灾难”和“休斯现象”[6,7]。其次,受成像传感技术限制及复杂光照、气候等成像环境干扰,高光谱图像空间维分辨率较低且伴随光谱维信息失真和时间维序列信息匮乏等图像质量差的问题,限制了其在复杂场景智能解译任务中的精确度以及性能发挥[8]。而且,不同于传统的光学图像,高光谱遥感图像噪声分布多样和退化情况更为复杂,比如条带噪声分布[9]、大气吸收[10]等。此外,高光谱图像在实际解译分类任务中,面临着两大难题,即“同物异谱”和“同谱异物”[11,12]。“同物异谱”意味着在一副高光谱图像中,同一类地物由于地理位置、生长条件等差异在不同区域呈现出完全不同的光谱曲线;而“同谱异物”则是受到传感器分辨率的制约,导致同一光谱曲线内同时包含着多种地物的光谱信息,在数据解译时可能会产生不同的输出类别。因此,尽管高光谱数据中包含着丰富的空、谱信息,具备极强的地物属性识别能力,但在光谱特性的有效挖掘和在实际应用场景中的解译精度的提高方面仍然不足。

    针对以上问题,传统信号处理方法无法充分考虑高光谱图像数据的图谱合一特性,难以刻画和有效利用像素光谱矢量间的内在本征关联特性和差异化光谱结构分布[13]。而通过借鉴图信号处理(Graph Signal Processing, GSP)技术[14,15]的思想,可以将高光谱图像定义为图结构数据,进而利用图拓扑结构刻画高光谱图像各样本间的关联特性。图信号处理为有效解决高光谱图像处理与解译所面临的困境提供了全新的思路和理论基础,在高光谱图像数据表征[16]、维度约简[17]、数据质量增强[18]、解混[19]、地物分类[20]等方面均有很好的应用。此外,在图信号处理基础上发展而来的图卷积神经网络(Graph Convolutional Network, GCN)[21]也在高光谱图像分类任务中取得了一定成效[22]。相较于基于传统卷积神经网络架构的局部空间信息提取能力,图卷积神经网络能够捕获图结构数据间的短距离、长距离空间依赖关系,从而更好地利用空间局部和全局结构关系对目标样本进行预测[23]

    本文主要以综述的形式、从方法论角度介绍基于图信号处理的高光谱图像处理方法和技术,结合图信号处理关键技术:图嵌入学习、图正则方法和图卷积深度学习等,重点阐述和探讨图信号处理在高光谱图像特征提取、质量重构和地理要素分类等任务中的典型应用和方法实现过程,并指出了当前图信号处理技术在该领域存在的技术瓶颈,同时对后续发展趋势进行了展望。本文的主要结构安排如下:第2节介绍图信号处理基本理论及方法:包括图信号处理理论基础—谱图理论,以及在此基础上发展而来的图卷积神经网络;第3节重点阐述图信号处理技术在高光谱图像处理关键任务中的典型应用;第4节进一步分析图信号处理在高光谱图像处理任务中潜在问题,并对相关技术发展进行了展望,并总结全文。

    图信号处理理论最早可以追溯至图学习[24],核心思想是建立非规则结构[25,26]或者高维数据各样本节点之间的几何关系并利用谱图理论[27]等机器学习和信号处理技术对构建的关系图进行处理和分析。随着信息时代的到来,海量不同结构类型的数据不断产生,比如社交网络中的用户关系数据,多元传感器网络的传感器节点信息,多模态多域多维遥感卫星影像等[28,29]。这些数据为图信号处理理论和技术的快速发展和完善提供了良好的数据基础。

    图信号处理可以看作传统信号处理方法在非结构化数据和高维信号的拓展,在图结构数据上重新定义传统几何规则域信号处理方法,比如图傅里叶变换、图结构滤波器、图卷积操作等。如图2所示,定义N节点图结构数据为G=(V,E,W),其中,VE分别表示图结构数据的顶点集合V={v1,v2,,vN}和边集合E={e1,e2,,eM}WRN×N为边相似性度量矩阵。在本文中,为便于读者理解,统一采用无向图结构,也即边相似性度量矩阵W为对称矩阵,Wij=Wji。定义在图模型所有顶点上的数据X={xi}Ni=1则被称作图信号,图信号又可看作图G上定点元素V到复数域C的映射f:VC,vici。本文考虑d维实信号xiRd×1,则有f:VX,vixi,且xi=f(vi)

    图 2  图信号可视化(节点数N=5,邻接边M=6)

    图信号处理的核心任务是构建图信号之间的关联关系,也即构建W。不同的图信号处理任务对W取值要求也大为不同。主流的图信号处理任务涉及两种构建方式:邻接关系矩阵和权重关系矩阵。对于邻接关系矩阵,当图顶点vivj之间具备关联关系时,Wij=Wji=1,否则Wij=Wji=0;而对于权重关系矩阵而言,图顶点vivj之间连接关系通常有定义在顶点上的信号xixj确定,也即Wij=Wji通过某种准则计算得出。在构建W的基础上,可以通过谱图理论对图结构信号进行直观分析。谱图理论的主要研究内容是拉普拉斯矩阵(又称拉氏矩阵),主要通过计算拉氏矩阵的特征值分布和特征向量来分析图结构信号的特性。

    首先,定义度矩阵D=diag(d1,d2,,di,,dN),其中di为顶点vi的度,描述顶点vi的重要程度,为其他顶点与顶点vi的相似性关系总和,即由Wi列所有元素之和求出:di=Ni=1Wij

    更进一步地,图拉普拉斯矩阵定义为L=DW,是对称矩阵,其特征分解可表示为L=UΛUT。其中,Λ为由特征值{λ1,λ2,,λN}为对角线元素组成的特征值矩阵Λ=diag(λ1,λ2,,λN)U为特征向量{u1,u2,,uN}组成的特征向量矩阵,UTU的转置矩阵。特征值与特征向量包含了图结构信号的丰富信息。将特征值由小到大进行排序λ1λ2λN,并令λ={λ1,λ2,,λi,,λN},则λ称作G的图谱,λi称作频率。特征值越大意味着对应的特征分量里面包含的高频信息越多,波动越剧烈;反之,特征值较小的特征向量对应低频特征向量,刻画图结构信号中的平滑特性,波动较小。

    在实际应用中,为便于计算,通常需计算归一化拉普拉斯矩阵Lnor=D1/2LD1/2=ID1/2WD1/2,其中I表示单位矩阵。对于无向图,其拉普拉斯矩阵具有半正定性

    XTLX=XT(DW)X=12Ni=1Nj=1Wij||xixj||2F0 (1)

    其中,||||F表示F范数;X={xi}Ni=1为图信号,xi,i=1,2,,N为顶点vi上的信号值。拉普拉斯矩阵又被称为拉普拉斯算子或者图算子,在图像处理、样本选择和信号去噪等领域具有重要应用价值。

    图信号可以看作离散信号在图结构数据上的拓展,离散信号的频谱分析通过离散傅里叶变换实现。传统傅里叶变换所采用的基函数是ejΩt,其实质是1维拉普拉斯算子的特征函数[30]。而对信号f(t=nTs)进行傅里叶变换则等价于将信号f(t=nTs)在1维拉普拉斯算子特征函数上进行展开。从矩阵化描述的角度来看,傅里叶变换矩阵为标准正交矩阵,且每一列基向量都对应于不同的频率值[31]。基于这一点,可借助图拉普拉斯算子,定义图结构上的傅里叶变换(称作图傅里叶变换(Graph Fourier Transform, GFT)),进而在谱域对图信号进行处理和分析[31]。对于实对称矩阵L,其对应的特征向量ui是相互正交的,则U为正交矩阵。以LN个线性无关特征向量{u1,u2,,uN}为基底张成特征空间,图傅里叶变换则为图G上信号X={xi}Ni=1在这组基下的表示

    ˆX=GFT(X)=UTX (2)

    相应地,图傅里叶逆变换定义为

    X=IGFT(ˆX)=UˆX (3)

    传统卷积神经网络(Convolutional Neural Network, CNN)[32]中的卷积操作主要是针对欧氏空间形式规则的数据进行操作,利用a×b大小的固定卷积核Ψ[x,y]a×b依次对数据I[x,y]M×N相应位置进行相乘再求和,提取图像的局部特征。然而对于不规则的图结构数据,传统的卷积操作无法直接有效实施,需要设计能应用于图结构数据的卷积核[33] 。图卷积神经网络有两种实现形式:基于谱域[34,35]和基于图空间域[36,37]。传统卷积操作与图上卷积操作对比如图3所示。

    图 3  传统卷积操作与图上卷积操作对比

    基于谱域的方法关键在于将频域响应矩阵进行参数化,首先将图的拉氏矩阵的特征向量作为基空间,将定义在图上的信号映射在该空间,然后进行卷积操作。相应地,对于图上的两组图信号x1x2,图上的卷积操作定义为

    x1x2=IGFT(GFT(x1)GFT(x2)) (4)

    其中,表示元素为主的乘法操作。结合图傅里叶变换,式(4)可改写为

    x1x2=U[(UTx1)(UTx2)]=U[ˆx1(UTx2)]=Udiag(ˆx1)UTx2 (5)

    Hˆx1=Udiag(ˆx1)UT为图滤波器,ΛH=diag(ˆx1)为频率响应矩阵,对ΛH进行参数化{θ1,θ2,,θN},则可通过训练图卷积神经网络对不同频率处的特征信息进行提取,图卷积层可设计为

    Y=σ(U[θ1θ2θN]UTX)=σ(Udiag(θ)UTX)=σ(f(X)) (6)

    其中,XY分别表示输入和输出特征,σ()是网络激活函数,网络模型f()也是学到的图滤波器。基于谱域的图卷积神经网络具有较强的物理可解释性,但是在网络计算过程中涉及矩阵特征分解、傅里叶变换及逆变换,计算开销较大。此外,网络每个卷积层的参数与样本个数相同,网络训练规模过大,易于过拟合。以上两个问题导致基于频域的图卷积神经网络效率较低,在大规模训练任务中不可取。

    为了避免上述问题,基于图空间域的卷积神经网络直接在空间节点上进行操作,基于节点的空间关系来定义图卷积。借鉴传统卷积神经网络的思想,空域图卷积神经网络构建的核心在于通过网络学习一个函数映射模型f(),将图中顶点vi处的信号或者特征与其邻接节点vj(jN(vi)表示vjvi的邻接区域N(vi)内)的信号或者特征进行聚合,在该节点处生成新的信号或者特征表示。 空域图卷积的滤波过程引入了多项式近似的卷积操作,可简单理解为对邻节点信号的加权求和,这样就避免了复杂的频域滤波操作。此外,基于空间域的图卷积神经网络也能够实现局部区域特征提取和卷积权重共享,在计算效率、模型灵活性和通用性等方面具有一定优势,因此受到的关注和应用前景更为广泛。

    在以上两种网络模型的基础上,图卷积神经网络进一步可与注意力机制相结合,形成图注意力网络[38];与自编码器相结合形成图自编码器网络[39]和图生成网络[40];与循环网络相结合形成用于捕捉时空相关性的图空时网络[41]等。这些网络等社交媒体数据、多传感器系统、交通流量预测等领域均有很好的应用价值。

    谱图理论是图信号处理的基础,图卷积神经网络是图信号处理向深度学习领域的延拓。此外,与图信号处理理论紧密关联的还有图嵌入(graph embedding)[42]和流形学习(manifold learning)[43]。本文一并将这些方法纳入到图信号处理框架下,如图4所示。

    图 4  本文涉及的图信号处理相关理论与方法

    图信号处理在高光谱图像处理领域有广泛的应用,主要包括:特征提取、图像重构和解译分类3大方面。不同应用对图信号的定义方式和利用方式也不同。本节主要讨论相关理论在高光谱特征提取、图像重构和解译分类任务中的关键技术。

    高光谱图像数据体量大,光谱维波段数众多且存在大量冗余。同时,受限于“维数灾难”与“休斯现象”,高光谱图像特征提取是十分重要的研究课题。本节将介绍基于图嵌入理论的高光谱图像特征表示与提取方法,其核心思想是学习一个低维嵌入子空间,将高维高光谱数据映射到低维子空间,同时保留信号在原始高维空间中样本间表示特性和数据的本征嵌入结构。假设高光谱影像XRd×N包含有N个像素d个波段,则可以在d维空间定义X={xi}Ni=1,其中,xiRd×1d维矢量。如图5所示,通过在图G上定义影像信号,则每一个像素xi对应于图中的点viWij=Wji是连接点vivj之间的边权重系数,描述了像素xixj之间的相互关系。

    图 5  高光谱像素矢量在图上的定义
    3.1.1   基于图结构的高光谱图像相似性表征

    高光谱图像相似性关系表征目的是建立邻接矩阵W,学习高光谱图像本征结构关系。传统的图关系矩阵建立方法基于欧氏距离的倒数来计算两个数据之间的高斯相似度关系,用于表示边的权值Wij。根据图保持理论,两点之间距离越大,它们的关系越疏远,权值越小;两点之间距离越小,权值越大。但是基于欧氏距离的计算方法无法有效表示高光谱图像之间的相互关系。此外,高光谱图像存在典型的“同物异谱”和“异物同谱”现象,这导致高光谱图像的类间差异性和类内紧凑性受到了一定影响。如何在图像关系表征过程中学习到这种关联关系,避免在特征提取后破坏数据的原有类别分布十分关键。

    高光谱图像根据其光谱成像原理描述,同类样本之间的光谱分布相似,而不同类样本间的光谱曲线存在特定波段存在差异。基于此,稀疏表示被用于构建高光谱图像的相似性表征关系图[44]。对于任意一个像素xiX,它关于字典数据集X对其稀疏图表示的系数可以通过求解L1范数最优化模型得到

    argminwiwi1,s.tXwi=xiWii=0 (7)

    其中,wi=[Wi1,Wi2,,WiN]是一个N×1的向量,是数据集X中其余样本点对像素点xi的表示系数组成的向量。1是矩阵理论的L1范数的描述,L1范数是L0的凸近似。进一步地,对于所有的像素点,写成矩阵的形式,则有

    argminWW1,s.tXW=XWii=0 (8)

    矩阵W表示在矩阵稀疏约束条件下,除自身点以外其他样本点对该点的线性表示,反映样本数据结构关系,可以看成是通过数据间的线性表示去刻画数据的几何结构。

    稀疏表示只能求出样本间稀疏表示关系,缺乏对数据的全局约束,因此在低维流形空间中容易丧失原有数据结构的全局特性[45,46]。对于高光谱图像数据而言,其局部结构和全局结构关系都十分重要。一方面,从物理意义的角度来看,高光谱图像包含有限类别地物目标,而同一类地物通常具有相同的地物光谱特征。当用其他像元作为字典基对中心像元进行表示时,同类地物像元的表示系数会远远高于异类像元,体现出很强的稀疏性。另一方面,如果将高光图像进行矩阵化表示,即表示成样本数乘以波段数的形式,则该高光谱数据矩阵的秩与影像所包含的地物目标类别个数理论上应该近似相等,这也从一定程度上说明了高光谱图像具有一定的低秩性。但是高光谱图像不可避免存在噪声或奇异数据值,导致某些光谱特征差异性大,增加表示系数矩阵的秩。所以引入低秩图构建用于学习全局结构信息也显得十分重要[47]。因此,可通过稀疏性和低秩性同时约束表示系数矩阵,构建稀疏低秩表示图(Sparse and Low-Rank Graph, SLRG)

    argminWW1+λW,s.tXW=XWii=0 (9)

    基于图嵌入的特征稀疏表示算法既能通过L1范数保留数据自表示的稀疏性,也可以通过核范数约束,保留具有全局约束的样本间表示的低秩特性,刻画了样本点之间的本征流形结构。此外,还有基于协同-竞争的图表示方法[5]等,可以加强同类样本间的表示系数,同时抑制异类样本间的系数。

    3.1.2   基于图嵌入的高光谱图像特征提取方法

    高光谱特征提取方法主要是在低维子空间中找到对原始样本点xi的低维表示。基于不同的目标和数据结构特点,可有不同的特征提取算法,但是它们均可以统一地在图嵌入保留框架下实现。图嵌入框架被认为是一个通用的平台,广泛地用于开发各种新型的基于图表示的特征提取算法[42]。如图6所示,基于图嵌入理论的低维子空间学习的目标是寻求一个d×k维的投影矩阵P(k<d),通过对原始高维数据的投影变换,在低维空间有Y=PTX[48]

    图 6  基于图嵌入的子空间学习

    为了保持原有空间的本征流形特性,最优化目标公式刻画为

    argmin (10)

    其中,{{\boldsymbol{L}}_{\rm{s}}}是图 \mathcal{G} 的拉普拉斯矩阵,{{\boldsymbol{L}}_{\rm{p}}}是惩罚图的拉普拉斯矩阵,请参考文献[42],这里不做过多解释。对含有 C 类样本的高光谱图像利用SLRG进行有监督特征提取的流程如算法1所示。

    算法1 基于SLRG的有监督高光谱特征提取算法
     (1) 输入{\boldsymbol{X}},特征提取维数 k
     (2) for i = 1:C do
     (3)  for j{\text{ = 1}}:{c_i} ( {c_i} 表示第 i 类样本个数) do
     (4)    根据式(9)对每个{\boldsymbol{x}}_j^{(i)}用其同一类别的训练数据求稀疏
          低秩表示系数{\boldsymbol{w} }_j^{(i)}
     (5)    同一类别的稀疏低秩表示矩阵{{\boldsymbol{W}}^{(i)} } = [{{\boldsymbol{W}}^{(i)} };{\boldsymbol{w}}_j^{(i)}]
     (6)  end for
     (7)   构建稀疏低秩表示图{\boldsymbol{W} } = {\text{diag} }({ {\boldsymbol{W} }^{(1)} },{ {\boldsymbol{W} }^{(2)} }, \cdots ,{ {\boldsymbol{W} }^{(C)} })
     (8) end for
     (9) 根据式(10)求得{\boldsymbol{P}}
     (10) 输出{\boldsymbol{Y}} = {{\boldsymbol{P}}^{\text{T} } }{\boldsymbol{X}}
    下载: 导出CSV 
    | 显示表格

    受成像机制、大气效应和元器件校准等限制,高光谱图像的质量问题一直是困扰和阻碍其应用的关键因素。高光谱图像不可避免存在空间信息模糊、光谱吸收峰偏移、垃圾波段和条带失真等退化,导致输出质量低下、信息损失严重,极大制约了后续解译和分析的精度与可信度[8]。因此,有效消除图像所含复杂噪声并重构缺失信息,对提升影像可解译性和可适用性具有重大研究意义,能为后续影像解译分析等实际应用提供质量保障、奠定数据基础[49]。从数学优化角度来看,高光谱图像重构是典型的求逆问题[50]。令 \mathcal{Y} \in {\mathbb{R}^{m \times n \times d}} 表示所观测的退质高光谱遥感影像(其中 {{m}} 表示图像行数, n 表示图像列数, {{d}} 为光谱波段数),则 \mathcal{Y} 的退化过程可以表述为待估计(无干扰)影像 \mathcal{X} \in {\mathbb{R}^{m \times n \times d}} 经过某种退质操作{{\varPhi}}(\cdot)后受噪声 \mathcal{N} \in {\mathbb{R}^{m \times n \times d}} 干扰的结果

    \mathcal{Y} = {\varPhi }(\mathcal{X}) + \mathcal{N} (11)

    则高光谱重构任务为:在一定的先验基础上,通过对{\varPhi } \mathcal{N} 进行建模,将 \mathcal{X} \mathcal{Y} 中重构出来

    \tilde {\mathcal{X}} = \mathop {\arg \min }\limits_\mathcal{X} \left\| {\mathcal{Y} - {\varPhi }(\mathcal{X}) - \mathcal{N}} \right\|_{\rm{F}}^2 + {\lambda _1}R(\mathcal{X}) + {\lambda _2}E(\mathcal{X}) (12)

    其中, R(\mathcal{X}) E(\mathcal{X}) 分别正则项和误差项, {\lambda _1} {\lambda _2} 为正则化参数。

    根据退质过程的不同,高光谱图像重构任务主要包括去噪和分辨率增强两个方面。相应地,不同重构任务中对 \varPhi(\cdot) 的建模方式也不同。

    (1)对于高光谱图像去噪任务,蒋俊正等人[18]发明了一种基于自适应权重图全变分(Adaptive-Weighted- Graph Total Variation, AWGTV)的高光谱去噪方法

    \begin{split} & {\boldsymbol{\tilde X}} = \mathop {\arg \min }\limits_{{\boldsymbol{X}},{\boldsymbol{S}}} {\left\| {\boldsymbol{X}} \right\|_*} + \tau {\left\| {\boldsymbol{X}} \right\|_{{{\rm{AWGTV}}} }} + \lambda {\left\| {\boldsymbol{S}} \right\|_1}, \\ & \quad {\text{s}}{\text{.t}}{\text{.}}\left\| {{\boldsymbol{Y}} - {\boldsymbol{X}} - {\boldsymbol{S}}} \right\|_{\rm{F}}^2 \le \varepsilon ,{{\rm{rank}}} ({\boldsymbol{X}}) \le r \end{split} (13)

    其中, {\boldsymbol{X}},{\boldsymbol{Y}} \in {\mathbb{R}^{N \times d}} 分别为矩阵化表示形式,N = m \times n {\boldsymbol{S}} \in {\mathbb{R}^{N \times d}} 表示脉冲、坏点、条纹等稀疏噪声等,{\left\| {\boldsymbol{X}} \right\|_{{{\rm{AWGTV}}} }}为自适应权重图变分项,考虑图像的分段平滑先验。在求解 {\boldsymbol{X}} 时设计了基于图信号的全变分算法,并在图信号全变分中采用了自适应权重4邻域邻接矩阵,在去噪过程中有效保留了图像边缘细节信息和同质区域内图像平滑特性。Lu等人[51]提出了图正则低秩表示的高光谱图像去条带方法

    \begin{split} & {\boldsymbol{\tilde Z}} = \mathop {\arg \min }\limits_{{\boldsymbol{Z}},{\boldsymbol{E}}} {\left\| {\boldsymbol{Z}} \right\|_*} + \lambda {\left\| {\boldsymbol{E}} \right\|_{2,1}} + \beta {{\rm{Tr}}} ({\boldsymbol{ZL}}{{\boldsymbol{Z}}^{{\rm{T}}} }), \\ & \quad {\text{s}}{\text{.t}}{\text{.}}{\boldsymbol{X}} = {\boldsymbol{XZ}} + {\boldsymbol{E}} \end{split} (14)

    通过对低秩表示稀疏进行图信号建模,用于保留高光谱图像的本征局部结构关系。文中采用了简单的最近邻域构图方法,在此不做过多赘述。Liu等人[52]提出了基于多图的低秩张量近似方法,用于复杂环境下高光谱图像复原

    \tilde {\mathcal{X}} = \mathop {\arg \min }\limits_\mathcal{X} \sum\limits_{k = 1}^3 {\left[ {{\alpha _k}||{\mathcal{X}_{(k)}}|{|_*} + {\gamma _k}||{\mathcal{X}_{(k)}}||_{{\mathcal{G}_k}}^2} \right]} (15)

    其中, ||{\mathcal{X}_{(k)}}|{|_{{\mathcal{G}_k}}} 为图正则项。该方法借鉴于图上矩阵复原的思想,分别构建了行图、列图和波段图,用于捕捉高光谱图像局部相似性关系。

    (2)对于高光谱图像空间分辨率增强任务,Zhang等人[53]设计了基于空-谱图正则低秩张量分解的高光谱与多光谱融合方法,利用超像素分割方法在多光谱图像(MultiSpectral Image, MSI)生成超像素内部空间图,而在高光谱图像上以波段为顶点信号建立光谱图。对于采用融合方法的高光谱图像超分辨率方法,其关键在于有效提取多光谱图像的空间信息和高光谱图像的光谱信息并有效融合到最终生成的高空-谱分辨率影像(High-Spatial-Spectral Image, HS2I)中。该方法将从空间和光谱图学到的空谱属性以图表示的形式融入生成的高分辨率HS2I中,保证了融合质量,最终将融合过程建模为

    \begin{split} & \tilde {\mathcal{X}} = \mathop {\arg \min }\limits_\mathcal{X} ||\mathcal{S}|{|_1} + \sum\limits_{k = 1}^K {{\alpha _k}||{{\boldsymbol{V}}_k}|{|_*} + \frac{\lambda }{2}||\mathcal{M} - \mathcal{X}{ \times _3}{\boldsymbol{D}}||_{\text{F}}^2} \\ & \qquad + \beta {{\rm{tr}}} ({\boldsymbol{V}}_3^{{\rm{T}}} {{\boldsymbol{P}}_{\text{S}}}{{\boldsymbol{V}}_3}) + \gamma {{\rm{tr}}} \left( {{{({{\boldsymbol{V}}_2} \otimes {{\boldsymbol{V}}_1})}^{{\rm{T}}} }{{\boldsymbol{P}}_{\text{D}}}({{\boldsymbol{V}}_2} \otimes {{\boldsymbol{V}}_1})} \right), \\ & \qquad{\text{s}}{\text{.t}}{\text{.}}\mathcal{X} = \mathcal{L} + \mathcal{S},\mathcal{X} = \mathcal{G}{ \times _1}{{\boldsymbol{V}}_1}{ \times _2}{{\boldsymbol{V}}_2}{ \times _3}{{\boldsymbol{V}}_3} \\[-10pt] \end{split} (16)

    其中, \mathcal{X} 为融合后空-谱分辨率重构影像HS2I, \mathcal{M} \mathcal{L} 分别为多光谱图像MSI和插值后低分辨率高光谱图图像, \mathcal{S} 为高和低分辨率图像之差; {\boldsymbol{D}} 光谱响应矩阵; {{\boldsymbol{V}}_k}(k = 1,2,3) 为Tucker分解因子矩阵, \mathcal{G} 为核张量。 {{\boldsymbol{P}}_{\text{D}}} {{\boldsymbol{P}}_{\text{S}}} 分别为归一化空间和谱间图拉普拉斯矩阵。Bu等人[54]也采用了同样的思想对因子矩阵进行了图模型正则化构建。Liu等人[55]则是直接在MSI构建空间行图和列图,在HSI构建光谱图,并将图模型结合到基于核张量近似的融合框架里,最终生成融合后的高分辨率影像HS2I。

    CNN能够挖掘高光谱图像光谱维、空间维、空-谱联合维深度特征,在高光谱地物分类任务中展现出了优异的性能[56]。然而,高光谱图像与传统光学影像相比不仅在光谱波段数量上展现出差异性,在应用场景和图像质量等方面也具有很大不同。一方面,高光谱图像通常应用于遥感地物监测等大尺度和复杂应用场景,这就使得场景内地物目标类别分布参差不齐、不同地物样本数量分布不均匀等。因此,高光谱图像地物分类对卷积神经网络的模型泛化等能力提出了更高的挑战。另一方面,高光谱遥感成像技术的发展一直受到信噪比、空间分辨率、谱间分辨率等各种因素的制约,需要视应用情况折衷考虑。因此,对于超高光谱分辨率的影像而言,其空间分辨率往往较低,这就导致高光谱图像的空间纹理和轮廓等边界信息不明显。因而,擅长利用具有特定尺寸和形状的卷积核来提取图像领域空间特征的传统CNN就无法有效捕捉目标的几何边缘结构信息,也不能构建像元间的关联关系。这就导致基于传统计算机视觉领域发展而来的CNN在高光谱图像地物分类任务中仍然存在亟待解决的瓶颈问题。

    通过对高光谱图像结构进行重新定义,可以引入图卷积神经网络来进一步增强CNN在高光谱图像分类任务中的性能,克服规则形状卷积核在样本间关系建模方面存在的局限。在高光谱图像结构重新定义方面,最为直观和直接的方法是将每一个光谱矢量作为图信号进行构图,这就需要在所有样本上构造邻接矩阵,导致传统GCN网络在训练过程中会消耗大量的计算资源,对于大规模遥感应用问题来说不现实[22]。为了避免这一点,Qin等人[57]提出了空谱GCN用于半监督的高光谱图像分类,通过2阶邻域去近似图卷积操作,虽然取得了一定进展,但是GCN的训练工作并不高效。因此,需要定义更加高效的图表示方法,Wan等人[58]引入超像素分割对原始高光谱图像进行分割,然后在此基础上进一步构建图信号并进行图卷积网络设计(如图7所示),形成了多尺度动态图卷积神经网络,网络内部不同层的邻接关系可以动态调整,这样在一定程度上能够减少计算量并且提升分类精度。

    图 7  基于超像素分割的图卷积网络

    Hong等人[59]设计了一种新型的可以以小批量形式(minibatch)训练的GCN,在每个批次的训练过程中每个batch里面的像素进行图信号构建,从而避免了大规模构图。而且这种batch形式的GCN网络训练模式可以很好地和CNN训练模式进行兼容,可以同时利用CNN和GCN提取更加丰富的局部特征和相互关联特征,最后再将这些特征进行融合,从而实现更加鲁棒的分类精度提升。Wan等人[60]进一步将空间内容信息与图卷积神经网络相结合,提出了对图像上下文感知的动态图卷积神经网络。Mou等人[61]基于半监督图卷积神经网络展开工作,基于非局部、数据驱动的思想通过端到端的方法自适应地构建可学习的图表示,而非采取传统固定的图结构构造方式。因此,最终的图卷积操作是在实现了整个图像非局部关联特征的提取,不再局限于空间邻域范围。Liu等人[62]提出了将CNN和GCN相结合的深度学习网络,利用CNN提取像素级规则结构图像特征,而利用GCN提取超像素级非规则图节点特征,通过编解码结构消除两路结构的不兼容性,并对两级信息进行融合然后分类输出。

    基于CNN的深度模型在分类任务对训练样本需求比较大,而高光谱图像在实际应用过程中可利用的训练则十分有限。基于图信号处理模型的GCN能够在有标签和无标签样本间建立关联关系,从而样本不足或者半监督的学习任务中具有良好应用。对于少量样本训练问题,He等人[63]提出了双GCN的有监督分类方法:其中一支GCN基于样本间的相关关系提取深度特征,而另一支GCN则聚焦于标签分布学习,然后将标签分布信息与样本结构图学习相结合以减少类内差异,提高分类精度。基于图信号处理在谱聚类领域的良好应用基础[64],Zeng等人[65]将聚类与GCN相结合用于半监督高光谱图像分类,利用两个聚类操作对图中多跳节点关系进行学习:其中一个聚类操作用于产生超像素结果,对超像素构建图信号,然后再利用聚类操作对图结构信号进行分割生成子图,进一步加强对同类像素间相似关系的学习。而Xi等人[66,67]则将元学习和度量学习的思想嵌入到GCN结构设计过程中,进一步解决训练样本有限和光谱不确定性等问题,从而提高分类精度。

    高光谱图像处理与解译分析技术在遥感对地观测、医学影像诊断、军事目标侦察、生态环境监测、城市规划等领域均有重要的研究价值。近年来随着人工智能、机器学习等技术的不断引入,高光谱图像处理与解译分析相关理论与技术得以快速发展,但是目前该领域大部分的研究工作尚处于理论研究与实践探索阶段,在实际复杂环境中的应用经验和理论发展等尚且不成熟。其中,图信号处理虽然在高光谱图像处理与解译应用领域取得了一些理论成果和研究进展,但是仍然面临着一些不足与挑战,具体体现在:

    (1)对高光谱图像复杂退化过程的物理机制与图信号处理理论关联不足。目前,基于图信号处理的方法大多只关注高光谱图像的空间维和光谱维信息保留,多以正则化的形式集成在优化目标函数中,这种方法在一定程度上能够改进单一退化场景下高光谱图像的质量。但是,当高光谱图像受到复杂噪声干扰时,只对影像本征高维结构进行图正则优化是不够的,还需要对复杂噪声引起的非线性退化加以考虑,从而减少理论模型与实际物理退化过程的不一致性。因此,有必要发展面向复杂退化过程的高光谱重构方法,重视高光谱影像退化所蕴含的物理机制,将物理退化与图正则优化模型相结合,从物理角度解释信息退化和信号重构过程,实现高光谱图像重构的同时加强其物理可解释性。

    (2)对实际应用环境下高光谱图像的解译能力不足。目前已有方法多基于公开的高光谱数据集[68]展开理论研究和仿真实验验证,在这些数据集上取得了可观的特征提取、图像质量重构和解译分类性能。然而,实际应用中获取的高光谱图像与公开的高光谱数据存在很大的不同:在实际应用中获取的高光谱图像更具复杂性、多样性和不确定性。首先,高光谱图像的应用范围很广,以遥感探测和医学诊断为例,两种场景中所获取的高光谱图像目标分布特性完全不同;其次,对于大尺度的应用场景而言,每幅图像所包含的地物目标更加复杂多样;最后,不同场景中地物目标类别以及各类别的分布均衡性等都存在不确定性。这些特点对基于数据驱动的深度学习模型的泛化性能提出了很高的要求。然而,已有模型在高光谱图像解译分类方面,均是在当前分类场景中选择部分数据作为训练样本,而在剩余样本中进行测试,很难保证分类器的泛化性能。尽管基于领域自适应和迁移学习的方法被逐渐引入高光谱图像分类任务中,但这类模型多基于不同场景应遵循同分布等假设,仍然无法满足实际应用需求。

    本文围绕基于图信号处理的高光谱图像处理与解译分类相关技术,首先介绍了图信号处理理论的基础—谱图理论,以及新型的图卷积神经网络;然后对高光谱图像处理和分析的3大核心任务(特征提取、图相重构和解译分类)进行了梳理,并阐述了图信号处理在各个任务中的应用和发展。图信号处理具有丰富的理论基础,目前仍在不断地发展和完善之中,本文无法完全涵盖所有内容。结合目前的发展情况和已有研究中存在的不足与挑战之处来看,未来图信号处理在高光谱图像处理领域的可能发展趋势有以下两个方面:

    (1)图信号处理将不再局限于基于单模态数据的遥感图像处理任务。图信号处理具有能够表征非欧氏结构数据的优势,而高光谱图像与其他多源遥感图像(比如激光雷达影像)的融合已成为未来高光谱图像发展和应用的趋势。由于不同源不同模态间数据的异构性较强,因此传统的信号表征方法无法满足应用需求,而基于图信号处理的方法由于能够挖掘更深层次的数据关联和本征信息,从而可以应用于对多源遥感图像进行表征和分析。

    (2)图信号处理理论与方法在高光谱图像处理领域中总体呈现出由模型驱动的传统机器学习向基于数据驱动的深度学习发展的趋势。因此,随着高光谱成像技术的不断发展和普及,同时在高性能计算的推动下,基于图信号处理的高光谱图像处理应用也会逐渐成熟,不断应用于实际任务中,为智能化高光谱图像解译奠定基础。

  • 图  1  2维稀疏接收阵列

    图  2  3维笛卡尔坐标系下的目标方位表述

    图  3  导向波束的3维波束图案

    图  4  目标1(水平角90°垂直角–7°)仿真估计结果误差棒图

    图  5  目标2(水平角92°垂直角–5°)仿真估计结果误差棒图

    图  6  仿真实验输出波束图案

    图  7  水池实验场景示意图

    图  8  波束形成输出声图像

    图  9  某一快拍下的波束图案输出

    图  10  2维方位估计结果

  • HENLEY H and ZIMMERMAN M J. Performance of 3D forward looking sonar for bathymetric survey[C]. OCEANS 2017-Anchorage, Anchorage, USA, 2017: 1–9.
    RUSSEL I and WRIGHT R G. Navigation SONAR: More than underwater radar realizing the full potential of navigation and obstacle avoidance sonar[J]. International Hydrographic Review, 2017: 41–60.
    ZIMMERMAN M J and HENLEY H. Applications of today’s 3D forward looking sonar for real-time navigation and bathymetric survey[C]. OCEANS 2017-Anchorage, Anchorage, USA, 2017: 1–7.
    Tritech International Ltd. Eclipse 3D imaging sonar product manual[EB/OL]. https://www.tritech.co.uk/media/support/manuals/eclipse-multibeam-sonar-operator-installation-manual0.pdf, 2020.
    Coda Octopus Products Ltd. Echoscope 4G datasheet[EB/OL]. https://d1io3yog0oux5.cloudfron.net/_d5c808f4da6c3542e43d3cef98f952d3/codaoctopus/db/443/2846/brochure/Echoscope+4G+Datasheet+1.1.1.20.pdf, 2020.
    Teledyne RESON. SeaBat® F30[EB/OL]. https://www.bluezonegroup.com.au/_literature_165599/SeaBat_F30_Product_Leaflet, 2020.
    陈建, 王树勋. 基于高阶累积量虚拟阵列扩展的DOA估计[J]. 电子与信息学报, 2007, 29(5): 1041–1044.

    CHEN Jian and WANG Shuxun. DOA estimation of virtual array extension based on fourth-order cumulant[J]. Journal of Electronics &Information Technology, 2007, 29(5): 1041–1044.
    杨永晶, 俞志富. 基于虚拟阵列扩展的DOA估计[J]. 电子信息对抗技术, 2014, 29(5): 32–35, 39. doi: 10.3969/j.issn.1674-2230.2014.05.008

    YANG Yongjing and YU Zhifu. DOA estimation based on virtual array extension[J]. Electronic Information Warfare Technology, 2014, 29(5): 32–35, 39. doi: 10.3969/j.issn.1674-2230.2014.05.008
    韩佳辉, 毕大平, 陈璐. 基于虚拟孔径扩展的非均匀稀疏阵DOA估计[J]. 电光与控制, 2018, 25(3): 28–31. doi: 10.3969/j.issn.1671-637X.2018.03.007

    HAN Jiahui, BI Daping, and CHEN Lu. Non-uniform sparse array DOA estimation based on virtual aperture expansion[J]. Electronics Optics &Control, 2018, 25(3): 28–31. doi: 10.3969/j.issn.1671-637X.2018.03.007
    谭伟杰, 冯西安, 张杨梅. 阵元失效下基于Khatri-Rao积的高分辨测向方法[J]. 太赫兹科学与电子信息学报, 2017, 15(1): 47–53. doi: 10.11805/TKYDA201701.0047

    TAN Weijie, FENG Xi’an, and ZHANG Yangmei. High-resolution DOA estimation method based on Khatri-Rao product in presence of element failure[J]. Journal of Terahertz Science and Electronic Information Technology, 2017, 15(1): 47–53. doi: 10.11805/TKYDA201701.0047
    刘志刚, 汪晋宽, 王福利. 虚拟空间平滑算法[J]. 电子学报, 2007, 35(9): 1762–1765. doi: 10.3321/j.issn:0372-2112.2007.09.030

    LIU Zhigang, WANG Jinkuan, and WANG Fuli. Virtual spatial smoothing algorithm[J]. Acta Electronica Sinica, 2007, 35(9): 1762–1765. doi: 10.3321/j.issn:0372-2112.2007.09.030
    孙兵, 阮怀林, 吴晨曦, 等. 基于Toeplitz协方差矩阵重构的互质阵列DOA估计方法[J]. 电子与信息学报, 2019, 41(8): 1924–1930. doi: 10.11999/JEIT181041

    SUN Bing, RUAN Huailin, WU Chenxi, et al. Direction of arrival estimation with coprime array based on toeplitz covariance matrix reconstruction[J]. Journal of Electronics &Information Technology, 2019, 41(8): 1924–1930. doi: 10.11999/JEIT181041
    YUFIT G and MAILLARD E P. 3D forward looking sonar technology for surface ships and AUV: Example of design and bathymetry application[C]. 2013 IEEE International Underwater Technology Symposium, Tokyo, Japan, 2013: 1–5.
    周天, 沈嘉俊, 陈宝伟, 等. 应用二维稀疏阵列的三维前视声呐方位估计[J]. 哈尔滨工程大学学报, 2020, 41(10): 1450–1456. doi: 10.11990/jheu.202007031

    ZHOU Tian, SHEN Jiajun, Chen Baowei, et al. Direction-of-arrival estimation of three-dimensional forward-looking sonar with two-dimensional sparse array[J]. Journal of Harbin Engineering University, 2020, 41(10): 1450–1456. doi: 10.11990/jheu.202007031
    姚永红, 周天, 李海森, 等. 基于新型阵列结构的多波束SAS逐点成像算法研究[J]. 电子与信息学报, 2011, 33(4): 838–843. doi: 10.3724/SP.J.1146.2010.00730

    YAO Yonghong, ZHOU Tian, LI Haisen, et al. Research on the dot-by-dot imaging algorithm for multi-beam SAS based on a new array configuration[J]. Journal of Electronics &Information Technology, 2011, 33(4): 838–843. doi: 10.3724/SP.J.1146.2010.00730
    王俊, 向洪, 魏少明, 等. 单快拍数据的分布式二维阵列测角方法研究[J]. 电子与信息学报, 2018, 40(6): 1375–1382. doi: 10.11999/JEIT170856

    WANG Jun, XIANG Hong, WEI Shaoming, et al. 2-D DOA estimation of distributed array with single snapshot[J]. Journal of Electronics &Information Technology, 2018, 40(6): 1375–1382. doi: 10.11999/JEIT170856
    LLORT-PUJOL G, SINTES C, and GUERIOT D. Analysis of Vernier interferometers for sonar bathymetry[C]. OCEANS 2008, Quebec City, Canada, 2008: 1–5.
    BURDIC W S. Underwater Acoustic System Analysis[M]. 2nd ed. Los Altos Hills: Peninsula, 2002: 317–320.
    SINTES C, FOOTE K G, LLORT-PUJOL G, et al. Relationships among Vernier-method and other direction-of-arrival estimators[C]. OCEANS 2015, Genoa, Italy, 2015: 1–6.
  • 期刊类型引用(5)

    1. 杨茜,冯强,蒋楠,姬锦仪. 八元数分数阶傅里叶变换的微分性质研究. 贵州大学学报(自然科学版). 2025(01): 7-11+41 . 百度学术
    2. 蔡轶珩,谭美伶,潘建军,何楷祺. 基于多尺度非对称密集网络的高光谱图像分类. 电子与信息学报. 2024(04): 1448-1457 . 本站查看
    3. 谭婷芳,蔡万源,蒋俊正. 稀疏分解和图拉普拉斯正则化的图像前景背景分割方法. 浙江大学学报(工学版). 2024(05): 979-987 . 百度学术
    4. 赵凤,耿苗苗,刘汉强,张俊杰,於俊. 卷积神经网络与视觉Transformer联合驱动的跨层多尺度融合网络高光谱图像分类方法. 电子与信息学报. 2024(05): 2237-2248 . 本站查看
    5. 李妹燕,李芬,徐景秀. 基于机器学习方法的高光谱遥感图像目标检测研究. 激光杂志. 2024(10): 108-113 . 百度学术

    其他类型引用(8)

  • 加载中
图(10)
计量
  • 文章访问数:  1404
  • HTML全文浏览量:  350
  • PDF下载量:  70
  • 被引次数: 13
出版历程
  • 收稿日期:  2019-08-29
  • 修回日期:  2020-12-18
  • 网络出版日期:  2021-02-22
  • 刊出日期:  2021-03-22

目录

/

返回文章
返回