1.   引言

随着硬件系统、成像技术、信号与信息处理方法的进步，近年来成像雷达快速发展^[1,2]。其中，合成孔径雷达(Synthetic Aperture Radar, SAR)和逆合成孔径雷达(Inverse Synthetic Aperture Radar, ISAR)是典型的成像雷达，具有全天时、全天候观测能力，能够对观测目标实现2维成像，获得目标雷达图像信息。而高分辨率雷达图像能够提供目标的详细轮廓和精细结构，有利于后续目标分类识别等应用。

雷达图像分辨率的提升主要有3种途径：提升硬件水平、超分辨率成像和超分辨率重建。本文主要关注成像后的图像处理阶段，即从雷达图像域映射到雷达图像域的超分辨率重建算法。但是低分辨率图像与高分辨率图像之间的复杂隐式关系给图像超分辨率重建任务带来挑战。对于雷达图像超分辨率重建，现有研究工作将其作为一种预处理手段，并应用于水域分割^[3,4]、自然地物分类^[5]、人造目标分类^[6,7]及海冰漂移跟踪^[8]等领域。近年来，以卷积神经网络(Convolutional Neural Network, CNN)为代表的深度学习方法在雷达图像处理领域得到了广泛研究和应用^[9,10]，能够自适应地进行特征提取和挖掘数据中的非线性映射关系。目前，针对雷达图像目标超分辨率重建的智能化技术，研究人员主要从深度网络模型结构、损失函数和学习策略等方面进行了改进。

极化是雷达收发电磁波的重要信息维度和本质属性之一^[11,12]，在雷达探测中承载了目标丰富的物理属性信息。当前，具备极化测量能力的极化雷达成像系统已经被广泛应用于对地观测^[13]、减灾防灾^[14]、侦察监视^[11]、太空探测^[15–18]、精确制导^[19]等重要领域，并成为成像雷达目标探测的主流传感器^[1]。按照极化信息的获取能力进行分类，常用的极化模式包括单极化、双极化、全极化和简缩极化模式。其中，简缩极化是一种特殊的双极化模式，相比于传统水平和垂直极化基下的双极化模式，其信号组合方式更加灵活^[17,20]。不同极化通道具有相关性，对其进行挖掘与利用能够为雷达图像超分辨率重建提供丰富信息。

当前已经形成了一系列具有代表性的雷达图像目标超分辨率重建方法。该文从理论基础、基于单极化处理的极化雷达图像目标超分辨率重建进展、多极化联合处理的极化雷达图像目标超分辨率重建进展及其应用4个方面进行系统性梳理，并对未来的技术发展进行展望。

2.   极化雷达图像目标超分辨率重建概念

2.1   极化雷达图像分辨率提升途径

高分辨率图像能够提供目标的详细轮廓和精细结构，有利于后续目标反演识别。图1给出了雷达系统硬件参数优化下，卫星实测ISAR图像对比结果^[21,22]。雷达图像的分辨率表征雷达对观测空间中相邻两个目标的分辨能力，分为距离向分辨率${\rho _{\text{r}}}$和方位向分辨率${\rho _{\text{a}}}$，为

图 1  雷达系统硬件参数优化下卫星实测ISAR图像对比结果

下载: 全尺寸图片 幻灯片

其中，${\text{c}}$为电磁波传播速度($3 \times {10^8}$m/s)，$\tau$为雷达信号的脉冲宽度，$B$为雷达信号带宽，$\lambda$为雷达信号载频波长，$\theta$为雷达成像相干积累时间内目标相对雷达视线的视角变化量。${\rho _{\text{r}}}$与${\rho _{\text{a}}}$也代表了基于FFT的成像算法所能达到的分辨率瑞利极限值^[23]。注意到，文献[23]指出$\tau$一般计算为脉冲压缩后信号两个–3 dB点之间的间隔，即信号峰值0.707倍数值间的脉冲宽度，式(1)中还应包含因子项 0.886。但是，考虑信号处理过程中所加窗函数带来的展宽效应，因子项0.886可以忽略^[23]。

提升极化雷达图像分辨率的方法主要有3种，如图2所示，包括：(1) 成像前阶段，提高硬件水平，增大系统发射和接收信号带宽，合成更大的成像孔径。(2) 成像阶段，对原始回波信号进行处理，即超分辨率成像算法。(3) 成像后阶段，采用图像处理方法提升图像分辨率，即图像超分辨率重建算法。对于途径(1)，如图1所示，随着硬件水平的提升，雷达系统带宽由1 GHz提升至8 GHz，目标实测ISAR图像分辨率也显著提升，并呈现出更多目标纹理等细节信息。途径(2)主要包括：(a) 点扩散函数伪逆求解方法^[24]；(b) 带宽外推方法^[25]；(c) 正则化方法^[26]；(d) 谱估计方法^[27]；(e) 基于属性散射中心模型的方法^[28]；(f) 非线性滤波方法^[29]；(g) 稀疏表示方法^[30]；(h) 深度学习方法^[31]等。本文主要关注途径(3)图像超分辨率重建。

图 2  提升极化雷达图像分辨率的3种途径

下载: 全尺寸图片 幻灯片

2.2   极化雷达图像目标超分辨率重建问题

图像的成像分辨率受到系统参数的限制。图像超分辨率重建技术最先由Harris等人提出^[32]，目前是计算机视觉等多学科领域研究者关注的热点问题^[33,34]。

极化雷达图像目标超分辨率重建指的是成像后阶段，采用图像处理方法使得极化雷达图像分辨率优于系统参数所决定的瑞利极限值${\rho _{\text{r}}}$和${\rho _{\text{a}}}$，如式(1)和式(2)所示。注意到，极化雷达图像超分辨率重建算法在预成像的基础上提升图像质量，现有研究工作中采用的预成像方法包括距离-多普勒(Range-Doppler, RD)算法^[35]和极坐标格式化(Polar Format Algorithm, PFA)^[16,36]算法等。

2.3   极化雷达图像目标超分辨率重建评价指标

超分辨率重建是改善极化雷达图像质量的一种方式，重建效果的评价方式可分为主观评价与客观评价。主观评价方式一般为对极化雷达图像超分辨率重建结果进行目视分析^[37]，客观评价为采用定量指标进行衡量。对于光学图像超分辨率重建，研究人员提出了一系列定量评价指标^[33,34]，而现有极化雷达图像超分辨率重建工作大多采用这些评价指标，如峰值信噪比和结构相似度指标等。根据是否需要参考图像，可以分为有参考图像和无参考图像的方法；根据评价对象范围大小，可以分为基于点目标和基于面目标的方法^[38]。表1和表2分别归纳了基于点目标和基于面目标的极化雷达图像超分辨率重建定量评价指标，并给出了相应的含义和计算公式，以便研究人员参考。

表 1  基于点目标的极化雷达图像目标超分辨率重建定量评价指标

评价指标	是否需要参考图像	含义	计算公式	变量与符号说明
距离向3 dB主瓣宽度[17,39–43]	否	距离向瑞利极限值	${\delta _{\text{r}}} = \left\{ {y\left| {{{{\hat {\boldsymbol{I}}}}_{\max }} \ge {\hat {\boldsymbol{I}}}\left( y \right) \ge 0.707{{{\hat {\boldsymbol{I}}}}_{\max }}} \right.} \right\}$	${\hat {\boldsymbol{I}}}$为超分辨率重建图像幅度特征图，${{\hat {\boldsymbol{I}}}_{\max }}$为主瓣峰值，$y$为距离向坐标
方位向3 dB主瓣宽度[17,39–43]	否	方位向瑞利极限值	${\delta _{\text{a}}} = \left\{ {x\left| {{{{\hat {\boldsymbol{I}}}}_{\max }} \ge {\hat {\boldsymbol{I}}}\left( x \right) \ge 0.707{{{\hat {\boldsymbol{I}}}}_{\max }}} \right.} \right\}$	$x$为方位向坐标
峰值旁瓣比(Peak Side Lobe Ratio, PSLR)[42–44]	否	第一旁瓣与主瓣峰值的比值，能够表征弱目标被强目标旁瓣压制的程度	${\text{PSLR}} = 20\lg \left( {{{{{{\hat {\boldsymbol{I}}}}_{{\text{SideLobe}}}}} \mathord{\left/ {\vphantom {{{{{\hat I}}_{{\text{SideLobe}}}}} {{{{\hat I}}_{\max }}}}} \right. } {{{{\hat {\boldsymbol{I}}}}_{\max }}}}} \right)$	${{\hat {\boldsymbol{I}}}_{{\text{SideLobe}}}}$为第一旁瓣峰值
积分旁瓣比(Integrate Side Lobe Ratio, ISLR) [42]	否	旁瓣能量与主瓣能量的比值，能够表征对旁瓣的抑制能力	${\text{ISLR}} = 20\lg \left( {{{{E_{{\text{SideLobe}}}}} \mathord{\left/ {\vphantom {{{E_{{\text{SideLobe}}}}} {{E_{{\text{MainLobe}}}}}}} \right. } {{E_{{\text{MainLobe}}}}}}} \right)$	${E_{{\text{SideLobe}}}}$为旁瓣总能量，${E_{{\text{MainLobe}}}}$为主瓣总能量
距离向分辨率增强指数(Intersection Amplitude Value, IAV)[45]	是	参考图像与超分辨率重建图像中两个不完全孤立的点目标距离向回波幅值交叉点取值的差	${\text{IA}}{{\text{V}}_{\text{r}}}{\text{ = IAV}}_{\text{r}}^{{\text{hr}}} - {\text{IAV}}_{\text{r}}^{{\text{sr}}}$	${\text{IAV}}_{\text{r}}^{{\text{hr}}}$和${\text{IAV}}_{\text{r}}^{{\text{sr}}}$分别为参考图像与超分辨率重建图像中两个不完全孤立的点目标距离向回波幅值交叉点取值
方位向分辨率增强指数(Intersection Amplitude Value, IAV)[45]	是	参考图像与超分辨率重建图像中两个不完全孤立的点目标方位向回波幅值交叉点取值的差	${\text{IA}}{{\text{V}}_{\text{a}}}{\text{ = IAV}}_{\text{a}}^{{\text{hr}}} - {\text{IAV}}_{\text{a}}^{{\text{sr}}}$	${\text{IAV}}_{\text{a}}^{{\text{hr}}}$和${\text{IAV}}_{\text{a}}^{{\text{sr}}}$分别为参考图像与超分辨率重建图像中两个不完全孤立的点目标方位向回波幅值交叉点取值
峰值点匹配准确率[46]	是	重建后强散射点位置保持 精度	–	–

下载: 导出CSV 

| 显示表格

表 2  基于面目标的极化雷达图像目标超分辨率重建定量评价指标

评价指标	是否需要参考图像	含义	计算公式	变量与符号说明
图像熵[44,47–51]	否	图像平均信息量	${\text{Entropy}} = - \sum\limits_{y = 1}^H {\sum\limits_{x = 1}^W {\frac{{{{\left| {{\hat {\boldsymbol{I}}}\left( {x,y} \right)} \right|}^2}}}{Q} {{\lg }}\frac{{{{\left| {{\hat {\boldsymbol{I}}}\left( {x,y} \right)} \right|}^2}}}{Q}} }$	$Q$为超分辨率重建图像总能量。$H$与$W$分别为图像距离向与方位向的 像素数
图像对比度(Image Contrast, IC)[42,48]	否	超分辨率重建图像强度标准差与方差 的比值	${\text{IC}} = {{{\text{std}}\left( {{{{\hat {\boldsymbol{I}}}}^2}} \right)} \mathord{\left/ {\vphantom {{{\text{std}}\left( {{{{\hat I}}^2}} \right)} {{\text{mean}}\left( {{{{\hat I}}^2}} \right)}}} \right. } {{\text{mean}}\left( {{{{\hat {\boldsymbol{I}}}}^2}} \right)}}$	${\text{std}}\left( \cdot \right)$为数据标准差，${\text{mean}}\left( \cdot \right)$为数据均值
图像信噪比(Signal-to-noise Ratio, SNR)[48]	否	超分辨率重建图像目标区域强度与背景区域强度的比值	${\text{SNR}} = 20\lg \left[ {\dfrac{{{\text{mean}}\left( {{\hat {\boldsymbol{I}}}_{{\text{target}}}^2} \right)}}{{{\text{mean}}\left( {{\hat {\boldsymbol{I}}}_{{\text{background}}}^2} \right)}}} \right]$	${\hat {\boldsymbol{I}}}_{{\text{target}}}^2$为目标区域图像强度，${\hat {\boldsymbol{I}}}_{{\text{background}}}^2$为背景区域图像强度
平均绝对误差(Mean Absolute Error, MAE)[5,43,52,53]	是	超分辨率重建图像与参考图像幅度值之间绝对误差的平均值	${\text{MAE}} = {\left\| {{\hat {\boldsymbol{I}}} - {{\boldsymbol{I}}}} \right\|_1}$	${{\boldsymbol{I}}}$为参考图像幅度特征图，${\left\| \cdot \right\|_1}$为矩阵1范数
均方误差(Mean Square Error, MSE)[44]	是	超分辨率重建图像与参考图像幅度值之间差值平方的平均值	${\text{MSE}} = \left\| {{\hat {\boldsymbol{I}}} - {{\boldsymbol{I}}}} \right\|_2^2$	${\left\| \cdot \right\|_2}$为矩阵2范数
均方根误差(Root Mean Square Error, RMSE)[30,43,54]	是	均方误差的算数 平方根	${\text{RMSE}} = {\left\| {{\hat {\boldsymbol{I}}} - {{\boldsymbol{I}}}} \right\|_2}$	–
平均归一化均方根误差(Average Normalized Root Mean Square Error, NRMSE)[55]	是	归一化的均方根误差	${\text{NRMSE}} = \dfrac{{{{\left\| {{\hat {\boldsymbol{I}}} - {{\boldsymbol{I}}}} \right\|}_2}}}{{{{\left\| {{\hat {\boldsymbol{I}}}} \right\|}_2}{{\left\| {{\boldsymbol{I}}} \right\|}_2}}}$	–
峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)[3–5,8,43,44,46,49,51–53,56–59]	是	超分辨率重建图像最大强度与均方误差强度的比值	${\text{PSNR = 10lg}}\dfrac{{{{\boldsymbol{I}}}_{\max }^2}}{{{\text{MSE}}}}$	–
结构相似度(Structural Similarity, SSIM)[4,8,43,46,49,57–59]	是	超分辨率重建图像与参考图像结构 相似程度	${\text{SSIM = }}L\left( {{\hat {\boldsymbol{I}}}{\text{,}}{{\boldsymbol{I}}}} \right){{C}}\left( {{\hat {\boldsymbol{I}}}{\text{,}}{{\boldsymbol{I}}}} \right){{S}}\left( {{\hat {\boldsymbol{I}}}{\text{,}}{{\boldsymbol{I}}}} \right)$	${{L}}\left( \cdot \right)$为亮度相似程度，${{C}}\left( \cdot \right)$为对比度相似程度，${{S}}\left( \cdot \right)$为结构相似 程度[60]
特征相似性指标(Feature Similarity Index Metric, FSIM)[61,62]	是	超分辨率重建图像与参考图像特征相似程度，取值越接近1，相似性越高	$\begin{gathered} {\text{FSIM}} = \\ \frac{{\displaystyle\sum\limits_{y = 1}^H {\displaystyle\sum\limits_{x = 1}^W {{\text{S}}'\left[ {{\hat {\boldsymbol{I}}}\left( {x,y} \right){\text{,}}{{\boldsymbol{I}}}\left( {x,y} \right)} \right]{\text{P}}{{\text{C}}_{\text{m}}}\left[ {{\hat {\boldsymbol{I}}}\left( {x,y} \right){\text{,}}{{\boldsymbol{I}}}\left( {x,y} \right)} \right]} } }}{{\displaystyle\sum\limits_{y = 1}^H {\displaystyle\sum\limits_{x = 1}^W {{\text{P}}{{\text{C}}_{\text{m}}}\left[ {{\hat {\boldsymbol{I}}}\left( {x,y} \right){\text{,}}{{\boldsymbol{I}}}\left( {x,y} \right)} \right]} } }} \\ \end{gathered}$	${\text{S}}'\left( \cdot \right)$为超分辨率重建图像与参考图像的局部相似性，${\text{P}}{{\text{C}}_{\text{m}}}\left( \cdot \right)$为对应的最大相位一致性[63]
皮尔逊相关系数[8]	是	参考图像与超分辨率重建图像协方差与标注差的比值	${\text{P = }}\frac{{\displaystyle\sum\limits_{y = 1}^H {\displaystyle\sum\limits_{x = 1}^W {\left[ {{\hat {\boldsymbol{I}}}\left( {x,y} \right) - {\text{mean}}\left( {{\boldsymbol{I}}} \right)} \right]} } \left[ {{\hat {\boldsymbol{I}}}\left( {x,y} \right) - {\text{mean}}\left( {{\hat {\boldsymbol{I}}}} \right)} \right]}}{{{{\left\| {{\hat {\boldsymbol{I}}}} \right\|}_2}{{\left\| {{\boldsymbol{I}}} \right\|}_2}}}$	–
边缘保持指数(Edge Preservation Index, EPI)[62]	是	针对乘性噪声的图像距离向边缘保持度量	$\begin{gathered} {\text{EPI = }} \\ \frac{{\displaystyle\sum\limits_{y = 1}^H {\displaystyle\sum\limits_{x = 1}^W {\left[ {\Delta {\hat {\boldsymbol{I}}}\left( {x,y} \right) - {\text{mean}}\left( {\Delta {\hat {\boldsymbol{I}}}} \right)} \right]\left[ {\Delta {{\boldsymbol{I}}}\left( {x,y} \right) - {\text{mean}}\left( {\Delta {{\boldsymbol{I}}}} \right)} \right]} } }}{{{{\left\| {\Delta {\hat {\boldsymbol{I}}} - {\text{mean}}\left( {\Delta {\hat I}} \right)} \right\|}_2}{{\left\| {\Delta {{\boldsymbol{I}}} - {\text{mean}}\left( {\Delta {{\boldsymbol{I}}}} \right)} \right\|}_2}}} \\ \end{gathered}$	$\Delta {\hat {\boldsymbol{I}}}$为超分辨率重建图像的边缘滤波特征图，$\Delta {{\boldsymbol{I}}}$为参考图像的边缘滤波特征图[64]
距离向边缘保持度量指标(Edge Preservation Index-ROA, EPI-ROA)[57]	是	针对乘性噪声的图像距离向边缘保持度量	${\text{EPI - RO}}{{\text{A}}_{\text{r}}}{\text{ = }}\frac{{\displaystyle\sum\limits_{y = 1}^H {\displaystyle\sum\limits_{x = 1}^W {\left[ {{{{\hat {\boldsymbol{I}}}\left( {x,y + 1} \right)}/ {{\hat {\boldsymbol{I}}}\left( {x,y} \right)}}} \right]} } }}{{\displaystyle\sum\limits_{y = 1}^H {\sum\limits_{x = 1}^W {\left[ {{{{{\boldsymbol{I}}}\left( {x,y + 1} \right)} \mathord{\left/ {\vphantom {{{I}\left( {x,y + 1} \right)} {{I}\left( {x,y} \right)}}} \right. } {{{\boldsymbol{I}}}\left( {x,y} \right)}}} \right]} } }}$	–
方位向边缘保持度量指标(Edge Preservation Index-ROA, EPI-ROA)[57]	是	针对乘性噪声的图像方位向边缘保持度量	${\text{EPI - RO}}{{\text{A}}_{\text{a}}}{\text{ = }}\frac{{\displaystyle\sum\limits_{y = 1}^H {\displaystyle\sum\limits_{x = 1}^W {\left[ {{{{\hat {\boldsymbol{I}}}\left( {x + 1,y} \right)} \mathord{\left/ {\vphantom {{{\hat I}\left( {x + 1,y} \right)} {{\hat I}\left( {x,y} \right)}}} \right. } {{\hat {\boldsymbol{I}}}\left( {x,y} \right)}}} \right]} } }}{{\displaystyle\sum\limits_{y = 1}^H {\displaystyle\sum\limits_{x = 1}^W {\left[ {{{{{\boldsymbol{I}}}\left( {x + 1,y} \right)} \mathord{\left/ {\vphantom {{{{\boldsymbol{I}}}\left( {x + 1,y} \right)} {{{\boldsymbol{I}}}\left( {x,y} \right)}}} \right. } {{{\boldsymbol{I}}}\left( {x,y} \right)}}} \right]} } }}$	–
Pauli相似性指标[16]	是	全极化雷达图像Pauli矢量重建精度	${{R}} = \dfrac{{{{\left\| {{{\boldsymbol{k}}}_{{\text{sr}}}^{}{{\boldsymbol{k}}}_{{\text{hr}}}^{\text{H}}} \right\|}_1}}}{{{{\left\| {{{\boldsymbol{k}}}_{{\text{sr}}}^{}} \right\|}_1}{{\left\| {{{\boldsymbol{k}}}_{{\text{hr}}}^{}} \right\|}_1}}}$	${{\boldsymbol{k}}}_{{\text{sr}}}^{}$为超分辨率重建图像Pauli矢量，${{\boldsymbol{k}}}_{{\text{hr}}}^{}$为参考图像Pauli矢量

下载: 导出CSV 

| 显示表格

注意到，现有文献中研究人员使用的部分极化雷达图像超分辨率重建定量评价指标具有相关性，指标之间可以通过简单的数学运算进行推导。RMSE指标为MSE指标的算数平方根，PSNR为最大值归一化下的MSE取值。此外，根据2.2节所述图像超分辨率重建问题的定义，距离向与方位向3 dB主瓣宽度能够反映算法对分辨率瑞利极限的超越程度。然而，图像超分辨率重建是一个不适定问题^[33,34]，解的不唯一性可能给重建结果带来伪影等问题，影响重建结果质量。因此，除了采用基于点目标的评价指标进行局部度量，有必要选取基于面目标的评价指标衡量全局重建精度和图像精细程度。此外，极化雷达图像超分辨率重建效果与后续应用紧密相关，如何发展一套标准的评价体系值得深入研究。

3.   基于单极化处理的极化雷达图像目标超分辨率重建进展

极化是雷达收发电磁波的重要信息维度和本质属性之一^[11,65]，在雷达遥感中承载了目标丰富物理属性信息。对于极化雷达图像目标超分辨率重建，一个朴素的思想是分别对每个单极化通道单独进行重建处理。目前，基于单极化雷达图像的目标超分辨率重建方法可以大致分为传统信号处理方法与深度学习方法两类。本文首先介绍雷达极化表征基础。

3.1   雷达极化表征

以水平和垂直极化基为例，极化雷达获取的目标全极化信息可由极化散射矩阵${{\boldsymbol{S}}}$表征^[65]，为

其中，下标${\text{HV}}$代表垂直发射和水平接收，其他项可类似定义。在互易性条件下(即${S_{{\text{HV}}}} = {S_{{\text{VH}}}}$)，Pauli矢量${{{\boldsymbol{k}}}_{\text{P}}}$和Lexicographic矢量${{{\boldsymbol{k}}}_{\text{L}}}$为

进一步，利用Lexicographic散射矢量可以构建全极化协方差矩阵${{\boldsymbol{C}}}_{{\text{Quad}}}^{}$，为

其中，$\langle \cdot \rangle$代表样本平均，${{\boldsymbol{k}}}_{\text{L}}^{\text{H}}$是${{{\boldsymbol{k}}}_{\text{L}}}$的共轭转置。${C_{ij}}$代表极化协方差矩阵${{\boldsymbol{C}}}_{{\text{Quad}}}^{}$索引为$\left( {i,j} \right)$的元素。

单极化模式下，目标散射系数为极化散射矩阵${{\boldsymbol{S}}}$中的元素。例如，${\text{HH}}$单极化模式下目标散射系数表示为${S_{{\text{HH}}}}$，其他单极化模式可类似定义。

双极化模式包括${\text{VV}}$-${\text{HV}}$双极化模式、${\text{HH}}$-${\text{VH}}$双极化模式等^[66]。以常见的${\text{HH}}$-${\text{VH}}$双极化模式为例，双极化协方差矩阵${{\boldsymbol{C}}}_{{\text{Dual}}}^{}$为

注意到，简缩极化是一种特殊的双极化模式，相比于传统水平和垂直极化基下的双极化模式，其信号组合方式更加灵活^[17,20]。

3.2   基于单极化与传统信号处理的重建方法

(1) 贝叶斯方法

贝叶斯方法结合先验知识与样本数据获得未知参数的后验概率，核心在于贝叶斯公式^[67]。文献[37]构建了一种基于贝叶斯方法的雷达图像目标超分辨率重建方法，将成像过程建模为目标场景与雷达系统点扩散函数的卷积，通过贝叶斯公式估计散焦参数，并结合粗成像结果对超分辨率重建图像特征的后验概率进行估计。车辆目标单极化SAR数据的超分辨率重建对比结果如图3所示。注意到，该算法属于参数化方法，对数据模型误差较为敏感，且依赖于目标散射系数服从高斯分布的先验假设。

图 3  单极化SAR图像车辆目标超分辨率重建对比结果^[37]

下载: 全尺寸图片 幻灯片

(2) 正则化方法

正则化方法的基本思想是将先验知识结合到图像超分辨率重建过程中，以获得稳定解，即根据单极化雷达图像的先验信息构造合适的约束条件提升雷达图像分辨率性能。文献[40]提出了一种基于范数的SAR图像超分辨率重建正则化方法，通过引入重建图像能量约束条件，将单极化SAR图像超分辨率重建问题转换为最小化目标函数$J({{\boldsymbol{I}}})$，为

其中，${{\boldsymbol{I}}}$为原始雷达图像数据，${\hat{\boldsymbol{ I}}}$为超分辨率重建结果，$\lambda$为正则化参数，$k$为系数因子。在此基础上，利用牛顿法进行迭代求解。进一步，为了能够在超分辨率重建过程中，抑制噪声和重建出目标更加丰富的细节信息，文献[56]基于模糊熵的邻域一致性测度构建了一种局部自适应双边全变分(Bilateral Total Variation, BTV)正则项${\Upsilon _{{\text{BTV}}}}\left( {{\boldsymbol{I}}} \right)$，对重建SAR图像的平滑性进行约束，为

其中，$\alpha$为系数因子，$w$为平移范围。${{\boldsymbol H}}_{\text{a}}^x$与${{\boldsymbol H}}_{\text{r}}^y$分别为方位向与距离向的平移矩阵，表示将雷达图像在方位向和距离向分别平移$x$像素与$y$像素。同时，引入了一种梯度逼近项保持超分辨率重建图像的边缘信息。最后，结合最速下降方法对约束条件进行迭代求解。文献[68]提出一种基于图像纹理先验的全变分(Total Variation, TV)的SAR图像目标超分辨率重建正则化方法，能够保持高分辨率和低分辨率SAR图像中的轮廓梯度，并采用Bregman方法^[69]进行迭代优化。全变分正则化项${\Upsilon _{{\text{TV}}}}\left( {{\boldsymbol{I}}} \right)$为

其中，${\nabla _{\text{a}}}{{{\boldsymbol{I}}}_{x,y}}$与${\nabla _{\text{r}}}{{{\boldsymbol{I}}}_{x,y}}$分别表示雷达图像${{\boldsymbol{I}}}$在像素位置$\left( {x,y} \right)$处沿方位向和距离向的梯度。文献[61]将核回归与自适应重要性采样无迹卡尔曼滤波器(Adaptive Importance Sampling Unscented Kalman Filter, AISUKF)框架进行融合，能够同时实现SAR图像相干斑滤波与超分辨率重建，并对三种不同的非线性核：反余弦核、径向基函数核和导向核进行了实验分析。其中，建筑区域的超分辨率重建对比结果如图4所示。正则化方法属于非参数化方法，一般不需要获取场景中散射点个数等参数，但是该类方法性能受到正则化参数求解和约束条件选择的制约，且低信噪比条件下鲁棒性不高。

图 4  单极化SAR图像建筑区域超分辨率重建对比结果^[61]

下载: 全尺寸图片 幻灯片

(3) 稀疏表示方法

对于$N \times 1$维信号${{\boldsymbol{X}}}$，可以在字典矩阵或者基矩阵${{\boldsymbol{D}}}$下表征为$N \times 1$维矢量${{\boldsymbol{\varTheta}} = }{{{\boldsymbol{D}}}^{\text{T}}}{{\boldsymbol{X}}}$。如果满足${\left\| {{\boldsymbol{\varTheta}} } \right\|_0} < N$，${{\boldsymbol{X}}}$可以认为是稀疏信号^[44]。其中，${\Vert \cdot\Vert }_{0}$为零范数，表示矢量中非零元素的个数。注意到，零范数${\Vert \cdot\Vert }_{0}$为非凸函数，求解面临NP(Non-deterministic Polynomial)难题，故一般采用$p$范数${\Vert \cdot\Vert }_{p}$，$p > 0$度量信号的稀疏性。基于稀疏表示的雷达图像超分辨率重建方法假设目标雷达图像的稀疏性进行超分辨率重建。其中，散射中心理论认为雷达图像中目标散射特性可以由少数的散射中心表示。对此，文献[41]结合散射中心理论与SAR成像模型，采用矩阵1范数${\Vert \cdot\Vert }_{1}$度量图像的稀疏性，并利用非线性最小二乘方法从低分辨率图像中迭代地估计高分辨率图像散射点的成像模型参数，最后基于求解的参数重建得到超分辨率结果。该文使用TerraSAR-X海域单极化SAR数据验证了所提方法的性能。其中，舰船目标的超分辨率重建对比结果如图5所示。

图 5  单极化SAR图像舰船目标超分辨率重建对比结果^[41]

下载: 全尺寸图片 幻灯片

压缩感知(Compressed Sensing, CS)理论在稀疏表示的基础上，对观测矩阵${{\boldsymbol{A}}}$与重建算法进行设计，恢复稀疏信号^[70]。基于压缩感知理论，单极化雷达图像超分辨率重建可以表示为

其中，${{\boldsymbol{E}}}$为高斯白噪声矩阵。忽略噪声矩阵，结合超分辨率图像${\hat {\boldsymbol{I}}}$的稀疏表示，可推导为

其中，观测矩阵${{\boldsymbol{A}}}$的求解是难点。文献[30]在CS框架下，提出一种结合多字典的单极化雷达图像目标超分辨率重建方法，采用两个字典矩阵${{{\boldsymbol{D}}}_1}$与${{{\boldsymbol{D}}}_2}$，并基于梯度的优化方法进行迭代求解，由式(13)可写为

其中，${\varepsilon _1}$与${\varepsilon _2}$为设定的误差值，${F}(\cdot)$为高通滤波器，${\hat {\boldsymbol{I}}'}$为上一轮迭代优化得到的超分辨率重建结果。最后该文使用TerraSAR-X港口区域单极化SAR数据验证了方法的有效性。

3.3   基于单极化与深度学习的重建方法

近年来，深度学习技术快速发展，并广泛应用于图像处理领域。与基于传统信号处理的图像超分辨率重建方法不同，深度学习算法能够自适应地提取输入数据的特征并通过自学习的方式获得低分辨率图像与高分辨率图像的复杂隐式关系，从而建立两者间的转换模型。

香港中文大学Dong等人^[71]率先将深度学习方法用于光学图像超分辨率重建，提出了一种基于卷积神经网络(Super-Resolution Convolutional Neural Network, SRCNN)的方法，实现了低分辨率光学图像到高分辨率光学图像之间的端到端学习，如图6所示。SRCNN是一种典型的基于CNN网络结构的重建方法，为后续基于深度学习的图像超分辨率重建方法奠定了基础。

图 6  SRCNN网络模型结构^[71]

下载: 全尺寸图片 幻灯片

与光学图像不同，雷达图像具有复值和高动态范围的特点，目标后向散射特性敏感于目标姿态与雷达视线的相对几何关系^[72]。需要首先指出，上采样方式和上采样阶段是影响基于深度学习的图像超分辨率重建方法运算效率和性能的关键因素之一^{[16,17,33,34]}。常用的上采样方式包括基于插值的上采样方式和可学习的上采样方法两种。其中，最近邻插值、双线性(Bilinear)插值和双三次线性(Bicubic)插值等是典型的基于插值的上采样方法。它们计算较为简便，运算效率高，并被广泛使用^[33]。可学习的上采样方法中部分变量被设置为超参数，能够在网路训练过程中被迭代更新，包含反卷积和亚像素卷积重排等。反卷积也被称为转置卷积，本质是利用卷积处理拓展矩阵空间维度，但其可能给重建结果带来棋盘状纹理。亚像素卷积重排首先对图像进行卷积操作，使得图像特征维度拓展为原来的${r^2}$倍。其中，$r$为上采样倍数。然后对结果进行重新排列，压缩图像特征维度，并拓展图像空间维度为原来的$r$倍，如图7所示。除此之外，现有方法^[16,17]还通过像素坐标和多层感知机模型(Multilayer Perceptron, MLP)对图像特征取值进行映射，拓展图像空间维度。值得注意的是，表3所示部分方法在构建数据集的过程中，使用插值等方法使得低分辨率雷达图像与高分辨率图像保持相同的图像像素尺寸。对此，该类方法在实现时没有添加上采样模块。

图 7  亚像素卷积重排示意图

下载: 全尺寸图片 幻灯片

表 3  基于深度学习的极化雷达图像超分辨率重建方法研究现状

极化模式	网络模型结构	文献	学习方式	损失函数	升采样方式	升采样阶段
单极化	Shallow CNN	[42]	监督学习	${L_2}$/${L_{{\text{SSIM}}}}$	Bicubic	前升采
	Shallow CNN	[73]	监督学习	${L_2}$	Bicubic	前升采
	ResNet	[43]	监督学习	${L_2}$/${L_{{\text{SSIM}}}}$	反卷积	后升采
	ResNet	[3]	监督学习	${L_2}$	反卷积	后升采
	ResNet	[4]	监督学习	${L_1}$	亚像素卷积重排	后升采
	ResNet	[57]	监督学习	${L_2}$/${L_{{\text{Content}}}}$	反卷积	后升采
	ResNet	[8]	监督学习	${L_1}$/${L_{{\text{Edge}}}}$	Bicubic	后升采
	ResNet	[58]	监督学习	${L_1}$	Bicubic	后升采
	GAN	[74]	监督学习	${L_2}$/${L_{{\text{GAN}}}}$/${L_{{\text{Content}}}}$/${L_{{\text{Style}}}}$	–	–
	GAN	[75]	监督学习	${L_1}$/${L_{{\text{GAN}}}}$	–	–
	GAN	[49]	监督学习	${L_1}$/${L_{{\text{GAN}}}}$/${L_{{\text{Content}}}}$	–	–
	GAN	[73]	监督学习	${L_{{\text{GAN}}}}$/${L_{{\text{Content}}}}$	–	–
	GAN	[46]	监督学习	${L_{{\text{GAN}}}}$/${L_{{\text{CycleGAN}}}}$	–	–
	GAN	[7]	无监督学习	${L_2}$/${L_{{\text{SSIM}}}}$	–	–
双极化	ResNet	[52]	监督学习	${L_1}$/${L_{{\text{Phy}}}}$	反卷积	前升采
	隐式神经表征	[17]	半监督学习	${L_2}$/${L_{{\text{Self}}}}$/${L_{{\text{Penalty}}}}$/${L_{{\text{CE}}}}$	Bilinear	后升采
全极化	ResNet	[5,76]	监督学习	${L_2}$	反卷积	前升采
	ResNet	[53]	监督学习	${L_{\text{F}}}$/${L_{{\text{Phy}}}}$	反卷积	前升采
	ResNet	[77]	监督学习	${L_{\text{C}}}$/${L_{{\text{Edge}}}}$	反卷积	前升采
	ResNet	[15]	监督学习	${L_1}$	亚像素卷积重排	后升采
	隐式神经表征	[78]	半监督学习	${L_1}$/${L_{{\text{Self}}}}$	Bilinear	后升采

下载: 导出CSV 

| 显示表格

根据上采样模块在网络模型中的位置，可以分为前升采样和后升采样两种。前升采样方式首先使得输入图像与参考图像保持相同的像素大小，使网络训练更加容易，但其计算复杂度和对硬件的内存消耗较高。后升采样是在特征提取之后再拓展图像空间维度，提高图像像素密度，其计算复杂度和对硬件的内存消耗较低。当然，目前基于深度学习的光学图像超分辨率重建方法还使用渐进升采样和迭代升采样等方式，请参考文献[33]。

基于单极化与深度学习的超分辨率重建模型采用不同的网络设计策略及学习策略构建得到，这些方法本质都属于CNN模型。根据网络模型设计策略的不同，可以大致分为以下几类：浅层CNN网络模型(Shallow CNN)、残差网络模型(Residual Network, ResNet)及生成对抗网络模型(Generative Adversarial Network, GAN)，表3对其进行了总结和归纳。

(1) 浅层CNN网络模型

SRCNN是一种光学图像处理中典型的基于CNN网络的超分辨率重建方法，其结构简单，由3层卷积层直接堆叠得到^[71]。文献[42]对SRCNN方法进行了改进，结合MSE损失函数${L_2}$和基于SSIM^[60]的损失函数${L_{{\text{SSIM}}}}$实现ISAR图像目标超分辨率重建。针对双基地SAR图像超分辨率重建，文献[73]首先使用Bicubic方法进行上采样，再使用包含6层卷积层的双分支网络结构进行特征提取和融合，最后通过1层卷积层映射得到高分辨率SAR图像。

(2) 残差网络模型

随着网络深度的加深，传统CNN网络模型面临训练优化困难等问题。对此，研究人员提出一种基于残差结构的网络模型ResNet^[79]，通过跨层连接或者短接的方式使网络模型对残差值进行优化，提高了网络模型的收敛性能。文献[3]融合残差卷积神经网络，提出了一种基于局部超分辨重建的SAR图像水域分割方法，对GF-3及Sentinel-1数据进行了超分辨重建和水域边界提取，提升了SAR图像水域分割精度。超分辨率处理前后水域场景SAR图像对比结果如图8所示。

图 8  水域场景SAR图像超分辨率重建结果^[3]

下载: 全尺寸图片 幻灯片

深度学习中的注意力机制是一种模仿人类视觉和认知系统的方法^[80]，能够使得深度神经网络自动地学习并选择性地关注输入数据中的重要信息，能够提高模型的性能和泛化能力。文献[4]在残差模型中引入通道注意力模块，对Lee相干斑滤波后的水域SAR图像进行超分辨率重建。针对SAR图像数据复值的特点，文献[43]提出了一种复数CNN网络模型，利用两个网络分支分别提取复数SAR数据的实部与虚部信息。考虑到传统残差单元感受野有限的问题，文献[57]将空洞卷积模块引入残差网络中，提出了一种基于特征复用的膨胀-残差卷积超分辨网络模型(Feature Reuse Dilated-Resnet CNN, FRDR-CNN)，将不同层级上具有相同尺度的特征图进行叠加和卷积操作来捕获更多的空间上下文特征。同时引入感知损失${L_{{\text{Content}}}}$，以减少SAR图像相干斑噪声的干扰。文献[8]指出当SAR图像数据对之间存在较大分辨率差异时，它们之间的区域特征会显著不同。为了统一异源SAR图像数据分辨率，该团队构建了一种平滑边缘引导的超分辨率递归残差学习网络(Smooth Edge-Guide Super-Resolution, SEGSR)。注意到，文中指出SAR图像相干斑噪声会给超分辨率重建带来伪影问题，并且在统一分辨率的过程中，低分辨率图像中的单像素强峰值点往往是不可靠的特征点，会导致重建结果中出现斑块。对此，研究人员设计了一种平滑感知系数，能够根据SAR图像中的噪声水平进行自适应地调整，从而实现对斑块的抑制。最后结合图像边缘损失函数${L_{{\text{Edge}}}}$和${L_1}$损失函数训练网络模型。${L_{{\text{Edge}}}}$的具体表达式请参考文献[8]。进一步，考虑到相干斑噪声对SAR图像超分辨率重建的影响，文献[7]在残差网络中引入SAR图像相干斑噪声统计先验，提出了一种无监督的SAR图像盲超分辨率重建方法。在网络训练过程中，通过组合高斯核函数、高斯加性噪声及Gamma乘性噪声降低输入SAR图像质量，如图9所示。其中，核函数及噪声参数通过残差网络和SAR图像分布进行估计。在此基础上，使用基于矩阵1范数的损失函数${L_1}$和基于SSIM的损失函数${L_{{\text{SSIM}}}}$训练网络模型。

图 9  SAR图像降质模型^[7]

下载: 全尺寸图片 幻灯片

多源数据的综合利用能够为基于单极化的极化雷达图像超分辨率重建带来丰富的目标信息。文献[58]基于残差网络模型，提出了一种光学图像辅助的SAR图像超分辨率重建方法(Optical Guidance Residual Network, OGRN)，采用特征拼接的方法融合SAR低分辨率图像与光学图像，并结合${L_1}$损失函数训练网络模型。OGRN网络结构如图10所示。

图 10  光学图像辅助的OGRN网络结构^[58]

下载: 全尺寸图片 幻灯片

(3) 生成对抗网络模型

生成对抗网络采用生成模型${\text{G}}$与判别模型${\text{D}}$进行对抗学习，以达到纳什平衡^[81,82]。Ledig等人^[82]首先提出了结合GAN网络的光学图像超分辨率方法，并基于交叉熵(Cross Entropy)损失函数，构建了训练生成模型与判别模型的对抗损失函数${L_{\text{G}}}$与${L_{\text{D}}}$，为

其中，${{{\boldsymbol{I}}}_{{\text{Sampled}}}}$代表参考图像数据集中的随机采样结果。一般而言，损失函数${L_{\text{G}}}$与${L_{\text{D}}}$是GAN网络训练和学习的基础，后续研究人员对其进行了一系列改进^[33,34]。为了方便，该文将形如${L_{\text{G}}}$与${L_{\text{D}}}$的损失函数统一记为生成对抗损失函数${L_{{\text{GAN}}}}$。

对于雷达图像超分辨率重建，文献[75]使用${L_1}$损失函数和对抗损失函数${L_{{\text{GAN}}}}$训练网络模型，从而引导网络恢复弱散射点。进一步，文献[49]在此基础上增加了感知损失${L_{{\text{Content}}}}$，使得超分辨率重建图像在全局纹理结构上与参考图像保持一致。具体地，研究人员参考文献[83]将超分辨率重建结果${\hat {\boldsymbol{I}}}$和参考图像${{\boldsymbol{I}}}$分别输入预训练好的VGG网络中，并提取网络中间特定卷积层的结果，分别记为$\varPhi \left( {{\hat {\boldsymbol{I}}}} \right)$与$\varPhi \left( {{\boldsymbol{I}}} \right)$。在此基础上，使用矩阵1范数衡量两者差距，为

需要指出的是，可以选用不同的预训练网络模型得到$\varPhi \left( {{\hat {\boldsymbol{I}}}} \right)$与$\varPhi \left( {{\boldsymbol{I}}} \right)$，并采用不同的矩阵范数计算${L_{{\text{Content}}}}$。该文将形如式(17)的感知损失统一记为${L_{{\text{Content}}}}$。

进一步，考虑到循环生成对抗网络(CycleGAN)对输入样本差异适应性较好，文献[46]从损失函数、优化过程和判别器结构3方面对CycleGAN网络结构进行改进，加快了网络的收敛速度，如图11所示。具体地，研究人员基于矩阵1范数构建了循环一致损失函数${L_{{\text{CycleGAN}}}}$，并结合对抗损失${L_{{\text{GAN}}}}$训练网络模型。${L_{{\text{CycleGAN}}}}$的具体计算公式请参考文献^[46]。

图 11  CycleGAN网络结构^[46]

下载: 全尺寸图片 幻灯片

文献[74]认为图像分辨率提升在一定程度上类似于SAR图像风格迁移。对此，该团队针对不同分辨率异源SAR图像数据，提出了一种辩证生成对抗网络模型，生成模型采用U-Net为主干网络，判别模型采用CNN为主干网络。该方法以一种雷达传感器的高分辨率SAR图像为参考样本，将其纹理细节信息迁移学习到另一种雷达传感器的低分辨率SAR图像中。最后，融合纹理损失函数${L_{{\text{Style}}}}$、感知损失函数${L_{{\text{Content}}}}$, ${L_2}$损失函数和对抗损失函数${L_{{\text{GAN}}}}$训练网络模型。${L_{{\text{Style}}}}$的计算公式请参考文献[74]。

总结而言，基于单极化与深度学习的超分辨率重建方法大多采用单一传感器的幅度数据或者复数数据进行超分辨率重建，如何利用和融合多源传感器信息值得进一步研究。

4.   多极化联合处理的极化雷达图像目标超分辨率重建进展

不同极化通道具有相关性，如何对其进行挖掘与利用值得考虑。针对多极化通道联合重建方法，现有研究也可以大致分为基于传统信号处理与基于深度学习两类。

4.1   基于传统信号处理的多极化联合重建方法

基于传统信号处理的多极化联合超分辨率重建方法从频谱合成方法发展而来^[84]。Pastina等人^[85]指出不同极化通道人造物体的后向散射可能差异明显，仅使用单个极化通道可能会丢失目标信息，此外，极化信道的适当联合处理可以提高信噪比，使算法更具有鲁棒性。对此，该文分析了现代谱估计技术在舰船目标极化SAR超分辨率重建中的应用，提出了两种多极化信息联合处理策略，如图12所示。多极化联合重建策略1为分别对多极化通道SAR数据进行超分辨率重建，取归一化化后进行融合；多极化联合重建策略2为首先使用极化白化滤波器(Polarimetric Whitening Filter, PWF)^[86]对极化散射矢量${{k}_{\text{L}}}$进行处理得到单通道数据${k_{{\text{whiten}}}}$，再利用基于单极化的超分辨率重建方法进行处理。以全极化雷达数据为例，有

图 12  极化雷达图像目标超分辨率重建中的多极化联合策略^[85]

下载: 全尺寸图片 幻灯片

注意到，经过PWF处理后，${{\boldsymbol{k}}_{{\text{whiten}}}}$为实数。对此，该文使用极化散射矢量${{{\boldsymbol{k}}}_{\text{L}}}$中第$i$个元素的相位${\text{Arg}}\left( {{{\boldsymbol{k}}}_{\text{L}}^i} \right)$与${{\boldsymbol{k}}_{{\text{whiten}}}}$进行组合，得到融合后的复数变量${k_{{\text{fuse}}}}$，为

Chen等人^[87]基于乘性噪声的前提假设，利用凸集上投影方法(Projections onto Convex Sets, POCS)^[88]对舰船目标全极化SAR图像进行超分辨率重建。该方法假设超分辨率解空间中的解有$l$个限制条件，并将每个限制条件定义为向量空间中的凸集${\varOmega }$。超分辨率重建问题的解空间为这些凸集的交空间，即有${\hat {\boldsymbol{I}}} \in \cap _{i = 1}^l{{{\boldsymbol{\varOmega}} }_l}$，并通过迭代地方式进行求解。特别地，${{\boldsymbol{\varOmega}} }$的初始值为每个极化通道幅度特征的集合，为${{{\boldsymbol{\varOmega}} }_{{\text{Initial}}}} = \left\{ {\left| {{S_{{\text{HH}}}}} \right|,\left| {{S_{{\text{HV}}}}} \right|,\left| {{S_{{\text{VV}}}}} \right|} \right\}$。

极化目标分解是极化雷达目标散射机理解译的主流工具，能够从多极化通道的相关性中提取表征雷达目标散射特性的参数。文献[84]考虑了极化目标分解结果与全极化SAR图像空域特性的相关性。以图13所示标号为5的像素单元为例，假设低分辨率像素单元${{{A}}_5}$中的第$i$个极化散射分量${{\boldsymbol{\kappa}} _i}$为对应高分辨率像素单元${{A}}_5^j$第$i$个极化散射分量$\hat {\boldsymbol{\kappa}} _i^j$的和，即

图 13  低分辨率与高分辨率SAR图像像素单元示意图^[84]

下载: 全尺寸图片 幻灯片

在此基础上，考虑高分辨率SAR图像像素单元中每个像素极化散射分量$\hat {\boldsymbol{\kappa}} _i^j$与其$3 \times 3$邻域内每个像素极化散射分量的差值$R_5^j$，超分辨率重建问题即等价于在式(20)的约束下，最小化目标函数$R_5^j$。

4.2   基于深度学习的多极化联合重建方法

根据网络模型结构的不同，基于深度学习的多极化联合超分辨率重建方法可以大致分为基于残差网络模型和基于隐式神经表征两类，表3对其进行了总结和归纳。

(1) 基于残差网络模型的多极化联合重建方法

武汉大学研究团队认为全极化SAR数据不同通道的特性不同，有必要对全极化SAR数据进行重组，并分别进行特征提取^[5,76]。对此，研究人员提出一种基于残差网络的全极化SAR超分辨率重建方法(Residual Convolutional Neural Network for Polarimetric SAR Image Super Resolution, PSSR)^[5]。如图14所示，该团队研究人员构建了一种复数卷积模块，将矢量化后极化相干矩阵中的元素进行配对，即将同一复数元素的实部和虚部作为一组进行卷积处理，提取浅层特征。然后使用残差网络结构提取深层特征实现全极化SAR图像超分辨率重建。

图 14  复数卷积模块^[5]

下载: 全尺寸图片 幻灯片

考虑到不同极化模式数据间的信息互补，文献[53]提出一种融合低分辨全极化SAR数据和高分辨单极化SAR数据的深度神经网络模型(PolSAR Images and Single SAR Images Fusion Network, PSFN)。该文构建了一种由两层CNN组成的空域注意力模块，挖掘不同极化SAR数据中的纹理信息，并提出了一种极化损失函数${L_{{\text{Phy}}}}$，用于衡量网络输出结果特定极化通道与参考的单极化高分辨率图像间的重建精度。最后，结合Frobenius范数损失函数${L_{\text{F}}}$与极化损失函数${L_{{\text{Phy}}}}$训练网络模型。${L_{{\text{Phy}}}}$的详细表达式请参考文献[53]。从极化目标分解的角度，该团队^[52]还提出一种融合低分辨率极化SAR图像和高分辨率双极化SAR图像的超分辨率重建方法。在该框架下利用低分辨全极化SAR图像极化目标分解结果对双极化SAR图像特征图进行加权。最后，该文利用Radarsat-2星载SAR系统标准及精细模式下的实测数据验证了所提方法的有效性，不同方法的对比结果如图15所示，并使用$H$/$\bar \alpha$/$A$极化目标分解结果验证了网络模型对于极化信息的保持能力。

图 15  港口区域全极化SAR图像超分辨率重建结果对比^[53]

下载: 全尺寸图片 幻灯片

除了文献[53]使用的空域注意力机制，文献[77]在残差网络中融入了多尺度注意力机制，并结合Charbonnier损失函数${L_{\text{C}}}$与边缘损失函数${L_{{\text{Edge}}}}$训练网络模型。作者团队^[15]针对全极化ISAR数据多通道及复值数据的特点，提出了一种分组残差注意力网络模型(Group Residual Attention Network, GRAN)。在互易性条件下，考虑了极化相干矩阵中的9个元素，首先对其进行分组处理，并使用非局部上下文注意力单元^[89]进行浅层特征提取。

(2) 基于隐式神经表征的多极化联合重建方法

真实世界中的图像信号具有连续性，但是考虑到数字信号处理的需要，需要对其进行离散化处理。隐式神经表征^[78]指的是通过坐标信息${{\boldsymbol{\chi}} }$和隐变量${{\boldsymbol{z}}}$表征图像信息${{\boldsymbol{h}}}$，记作隐函数${f_{\boldsymbol{\varTheta}} }$，为

注意到，坐标${{\boldsymbol{\chi}} }$是连续的，对此${f_{\boldsymbol{\varTheta}} }$能够对图像信息进行连续表征。

现有基于深度学习的多极化联合重建方法大多采用监督学习的方式，对低分辨率极化雷达图像中的纹理等信息挖掘能力有限。对此，作者团队基于隐式神经表征方法^[78]，提出了一种极化ISAR图像半监督隐式神经表征方法(Semi-Supervised Implicit Neural Representation, SSINR)，能够利用坐标信息将全极化ISAR图像建模为一个连续函数${f_{\boldsymbol{\varTheta}} }$，并使用多层感知机模型拟合函数${f_{\boldsymbol{\varTheta}} }$。图16所示为SSINR算法流程图。在此基础上，该文构建了一种新的坐标调制模块，融合了像素坐标信息与神经网络提取的深度特征。除了采用${L_1}$损失函数减小重建结果与参考高分辨率图像间的重建误差，SSINR算法能够利用隐式表征方法实现低分辨率全极化ISAR图像无监督学习，并在自监督损失函数${L_{{\text{Self}}}}$的约束下更好地挖掘低分辨率图像中蕴含的纹理等信息。${L_{{\text{Self}}}}$的具体表达式请参考文献[78]。进一步，该网络结构能够通过一次训练实现多倍数全极化ISAR图像超分辨率重建。对此，作者团队利用预训练的SSINR模型对全极化ISAR图像1倍与1.5倍超分辨率重建进行了研究和讨论。

图 16  作者团队所提SSINR方法流程图

下载: 全尺寸图片 幻灯片

上述基于深度学习的多极化联合重建方法仅使用图像信息进行超分辨率重建，缺乏对不同超分辨率重建场景的自适应感知能力。对此，作者团队^[17]通过融合场景语义信息，提出了一种简缩极化ISAR图像非局部场景感知超分辨率重建方法(Non-Local Scene Awareness Network, NLSAN)。通过超分辨率重建与场景感知两个网络分支，联合了图像极化域、空域和语义信息，能够自适应区分背景和目标区域，并针对性地进行超分辨率重建。在此基础上，该文结合提取的语义信息提出了一种场景感知下的惩罚损失函数${L_{{\text{Penalty}}}}$，能够自适应地抑制背景中的伪影。此外，NLSAN方法从插值模型出发，结合隐式神经表征，构建了一种非局部上采样模块，能够充分挖掘简缩极化ISAR全局纹理和极化信息。损失函数方面，NLSAN使用${L_2}$损失函数进行监督训练，使用${L_{{\text{Self}}}}$实现自监督学习，并融合了${L_{{\text{Penalty}}}}$损失函数与交叉熵损失函数${L_{{\text{CE}}}}$训练网络模型。进一步，作者团队从超分辨率重建结果中分别选取了目标主体区域(roi-target)、目标边缘区域(roi-edge)及背景区域(roi-background)开展研究，如图17所示。考虑到隐式特征的高维特点，研究人员使用t-SNE方法^[90]进行特征降维，并对两个网络分支分别提取的超分辨率隐式特征和语义隐式特征间的区别和联系进行了研究与讨论。可视化结果如图18所示，图18(a)-图18(c)选取自不同视角下的空间目标超分辨率重建结果。

图 17  空间目标简缩极化ISAR图像NLSAN方法超分辨率重建结果中感兴趣区域选取^[17]

下载: 全尺寸图片 幻灯片

图 18  不同类型感兴趣区域超分辨率与语义隐式特征可视化^[17]

下载: 全尺寸图片 幻灯片

值得注意的是，特征平面中不同区域超分辨率隐式特征呈现团状分布，而语义隐式特征差异明显，呈现条带状分布，能够较好地区别不同场景。另外，超分辨率隐式特征与语义隐式特征间没有重叠，代表神经网络从不同维度进行了信息提取，与主观理解保持一致。但是，由于深度神经网络的黑盒特性，对其分布规律的理解需要进一步研究。

值得注意的是，特征平面中不同区域超分辨率隐式特征呈现团状分布，而语义隐式特征差异明显，呈现条带状分布，能够较好地区别不同场景。另外，超分辨率隐式特征与语义隐式特征间没有重叠，代表神经网络从不同维度进行了信息提取，与主观理解保持一致。但是，由于深度神经网络的黑盒特性，对其分布规律的理解需要进一步研究。

综上，综合利用不同极化通道信息能够实现超分辨率重建。现有基于深度学习的多极化联合超分辨率重建研究主要针对全极化模式，全极化目标分解方法也较为成熟，能够为重建过程中物理机制的解译与约束条件的设计提供指导。然而，与单极化模式相同，双极化模式中仍然面临极化信息缺失的问题，如何有效利用双通道的极化信息进行超分辨率重建需要进一步研究。

5.   极化雷达图像目标超分辨率重建应用

雷达图像超分辨率重建可以看作一种预处理方式。表1和表2详细归纳了现有极化雷达图像超分辨率重建工作中采用的定量评价指标，然而其性能优劣仍需要结合后续应用进行研究和分析。本节将介绍极化雷达图像目标超分辨率重建数据集的构建及其在实际任务中的应用效果。

5.1   极化雷达图像目标超分辨率重建数据集构建

受限于极化雷达图像实测数据的数量和获取成本，现有研究工作主要通过电磁仿真方式构建数据集，并集中于单极化SAR领域。研究对象包括典型散射结构^[55]、自然地物^[4]、舰船^[30]、车辆^[37]、飞机^[44]和卫星^[16]等。其中，典型散射结构包括球、圆柱、二面角和三面角等。

极化雷达图像目标超分辨率重建方法往往需要高分辨率极化雷达图像进行定量评估。特别地，基于监督学习的深度学习需要首先构建低分辨率-高分辨率极化雷达图像数据对，并以低分辨率极化雷达图像为输入，高分辨率极化雷达图像为学习目标更新和迭代网络模型参数。现有的图像数据对构建方式主要有4种：(1)下采样方法^{[3,8,57,58,61]}，即使用Bicubic等线性插值方法对高分辨率极化雷达图像进行下采样得到低分辨率极化雷达图像；(2)采用不同成像参数进行成像处理^[15–17,46]，即采用不同带宽和相干积累角的极化雷达回波数据进行成像处理得到图像对；(3)点扩散函数方法^[5,7,37]，即采用点扩散函数降低图像质量^[37]或者提升图像质量^[49]，获得图像对；(4)基于深度学习的方法^[5,7]，即设计基于深度学习的图像质量退化网络，对高分辨率极化雷达图像进行处理获取图像数据对。

5.2   极化雷达图像超分辨率重建应用

现有研究主要将极化雷达图像超分辨率重建作为一种图像预处理方式，在提升雷达图像分辨率的基础上，结合后续算法实现目标高精度分割、分类和跟踪等。

(1) 水域分割应用

传统SAR图像水域分割方法一般在图像像素级尺度上开展，但分割精度受到SAR分辨率的限制。对此，文献[3]融合残差卷积神经网络，提出了一种基于局部超分辨率重建的SAR图像水域分割方法，对GF-3及Sentinel-1数据进行超分辨重建。在此基础上，结合主动轮廓模型(Active Contour Mode, ACM)边缘提取算法得到水域边缘轮廓信息。算法示意图如图19所示，丹江口水库SAR图像超分辨率重建前后的对比结果如图8所示，水域分割对比结果如图20所示。

图 19  基于局部超分辨重建的SAR图像高精度水域分割方法^[3]

下载: 全尺寸图片 幻灯片

图 20  丹江口水库SAR图像水域分割对比结果^[3]。

下载: 全尺寸图片 幻灯片

实验结果表明超分辨重建技术的融入提升了SAR图像分辨率和水域分割精度。其中，分割结果中目标虚警率小于0.04%，准确率大于99%。进一步，文献[4]引入通道注意力模块，对Lee相干斑滤波后的水域SAR图像进行超分辨率重建，并结合ACM算法提取水域轮廓。该文对多庆错湖区域SAR图像进行水域分割，如图21所示。实验结果表明在融入了超分辨重建技术和注意力机制后，该文方法提取结果与真值更为接近。

图 21  多庆错湖区域SAR图像水域分割对比结果^[4]。

下载: 全尺寸图片 幻灯片

(2) 自然地物分类应用

相比于单极化SAR，全极化SAR在获得目标丰富的极化信息的同时，空间分辨率往往较低。文献[5]在使用深度卷积神经网络进行超分辨率重建的基础上，结合支持向量机方法开展了全极化SAR地物分类研究。实验结果表明对于选取的AIRSAR Flevoland区域全极化SAR地物分类数据集，使用超分辨率重建处理后，对15类地物的平均分类精度提升1.32%，Kappa指标提升0.02，不同方法的对比结果如图22所示。

图 22  Flevoland区域全极化SAR地物分类结果对比^[5]

下载: 全尺寸图片 幻灯片

(3) 人造目标分类应用

文献[6]提出了一种结合超分辨率重建网络和深度学习分类网络的SAR图像目标识别方法，算法示意图如图23所示。该文首先通过基于GAN的超

图 23  结合超分辨率重建网络和深度学习分类网络的SAR图像目标识别方法^[6]

下载: 全尺寸图片 幻灯片

分辨率重建网络提高SAR图像目标纹理的辨识程度，然后使用基于VGG的分类网络对MSTAR数据集中的车辆目标进行分类识别。在标准工作条件和扩展工作条件下，所提方法识别精度都优于98%。同时，使用超分辨率处理前后分类网络训练过程中的分类精度变化情况如图24(a)所示。该文指出采用超分辨率处理后，分类网络的训练收敛速度更快，这也一定程度地说明超分辨率增强后，车辆目标SAR图像特征较增强前更容易提取和学习。文献[7]利用所提无监督SAR图像深度学习超分辨率重建方法对MSAR数据集进行预处理，并结合YOLOV5网络模型，实现对舰船、桥梁和油箱等SAR图像人造目标的分类识别，实验结果中mAP指标提升0.15。另一方面，使用超分辨率处理前后分类网络训练过程中的mAP指标变化情况如图24(b)所示。可以观察到，红色曲线所示结合超分辨率处理的方法收敛速度更快。

图 24  超分辨率增强处理前后分类识别网络训练收敛情况

下载: 全尺寸图片 幻灯片

(4) 海冰漂移跟踪

短时间间隔的SAR图像序列有利于提高海冰漂移跟踪精度，使用异源SAR图像又能够相对容易地构造具有短时间间隔的SAR图像对。然而，异源SAR图像面临空间分辨率差异带来的特征匹配问题，并制约异源SAR海冰漂移跟踪的精度^[8]。文献[8]利用所提平滑边缘引导的超分辨率递归残差学习网络模型统一异源SAR图像数据分辨率。在此基础上，结合SIFT算法进行特征提取和特征点匹配，从而获取海冰漂移参数，算法流程图如图25所示。从特征点提取的角度，该文指出使用超分辨率重建统一异源图像数据分辨率后，特征点提取的准确率至少提高了20.6%，召回率至少提高了28.85%。进一步，使用超分辨率处理后，如图26所示，海冰漂移速度场的反演结果与参考真值更为接近，且小的海冰漂移能够得到检测。

图 25  结合超分辨率重建模型的海冰漂移跟踪模型^[8]

下载: 全尺寸图片 幻灯片

图 26  海冰漂移速度场对比结果^[8]

下载: 全尺寸图片 幻灯片

6.   极化雷达图像目标超分辨率重建研究展望

相比于光学图像，极化雷达图像具有稀疏性、高动态范围以及复值数据的特点，目标散射机理也更为复杂。极化雷达系统硬件水平制约极化雷达图像分辨率的提升，而极化雷达图像分辨率影响图像质量和目标细节呈现能力。面向极化雷达图像目标检测和识别等应用对于高分辨率图像的需求，以下问题仍需展开深入研究：

(1) 极化雷达图像超分辨率重建评价指标问题

现有研究工作缺乏统一的评价指标和评价流程。超分辨率重建的性能不仅涉及算法对分辨率瑞利极限的突破程度，同时与重建图像质量相关。需要指出的是，图像质量评估一直是一个开放性问题。但是，可以综合考虑图像全局和局部的重建情况，从多个维度对重建结果进行评估。特别地，对于多极化雷达图像，现有方法大多对极化相干矩阵中的三个实分量进行评估，忽略了其他元素，且对超分辨率重建后目标极化特性的保持关注较少。

(2) 极化雷达图像超分辨率重建数据集构建问题

现有研究工作主要基于电磁仿真数据开展研究，缺少标准的实测数据集。此外，相较于光学图像，极化雷达图像训练样本数量和种类相对较少，如何获取和构建大规模极化雷达图像目标超分辨率重建数据集面临挑战。

(3) 高维特征提取和有效利用

单极化雷达图像能够提取的特征有限，且现有研究工作主要集中于单帧雷达图像超分辨率重建。从空域角度拓展目标信息，发展极化雷达序列图像超分辨率重建值得考虑。作为电磁波的重要维度之一，极化信息的增加能够带来目标丰富的信息。然而，目标电磁散射响应受到目标姿态、取向等的影响，这种目标散射多样性制约极化信息的有效利用。值得注意的是，目标散射多样性中也蕴含目标丰富的信息。如何将目标散射多样性中挖掘的信息用于极化雷达图像目标超分辨率重建需要进一步研究。

(4) 机理与深度学习方法的有机结合

深度学习方法能够自适应地进行特征提取并从大数据中挖掘图像中复杂的隐式规律。然而，深度学习方法的可解释性较差，雷达领域先验知识的利用也较为有限。发展机理与模型双驱动的极化雷达图像目标超分辨率重建方法有望提高模型超分辨率重建性能，增强模型可解释性。