基于FPDE-SIFT的声呐干涉图像配准方法

刘伟陆; 周天; 闫振宇; 杜伟东

doi:10.11999/JEIT230337

基于FPDE-SIFT的声呐干涉图像配准方法

doi: 10.11999/JEIT230337

刘伟陆^{1, 2, 3},
周天^{1, 2, 3, 4},
闫振宇^{1, 2, 3},
杜伟东^{1, 2, 3, ,}

1.
哈尔滨工程大学水声技术全国重点实验室哈尔滨 150001
2.
海洋信息获取与安全工信部重点实验室(哈尔滨工程大学)工业和信息化部哈尔滨 150001
3.
哈尔滨工程大学水声工程学院哈尔滨 150001
4.
极地海洋声学与技术应用教育部重点实验室哈尔滨 150001

基金项目: 国家自然科学基金(42176192, 41976176, 42176188, 52001097)

详细信息

作者简介:
刘伟陆：男，博士生，研究方向为水声信号处理

周天：男，教授，研究方向为水声信号处理、水声目标探测

闫振宇：男，博士生，研究方向为声呐图像处理

杜伟东：男，副教授，研究方向为水声信号处理

通讯作者:
杜伟东　duweidong@hrbeu.edu.cn

中图分类号: TN929.3
计量
- 文章访问数: 495
- HTML全文浏览量: 249
- PDF下载量: 70
- 被引次数: 0
出版历程
- 收稿日期: 2023-04-26
- 修回日期: 2023-09-04
- 网络出版日期: 2023-09-07
- 刊出日期: 2024-01-17

Interference Image Registration Based on FPDE-SIFT for Sonar

LIU Weilu^{1, 2, 3},
ZHOU Tian^{1, 2, 3, 4},
YAN Zhenyu^{1, 2, 3},
DU Weidong^{1, 2, 3
, ,}

1.
National Key Laboratory of Underwater Acoustic Technology, Harbin Engineering University, Harbin 150001, China
2.
Key Laboratory of Marine Information Acquisition and Security (Harbin Engineering University), Ministry of Industry and Information Technology, Harbin 150001, China
3.
College of Underwater Acoustic Engineering, Harbin Engineering University, Harbin 150001, China
4.
Key Laboratory of Polar Acoustics and Application of Ministry of Education, Ministry of Education, Harbin 150001, China

Funds: The National Natural Science Foundation of China (42176192, 41976176, 42176188, 52001097)

摘要

摘要: 图像配准是声呐进行高精度干涉测量的保障，该文针对水下目标的声呐图像配准，提出了一种基于4阶偏微分方程尺度不变特征变换的声呐干涉图像配准方法。该方法聚焦声呐图像配准的难点，首先基于4阶偏微分方程构建尺度空间，在保持图像细节的前提下滤除噪声，提高特征提取的准确度；对于残余噪声造成的特征点误检，借助特征点的相位一致性信息加以筛选，精简特征点样本集；最后对特征点匹配策略进行优化，提出改进的快速样本一致性匹配策略剔除特征点的误匹配。算法增加了匹配点对的数量，提高了匹配点对的准确度，实现了声呐干涉图像的精确配准。水池实验和外场试验表明，该文所提出的算法相较现有算法对声呐图像有着更好的适用性，配准后的均方根误差与留一法均方根均小于1像素，达到了亚像素配准精度。
- 声呐图像配准 /
- 尺度不变特征变换 /
- 偏微分方程 /
- 相位一致性 /
- 快速样本一致性
Abstract: Image registration is the cornerstone of sonar for high-precision interferometry. This study presents an innovative method for registering sonar interference images, utilizing the Fourth-order Partial Differential Equation (FPDE) in conjunction with the scale-invariant feature transform. This technique is specifically tailored for underwater sonar targets. This method specifically addresses the challenges associated with sonar image registration. First, we establish the scale space by employing the FPDE. This process filters noise while preserving image details, resulting in an improved accuracy of feature extraction. The proposed method utilizes phase congruency information to counter false feature point detection due to the residual noise, thereby screening and simplifying the sample set of feature points. Ultimately, the features point matching strategy undergoes optimization, with an enhanced fast sample consensus matching strategy proposed to rectify feature point mismatches. The algorithm increases the number of matching point pairs and augments their precision, ultimately achieving precise registration of sonar interference images. Rigorous tests, both under controlled conditions and lake environments, demonstrate the algorithm’s superior applicability to sonar images compared with existing approaches. The root-mean-square-error and mean-square-error are calculated post-registration using leave-one-out analysis, both are under one pixel, attesting to the algorithm’s achievement of sub-pixel registration accuracy.
- Sonar image registration /
- Scale-invariant feature transform /
- Partial differential equation /
- Phase congruency /
- Fast sample consensus

HTML全文

1. 引言

干涉测量方法在水下探测领域起着重要作用，在测深侧扫声呐^[1] 、合成孔径声呐^[2] 、多波束测深声呐^[3] 、3维前视声呐^[4,5]等设备中有着广泛的应用。其大部分应用场景都离不开图像配准预处理。声呐干涉图像的精确配准是获取高精度位置信息的重要保障，直接影响着后续处理的准确度。在现有算法中，多采用基于相干系数的曲面拟合^[6,7]方法。由于海底地形总是一个较为连续的散射界面，因而该类方法在地形测量中有着不错的效果。但水中目标不同于海底地形，其通常建模为由若干个点散射体组成的群，此时上述算法的效果将变得不够理想。

目前，针对水中目标的图像配准算法主要采取基于特征的方案^[8] 。其中最具有代表性的是尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)算法^[9] ，其通过在不同尺度空间上提取参考图像与配准图像的角点、边缘点等特征点，构建同名点对，进而求解转换矩阵，实现图像配准。但由于声呐图像往往受乘性斑点噪声影响，传统的SIFT算法易产生误检、漏检等情况，从而间接导致同名点对的误匹配，影响图像配准的精度。在此情况下，学者主要从尺度空间的构建、匹配策略的优化等方面入手提出了诸多优化算法。

围绕尺度空间构建，王山虎等人^[10] 提出了基于大尺度双边尺度不变特征变换的图像同名点自动提取方法，进而提出了BFSIFT算法^[11] ，通过双边滤波器同时考虑图像的值域与空间域，从而获得较高斯滤波更优的图像边缘特征。Yu等人^[12] 采用滚动导向滤波，总结了双边滤波与导向滤波，通过分离不同的尺度结构在保留边缘的同时去除小尺寸结构。Fan等人^[13]利用非线性扩散生成尺度空间(Nonlinear Diffusion Scale Space, NDSS)，并利用指数加权均值比算子替代原有差分算子进行图像梯度计算，该文中所提出的算法是现阶段边缘保持效果较为理想的一种。针对匹配策略，传统SIFT采用的是随机样本一致性(RANdom SAmple Consensus, RANSAC)算法，其在内点比例偏低时很难给出一个可靠的匹配结果；因此，Wu等人^[14] 在RANSAC基础上提出了快速样本一致性(Fast Sample Consensus, FSC)算法，通过设定两个距离阈值比去除不精确的匹配点，从而实现在更少的迭代次数中获得更多的正确匹配。另外，还有渐近样本一致(Progressive Sample Consensus, PROSAC)算法^[15]，全局随机样本一致性(Universal Random Sample Consensus, USAC)算法^[16] 等诸多改进，但上述改进对于本文所关注的声呐图像配准并未有很好的效果。

聚焦声呐干涉图像高精度配准这一目标，本文从尺度空间构建、特征点筛选、匹配策略优化3方面入手，重点应对声呐图像相干噪声的干扰，提出了基于4阶偏微分方程尺度不变特征变换(Fourth-order Partial Differential Equation SIFT, FPDE-SIFT)的声呐干涉图像配准方法。首先，通过4阶偏微分方程构建尺度空间，其相较NDSS方法，在边缘保持和平滑之间有着更好的平衡；随后，借助像素点的相位一致性信息对提取的特征点完成筛选，去除一部分相干斑噪声引起的误检测；最后，提出改进的FSC匹配策略，定义特征点的质量因子；并对提出的算法进行了水池实验以及外场试验验证。通过不同的目标及实验场景，验证了所提出的算法对声呐干涉图像配准的优越性及实用性。

2. 问题阐述

干涉测量原理如所示。在空间上相隔一定距离放置两个(或两组)接收阵元， ${S_a}$ 与 ${S_b}$ 分别为阵元 $A$ 和 $B$ 上接收到的复信号，若 $MA$ 为波阵面传播方向，则有相位差 $\Delta \phi$ 与 $\eta$ 关系式为

图 1 声呐干涉测量原理示意图

下载: 全尺寸图片幻灯片

$\Delta \phi = {\rm{angle}}\left( {{S_a}S_b^*} \right) = \frac{{2\pi D\cos \left( {\theta + \eta } \right)}}{\lambda } = \frac{{2\pi \Delta R}}{\lambda }$

(1)

其中， ${\rm{angle}}(\cdot)$ 为计算复数相位角的函数， $\lambda$ 为波长， $D$ 为阵元间距， $\theta$ 为声呐阵元与垂直向夹角， $\Delta R$ 为声程差(如中蓝色标识)， $S_b^*$ 为 ${S_b}$ 的共轭复数。从而可以求解散射点 $M$ 相对于 $A$ 点的位置信息。

上述推导的前提是相位差序列为传播路径的函数，也即同一时刻两个接收阵元上的回波信号来自同一散射点。然而，如图2所示，两个接收阵元同一时刻接收信号所对应的散射点是存在一定偏移的，且随着视角的变化，不同位置处的目标偏移量也不尽相同，因此需要对所成图像进行配准来补偿偏移量，从而提高干涉处理的精度。

图 2 接收阵列同一时刻散射回波对应散射点示意

下载: 全尺寸图片幻灯片

3. 提出的算法

总的来说，图像配准领域不乏性能优异的算法，但在水下这一应用场景中，由于声呐图像的几个特性，声呐图像的配准存在着以下难点：

(1) 像素点过少^[17] ：首先，声呐图像中大部分为背景，目标信息仅占较少的一部分像素点；其次，声呐图像分辨率较低，使得相同大小的目标所呈现出的像素点数更少，导致声呐图像中的目标特征不够明显，为尺度空间构建时的边缘保持提出了新的考验。

(2) 信噪比较低^[18] ：与其他应用场景相比，水下环境更为复杂，声呐图像受到多种噪声的污染。其中，乘性相干噪声造成的影响尤其严重，图像中被乘性噪声污染的斑点像素的强度值远大于或小于相邻像素的强度值，经过滤波后会和边缘信息一起被保留，使得特征点检测时不可避免地出现误检测，为后续的特征点匹配造成干扰，甚至导致配准算法的失效。

针对以上难点，提出本文算法，主要分为尺度空间构建、特征点筛选与误匹配剔除3部分，整体流程如图3所示。

图 3 算法流程图

下载: 全尺寸图片幻灯片

3.1 基于4阶偏微分方程的尺度空间构建

上文提到，文献[13] 中所构建的NDSS是现有算法中边缘保持性能较好的一种，其采用的各向异性扩散滤波是通过2阶偏微分方程(Second-order Partial Differential Equation, SPDE)来实现的，将待处理图像近似为阶跃图像；在保留边缘的同时，对均匀区域进行各向同性平滑，在边缘保持与去除噪声之间进行了很好的权衡。但经过SPDE处理后的各向异性扩散图像会受到“块状效应”和“伪影”的影响^[19] ，这会导致特征点的误检。

如所述难点1，NDSS对声呐图像的边缘保持仍是不够理想的。因此，本文引入了4阶偏微分方程，以分段平面图像来近似待处理图像。与SPDE所采用的阶跃图像相比，分段平面图像的处理结果更自然，伪影也更少。

对于欧拉方程，可以借助梯度下降法来求解^[20]，以声呐图像为初始条件：

$\begin{split} \frac{{\partial f\left( {x,y} \right)}}{{\partial t}} & = - {\nabla ^2}\left[ {c\left( {\left| {{\nabla ^2}f\left( {x,y} \right)} \right|} \right){\rm{sign}}\left( {{\nabla ^2}f\left( {x,y} \right)} \right)} \right] \\ & = - {\nabla ^2}\left[ {c\left( {\left| {{\nabla ^2}f\left( {x,y} \right)} \right|} \right)\frac{{{\nabla ^2}f\left( {x,y} \right)}}{{\left| {{\nabla ^2}f\left( {x,y} \right)} \right|}}} \right] \end{split}$

(2)

$c\left( s \right) = \frac{1}{{1 + {{\left( {s/k} \right)}^2}}}$

(3)

其中， $f\left( {x,y} \right)$ 为 $\left( {x,y} \right)$ 点像素强度值， ${\nabla ^2}$ 为拉普拉斯算子， $c(\cdot)$ 为扩散函数， $k$ 为常量。

式(2)中的偏微分方程可以用迭代的方法进行数值近似，关系式定义为

${f^{n + 1}}\left( {x,y} \right) = {f^n}\left( {x,y} \right) - \Delta t{\nabla ^2}{g^n}\left( {x,y} \right)$

(4)

其中， ${f^n}\left( {x,y} \right)$ 为n次迭代后 $\left( {x,y} \right)$ 点像素的强度值， $\Delta t$ 为迭代步长。式(4)中 ${\nabla ^2}{g^n}\left( {x,y} \right)$ 可表示为

${\nabla ^2}{g^n}\left( {x,y} \right) =\frac{{{g^n}\left( {x + 1,y} \right) + {g^n}\left( {x,y + 1} \right) + {g^n}\left( {x - 1,y} \right) + {g^n}\left( {x,y - 1} \right) - 4{g^n}\left( {x,y} \right)}}{{{h^2}}}$

(5)

式(5)中函数 ${g^n}\left( {x,y} \right)$ 由扩散函数 $c\left( {\left| {{\nabla ^2}{f^n}\left( {x,y} \right)} \right|} \right)$ 与声呐图像的拉普拉斯运算 ${\nabla ^2}{f^n}\left( {x,y} \right)$ 共同决定，具体关系式为

$\qquad {g^n}\left( {x,y} \right) = g\left( {{\nabla ^2}{f^n}\left( {x,y} \right)} \right) = c\left( {\left| {{\nabla ^2}{f^n}\left( {x,y} \right)} \right|} \right){\nabla ^2}{f^n}\left( {x,y} \right)$

(6)

$\qquad {\nabla ^2}{f^n}\left( {x,y} \right) = \frac{{{f^n}\left( {x + 1,y} \right) + {f^n}\left( {x,y + 1} \right) + {f^n}\left( {x - 1,y} \right) + {f^n}\left( {x,y - 1} \right) - 4{f^n}\left( {x,y} \right)}}{{{h^2}}}$

(7)

式(5)与式(7)中 $h$ 为空间网格大小，在本文中取值为1。至此完成了基于FPDE的尺度空间构建，进而完成特征点检测，下面将依据相位一致性信息对特征点进行筛选。

3.2 基于相位一致性的特征点筛选

在本节中将聚焦难点2，声呐图像中的多种噪声很难在保持边缘的同时全部滤除，残存的噪声干扰会使得上述方法检测到的初始特征点中出现一部分误检测。这些错误的检测点将导致错误的匹配，从而进一步影响图像间转换矩阵的解算。为减小误检测的影响，借助相位一致性信息来对初始特征点进行筛选。具体步骤如下：

(1) 首先计算基准图像和待配准图像中初始特征点位置处的相位一致性信息。定义为^[21]

$P\left( {x,y} \right) = \frac{{\displaystyle\sum\nolimits_k {W\left( {x,y} \right)\left\lfloor {{A_k}\left( {x,y} \right)\Delta {\phi _k}\left( {x,y} \right) - T} \right\rfloor } }}{{\displaystyle\sum\nolimits_k {{A_k}\left( {x,y} \right) + \varepsilon } }}$

(8)

$\begin{split} \Delta {\phi _k}\left( {x,y} \right) = & \cos \left( {{\phi _k}\left( {x,y} \right) - \bar \phi \left( {x,y} \right)} \right) \\ & - \left| {\sin \left( {{\phi _k}\left( {x,y} \right) - \bar \phi \left( {x,y} \right)} \right)} \right| \end{split}$

(9)

$\left\lfloor t \right\rfloor = \left\{ \begin{aligned} & {t,\quad t \ge 0} \\ & {0,\quad t < 0} \end{aligned} \right.$

(10)

其中， $\left( {x,y} \right)$ 为特征点坐标， $k$ 为滤波器尺度， $W\left( {x,y} \right)$ 为基于频率扩展的加权因子， ${A_k}\left( {x,y} \right)$ 和 ${\phi _k}\left( {x,y} \right)$ 分别为尺度 $k$ 上的幅度和相位。 $\bar \phi \left( {x,y} \right)$ 为加权平均相位， $T$ 为噪声阈值， $\varepsilon$ 为一个避免分母为零的小常量。 $P\left( {x,y} \right)$ 即为 $\left( {x,y} \right)$ 点处的相位一致性信息，其不受图像亮度和对比度变化的影响； $\Delta {\phi _k}\left( {x,y} \right)$ 为计算相位一致性信息所需的相位偏差函数； $\lfloor \cdot\rfloor$ 算子的具体计算方法如式(10)所示。

(2) 对于干涉图像而言，噪声和非特征点位置的相位一致性比特征点的相位一致性弱。若初始特征点的相位一致性小于阈值，则认为该点为误检测；反之，则确定该点为特征点。阈值取值范围常为0.01～0.05。

3.3 基于改进FSC算法的误匹配剔除

FSC算法改进自RANSAC算法，其针对RANSAC算法内点较少时易失效的缺点，借助特征点最邻近与次临近距离的比值设定阈值，选取距离比小于阈值的特征点构成新的样本集，在此基础上确定转换模型参数。

为了应对难点2中相干噪声的影响，需要在现有算法基础上进一步提高样本集质量，从而在不损失效率的前提下减少误匹配数量。在本文中，采用了“强者生存”的狼群更新机制，借助欧氏距离制定一个质量因子来评价初筛样本集 $T$ 中每个特征点的好坏，并按照质量因子对特征点进行排序，取排名靠前的 $m$ 个特征点构成精简样本集 ${T_{\rm{m}}}$ 。质量因子定义为

$q\left( m \right) = \min \left( {{E_{{\text{distance}}}}} \right)/{E_{{\text{distance}}}}\left( m \right)$

(11)

其中， ${E_{{\text{distance}}}}$ 为特征点间的欧氏距离，显然有 $0 < q \le 1$ 。

改进的FSC算法具体步骤如下：

步骤1　计算特征点最邻近与次邻近距离的比值，小于阈值的确定为初筛样本集 $T$ ；

步骤2　计算初筛样本集中各特征点的质量因子，确定精简样本集 ${T_{\rm{m}}}$ ，并依照质量因子高低进行排序；

步骤3　在精简样本集 ${T_{\rm{m}}}$ 中选择4对特征点，采取半随机策略，质量因子越高，被选中的概率越高。具体实现方式为，对选中特征点对质量因子 $q$ 加和，当大于阈值 $q'$ 时选取生效，计算转换矩阵；小于阈值时则重新选取，不计入迭代次数；

步骤4　将剩余特征点与转换矩阵相乘，计算转换坐标与参考特征点的欧氏距离，区分内点与外点并构建内点集 ${T_{{\rm{in}}}}$ ；

步骤5　若内点集 ${T_{{\rm{in}}}}$ 元素满足所设配准精度阈值 $N$ (均方根误差)或达到最大迭代次数 $K$ ，前进至步骤6；否则返回步骤3；

步骤6　输出内点集 ${T_{{\rm{in}}}}$ 与转换矩阵，完成匹配。

4. 实验及分析

为了验证本文所提出的配准方法的有效性，分别于哈尔滨工程大学水声技术全国重点实验室信道水池和安徽省花亭湖地区开展水池实验与外场试验。本文选择以下4个评价指标：

(1) 匹配点数量

(2) 运算时间

(3) 均方根误差

均方根误差(Root Mean Square Error, RMSE)是评价图像配准质量常用的指标^[22] ，具体计算方式为

${\text{RMSE}} = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left( {{x_i} - {x_j}} \right)}^2} + {{\left( {{y_i} - {y_j}} \right)}^2}} }$

(12)

其中， $\left( {{x_i},{y_i}} \right)$ 与 $\left( {{x_j},{y_j}} \right)$ 为参考点与匹配点的坐标， $n$ 为匹配点数量。

(4) 基于留一法的均方根

文献[23]提出了一种基于留一法(Leave One Out, LOO)的评价指标。具体计算方式为

${\text{RM}}{{\text{S}}_{{\text{LOO}}}} = \sqrt {\frac{1}{n}{{\sum\limits_{i = 1}^n {\left( {{x_i} - {x_{\Delta i}}} \right)^2} }} + {{\left( {{y_i} - {y_{\Delta i}}} \right)}^2}}$

(13)

其中， $\left( {{x_i},{y_i}} \right)$ 仍为参考点坐标；同时，对 $n$ 个特征点中的每个点，使用除自身外剩余的 $n - 1$ 个特征点，通过最小二乘法估计匹配点坐标 $\left( {{x_{\Delta i}},{y_{\Delta i}}} \right)$ 。计算 $n$ 个距离的均方根(Root Mean Square, RMS)，得到 ${\text{RM}}{{\text{S}}_{{\text{LOO}}}}$ 。

4.1 水池实验

本节实验于哈尔滨工程大学水声技术全国重点实验室信道水池开展，信道水池宽6 m，深5 m，声呐置于下1 m处，所用目标为直径280 mm塑料球，实验布放示意图如图4所示。

图 4 水池实验布放示意图

下载: 全尺寸图片幻灯片

选取BFSIFT^[11], GFSIFT^[12], SIFT+NDSS^[13] 3种性能较好的SIFT改进算法与本文提出的FPDE-SIFT算法进行对比；同时选取RANSAC算法和FSC算法与文中提出的改进FSC算法进行对比，不同算法的配准结果如图5所示。

图 5 水池实验塑料球目标配准结果对比

下载: 全尺寸图片幻灯片

列出了3种对比算法与FPDE-SIFT算法在水池实验中配准结果的量化统计。在水池实验中，GFSIFT与SIFT+NDSS算法因匹配点数未达到计算转换矩阵所需的最低值而匹配失败， FPDE-SIFT算法相较BFSIFT算法有着更快的计算速度和更好的配准效果；相较RANSAC算法与FSC算法，提出的改进FSC算法的匹配点数更多、计算时间更短。通过 ${\text{RMSE}}$ 与 ${\text{RM}}{{\text{S}}_{{\text{LOO}}}}$ 两项量化指标可以认定FPDE-SIFT算法实现了亚像素级的图像配准。

表 1 水池实验算法性能量化对比

水池实验	特征点			RMSE(像素)	${\text{RMS}}_{\text{LOO}}$ (像素)	时间(s)
水池实验	参考图像	配准图像	匹配点数	RMSE(像素)	${\text{RMS}}_{\text{LOO}}$ (像素)	时间(s)
BFSIFT	35	60	5	0.4465	1.1818	8.979
GFSIFT	31	31	3	/	/	6.275
SIFT+NDSS	8	17	3	/	/	7.1
FPDE+RANSAC	97	73	8	0.8687	1.3220	8.012
FPDE+FSC	97	73	7	0.7313	1.2478	7.978
FPDE-SIFT	97	73	14	0.4139	0.6292	7.372

下载: 导出CSV

| 显示表格

表 2 外场试验算法性能量化对比

外场试验	特征点			RMSE(像素)	RMS_LOO(像素)	时间(s)
外场试验	参考图像	配准图像	匹配点数	RMSE(像素)	RMS_LOO(像素)	时间(s)
BFSIFT	119	145	5	0.5044	1.8628	9.488
GFSIFT	62	50	4	0.2934	3.8227	5.498
SIFT+NDSS	18	19	4	0.3344	2.2831	6.683
FPDE+RANSAC	191	215	7	0.4907	1.2073	7.944
FPDE+FSC	191	215	6	0.3357	0.7378	7.443
FPDE-SIFT	191	215	10	0.2820	0.5512	7.167

下载: 导出CSV

| 显示表格

4.2 外场试验

外场试验于安徽省安庆市花亭湖地区开展。实验采用模拟假人目标，模拟假人身长185 cm，穿救生衣，在水中头朝下布置倒放，外场试验场景、模拟假人目标与水中布放实拍图如图6所示。声呐对模拟假人目标的成像效果如图7所示。

图 6 外场试验模拟假人目标布放图

下载: 全尺寸图片幻灯片

图 7 外场试验声呐成像结果

下载: 全尺寸图片幻灯片

图8对比了高斯尺度空间、NDSS尺度空间与本文所构建的FPDE尺度空间对模拟假人目标的特征点检测结果。其中，高斯尺度空间检测到的特征点数量最多，但受相干噪声影响，绝大多数均为误检，使得后续的特征点匹配很难准确；NDSS尺度空间检测到的特征点数量最少，且准确度也不够理想；相比之下，本文所用的FPDE尺度空间检测到的特征点数量足够支撑后续匹配，准确度也最为理想，为实现图像的精配准提供了保障。外场试验对比算法与FPDE-SIFT算法的配准结果如图9所示。

图 8 不同尺度空间特征点检测结果

下载: 全尺寸图片幻灯片

图 9 外场试验假人目标配准结果对比

下载: 全尺寸图片幻灯片

表2列出了对比算法与FPDE-SIFT算法在外场试验中配准结果的量化统计。外场试验中各种算法均能完成配准，本文算法凭借着更多的特征点与更优的匹配策略获得了更好的效果。总的来说，各种算法的效率为GFSIFT>SIFT+NDSS>FPDE-SIFT>FPDE+FSC>FPDE+RANSAC>BFSIFT，配准效果为FPDE-SIFT>FPDE+FSC≈FPDE+RANSAC>BFSIFT>SIFT+NDSS≈GFSIFT。本文算法利用4阶偏微分方程构建尺度空间，计算速度上稍有损失，但也获得了更多更准确的特征点，加上改进FSC的匹配策略，使得算法实现声呐图像配准的性能有了不小的提升。

表 3 不同探测角度算法性能量化对比

探测角度(°)	特征点			RMSE (像素)	RMS_LOO (像素)
探测角度(°)	参考图像	配准图像	匹配点数	RMSE (像素)	RMS_LOO (像素)
30	129	95	7	0.4414	0.7393
45	110	161	10	0.3523	0.7326
60	104	62	6	0.4308	0.7872
90	162	152	11	0.4922	0.8178

下载: 导出CSV

| 显示表格

为评估算法的适用性，在实验过程中改变模拟假人目标与前视声呐的探测角度，对比不同角度对FPDE-SIFT算法性能的影响。本文将探测夹角定义为模拟假人目标所在平面与前视声呐所在平面的夹角，即图9情况下探测角度为0°。不同探测角度的配准结果如图10所示。不同探测角度配准结果的量化统计如表3所示。

图 10 不同探测角度假人目标配准结果对比

下载: 全尺寸图片幻灯片

对比结果可以看出，不同探测角度下配准后的 ${\text{RMSE}}$ 与 ${\text{RM}}{{\text{S}}_{{\text{LOO}}}}$ 两项量化指标均小于1像素，可以认为算法达到了亚像素级的配准精度^[23]。

5. 结束语

本文针对声呐干涉图像配准问题，分析问题的难点，提出了一种基于FPDE-SIFT的声呐干涉图像配准方法。算法利用4阶偏微分方程构建FPDE尺度空间，其具有良好的降噪与边缘保持特性，提高了特征提取的准确性与稳定性；借助相位一致性信息对检测到的特征点进行筛选，一定程度上消除了声呐图像所受的复杂噪声干扰；同时，提出了一种改进FSC的误匹配剔除方法，克服了相干噪声对特征点匹配的影响，增加了正确匹配的数量。结合水池实验、外场试验验证了所提出算法的准确性与优越性，通过配准算法的量化指标对比，证明了算法可以实现亚像素级的图像配准。

图 1 声呐干涉测量原理示意图

下载: 全尺寸图片幻灯片

图 2 接收阵列同一时刻散射回波对应散射点示意

下载: 全尺寸图片幻灯片

图 3 算法流程图

下载: 全尺寸图片幻灯片

图 4 水池实验布放示意图

下载: 全尺寸图片幻灯片

图 5 水池实验塑料球目标配准结果对比

下载: 全尺寸图片幻灯片

图 6 外场试验模拟假人目标布放图

下载: 全尺寸图片幻灯片

图 7 外场试验声呐成像结果

下载: 全尺寸图片幻灯片

图 8 不同尺度空间特征点检测结果

下载: 全尺寸图片幻灯片

图 9 外场试验假人目标配准结果对比

下载: 全尺寸图片幻灯片

图 10 不同探测角度假人目标配准结果对比

下载: 全尺寸图片幻灯片

表 1 水池实验算法性能量化对比

水池实验	特征点			RMSE(像素)	${\text{RMS}}_{\text{LOO}}$ (像素)	时间(s)
水池实验	参考图像	配准图像	匹配点数	RMSE(像素)	${\text{RMS}}_{\text{LOO}}$ (像素)	时间(s)
BFSIFT	35	60	5	0.4465	1.1818	8.979
GFSIFT	31	31	3	/	/	6.275
SIFT+NDSS	8	17	3	/	/	7.1
FPDE+RANSAC	97	73	8	0.8687	1.3220	8.012
FPDE+FSC	97	73	7	0.7313	1.2478	7.978
FPDE-SIFT	97	73	14	0.4139	0.6292	7.372

下载: 导出CSV

表 2 外场试验算法性能量化对比

外场试验	特征点			RMSE(像素)	RMS_LOO(像素)	时间(s)
外场试验	参考图像	配准图像	匹配点数	RMSE(像素)	RMS_LOO(像素)	时间(s)
BFSIFT	119	145	5	0.5044	1.8628	9.488
GFSIFT	62	50	4	0.2934	3.8227	5.498
SIFT+NDSS	18	19	4	0.3344	2.2831	6.683
FPDE+RANSAC	191	215	7	0.4907	1.2073	7.944
FPDE+FSC	191	215	6	0.3357	0.7378	7.443
FPDE-SIFT	191	215	10	0.2820	0.5512	7.167

下载: 导出CSV

表 3 不同探测角度算法性能量化对比

探测角度(°)	特征点			RMSE (像素)	RMS_LOO (像素)
探测角度(°)	参考图像	配准图像	匹配点数	RMSE (像素)	RMS_LOO (像素)
30	129	95	7	0.4414	0.7393
45	110	161	10	0.3523	0.7326
60	104	62	6	0.4308	0.7872
90	162	152	11	0.4922	0.8178

下载: 导出CSV

参考文献(23)

[1]	SINTES C, LLORT-PUJOL G, and GUERIOT D. Coherent probabilistic error model for interferometric Sidescan sonars[J]. IEEE Journal of Oceanic Engineering, 2010, 35(2): 412–423. doi: 10.1109/JOE.2010.2043574
[2]	SAEBØ T O, SYNNES S A V, and HANSEN R E. Wideband interferometry in synthetic aperture sonar[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 51(8): 4450–4459. doi: 10.1109/TGRS.2013.2244900
[3]	徐超, 李海森, 陈宝伟, 等. 多波束相干海底成像技术[J]. 哈尔滨工程大学学报, 2013, 34(9): 1159–1164. doi: 10.3969/j.issn.1006-7043.201302007 CHAO Xu, LI Haisen, CHEN Baowei, et al. Multibeam interferometric seafloor imaging technology[J]. Journal of Harbin Engineering University, 2013, 34(9): 1159–1164. doi: 10.3969/j.issn.1006-7043.201302007
[4]	周天, 沈嘉俊, 杜伟东, 等. 基于Khatri-Rao积的三维前视声呐空间方位估计技术[J]. 电子与信息学报, 2021, 43(3): 857–864. doi: 10.11999/JEIT200657 ZHOU Tian, SHEN Jiajun, DU Weidong, et al. DOA estimation technology based on Khatri-Rao product for 3D forward-looking sonar[J]. Journal of Electronics &Information Technology, 2021, 43(3): 857–864. doi: 10.11999/JEIT200657
[5]	周天, 沈嘉俊, 陈宝伟, 等. 应用二维稀疏阵列的三维前视声呐方位估计[J]. 哈尔滨工程大学学报, 2020, 41(10): 1450–1456. doi: 10.11990/jheu.202007031 ZHOU Tian, SHEN Jiajun, CHEN Baowei, et al. Direction-of-arrival estimation of three-dimensional forward-looking sonar with two-dimensional sparse array[J]. Journal of Harbin Engineering University, 2020, 41(10): 1450–1456. doi: 10.11990/jheu.202007031
[6]	黄攀, 唐劲松, 钟何平, 等. 基于有理函数曲面拟合的InSAS复图像配准新方法[J]. 武汉大学学报·信息科学版, 2019, 44(4): 601–607. doi: 10.13203/j.whugis20170167 HUANG Pan, TANG Jinsong, ZHONG Heping, et al. A new InSAS registration method based on rational function surface fitting[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 601–607. doi: 10.13203/j.whugis20170167
[7]	黄攀, 唐劲松, 钟何平. 干涉合成孔径声呐复图像配准分段曲面拟合法[J]. 武汉大学学报·信息科学版, 2021, 46(8): 1259–1264. doi: 10.13203/j.whugis20190306 HUANG Pan, TANG Jinsong, and ZHONG Heping. Piecewise surface fitting method for complex image registration of interferometric synthetic aperture sonar[J]. Geomatics and Information Science of Wuhan University, 2021, 46(8): 1259–1264. doi: 10.13203/j.whugis20190306
[8]	WANG V T and HAYES M P. Synthetic aperture sonar track registration using SIFT image correspondences[J]. IEEE Journal of Oceanic Engineering, 2017, 42(4): 901–913. doi: 10.1109/JOE.2016.2634078
[9]	LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91–110. doi: 10.1023/B:VISI.0000029664.99615.94
[10]	王山虎, 尤红建, 付琨. 基于大尺度双边SIFT的SAR图像同名点自动提取方法[J]. 电子与信息学报, 2012, 34(2): 287–293. doi: 10.3724/SP.J.1146.2011.00568 WANG Shanhu, YOU Hongjian, and FU Kun. An automatic method for finding matches in SAR images based on coarser scale bilateral filtering SIFT[J]. Journal of Electronics &Information Technology, 2012, 34(2): 287–293. doi: 10.3724/SP.J.1146.2011.00568
[11]	WANG Shanhu, YOU Hongjian, and FU Kun. BFSIFT: A novel method to find feature matches for SAR image registration[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(4): 649–653. doi: 10.1109/LGRS.2011.2177437
[12]	YU Qiuze, ZHOU Shan, JIANG Yuxuan, et al. High-performance SAR image matching using improved SIFT framework based on rolling guidance filter and ROEWA-powered feature[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(3): 920–933. doi: 10.1109/JSTARS.2019.2897171
[13]	FAN Jianwei, WU Yan, WANG Fan, et al. SAR image registration using phase congruency and nonlinear diffusion-based SIFT[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(3): 562–566. doi: 10.1109/LGRS.2014.2351396
[14]	WU Yue, MA Wenping, GONG Maoguo, et al. A novel point-matching algorithm based on fast sample consensus for image registration[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(1): 43–47. doi: 10.1109/LGRS.2014.2325970
[15]	CHUM O and MATAS J. Matching with PROSAC-progressive sample consensus[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, San Diego, USA, 2005: 220–226.
[16]	RAGURAM R, CHUM O, POLLEFEYS M, et al. USAC: A universal framework for random sample consensus[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 2022–2038. doi: 10.1109/TPAMI.2012.257
[17]	金广. 基于特征点的侧扫声呐图像拼接技术研究[D]. [硕士论文], 哈尔滨工程大学, 2015. JIN Guang. Research on side-scan sonar image mosaic based on feature point[D]. [Master dissertation], Harbin Engineering University, 2015.
[18]	黄鹏. 基于深度学习的前视声呐图像配准研究[D]. [硕士论文], 杭州电子科技大学, 2022. HUANG Peng. Research on forward-looking sonar image registration based on deep learning[D]. [Master dissertation], Hangzhou Dianzi University, 2022.
[19]	BAVIRISETTI D P, XIAO Gang, and LIU Gang. Multi-sensor image fusion based on fourth order partial differential equations[C]. The 20th International Conference on Information Fusion (Fusion), Xian, China, 2017, 701–709.
[20]	YOU Y L and MOSTAFA K. Fourth-order partial differential equations for noise removal[J]. IEEE Transactions on Image Processing, 2000, 9(10): 1723–1730. doi: 10.1109/83.869184
[21]	WONG A and CLAUSI D A. ARRSI: Automatic registration of remote-sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(5): 1483–1493. doi: 10.1109/TGRS.2007.892601
[22]	王延钊, 苏娟. 基于相干斑抑制SIFT的SAR图像配准方法[J]. 系统工程与电子技术, 2017, 39(12): 2697–2703. doi: 10.3969/j.issn.1001-506X.2017.12.10 WANG Yanzhao and SU Juan. SAR image registration algorithm based on speckle reducing SIFT[J]. Systems Engineering and Electronics, 2017, 39(12): 2697–2703. doi: 10.3969/j.issn.1001-506X.2017.12.10
[23]	GONCALVES H, GONCALVES J A, and CORTE-REAL L. Measures for an objective evaluation of the geometric correction process quality[J]. IEEE Geoscience and Remote Sensing Letters, 2009, 6(2): 292–296. doi: 10.1109/LGRS.2008.2012441

施引文献

资源附件(0)

访问统计

图(10) / 表(3)

计量

文章访问数: 495
HTML全文浏览量: 249
PDF下载量: 70
被引次数: 0

1. 引言
2. 问题阐述
3. 提出的算法
3.1 基于4阶偏微分方程的尺度空间构建
3.2 基于相位一致性的特征点筛选
3.3 基于改进FSC算法的误匹配剔除
4. 实验及分析
4.1 水池实验
4.2 外场试验
5. 结束语

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

基于FPDE-SIFT的声呐干涉图像配准方法

doi: 10.11999/JEIT230337

作者简介:
刘伟陆：男，博士生，研究方向为水声信号处理

周天：男，教授，研究方向为水声信号处理、水声目标探测

闫振宇：男，博士生，研究方向为声呐图像处理

杜伟东：男，副教授，研究方向为水声信号处理

通讯作者:
杜伟东　duweidong@hrbeu.edu.cn

计量

Interference Image Registration Based on FPDE-SIFT for Sonar

1. 引言

2. 问题阐述

3. 提出的算法

3.1 基于4阶偏微分方程的尺度空间构建

3.2 基于相位一致性的特征点筛选

3.3 基于改进FSC算法的误匹配剔除

4. 实验及分析

4.1 水池实验

4.2 外场试验

5. 结束语

计量

目录

1. 引言

2. 问题阐述

3. 提出的算法

3.1 基于4阶偏微分方程的尺度空间构建

3.2 基于相位一致性的特征点筛选

3.3 基于改进FSC算法的误匹配剔除

4. 实验及分析

4.1 水池实验

4.2 外场试验

5. 结束语

留言板

基于FPDE-SIFT的声呐干涉图像配准方法

doi: 10.11999/JEIT230337

作者简介: 刘伟陆：男，博士生，研究方向为水声信号处理 周天：男，教授，研究方向为水声信号处理、水声目标探测 闫振宇：男，博士生，研究方向为声呐图像处理 杜伟东：男，副教授，研究方向为水声信号处理

通讯作者: 杜伟东 duweidong@hrbeu.edu.cn

计量

出版历程

Interference Image Registration Based on FPDE-SIFT for Sonar

1. 引言

2. 问题阐述

3. 提出的算法

3.1 基于4阶偏微分方程的尺度空间构建

3.2 基于相位一致性的特征点筛选

3.3 基于改进FSC算法的误匹配剔除

4. 实验及分析

4.1 水池实验

4.2 外场试验

5. 结束语

计量

出版历程

目录

1. 引言

2. 问题阐述

3. 提出的算法

3.1 基于4阶偏微分方程的尺度空间构建

3.2 基于相位一致性的特征点筛选

3.3 基于改进FSC算法的误匹配剔除

4. 实验及分析

4.1 水池实验

4.2 外场试验

5. 结束语

作者简介:
刘伟陆：男，博士生，研究方向为水声信号处理

周天：男，教授，研究方向为水声信号处理、水声目标探测

闫振宇：男，博士生，研究方向为声呐图像处理

杜伟东：男，副教授，研究方向为水声信号处理

通讯作者:
杜伟东　duweidong@hrbeu.edu.cn