
Citation: | ZHANG Zhen, JIANG Tiansheng, ZHAO Lijun, CHENG Ze. Camera Calibration Using Cross-Section Waterline Orientation for Video-based Flow Measurement[J]. Journal of Electronics & Information Technology, 2024, 46(4): 1428-1437. doi: 10.11999/JEIT230573 |
一直以来,舰船检测及其速度估计都是合成孔径雷达(SAR)领域的热点研究问题,在渔业管理、海上交通管控、海洋资源开采、海洋环境监控等方面都具有重要应用[1,2]。
目前已有几种不同的舰船速度估计算法[3-5]。其中,利用舰船相对于其尾迹顶点的方位向偏移估计舰船速度是最常用的算法[6,7]。然而,受海况和雷达系统参数等的影响,舰船尾迹很多时候并不能在SAR图像上体现出来[8]。2008年,Dragosevic等人[4]提出了一种基于自适应处理的舰船距离向速度估计算法,该算法实现起来较为复杂[9]。2012年,孙海青等人[10]利用SAR子孔径序列图像获取了舰船的速度,但是该算法需要SAR系统具有较长的合成孔径时间。2016年,Renga等人[11]提出了一种基于多普勒中心频率的舰船距离向速度估计算法,但是该算法不适用于速度较快且尺寸较小的目标。同时,现有算法一般只能估计出舰船的距离向速度,为了获得舰船完整的速度信息,需要同时估计出其方位向速度。一般来说,舰船的方位向速度会造成其回波信号方位向调频率的变化[12],因此通过估计舰船回波信号的方位向调频率可以计算其方位向速度。然而受海杂波的影响,当舰船信杂比较低时,通过估计调频率获得的方位向速度的精度较低。
针对上述问题,本文提出了一种基于局域中心频率的SAR图像舰船方位向速度估计方法。由于运动,舰船在合成孔径时间内会跨越多个方位分辨单元,导致在某一局部小区域内,舰船的多普勒历程只占其整个多普勒谱的一部分[13]。因此,舰船在不同方位局部小区域内具有不同的多普勒中心频率,且中心频率是近似线性变化的,变化的斜率与舰船的方位向速度有关。本文方法根据方位向功率谱的概率密度函数,采用最大似然估计算法,从SAR图像局域方位向功率谱中估计出多普勒中心频率的变化斜率,进而计算出舰船的方位向速度。实验结果表明,本文方法的估计结果较为准确,且当舰船的信杂比较低时,本文方法仍具有较高的估计精度。
本节首先分析动目标在SAR图像局域多普勒中心频率的变化特性,然后推导利用该变化估计目标方位向速度的理论公式。由于舰船也是动目标,上述推导也适用于舰船目标。接下来给出利用最大似然估计算法计算局域中心频率增量的方法。
若只考虑方位向速度,经过成像处理后,动目标的方位向信号可以表示为[14]
S(t)=G((Vs+Va)Kat(Ka−Kt)R)exp(jπ(KtKaKa−Kt)t2),t∈[−T2(Ka−Kt)Ka,T2(Ka−Kt)Ka] | (1) |
其中,
fd(t0)≈KtKaKa−Ktt0≈2(Vs+Va)2V2sλRVa(2Vs+Va)t0 | (2) |
从式(2)中可以看出,沿方位向运动的目标在SAR图像上局部位置的多普勒中心频率会随着局部窗口中心时刻(即SAR图像局部位置)的变化而近似线性变化,且变化的斜率与目标的方位向速度有关。图1为动目标局域多普勒谱随方位时间窗变化的示意图,其中实线图表示目标在当前时刻的位置,虚线图表示在前一时刻和后一时刻的位置。可以看到,在不同的方位时刻,相应的局部区域只包含动目标多普勒谱的一部分,导致其具有不同的中心频率。
根据式(2),若相邻局域中心时刻的间隔为
Va=−Vs±√kV2s(k−V2s)V2s−k | (3) |
其中,
一般来说,动目标的距离向加速度也会造成目标方位向多普勒特性的变化,进而影响对其方位向速度的估计。然而舰船通常以近似恒定的速度航行[4],因此舰船的距离向加速度对其方位向速度估计的影响一般可以忽略。
2.1节的分析表明,在估计出相邻局域中心频率的增量
假设舰船目标在SAR单视复图像上占据
P(f)=Pp(f)+Pc(f)+In | (4) |
其中,
fmd=(m−⌈N/2⌉)⋅Δfd, m=1,2,···,N | (5) |
在该分块数据中,舰船目标的带宽为
Pm(f)=Imsexp(−(f−fmd)2Δf2d)+IcPa(f)+In | (6) |
其中,
p(ym(i);Δfd)=1Γ(L)(LPm(fi))LymL−1(i)⋅exp(−Lym(i)Pm(fi)),i=1,2,···,N′a |
(7)
其中,
pm(;Δfd)=N′a∏i=1p(ym,i;Δfd)=(1Γ(L))N′a⋅N′a∏i=1(LPm,i)Lym,iL−1⋅exp(−Lym,iPm,i) |
(8)
其中,
lnp(;Δfd)=ln(N∏m=1pm(;Δfd))=N∑m=1[−LN′a∑i=1(lnPm,i+ym,iPm,i)+S(ym)] |
(9)
其中,
S(ym)=(L−1)N′a∑i=1lnym,i+N′a(LlnL−lnΓ(L)) |
(10)
由最大似然估计理论可知,若
Δ˜fd=argmaxΔfdlnp(;Δfd) | (11) |
则
Δ˜fd=argminΔfdF(Δfd) | (12) |
由式(12)可知,对
从式(3)可以看出,本文算法的估计精度主要受
var(Δfd)≥−1/E[∂2lnp(;Δfd)/∂Δfd2] | (13) |
将式(5)、式(6)、式(9)代入式(13)得
var(Δfd)≥1/LN∑m=1N′a∑i=1(exp(−(fi−fmd)2Δf2d)(2fi(fi−fmd)Δf3d)exp(−(fi−fmd)2Δf2d)+ImSCRPa(fi)+ImSNR)2 | (14) |
其中,
参数 | 仿真1 | 仿真2 | 仿真3 | 仿真4 | 仿真5 | 仿真6 |
PRF | 500 | 500 | 500 | 500 | 500 | 500 |
Is | 100 | 100 | 100 | 100 | 100 | 100 |
Δfd | 10 | 10 | 10 | 10 | 10 | 1~20 |
N | 13 | 13 | 13 | 13 | 5~50 | 13 |
N′a | 128 | 128 | 128 | 50~500 | 128 | 128 |
L | 10 | 10 | 5~100 | 10 | 10 | 10 |
SCR | 2 | 0~15 | 2 | 2 | 2 | 2 |
SNR | 0~15 | 6 | 6 | 6 | 6 | 6 |
为了研究本文算法的估计精度,对每一组仿真都进行500次重复实验,计算估计结果的方差。不同参数条件下,本文算法的估计方差与CRB的对比如图3所示。从图3中可以看出,随着
3.1节的结果表明,本文算法的估计精度同时受分块长度
为了验证本文方法的可行性,分别将本文方法应用于仿真和实际数据,并将本文方法估计的速度与直接计算调频率获得的速度进行对比。
在这一小节中,将本文方法应用于点目标仿真数据,仿真参数如表2所示。其中,点目标的距离向速度都为0。
雷达波长(m) | 调频率(Hz/s) | 距离带宽(MHz) | 天线长度(m) | PRF
(Hz) |
平台速度(m/s) | 平台高度(m) | 近端斜距(m) | 信噪比(dB) | 信杂比(dB) | 目标1方位向速度(m/s) | 目标2方位向速度(m/s) | 目标3方位向速度(m/s) |
0.2308 | 2.8e13 | 25 | 4 | 900 | 100 | 8100 | 10000 | 2 | 6 | –10 | –5 | 5 |
以目标1为例,分析其在SAR图像局域的方位向功率谱。如图4(a)所示,将该目标沿方位向分为6个相邻的子图像,子图像中心时刻的间隔为
下面以目标1为例,对比分析不同信杂比下本文方法的估计结果与直接估计调频率所得的结果。为了研究估计结果精度,对每一组仿真都进行200次重复实验,并计算估计结果的均值和方差,估计结果如表3所示。可以看到,相对于调频率法,本文方法具有更高的精度。同时可以看到,当信杂比较低时,调频率法的估计误差较大,而本文方法仍然具有较高的精度。
SCR(dB) | 均值(m/s) | 方差(m2/s2) | |||
本文方法 | 调频率法 | 本文方法 | 调频率法 | ||
20 | –10.05 | –11.01 | 0.0001 ×10–2 | 0.005 ×10–2 | |
10 | –10.03 | –11.43 | 0.12 ×10–2 | 0.32 ×10–2 | |
0 | –9.92 | –11.50 | 0.28 ×10–2 | 0.12 | |
–10 | –9.87 | –12.27 | 1.28 ×10–2 | 1.65 | |
–20 | –9.82 | –15.13 | 2.43 ×10–2 | 7.16 |
为了验证本文方法的实用性,将其应用于实际的机载SAR数据,该数据(P和L波段)来源于中国科学院电子学研究所于2014年在南海进行的海试实验。为了证明估计结果的准确性,将本文方法与尾迹法的估计结果进行对比。由于尾迹法得到的是舰船的距离向速度,因此需要利用舰船的航向及成像几何关系,根据估计的距离向速度计算舰船的方位向速度。
图5(a)所示的SAR图像获取于2014年11月5日,雷达波段为P波段,平台飞行速度为136 m/s,PRF为1000 Hz。如图5(a)左下角所示,将舰船目标沿方位向分为14个子块,每个子块的方位向长度为128个分辨单元。图5(b)为其中部分子块的归一化功率谱,图5(c)为相邻子块间多普勒中心的变化图,可以看出多普勒中心频率的变化近似为线性。利用2.2节的方法估计出相邻子块数据多普勒中心频率的增量为
下面利用尾迹法估计其运动速度。由于该方法需要确定舰船相对其尾迹顶点在方位向的偏移量,因此需要确定舰船重心的位置,具体做法如下:
(1) 确定舰船所在的区域,并将该区域从SAR图像中分离出来;
(2) 计算该区域的1阶矩(
mpq=∑i∑jipjqf(i,j) | (15) |
(3) 计算舰船的重心位置。舰船重心位置的坐标可以表示为:
采用上述方法确定的舰船重心位置如图5(a)中黑色圆点所示。根据舰船的重心位置,估计出舰船相对其尾迹顶点的方位向偏移量约为190 m,由此可以计算出舰船的距离向速度约为
图6为舰船方位向速度与平台运动方向相同时舰船速度估计结果的示例,该图像获取于2014年9月14日,雷达波段为L波段,平台飞行速度为114 m/s, PRF为900 Hz。如图6(a)右上角所示,将舰船目标沿方位向分为8个子块,相邻子块间的成像时间差为
除上述两个示例之外,本文选取了19个具有明显尾迹特征的舰船目标,分别利用本文方法和尾迹法估计其方位向速度,估计结果的对比如图7所示。可以看到,本文方法与尾迹法获得的舰船速度十分接近。同样,将本文方法估计的速度相对尾迹法的偏差与直接计算调频率获得的速度相对尾迹法的偏差进行了对比,结果如表4所示。可以看出,本文方法的估计结果要优于直接估计调频率获得的结果。
最大偏差(m/s) | 最大相对偏差(%) | 相关系数 | |
本文方法 | 0.87 | 12 | 0.9986 |
调频率法 | 2.30 | 20 | 0.86 |
针对现有舰船速度估计算法一般只能估计舰船距离向速度的问题,本文提出了一种基于SAR图像局域中心频率的舰船方位向速度估计方法。通过对舰船目标在SAR图像局域多普勒中心频率的变化规律以及SAR图像局域方位向功率谱的分析,并采用最大似然估计方法,本文方法能较精确地估计出舰船的方位向速度。仿真结果表明,在不同参数条件下,本文方法的估计误差接近于CRB。同时,对仿真与实测数据的处理结果表明,与直接计算调频率得到的速度相比,本文方法估计的船速具有更高的精度。
分析表明,对于低波段下速度较快的舰船目标,本文方法能较精确地估计出其方位向速度。然而当雷达波段较高、舰船速度较低时,该方法的估计精度不高,且该方法不适用于星载SAR系统。如何提高本文方法对高波段下慢速运动舰船目标速度估计的精度将是下一步的重点研究内容。
[1] |
LE COZ J, HAUET A, PIERREFEU G, et al. Performance of Image-based Velocimetry (LSPIV) applied to flash-flood discharge measurements in mediterranean rivers[J]. Journal of Hydrology, 2010, 394(1/2): 42–52. doi: 10.1016/j.jhydrol.2010.05.049.
|
[2] |
FUJITA I, WATANABE H, and TSUBAKI R. Development of a non-intrusive and efficient flow monitoring technique: The Space-Time Image Velocimetry (STIV)[J]. International Journal of River Basin Management, 2007, 5(2): 105–114. doi: 10.1080/15715124.2007.9635310.
|
[3] |
TAURO F, TOSI F, MATTOCCIA S, et al. Optical Tracking Velocimetry (OTV): Leveraging optical flow and trajectory-based filtering for surface streamflow observations[J]. Remote Sensing, 2018, 10(12): 2010. doi: 10.3390/rs10122010.
|
[4] |
张振, 徐枫, 王鑫, 等. 河流水面成像测速研究进展[J]. 仪器仪表学报, 2015, 36(7): 1441–1450. doi: 10.19650/j.cnki.cjsi.2015.07.001.
ZHANG Zhen, XU Feng, WANG Xin, et al. Research progress on river surface imaging velocimetry[J]. Chinese Journal of Scientific Instrument, 2015, 36(7): 1441–1450. doi: 10.19650/j.cnki.cjsi.2015.07.001.
|
[5] |
蒋海军. 大视场条件下的摄像机标定方法研究[D]. [硕士论文], 国防科技大学, 2017. doi: 10.27052/d.cnki.gzjgu.2017.000625.
JIANG Haijun. Research on camera calibration method in large field of view[D]. [Master dissertation], National University of Defense Technology, 2017. doi: 10.27052/d.cnki.gzjgu.2017.000625.
|
[6] |
张振, 徐枫, 沈洁, 等. 基于变高单应的单目视觉平面测量方法[J]. 仪器仪表学报, 2014, 35(8): 1860–1868. doi: 10.19650/j.cnki.cjsi.2014.08.025.
ZHANG Zhen, XU Feng, SHEN Jie, et al. Plane measurement method with monocular vision based on variable-height homography[J]. Chinese Journal of Scientific Instrument, 2014, 35(8): 1860–1868. doi: 10.19650/j.cnki.cjsi.2014.08.025.
|
[7] |
杨聃, 邵广俊, 胡伟飞, 等. 基于图像的河流表面测速研究综述[J]. 浙江大学学报:工学版, 2021, 55(9): 1752–1763. doi: 10.3785/j.issn.1008-973X.2021.09.017.
YANG Dan, SHAO Guangjun, HU Weifei, et al. Review of image-based river surface velocimetry research[J]. Journal of Zhejiang University:Engineering Science, 2021, 55(9): 1752–1763. doi: 10.3785/j.issn.1008-973X.2021.09.017.
|
[8] |
AL-MAMARI M M, KANTOUSH S A, KOBAYASHI S, et al. Real-time measurement of flash-flood in a Wadi area by LSPIV and STIV[J]. Hydrology, 2019, 6(1): 27. doi: 10.3390/hydrology6010027.
|
[9] |
曹列凯, DETERT M, 李丹勋. 基于无人机的长河段表面流场测量系统与应用[J]. 清华大学学报:自然科学版, 2022, 62(12): 1922–1929. doi: 10.16511/j.cnki.qhdxxb.2022.21.012.
CAO Liekai, DETERT M, and LI Danxun. Airborne image velocimetry system and its application to measure the surface flow fields of long river reaches[J]. Journal of Tsinghua University:Science and Technology, 2022, 62(12): 1922–1929. doi: 10.16511/j.cnki.qhdxxb.2022.21.012.
|
[10] |
TSAI R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323–344. doi: 10.1109/JRA.1987.1087109.
|
[11] |
HOLLAND K T, HOLMAN R A, LIPPMANN T C, et al. Practical use of video imagery in nearshore oceanographic field studies[J]. IEEE Journal of Oceanic Engineering, 1997, 22(1): 81–92. doi: 10.1109/48.557542.
|
[12] |
BECHLE A J, WU C H, LIU Wencheng, et al. Development and application of an automated river-estuary discharge imaging system[J]. Journal of Hydraulic Engineering, 2012, 138(4): 327–339. doi: 10.1061/(ASCE)HY.1943-7900.0000521.
|
[13] |
HUANG Weiche, YOUNG C C, and LIU Wencheng. Application of an automated discharge imaging system and LSPIV during typhoon events in Taiwan[J]. Water, 2018, 10(3): 280. doi: 10.20944/preprints201802.0089.v1.
|
[14] |
COSTA F A L and MITISHITA E A. An approach to improve direct sensor orientation using the integration of photogrammetric and lidar datasets[J]. International Journal of Remote Sensing, 2019, 40(14): 5651–5672. doi: 10.1080/01431161.2019.1580794.
|
[15] |
ZHANG Zhen, ZHAO Lijun, LIU Boyuan, et al. Free-surface velocity measurement using direct sensor orientation-based STIV[J]. Micromachines, 2022, 13(8): 1167. doi: 10.3390/mi13081167.
|
[16] |
LIU Wencheng and HUANG Weiche. Development of a three-axis accelerometer and Large-Scale Particle Image Velocimetry (LSPIV) to enhance surface velocity measurements in rivers[J]. Computers & Geosciences, 2021, 155: 104866. doi: 10.1016/j.cageo.2021.104866.
|
[17] |
张振, 吕莉, 石爱业, 等. 基于物像尺度变换的河流水面流场定标方法[J]. 仪器仪表学报, 2017, 38(9): 2273–2281. doi: 10.19650/j.cnki.cjsi.2017.09.023.
ZHANG Zhen, LV Li, SHI Aiye, et al. River surface flow field calibration method based on object-image scaling[J]. Chinese Journal of Scientific Instrument, 2017, 38(9): 2273–2281. doi: 10.19650/j.cnki.cjsi.2017.09.023.
|
[18] |
TSUBAKI R. On the texture angle detection used in Space-Time Image Velocimetry (STIV)[J]. Water Resources Research, 2017, 53(12): 10908–10914. doi: 10.1002/2017WR021913.
|
[19] |
FUJITA I, KOSAKA Y, and YOROZUYA A. Tracking of river surface features by space time imageing[C]. The 15th International Symposium on Flow Visualization, Minsk, Belarus, 2012: 25–28.
|
[20] |
ZHANG Zhen, ZHOU Yang, LIU Haiyun, et al. Visual measurement of water level under complex illumination conditions[J]. Sensors, 2019, 19(19): 4141. doi: 10.3390/s19194141.
|
[21] |
王慧斌, 董伟, 张振, 等. 基于时空图像频谱的时均流场重建方法[J]. 仪器仪表学报, 2015, 36(3): 623–631. doi: 10.19650/j.cnki.cjsi.2015.03.018.
WANG Huibin, DONG Wei, ZHANG Zhen, et al. Time-averaged flow field reconstruction method based on spectrum of spatio-temporal image[J]. Chinese Journal of Scientific Instrument, 2015, 36(3): 623–631. doi: 10.19650/j.cnki.cjsi.2015.03.018.
|
[22] |
ZHANG Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330–1334. doi: 10.1109/34.888718.
|
[23] |
FUJITA I, NOTOYA Y, TANI K, et al. Efficient and accurate estimation of water surface velocity in STIV[J]. Environmental Fluid Mechanics, 2019, 19(5): 1363–1378. doi: 10.1007/s10652-018-9651-3.
|
[24] |
赵浩源, 陈华, 刘维高, 等. 基于河流表面时空图像识别的测流方法[J]. 水资源研究, 2020, 9(1): 1–11. doi: 10.12677/JWRR.2020.91001.
ZHAO Haoyuan, CHEN Hua, LIU Weigao, et al. Application of flow measurement method based on space-time image recognition of river surface[J]. Journal of Water Resources Research, 2020, 9(1): 1–11. doi: 10.12677/JWRR.2020.91001.
|
1. | 姜文,牛杰,吴一戎,梁兴东. 机载多通道SAR运动目标方位向速度和法向速度联合估计算法. 电子与信息学报. 2020(06): 1542-1548 . ![]() |
参数 | 仿真1 | 仿真2 | 仿真3 | 仿真4 | 仿真5 | 仿真6 |
PRF | 500 | 500 | 500 | 500 | 500 | 500 |
Is | 100 | 100 | 100 | 100 | 100 | 100 |
Δfd | 10 | 10 | 10 | 10 | 10 | 1~20 |
N | 13 | 13 | 13 | 13 | 5~50 | 13 |
N′a | 128 | 128 | 128 | 50~500 | 128 | 128 |
L | 10 | 10 | 5~100 | 10 | 10 | 10 |
SCR | 2 | 0~15 | 2 | 2 | 2 | 2 |
SNR | 0~15 | 6 | 6 | 6 | 6 | 6 |
雷达波长(m) | 调频率(Hz/s) | 距离带宽(MHz) | 天线长度(m) | PRF
(Hz) |
平台速度(m/s) | 平台高度(m) | 近端斜距(m) | 信噪比(dB) | 信杂比(dB) | 目标1方位向速度(m/s) | 目标2方位向速度(m/s) | 目标3方位向速度(m/s) |
0.2308 | 2.8e13 | 25 | 4 | 900 | 100 | 8100 | 10000 | 2 | 6 | –10 | –5 | 5 |
SCR(dB) | 均值(m/s) | 方差(m2/s2) | |||
本文方法 | 调频率法 | 本文方法 | 调频率法 | ||
20 | –10.05 | –11.01 | 0.0001 ×10–2 | 0.005 ×10–2 | |
10 | –10.03 | –11.43 | 0.12 ×10–2 | 0.32 ×10–2 | |
0 | –9.92 | –11.50 | 0.28 ×10–2 | 0.12 | |
–10 | –9.87 | –12.27 | 1.28 ×10–2 | 1.65 | |
–20 | –9.82 | –15.13 | 2.43 ×10–2 | 7.16 |
最大偏差(m/s) | 最大相对偏差(%) | 相关系数 | |
本文方法 | 0.87 | 12 | 0.9986 |
调频率法 | 2.30 | 20 | 0.86 |
参数 | 仿真1 | 仿真2 | 仿真3 | 仿真4 | 仿真5 | 仿真6 |
PRF | 500 | 500 | 500 | 500 | 500 | 500 |
Is | 100 | 100 | 100 | 100 | 100 | 100 |
Δfd | 10 | 10 | 10 | 10 | 10 | 1~20 |
N | 13 | 13 | 13 | 13 | 5~50 | 13 |
N′a | 128 | 128 | 128 | 50~500 | 128 | 128 |
L | 10 | 10 | 5~100 | 10 | 10 | 10 |
SCR | 2 | 0~15 | 2 | 2 | 2 | 2 |
SNR | 0~15 | 6 | 6 | 6 | 6 | 6 |
雷达波长(m) | 调频率(Hz/s) | 距离带宽(MHz) | 天线长度(m) | PRF
(Hz) |
平台速度(m/s) | 平台高度(m) | 近端斜距(m) | 信噪比(dB) | 信杂比(dB) | 目标1方位向速度(m/s) | 目标2方位向速度(m/s) | 目标3方位向速度(m/s) |
0.2308 | 2.8e13 | 25 | 4 | 900 | 100 | 8100 | 10000 | 2 | 6 | –10 | –5 | 5 |
SCR(dB) | 均值(m/s) | 方差(m2/s2) | |||
本文方法 | 调频率法 | 本文方法 | 调频率法 | ||
20 | –10.05 | –11.01 | 0.0001 ×10–2 | 0.005 ×10–2 | |
10 | –10.03 | –11.43 | 0.12 ×10–2 | 0.32 ×10–2 | |
0 | –9.92 | –11.50 | 0.28 ×10–2 | 0.12 | |
–10 | –9.87 | –12.27 | 1.28 ×10–2 | 1.65 | |
–20 | –9.82 | –15.13 | 2.43 ×10–2 | 7.16 |
最大偏差(m/s) | 最大相对偏差(%) | 相关系数 | |
本文方法 | 0.87 | 12 | 0.9986 |
调频率法 | 2.30 | 20 | 0.86 |