高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种基于单目视觉的无人机室内定位方法

聂伟 文怀志 谢良波 杨小龙 周牧

聂伟, 文怀志, 谢良波, 杨小龙, 周牧. 一种基于单目视觉的无人机室内定位方法[J]. 电子与信息学报, 2022, 44(3): 906-914. doi: 10.11999/JEIT211328
引用本文: 聂伟, 文怀志, 谢良波, 杨小龙, 周牧. 一种基于单目视觉的无人机室内定位方法[J]. 电子与信息学报, 2022, 44(3): 906-914. doi: 10.11999/JEIT211328
NIE Wei, WEN Huaizhi, XIE Liangbo, YANG Xiaolong, ZHOU Mu. Indoor Localization of UAV Using Monocular Vision[J]. Journal of Electronics & Information Technology, 2022, 44(3): 906-914. doi: 10.11999/JEIT211328
Citation: NIE Wei, WEN Huaizhi, XIE Liangbo, YANG Xiaolong, ZHOU Mu. Indoor Localization of UAV Using Monocular Vision[J]. Journal of Electronics & Information Technology, 2022, 44(3): 906-914. doi: 10.11999/JEIT211328

一种基于单目视觉的无人机室内定位方法

doi: 10.11999/JEIT211328
基金项目: 重庆市自然科学基金项目(cstc2019jcyj-msxmX0742),重庆市教委科技研究项目(KJQN202000630)
详细信息
    作者简介:

    聂伟:男,1987年生,讲师,主要研究方向为射频识别技术、室内定位技术、电磁场与微波技术等

    文怀志:男,1997年生,硕士生,研究方向为室内定位技术、视觉SLAM

    谢良波:男,1986年生,副教授,硕士生导师,主要研究方向为射频识别技术、室内定位技术、集成电路等

    杨小龙:男,1988年生,讲师,主要研究方向为室内入侵检测技术、高维信号处理、机器学习等

    周牧:男,1984年生,教授,博士生导师,主要研究方向为无线定位与导航技术、信号处理与检测技术、机器学习与信息融合技术等

    通讯作者:

    杨小龙 yangxiaolong@cqupt.edu.cn

  • 中图分类号: TN911

Indoor Localization of UAV Using Monocular Vision

Funds: Chongqing Natural Science Foundation Project (cstc2019jcyj-msxmX0742), Chongqing Education Commission Science and Technology Research Project (KJQN202000630)
  • 摘要: 目前,无人机定位技术主要依赖以GPS(Global Positioning System)为代表的全球定位系统,然而在室内等GPS信号缺失的地方进行定位则比较困难。另外,传统的室内定位技术主要采用蓝牙、WiFi、基站定位等多种方式融合成一套定位体系,但是该类方法受环境的影响比较大,而且往往需要部署多个设备。此外,这种方式只能得到远近信息,无法知道设备在空间中的姿态。该文提出一种基于单目视觉的无人机室内定位方法。首先,通过无人机机载相机拍摄的图像,结合特征点法和直接法,先跟踪特征点,然后利用直接法根据关键点进行块匹配,估计相机位姿。然后利用深度滤波器对特征点进行深度估计,建立一个当前环境的稀疏地图,最后利用ROS (Robot Operating System)的3维可视化工具RVIZ对真实环境进行仿真。仿真结果表明,所提方法在室内环境下可以获得良好的性能,定位精度达到0.04 m。
  • 图  1  位姿估计算法框图

    图  2  稀疏图像对齐

    图  3  帧间特征位置优化

    图  4  位姿优化

    图  5  无人机单目建图算法框图

    图  6  $ {\text{FAST}} $特征点

    图  7  深度滤波

    图  8  特征提取结果对比

    图  9  数据集图示

    图  10  算法运行结果

    图  11  算法运行截图

    图  12  定位结果分析

    表  1  不同环境下两种算法数据指标对比

    算法少纹理多纹理强光弱光
    特征点时间(ms)特征点时间(ms)特征点时间(ms)特征点时间(ms)
    FAST332204384208213201192207
    Harris2621492731558421680571528
    下载: 导出CSV

    表  2  本文算法与PTAM算法对比

    数据集本文算法PTAM
    RMSE(m)耗时(s)RMSE(m)耗时(s)
    fr1/desk0.0539.320.05713.77
    fr1/desk20.0477.450.05111.54
    fr1/room0.04110.200.04915.68
    fr2/xyz0.0569.890.06212.42
    fr3/office0.0429.550.04812.78
    下载: 导出CSV
  • [1] FAN Bangkui, LI Yun, ZHANG Ruiyu, et al. Review on the technological development and application of UAV systems[J]. Chinese Journal of Electronics, 2020, 29(2): 199–207. doi: 10.1049/cje.2019.12.006
    [2] 陈友鹏, 李雷, 赖刘生, 等. 多旋翼无人机的特点及应用[J]. 时代汽车, 2021(16): 20–21. doi: 10.3969/j.issn.1672-9668.2021.16.010

    CHEN Youpeng, LI Lei, LAI Liusheng, et al. Features and applications of multi-rotor UAV[J]. Auto Time, 2021(16): 20–21. doi: 10.3969/j.issn.1672-9668.2021.16.010
    [3] NEMRA A and AOUF N. Robust INS/GPS sensor fusion for UAV localization using SDRE nonlinear filtering[J]. IEEE Sensors Journal, 2010, 10(4): 789–798. doi: 10.1109/JSEN.2009.2034730
    [4] ZAFARI F, GKELIAS A, and LEUNG K K. A survey of indoor localization systems and technologies[J]. IEEE Communications Surveys & Tutorials, 2019, 21(3): 2568–2599. doi: 10.1109/COMST.2019.2911558
    [5] 赵帅杰. 基于WiFi/蓝牙融合的室内定位算法研究[D]. [硕士论文], 桂林电子科技大学, 2020.

    ZHAO Shuaijie. Research on indoor location algorithm based on WiFi and Bluetooth fusion[D]. [Master dissertation], Guilin University of Electronic Technology, 2020.
    [6] TAKETOMI T, UCHIYAMA H, and IKEDA S. Visual SLAM algorithms: A survey from 2010 to 2016[J]. IPSJ Transactions on Computer Vision and Applications, 2017, 9(1): 16. doi: 10.1186/s41074-017-0027-2
    [7] SILVEIRA G, MALIS E, and RIVES P. An efficient direct approach to visual SLAM[J]. IEEE Transactions on Robotics, 2008, 24(5): 969–979. doi: 10.1109/TRO.2008.2004829
    [8] DAVISON A J, REID I D, MOLTON N D, et al. MonoSLAM: Real-time single camera SLAM[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(6): 1052–1067. doi: 10.1109/TPAMI.2007.1049
    [9] KLEIN G and MURRAY D. Parallel tracking and mapping for small AR workspaces[C]. Proceedings of the 6th IEEE And ACM International Symposium on Mixed and Augmented Reality, Nara, Japan, 2007: 225–234.
    [10] MUR-ARTAL R, MONTIEL J M M, and TARDÓS J D. ORB-SLAM: A versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics, 2015, 31(5): 1147–1163. doi: 10.1109/TRO.2015.2463671
    [11] ENGEL J, SCHÖPS T, and CREMERS D. LSD-SLAM: Large-scale direct monocular SLAM[C]. Proceedings of the 13th European Conference on Computer Vision, Zurich, Switzerland, 2014: 834–849.
    [12] FORSTER C, ZHANG Zichao, GASSNER M, et al. SVO: Semidirect visual odometry for monocular and multicamera systems[J]. IEEE Transactions on Robotics, 2017, 33(2): 249–265. doi: 10.1109/TRO.2016.2623335
    [13] BAKER S and MATTHEWS I. Lucas-kanade 20 years on: A unifying framework[J]. International Journal of Computer Vision, 2004, 56(3): 221–255. doi: 10.1023/B:VISI.0000011205.11775.fd
    [14] TRIGGS B, MCLAUCHLAN P F, HARTLEY R I, et al. Bundle adjustment—a modern synthesis[C]. Proceedings of the International Workshop on Vision Algorithms, Corfu, Greece, 1999: 298–372.
    [15] VISWANATHAN D G. Features from accelerated segment test (FAST)[C]. Proceedings of the 10th workshop on Image Analysis for Multimedia Interactive Services, London, UK, 2009: 6–8.
    [16] DOLLÁR P, APPEL R, BELONGIE S, et al. Fast feature pyramids for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(8): 1532–1545. doi: 10.1109/TPAMI.2014.2300479
    [17] CHIU L C, CHANG T S, CHEN J Y, et al. Fast SIFT design for real-time visual feature extraction[J]. IEEE Transactions on Image Processing, 2013, 22(8): 3158–3167. doi: 10.1109/TIP.2013.2259841
    [18] MISTRY S and PATEL A. Image stitching using Harris feature detection[J]. International Research Journal of Engineering and Technology (IRJET) , 2016, 3(4): 1363–1369.
    [19] PIZZOLI M, FORSTER C, and SCARAMUZZA D. REMODE: Probabilistic, monocular dense reconstruction in real time[C]. Proceedings of 2014 IEEE International Conference on Robotics and Automation (ICRA), Hong Kong, China, 2014: 2609–2616.
  • 加载中
图(12) / 表(2)
计量
  • 文章访问数:  1079
  • HTML全文浏览量:  614
  • PDF下载量:  165
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-11-21
  • 修回日期:  2022-02-23
  • 录用日期:  2022-02-24
  • 网络出版日期:  2022-02-28
  • 刊出日期:  2022-03-28

目录

    /

    返回文章
    返回