高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于可变形卷积神经网络的遥感影像密集区域车辆检测方法

高鑫 李慧 张义 闫梦龙 张宗朔 孙显 孙皓 于泓峰

高鑫, 李慧, 张义, 闫梦龙, 张宗朔, 孙显, 孙皓, 于泓峰. 基于可变形卷积神经网络的遥感影像密集区域车辆检测方法[J]. 电子与信息学报, 2018, 40(12): 2812-2819. doi: 10.11999/JEIT180209
引用本文: 高鑫, 李慧, 张义, 闫梦龙, 张宗朔, 孙显, 孙皓, 于泓峰. 基于可变形卷积神经网络的遥感影像密集区域车辆检测方法[J]. 电子与信息学报, 2018, 40(12): 2812-2819. doi: 10.11999/JEIT180209
Xin GAO, Hui LI, Yi ZHANG, Menglong YAN, Zongshuo ZHANG, Xian SUN, Hao SUN, Hongfeng YU. Vehicle Detection in Remote Sensing Images of Dense Areas Based on Deformable Convolution Neural Network[J]. Journal of Electronics & Information Technology, 2018, 40(12): 2812-2819. doi: 10.11999/JEIT180209
Citation: Xin GAO, Hui LI, Yi ZHANG, Menglong YAN, Zongshuo ZHANG, Xian SUN, Hao SUN, Hongfeng YU. Vehicle Detection in Remote Sensing Images of Dense Areas Based on Deformable Convolution Neural Network[J]. Journal of Electronics & Information Technology, 2018, 40(12): 2812-2819. doi: 10.11999/JEIT180209

基于可变形卷积神经网络的遥感影像密集区域车辆检测方法

doi: 10.11999/JEIT180209
基金项目: 国家自然科学基金(41501485)
详细信息
    作者简介:

    高鑫:男,1966年生,研究员,研究方向为机载SAR信息处理应用、空间信息处理与应用系统技术研究

    李慧:女,1992年生,硕士生,研究方向为图像处理与分析

    张义:男,1987年,助理研究员,研究方向为阵列信号处理

    闫梦龙:男,1985年生,副研究员,研究方向为机器学习与遥感影像智能解译

    张宗朔:男,1995年生,本科生

    孙显:男,1981年生,副研究员,研究方向为机器学习与遥感影像智能解译

    孙皓:男,1984年生,副研究员,研究方向为机器学习与遥感影像智能解译

    于泓峰:男,1991年生,助理研究员,研究方向为机器学习与遥感影像智能解译

    通讯作者:

    李慧  lihuiiecas@163.com

  • 中图分类号: TP751.2

Vehicle Detection in Remote Sensing Images of Dense Areas Based on Deformable Convolution Neural Network

Funds: The National Natural Science Foundation of China (41501485)
  • 摘要: 车辆检测是遥感图像分析领域的热点研究内容之一,车辆目标的智能提取和识别,对于交通管理、城市建设有重要意义。在遥感领域中,现有基于卷积神经网络的车辆检测方法存在实现过程复杂并且对于车辆密集区域检测效果不理想的缺陷。针对上述问题,该文提出基于端到端的神经网络模型DF-RCNN以提高车辆密集区域的检测精度。首先,在特征提取阶段,DF-RCNN模型将深浅层特征图的分辨率统一并融合;其次,DF-RCNN模型结合可变形卷积和可变形感兴趣区池化模块,通过加入少量的参数和计算量以学习目标的几何形变。实验结果表明,该文提出的模型针对密集区域的车辆目标具有较好的检测性能。
  • 图  1  Faster-CNN结构图

    图  2  DF-RCNN模型结构

    图  3  融合特征图结构

    图  4  可变性卷积和可变形RoI池化模块学习过程

    图  5  融合1, 3, 5层特征图和结合可变形模块的检测结果

    图  6  不同模型的检测结果

    表  1  3 种尺度和 3 种比例映射候选区域尺寸

    区域尺寸和比例 202, 1:1 202, 1:2 202, 2:1 302, 1:1 302, 1:2 302, 2:1 402, 1:1 402, 1:2 402, 2:1
    映射区域大小 20×20 14×28 28×14 30×30 21×42 42×21 40×40 28×56 57×28
    下载: 导出CSV

    表  2  不同层检测性能比较

    模型 检测区域 召回率 准确率 F1指标
    层1 密集区域 0.461 0.611 0.525
    层3 密集区域 0.623 0.754 0.682
    层5 密集区域 0.655 0.923 0.766
    层3+5 密集区域 0.714 0.930 0.808
    层2+4 密集区域 0.709 0.925 0.803
    层1+3+5 密集区域 0.725 0.927 0.814
    下载: 导出CSV

    表  3  结合可变形模块检测性能比较

    模型 检测区域 召回率 准确率 F1指标
    层1+3+5,可变形卷积 密集区域 0.731 0.932 0.819
    层1+3+5,可变形RoI池化 密集区域 0.726 0.925 0.814
    层1+3+5,可变形卷积,可变形RoI池化 密集区域 0.744 0.940 0.831
    层5,可变形卷积,可变形RoI池化 密集区域 0.725 0.924 0.812
    层2+4,可变形卷积,可变形RoI池化 密集区域 0.715 0.922 0.805
    层3+5,可变形卷积,可变形RoI池化 密集区域 0.729 0.928 0.817
    下载: 导出CSV

    表  4  不同模型检测性能比较

    模型 检测区域 召回率 准确率 F1指标
    Faster-RCNN 密集区域 0.655 0.932 0.766
    DCNN 密集区域 0.402 0.925 0.560
    DF-RCNN 密集区域 0.744 0.940 0.831
    Faster-RCNN 非密集区域 0.901 0.942 0.921
    DCNN 非密集区域 0.962 0.785 0.865
    DF-RCNN 非密集区域 0.910 0.952 0.931
    下载: 导出CSV
  • SHAO Wen, YANG Wen, LIU Guang, et al. Car detection from high-resolution aerial imagery using multiple features[C]. Geoscience and Remote Sensing Symposium, Munich, Germany, 2012: 4379–4382.
    MORANDUZZO T and MELGANI F. Automatic car counting method for unmanned aerial vehicle images[J]. IEEE Transactions on Geoscience&Remote Sensing, 2013, 52(3): 1635–1647 doi: 10.1109/TGRS.2013.2253108
    KLUCKNER S, PACHER G, GRABNER H, et al. A 3D teacher for car detection in aerial images[C]. International Conference on Computer Vision, Rio de Janeiro, Brazil, 2007: 1–8.
    TUERMER S, KURZ F, Reinartz P, et al. Airborne vehicle detection in dense urban areas using HoG features and disparity maps[J]. IEEE Journal of Selected Topics in Applied Earth Observations&Remote Sensing, 2013, 6(6): 2327–2337 doi: 10.1109/JSTARS.2013.2242846
    CHEN Ziyi, WANG Cheng, WEN Chenglu, et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 54(1): 103–116 doi: 10.1109/TGRS.2015.2451002
    康妙, 计科峰, 冷祥光, 等. 基于栈式自编码器特征融合的SAR图像车辆目标识别[J]. 雷达学报, 2017, 6(2): 167–176 doi: 10.12000/JR16112

    KANG Miao, JI Kefeng, LENG Xiangguang, et al. SAR target recognition with feature fusion based on stacked autoencoder[J]. Journal of Radars, 2017, 6(2): 167–176 doi: 10.12000/JR16112
    王思雨, 高鑫, 孙皓, 等. 基于卷积神经网络的高分辨率SAR图像飞机目标检测方法[J]. 雷达学报, 2017, 6(2): 195–203 doi: 10.12000/JR17009

    WANG Siyu, GAO Xin, SUN Hao, et al. An aircraft detection method based on convolutional neural networks in high-resolution SAR images[J]. Journal of Radars, 2017, 6(2): 195–203 doi: 10.12000/JR17009
    田壮壮, 占荣辉, 胡杰民, 等. 基于卷积神经网络的SAR图像目标识别研究[J]. 雷达学报, 2016, 5(3): 320–325 doi: 10.12000/JR16037

    TIAN Zhuangzhuang, ZHAN Ronghui, HU Jiemin, et al. SAR ATR based on convolutional neural network[J]. Journal of Radars, 2016, 5(3): 320–325 doi: 10.12000/JR16037
    YANG Zi and PUN-CHENG L S C. Vehicle detection in intelligent transportation systems and its applications under varying environments: A review[J]. Image&Vision Computing, 2017, 69: 143–154 doi: 10.1016/j.imavis.2017.09.008
    CHEN Xueyun, XIANG Shiming, LIU Chenglin, et al. Vehicle detection in satellite images by hybrid deep convolutional neural networks[J]. IEEE Geoscience&Remote Sensing Letters, 2014, 11(10): 1797–1801 doi: 10.1109/LGRS.2014.2309695
    LI Hao, FU Kun, YAN Menglong, et al. Vehicle detection in remote sensing images using denoizing-based convolutional neural networks[J]. Remote Sensing Letters, 2017, 8(3): 262–270 doi: 10.1080/2150704X.2016.1258127
    REN Shaoqing, HE Kaiming, SUN Jian, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis&Machine Intelligence, 2017, 39(6): 1137–1149 doi: 10.1109/TPAMI.2016.2577031
    DENG Zhipeng, SUN Hao, ZHOU Shilin, et al. Toward fast and accurate vehicle detection in aerial images using coupled region-based convolutional neural networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations&Remote Sensing, 2017, 10(8): 3652–3664 doi: 10.1109/JSTARS.2017.2694890
    ELMIKATY M and STATHAKI T. Car detection in aerial images of dense urban areas[J]. IEEE Transactions on Aerospace&Electronic Systems, 2017, 54(1): 51–63 doi: 10.1109/TAES.2017.2732832
    DAI Jifeng, QI Haozhi, XIONG Yunwen, et al. Deformable convolutional networks[OL]. http://arxiv.org/abs/1703.06211.2017.
    LIU Derong, LI Hongliang, and WANG Ding. Feature selection and feature learning for high-dimensional batch reinforcement learning: A survey[J]. International Journal of Automation and Computing, 2015, 12(3): 229–242 doi: 10.1007/s11633-015-0893-y
    YANG Bin, YAN Junjie, LEI Zhen, et al. Convolutional channel features[C]. IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 82–90.
    ZHONG Bin, ZHANG Jun, WANG Pengfei, et al. Jointly feature learning and selection for robust tracking via a gating mechanism[J]. Plos One, 2016, 11(8): e0161808 doi: 10.1371/journal.pone.0161808
    SIMONYAN K and ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[OL]. http://arxiv.org/abs/1409.1556.2014.
    HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, United States, 2016: 770–778.
    ZEILER M D and FERGUS R.Visualizing and Understanding Convolutional Networks[C]. European Conference on Computer Vision, Zurich, Switzerland, 2014: 818–833.
  • 加载中
图(6) / 表(4)
计量
  • 文章访问数:  2220
  • HTML全文浏览量:  959
  • PDF下载量:  129
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-03-02
  • 修回日期:  2018-06-11
  • 网络出版日期:  2018-07-16
  • 刊出日期:  2018-12-01

目录

    /

    返回文章
    返回