归一化的Haar变换谱系数的图形表示及其与K图的转换

程捷; 陈偕雄

摘要: 该文提出了归一化Haar变换谱系数的图形表示ha系数图,给出了布尔函数卡诺图与ha系数图之间的图形转换方法,并举例说明转换过程。该方法具有简单、直观和准确的特点。

关键词:

Haar变换; 谱技术; 图形变换

Abstract: This paper proposes the mapping of spectral coefficients for normalized Haar transform-ha map, and gives the mapping transform methods between ha map and K-map. This transform process is shown by examples. This method has the feature of simplicity, intu-ition and precision.

1. 引言

如何智能调控车辆数量、构建智能交通系统成为了近些年来的热门研究方向，通过遥感影像车辆检测技术来掌握大范围、全路域的车辆数量及其分布特征是其核心内容之一。遥感领域中的车辆检测方法分为传统方法和基于卷积神经网络的(Convolution Neural Network, CNN)的方法。传统检测方法常用不同尺寸的滑窗遍历图像上的每个位置，然后在每个滑窗内提取手工设计的特征并利用分类器进行分类。例如，Shao等人^[1]使用Harr特征和局部二值模式(Local Binary Patterns, LBP)训练支持向量机(Support Vector Machine, SVM)分类器；Moranduzzo等人^[2]使用尺度不变特征转换(Scale Invariant Feature Transform, SIFT)算法、Kluckner等人^[3]和Tluckner等人^[4]使用方向梯度直方图(Histogram of Oriented Gradient, HOG)和积分通道特征(Integral Channel Features, ICF)训练Adaboost分类器。但是，上述传统方法使用穷搜法提取候选框需要巨大的计算量，并且手工特征非常依赖特征的选择和设计，当数据量很大或者是场景很丰富时，手工特征表现出了不足。近年来，基于CNN的方法被引入到了遥感领域车辆检测中，另外，为了减少由穷搜法带来的巨大计算量，基于目标边缘、颜色和形状等信息的目标定位算法被提出^[5—9]。例如，Chen等人^[10]对多个阈值分割图像利用重心法定位车辆目标，并提出混合神经网络模型，使得网络能够学习到多尺度特征；Li等人^[11]利用车辆目标和周围背景颜色差异提取显著区域，并利用灰度重心法定位车辆目标，提出去噪神经网络模型(Denoizing-based Convolutional Neural Networks, DCNN)，模型对全连接层采用去噪自编码器的训练方法训练。以上基于CNN的方法都取得了较高的准确率，但是存在以下问题：(1)定位目标算法中往往存在可变参数，不同场景中的最优值可能不同，并且难以处理密集区域目标，例如上述采用重心法定位时，得到的检测框可能包含多个车辆的部分，造成一定程度的漏检现象。(2)检测框通常被设置为固定大小，为了能包含各个角度的目标，检测框尺寸通常较大，但在密集区域一个检测框可能包含多个目标。(3)在对较大尺寸的影像进行搜索时，需要着较大的计算量。(4)需要多个模型进行定位和检测，难以进行整体优化。

随着目标检测技术的发展，计算机视觉领域提出许多的端到端的网络模型，将目标定位和检测统一到同一网络框架中，能够进行端到端的训练和测试。其中，Faster-RCNN^[12]在目标检测方面表现出了良好的检测性能，该模型首先利用多层神经网络提取特征，并应用于目标定位和检测，最终输出多尺寸的检测框。如果直接将Faster-RCNN应用于遥感影像的车辆检测中，在密集区域的检测效果不理想，其主要存在以下问题：(1)遥感影像中的车辆尺寸较小^[13,14]，而Faster-RCNN对小目标检测效果不理想^[13]。(2)卫星通过垂直或者某一倾斜视角捕获遥感影像^[14]，在倾斜视角下的密集区域标注框造成了一定程度的重叠，影响了密集区域的检测结果。针对问题(1), Deng等人^[13]结合最后3层特征图获得丰富的特征，实验证明这种方法取得了较好的检测性能，但是用于定位和检测的特征图分辨率太低，在密集区域出现了大量的漏检现象。针对问题(2)，在计算机视觉领域中，Dai等人^[15]提出了可变形卷积模块和可变形RoI池化模块，基本的思想就是用带偏移的采样代替原来的固定位置采样，最终能够以自适应的方式学习密集区域目标的几何形变，并在密集区域取得了较好的检测效果。

根据遥感影像中车辆目标的特点和上述已有模型方法，本文基于Faster-RCNN提出DF-RCNN(Deformable Faster-RCNN)模型。DF-RCNN模型针对Faster RCNN在密集区域检测效果不理想的问题，主要在以下两方面做出了改进：(1)针对小尺寸车辆目标，为了提高输出特征图的分辨率并充分利用深浅层特征图的信息，DF-RCNN模型将深浅层特征图统一到较高的分辨率并融合。(2)DF-RCNN模型引入计算机视觉领域提出的可变形卷积和可变形RoI(Region of Interest)池化模块以学习密集区域目标的几何形变。实验结果表明，DF-RCNN模型针对密集区域的车辆目标表现出了较好的检测性能。

本文结构安排如下：第1节介绍研究现状和本文研究内容；第2节介绍相关技术；第3节介绍本文改进方法和本文模型结构；第4节描述试验内容及试验结果；第5节总结全文及未来的工作计划。

2. 相关技术

2.1 CNN

CNN是近年来发展起来并引起广泛重视的一种高效识别方法，主要用于识别位移、缩放以及其他形式扭曲不变性的2维图形^[16—18]，CNN的特征检测层通过隐式地从训练数据中学习从而避免了显式的特征提取，因此CNN提取的特征更具有表达性。CNN的主要操作有卷积、非线性化、池化、全连接：

(1) 卷积层：卷积层利用卷积核提取特征，一个卷积核生成一个特征图；

(2) 非线性化：非线性化增加了网络的表达能力，通常使用的非线性函数有relu, tanh, sigmoid等；

(3) 池化层：池化层降低了各个特征图的维度，并保留了大部分重要信息；

(4) 全连接层：全连接层将学到的特征把输入图像基于训练数据进行分类。

2.2 Faster-RCNN

Faster-RCNN是一个实时的检测模型，其首次提出利用神经网络产生候选区域，并将候选区域提取、特征提取和分类整合为一个整体的框架，实现了端到端的训练。Faster-RCNN模型结构如图1所示，其主要由共享卷积层、RPN网络、RoI池化和分类4部分组成。共享卷积层由一组基础的卷积、非线性化和池化构成，目的是提取输入图像的特征图，提取到的特征图被共享用于RPN网络和全连接层，常用VGG^[19], ResNet^[20]和ZFNet^[21]等网络。由共享卷积层提取的特征被送入RPN网络中，RPN采用一个n×n大小的卷积核在共享卷积层输出特征图上滑动，在每个滑动位置映射为一个低维特征向量，这些低维向量被送入两个全连接层，两个全连接层输出多种尺寸和多种比例候选框的位置和得分。由于RPN网络输出不同尺寸的候选区域，RoI池化层将大小不同的候选区域映射为长度相同的特征向量。最后将固定尺寸的特征向量送入两个全连接层，并接入得分层和回归层进行分类以及微调检测框输出位置。

图 1 Faster-CNN结构图

下载: 全尺寸图片幻灯片

3. DF-RCNN模型

为了解决传统模型在密集区域检测时遇到的难点，本节在Faster-RCNN基础上提出DF-RCNN模型，该模型将特征提取模块中深浅层特征图统一到一个较高分辨率并融合产生融合特征图，解决原模型密集区域漏检现象严重的问题，并且采用了可变性卷积和可变形RoI池化模块以学习目标的形状信息，使得卷积核的形状适应目标形状。DF-RCNN模型对于遥感图像中密集区域车辆目标表现出较好的检测性能。

3.1 DF-RCNN总框架

DF-RCNN总框架如图2所示，模型输入图像大小为500×500，网络调整为1000×600，模型首先在VGG基础上加入可变形卷积层以学习偏移参数，并将深浅层特征结合产生融合特征图作为RPN模块和检测模块的输入。为了产生候选区域框，本文在融合特征图上使用一个3×3的滑窗，在每一个滑动窗的位置，同时映射原图3种尺寸和3种长宽比的候选区域。本文数据采用0.1 m分辨率，遥感影像中车辆尺寸大约为20×30～30×40像素，因此采用候选区域的大小为20×20, 30×30, 40×40和3种长宽比为2:1, 1:2和1:1，候选区域尺寸如表1所示。由于候选区域尺寸不同，DF-RCNN模型利用加入偏移参数的可变形RoI池化层从候选框和融合特征图提取定长(本文选用7×7大小)的特征向量，最后将这些特征和两个全连接层相连，由两个全连接层对候选区域调整和分类。

图 2 DF-RCNN模型结构

下载: 全尺寸图片幻灯片

表 1 3 种尺度和 3 种比例映射候选区域尺寸

区域尺寸和比例	20², 1:1	20², 1:2	20², 2:1	30², 1:1	30², 1:2	30², 2:1	40², 1:1	40², 1:2	40², 2:1
映射区域大小	20×20	14×28	28×14	30×30	21×42	42×21	40×40	28×56	57×28

下载: 导出CSV

| 显示表格

3.2 特征图融合

VGG的结构如图3所示，VGG结构包含5组卷层，前2组中每组包含2个卷积层，后3组中每组包含3个卷积层，每组分别命名为Conv1_x—Conv5_x。图像输入大小为1000×600，输入到第1组中的第1个卷积层Conv1_1, Conv1_1后面接relu层，第2个卷积层Conv1_2将前一层输出作为输入，并和Conv1_1有相同的配置，Conv1_2后面接relu层和池化层，剩下4组的卷积层与第1组类似。每组之间使用核大小为2×2的池化层进行分割，因此VGG输出层Conv5_3分辨率为输入的1/16，针对密集区域目标，输出特征图分辨率太低。

DF-RCNN模型将深浅层的特征图统一到较高的分辨率并融合，不同深浅层层融合后将会产生不同的输出特征。以融合1, 3, 5组中最后一层特征图为例，由图3可知，卷积层Conv1_2, Conv3_3和Conv5_3输出特征图尺寸不一致，为了将各层特征图统一到相同尺寸，本文在卷积层Conv1_2和Conv3_3后加入卷积操作，在卷积层Conv5_3后加入反卷积操作，并加入局部响应归一化(Local Response Normalization, LRN)操作，其它深浅层特征图融合操作过程与图3类似。由图3可以看出共享卷积的融合特征图大小为输入的1/4。这对于遥感图像中的目标更为适合，另外，此方法没有产生更多的计算量。

图 3 融合特征图结构

下载: 全尺寸图片幻灯片

3.3 可变形卷积和可变形RoI池化

为了学习密集区域车辆目标的形变信息，本文引入可变形卷积和可变形RoI池化模块^[15]来增强网络对于几何变换的建模能力。两个模块的基本思想都是用带偏移的采样代替原来的固定位置采样，并且增加的偏移量是网络结构的一部分，可以通过另外一个平行的标准卷积单元计算得到，进而也可以通过梯度反向传播进行端到端的学习。加上该偏移量的学习之后，可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应车辆目标的几何形变。两个模块的定义如下：

(1) 可变形卷积模块：对于一个3×3大小、膨胀系数为1的卷积核，本文将其定义为 ${R}$ ：

${R} = \{ ( - 1, - 1),( - 1,0),·\!·\!·,(0,1),(1,1)\}$

(1)

其中，卷积核权重为 ${w}$ ，输入特征图 ${x}$ ，对于输出特征图 ${y}$ 上的 ${p_0}$ 点，传统卷积表示为

${y}({p_0}) = \sum\limits_{{p_n} \in {R}} {{w}({p_n})} \cdot {x}({p_0} + {p_n})$

(2)

可变形卷积通过对卷积核中每个采样点的位置都增加一个2维偏移量使卷积核形状适应物体形状，此偏移量利用一个卷积层从输入特征图学到，偏移量和输入特征图共同输入到后一个卷积层，结构如图4(a)所示。可变形卷积为每个特征点增加偏移量 $\Delta {p_n}$ ，输出可表示为

图 4 可变性卷积和可变形RoI池化模块学习过程

下载: 全尺寸图片幻灯片

${y}({p_0}) = \sum\limits_{{p_n} \in {R}} {{w}({p_n})} \cdot {x}({p_0} + {p_n}{\rm{ + }}\Delta {p_n})$

(3)

(2) RoI池化的作用是将尺寸不同的候选区域映射为长度相同的特征向量，具体实现是将候选区域映射为输出特征图分辨率大小(由前文可知，映射分辨率大小为输入的1/16)的特征图，将特征图平均分为 $k$ × $k$ 块，并对每块进行最大化池化操作。对于第 $\left( {i,j} \right)(0 \le i,j < k)$ 特征图，传统RoI池化输出为

${y}(i,j) = \sum\limits_{{p_n} \in {\rm bin}(i,j)} {{x}({p_0} + p)} /{n_{i,j}}$

(4)

其中， ${x}$ 为输入特征图， ${n_{i,j}}$ 为每块区域大小， ${p_0}$ 为RoI左上角坐标。可变形RoI池化在RoI池化基础上对每块增加2维偏移，与可变形卷积相同，偏移量通过一个全连接层从输入特征图和RoI学到，结构如图4(b)所示。其计算方式与可变形卷积类似，输出为

${y}(i,j) = \sum\limits_{{p_n} \in {\rm bin}(i,j)} {{x}({p_0} + p + \Delta {p_{i,j}})} /{n_{i,j}}$

(5)

其中， $\Delta {p_{i,j}}$ 为每块的偏移量。

4. 实验结果与分析

本文数据集是从Google Earth上收集了10000幅大小为500×500、分辨率为0.1 m的图像，包含了所有场景如停车场、高速公路、居民区等，并且场景不重叠。数据集包括了密集区域和非密集区域，其中密集区域图像5000幅，非密集图像5000幅。本文随机选取4000幅密集区域图像和4000幅非密集区域图像作为训练，1000幅密集区域图像和1000幅非密集区域图像作为测试。为了评价车辆的检测性能，本文选用3种常用的评价指标：准确率、召回率和F₁指标，3种指标的定义如式(6)～式(8)：

${{准确率}} = \frac{{{{正确检测的个体总数}}}}{{{{检测出的个体目标}}}}$

(6)

${{召回率}} = \frac{{{{正确检测的个体总数}}}}{{{{测试集中存在的个体总数}}}}$

(7)

${F_1}{{指标}} = \frac{{2 \times {{准确率}} \times {{召回率}}}}{{{{准确率}} + {{召回率}}}}$

(8)

4.1 融合不同层特征图

考虑到相邻特征图之间相似性较高，本文针对融合了3, 5层，2, 4层和1, 3, 5层的模型进行试验，并采用前文提出的方法将特征图统一到输入的1/4大小。表2展示了不同层检测性能结果，从实验结果可以看出：尽管浅层特征图的分辨率较高，然而深层特征提取到更有效的特征，显示出更好的检测性能；多层融合比单层检测性能更好，其中融合1, 3, 5层模型F₁指标最高。

表 2 不同层检测性能比较

模型	检测区域	召回率	准确率	F₁指标
层1	密集区域	0.461	0.611	0.525
层3	密集区域	0.623	0.754	0.682
层5	密集区域	0.655	0.923	0.766
层3+5	密集区域	0.714	0.930	0.808
层2+4	密集区域	0.709	0.925	0.803
层1+3+5	密集区域	0.725	0.927	0.814

下载: 导出CSV

| 显示表格

4.2 结合可变形模块

4.1节证明了融合1, 3, 5层综合指标最高，在此基础上，本文分别对可变形卷积、可变形RoI池化、可变形卷积和可变形RoI池化结合的模型进行验证。首先，我们在1, 3, 5层之前加入可变形卷积模块；其次，在传统的RoI池化之前加入了可变形RoI池化模块；最后将可变形卷积和可变形RoI池化模块同时加入到网络中。为了评估可变形模块的普适性，本文随机选取4.1节中的模型并结合可变形模块。表3展示了不同模型的检测结果，从表3中可以看出单独使用可变形卷积和可变形RoI池化检测总体指标均有提升，但是结合两者得到了最好的检测结果；可变形模块具有普适性，结合不同模型的检测结果均有提升。图5展示了融合1, 3, 5层特征图和加入可变形模块的检测结果，其中白色框表示检测框，黑色框表示漏检目标。由图5可以看出，在车辆目标倾斜并且密集的区域，采用融合特征图的模型存在着少量的漏检现象，当模型再结合可变形模块，有效地改善了这一现象。

表 3 结合可变形模块检测性能比较

模型	检测区域	召回率	准确率	F₁指标
层1+3+5，可变形卷积	密集区域	0.731	0.932	0.819
层1+3+5，可变形RoI池化	密集区域	0.726	0.925	0.814
层1+3+5，可变形卷积，可变形RoI池化	密集区域	0.744	0.940	0.831
层5，可变形卷积，可变形RoI池化	密集区域	0.725	0.924	0.812
层2+4，可变形卷积，可变形RoI池化	密集区域	0.715	0.922	0.805
层3+5，可变形卷积，可变形RoI池化	密集区域	0.729	0.928	0.817

下载: 导出CSV

| 显示表格

图 5 融合1, 3, 5层特征图和结合可变形模块的检测结果

下载: 全尺寸图片幻灯片

4.3 模型对比

由4.1节和4.2节可知，当融合1, 3, 5层并结合可变形模块产生了最好的检测结果，并将此模型作为最终评估模型。本文将DF-RCNN, Faster-RCNN和DCNN分别在密集区域和非密集区域的检测性能进行比较，表4为3种模型在密集区域和非密集区域的检测结果。由表4可以看出：在密集区域，3个模型都有较高的准确率，Faster-RCNN在提取特征时，输出特征图分辨率较低而存在着大量的漏检，DCNN产生相同大小的检测框，不能适应目标的多尺寸，召回率较低，而DF-RCNN输出目标框更贴合目标形状且漏检率较低；在非密集区域，DF-RCNN和Faster-RCNN利用网络提取候选区域，准确率都较高，而DCNN利用算法定位目标区域，受环境因素的影响较大而准确率较低。综上，DF-RCNN模型在密集区域和非密集区域都表现出了良好的检测性能。图6展示了不同模型在车辆密集区域的检测效果，其中白色框表示检测框。

图 6 不同模型的检测结果

下载: 全尺寸图片幻灯片

表 4 不同模型检测性能比较

模型	检测区域	召回率	准确率	F₁指标
Faster-RCNN	密集区域	0.655	0.932	0.766
DCNN	密集区域	0.402	0.925	0.560
DF-RCNN	密集区域	0.744	0.940	0.831
Faster-RCNN	非密集区域	0.901	0.942	0.921
DCNN	非密集区域	0.962	0.785	0.865
DF-RCNN	非密集区域	0.910	0.952	0.931

下载: 导出CSV

| 显示表格

5. 结束语

本文中提出了DF-RCNN模型以提升遥感图像中密集区域的检测精度。本文模型采取两种策略：首先统一深浅层特征图的分辨率到合适尺度并进行融合提高模型在密集区域的召回率；其次结合了可变形卷积和可变形RoI池化模块学习密集区域的车辆形变信息，实验证明本文的模型对于密集区域车辆目标较为有效。在未来的学习中，将对CNN进行更深入的研究，争取更高的检测率和更短的训练时间。

N.阿罕麦德,K.R.罗著,数字信号处理中的正交变换,北京,人民邮电出版社,1979,179-191[2]S.L. Hurst, D. M. Miller, J. C. Muzio, Spectral Techniques in Digital Logic, London, Academic Press, 1985, 24-34.[3]S.L. Hurst, The Haar transform in digital network synthesis, IEEE Proc. 11th ISMVL., Oklahoma, 1981, 10-18.[4]Wu X, Chen X, S. L. Hurst, Mapping of Reed-Muller coefficients and the minimization of exclusive-OR switching function, IEE Proc.-E, 1982, 129(1), 15-20.[5]Chen X, Transformation between two kinds of expansion coefficients of symmetric function based on mapping method, Journal of Electronics(China), 1996, 13(4), 366-372.[6]Chen X, The mapping of spectral coefficients and its application.[J]. Computer Electronic Engineering.1982,9(3-4):167-

期刊类型引用(20)

1.	顾勇翔，蓝鑫，伏博毅，秦小林. 基于几何适应与全局感知的遥感图像目标检测算法. 计算机应用. 2023(03): 916-922 . 百度学术
2.	吴培德，李波，姚为，李鑫，程立. 基于DeformMobileViT的城市地下管道异常样本判别. 数字技术与应用. 2023(11): 9-11 . 百度学术
3.	杜峰，付天生. 基于Swin Transformer的知识蒸馏模型在垃圾分类上的应用. 电脑知识与技术. 2023(30): 1-5+15 . 百度学术
4.	刘强，曾劲松，张峰源，王岩，刘国宁. 基于特征融合网络的花色布缺陷检测方法. 北京服装学院学报(自然科学版). 2023(04): 37-42 . 百度学术
5.	周院，杨庆庆，马强，薛博维，孔祥楠. 一阶全卷积遥感影像倾斜目标检测. 中国图象图形学报. 2022(08): 2537-2548 . 百度学术
6.	王长军，彭成，李勇. 复杂环境下的多特征融合船舶目标检测算法. 计算机与现代化. 2022(11): 81-88 . 百度学术
7.	吕雅楠，朱红，孟健，崔成玲，宋其淇. 面向高分辨率遥感影像车辆检测的深度学习模型综述及适应性研究. 自然资源遥感. 2022(04): 22-32 . 百度学术
8.	崔国宁，杨理践，耿浩，刘屹然. 基于卷积神经网络的管道缺陷量化识别方法. 仪表技术与传感器. 2022(10): 99-103 . 百度学术
9.	李优，穆林平. 基于迁移学习的垃圾图像分类模型研究. 电脑与信息技术. 2021(04): 17-21 . 百度学术
10.	喻昕，卢惠霞，伍灵贞，徐柳明. 一种新型单层递归神经网络解决非光滑伪凸优化问题. 电子与信息学报. 2021(08): 2421-2429 . 本站查看
11.	马永杰，程时升，马芸婷，马义德. 卷积神经网络及其在智能交通系统中的应用综述. 交通运输工程学报. 2021(04): 48-71 . 百度学术
12.	张善文，许新华，齐国红，邵彧. 基于可形变VGG-16模型的田间作物害虫检测方法. 农业工程学报. 2021(18): 188-194 . 百度学术
13.	胡淑娟. 基于卷积神经网络的电子音乐辨识模型. 微型电脑应用. 2021(11): 150-153 . 百度学术
14.	李玉吉，曹旭辉. 基于红外遥感信息的煤矿车辆异常行为检测研究. 能源与环保. 2021(12): 71-76 . 百度学术
15.	王竹筠，杨理践，高松巍，刘斌. 管道漏磁图像的卷积核信息熵相似度约束方法. 沈阳工业大学学报. 2020(01): 90-95 . 百度学术
16.	徐永亮. 基于卷积神经网络的汽车涡轮增压器制造缺陷检测方法研究. 电子设计工程. 2020(10): 166-169+174 . 百度学术
17.	王国志，黄玉春. 高分辨率遥感图像的道路自动提取. 测绘地理信息. 2020(03): 34-38 . 百度学术
18.	邓睿哲，陈启浩，陈奇，刘修国. 遥感影像船舶检测的特征金字塔网络建模方法. 测绘学报. 2020(06): 787-797 . 百度学术
19.	张洪瑞，卫文学，车吉鑫，邵婉露. 基于DC-YOLO模型的建筑物砌体构件危险性等级鉴定方法. 计算机应用与软件. 2019(09): 181-185+213 . 百度学术
20.	李新叶，宋维. 基于深度学习的图像语义分割研究进展. 科学技术与工程. 2019(33): 21-27 . 百度学术

其他类型引用(31)

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板