A Real-time Detection Method for Multi-scale Pedestrians in Complex Environment
-
摘要: 作为计算机视觉和图像处理研究领域中的经典课题，行人检测技术在智能驾驶、视频监控等领域中具有广泛的应用空间。然而，面对一些复杂的环境和情况，如阴雨、雾霾、被遮挡、照明度变化、目标尺度差异大等，常见的基于可见光或红外图像的行人检测方法的效果尚不尽如人意，无论是在检测准确率还是检测速度上。该文分析并抓住可见光和红外检测系统中行人特征差异较大，但在不同环境中又各有优势的特点，并结合多尺度特征提取方法，提出一种适用于多样复杂环境下多尺度行人实时检测的方法——融合行人检测网络(FPDNet)。该网络主要由特征提取骨干网络、多尺度检测和信息决策融合3个部分构成，可自适应提取可见光或红外背景下的多尺度行人。实验结果证明，该检测网络在多种复杂视觉环境下都具有较好的适应能力，在检测准确性和检测速度上均能满足实际应用的需求。Abstract: As a classic subject in computer vision and image processing, pedestrian detection has a wide range of applications to intelligence driving and video monitoring fields. However, most of pedestrian detection methods based on visible or infrared images have no satisfying result in some complex environments or situations, such as rain, smog, occlusion, variation of illuminance and target scales, no matter in terms of detection accuracy or speed. This paper analyzes and finds out that, pedestrians usually have quite different characteristics in visible and infrared image, and which have their own advantages in different environments. Therefore, combining fusion and multi-scale technology, a real-time multi-scale pedestrian detection algorithm suitable for complex environment named FPDNet (Fusion Pedestrian Detection Network) is proposed. The detection framework is consisted by three main modules: feature extraction backbone network, multi-scale detection network and decision-level fusion network. The proposed method is able to extract multi-scale pedestrian characteristics under visible or infrared background adaptively. Experimental results prove that the detection network has good adaptability in complex visual environments, and can meet the demands of practical applications to detection accuracy and speed.
-
Key words:
- Pedestrian detection /
- Complex environment /
- Adaptive extracting /
- Multi-scale /
- Decision-level fusion
-
1. 引言
根据世界卫生组织统计，2020年有3624820例新增消化道癌症病例，有2248042名患者死于消化道癌症，消化系统的癌症死亡人数占到癌症总死亡人数的22.6%[1]。内窥镜检查是现在主要的消化道疾病诊断方法，传统内窥镜具有直接、准确、价格低的优点，是目前最常用的胃部检查方法。随着医药科技的发展，新兴的胶囊胃镜技术因其更佳的检测体验，已逐渐得到普及。
然而，无论是使用传统的胃镜还是胶囊胃镜，在图像采集过程中都必然会出现运动模糊造成的图像质量下降的问题。特别是胶囊胃镜，在数据采集过程中医生无法实时控制采集设备。其运动受到胃肠蠕动的影响。当胃肠蠕动快时，拍摄数量减少锐度降低，图像模糊程度比普通胃镜更严重。模糊图像会给计算机辅助诊断带来巨大的困难，进而干扰医生对病变部位的判断。因此，通过内窥镜的去模糊算法，提高了内窥镜的成像质量，对提高临床诊断准确率具有重要意义。
2017年Mahesh等人[2]提出一种卷帘(Rolling Shutter, RS)盲去运动模糊的模型，用以解决互补金属氧化物半导体(Complementary Metal Oxide Semiconductor, CMOS)传感器的卷帘快门引起的运动模糊。2018年，Tao等人[3]提出尺度递归网络(Scale-Recurrent Network-DeblurNet, SRN-DeblurNet)，它类似于构造重建金字塔并逐步优化以获得最终的重建清晰图片。Kupyn等人[4]提出的去模糊生成对抗网络(Deblurring€Generative Adversarial€Networks, DeblurGAN)是一种结合条件生成对抗网络和内容损失的端到端运动去模糊学习模型。两年之后，Kupyn等人[5]又在DeblurGAN的基础之上提出了改进型去模糊生成对抗网络(Deblurring Generative Adversarial Networks-v2, DeblurGAN-v2)，改进了生成器的网络结构和鉴别器，并使该算法便于使用现有成熟的基础网络，不仅提高了去模糊的图像质量，而且能够以低计算成本设计模型。与普通图像不同，消化道内镜图像的纹理细节较为丰富，且图像结构较为多样，现有的去模糊方法如SRN-DeblurNet, DeblurGAN-v2在处理这一类图像时因为过度关注细节特征，全局特征关注不够，总会伴有一定程度的结构变形甚至出现伪影，虚构生成了实际不存在的重影轮廓。在图像超分辨领域，已经被证明可以用梯度轮廓作为先验[6-8]指导超分辨率图像更好地保留结构信息，生成更加清晰的高分辨率图像。其中，清华大学Ma等人[8]提出了基于生成对抗网络的保留结构信息的超分辨率网络(Structure-Preserving Super Resolution, SPSR)，证明了在梯度信息指导下通过生成对抗网络生成结构不变形且纹理细节丰富的图像的可行性。2021年Tran等人[9]提出一种方法来编码任意的清晰-模糊图像对数据集的模糊核空间，并利用这种编码来解决一些特定的任务，如图像去模糊和模糊合成。Chi等人[10]提出一种自监督元辅助学习，通过整合外部和内部学习来提高去模糊的性能，并提出一个元辅助训练方案，进一步优化作为基础学习的预训练模型。Chen等人[11]提出一个非盲目去模糊网络(Non-Blind Deblurring Network, NBDN)来恢复夜间模糊的图像，为降低个别不符合反模糊模型的像素所带来的副作用，设计了置信度估计单元(Confidence Estimation Unit ,CEU)，确保这些像素在去卷积步骤中的贡献较小，并通过共轭梯度(Conjugate Gradient, CG)方法进行优化。Dong等人[12]提出一种在最大后验(Maximum A-Posteriori, MAP)框架内联合学习空间变异数据(spatially-variant data)和正则化项的方法，用于非盲目图像去模糊化。
本文提出基于梯度指导的生成对抗去模糊网络和类U型网络(U-shaped Network, U-Net)预训练模型。预训练模型使用3层类U-Net结构，解码器部分引入残差连接，预先对剧烈模糊图像进行处理，大大缩短了网络的训练周期。去模糊网络以Res2net[13]结构作为基础模块增大感受野，减轻冗余特征带来的运算负担，网络同时包含图像信息和梯度信息两个相互交互的支路，通过梯度支路指导真实图像的复原重建，更好地保留图像的结构信息，消除伪影缓解结构变形，从而复原生成更加清晰的胃镜图像。
2. 模型
2.1 梯度指导的去模糊生成对抗网络
在去模糊网络中，模糊图像IB作为输入，根据清晰的标签图像ISI生成清晰图像ISO。生成器G，其参数表示为θG，由G得到ISO=G(IB;θG)，输出ISO在分布上应尽可能地与输入ISI相似。整个去模糊网络结构如图1所示。生成器由两个分支组成，其中一个是保留结构信息的图像分支，另一个是图像的梯度分支。图像信息分支以IB作为输入，在梯度分支的指导下恢复出清晰图像ISO。
生成对抗网络(Generative Adversarial Networks, GAN)因其对抗学习的特性具有强大的图像生成能力，对于生成图像的细节纹理质量有很大提升[4]，因此在图像信息支路中本文使用了类似增强型超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks, ESRGAN)[14]的网络结构，ESRGAN具有良好的细节生成能力，并且能够解决一定程度的伪影问题。ESRGAN算法的生成器使用密集残差网络(Residual in Residual Dense Block, RRDB)的基础模块，将残差块以稠密连接网络(DenseNet)[15]方式进行连接，这种方式增加了训练参数，并保留了更多的有效特征。通常在对胃镜图像去模糊测试，会有过多的特征冗余，容易导致伪影现象的出现，虚构生成不存在的重影轮廓。为改善去模糊效果，本文引入基于Res2net的基础模块来代替RRDB，这样既增大了感受野，同时又减少了冗余特征带来的运算负担和重影轮廓。
梯度支路采用了梯度强度作为梯度图，从图像到图像之间的转换空间来学习两种模式之间的映射。由于梯度图中大部分区域数值接近于0，而轮廓边缘具有较大的数值，卷积神经网络能更多地关注轮廓的空间关系。在梯度支路中与基于生成对抗网络的保留结构信息的超分辨率网络(Structure-Preserving Super Resolution,SPSR)不同，本文没有使用梯度模块加卷积层的结构，而是直接使用Res2net模块，减少了中间的冗余特征，网络更容易捕获关键部位结构依赖性，由梯度图指导生成清晰图像。
如图1所示，梯度分支和图像信息分支有多层级的特征信息交互，这些特征流作为一个强先验来提升梯度分支的性能，在这种情况下，可大大减少参数。在实验中，本文将梯度分支的最后一层产生的特征图传递到真实图像分支。同时，通过1×1卷积层生成输出层梯度图。通过这种双支路交互，图像信息分支最终能够携带丰富的结构信息，确保复原后的图像不会产生明显的结构变形。判别器部分使用了相对平均判别器，网络结构为如图2所示的VGG-128[16]。
2.2 类U型网络预训练模型
本文在使用梯度指导生成对抗网络(Gradient Guidance GAN,GGGAN)对模糊胃镜图像进行实验时发现，GGGAN具有良好的图像生成效果，但在复原重度模糊图像时复原图像会出现一定程度的纹理扭曲，且训练收敛时间较长，这一现象源于GAN网络自身的性质[17]，很难通过内部的结构调整避免。这一情况会影响图像的整体视觉效果，降低峰值信噪比(Peak Signal to Noise Ratio, PSNR)这一评价指标，对于图像复原效果并不理想。
为解决这一问题，本文在GGGAN网络之前设计了一个预处理模块，通过这一模块对实验图像进行预先修正处理，可以在一定程度上减小输入图像的模糊程度，避免因输入图像模糊程度太大带来的纹理扭曲，缩短训练时间。
预处理模块的整体结构类似于U-Net[18]，使用3层编码器-解码器结构，并在解码部分引入残差连接[15]，扩充感受野，其结构如图3。在满足预处理需求的前提下，3层编码器-解码器结构的训练参数量较少，不会带来更多的训练负担。
2.3 GGGAN与预训练模块的结合
预训练模型和GGGAN的生成器构成的网络结构如图4所示，预处理模块放在此结构之前。
计算模糊图像预处理后输出IX与清晰图像IY之间的结构相似性指标[19]
SSIMpre(IX,IY)=2μXμY+C1μ2X+μ2Y+C1⋅2σXσY+C2σ2X+σ2Y+C2⋅σXY+C3σXσY+C3 (1) 其中，μX,μY分别表示图像IX和IY的像素值均值，σX,σY分别表示图像IX和IY的像素值标准均方差，σXY表示图像IX和IY的协方差；C1, C2, C3为常数，C1=6.5025, C2=58.5225, C3=0.5C2。
将SSIMpre加入到损失函数中，参与回传，以此指导训练中参数的调整。损失函数即为预处理损失Losspre与GGGAN损失LossGG加权之和，即
Loss=Los{s_{pre}}+Los{s_{GG}} (2) 其中
Losspre=1−SSIMpre (3) 为使得两损失函数在同一数量级，以免将另一指标在训练中淹没，选取α=10−3。
3. 实验结果与分析
3.1 实验准备
3.1.1 数据集
采用内窥镜伪影检测(Endoscopy Artifact Detection, EAD)挑战赛数据集[20]以及胶囊胃镜数据集[21](internet-based digital video atlas of capsule endoscopy for research purposes)中的图像作为清晰图像，人为添加运动模糊产生对应的模糊图像，其中运动模糊的范围为平移50～80像素点，旋转模糊核在–40°～40°范围内随机产生，每个图像对的模糊核不同。传统胃镜数据集共有清晰-模糊图像对780组，其中480对为训练集，300对为测试集。胶囊胃镜数据集中共有清晰-模糊图像对2398组，分为训练集1398对，测试集1000对。
由于数据采集过程中采用了随机裁切的方法，无须再对数据集做单独的增广。随机裁切使得训练过程中同一对图像每次输入是不同的，极大程度上避免了过拟合现象的产生，保证了网络的泛化能力。
3.1.2 实验评价指标
为比较不同算法的去模糊效果，本文使用两种评价指标来测量最终结果：峰值信噪比(PSNR)和结构相似度(SSIM)。PSNR是评价图像质量最常用、应用最广泛的客观测量方法[22]。对于灰度图像，给定清晰的图像I和大小为m×n的模糊图像K，均方误差(Mean Square Error, MSE)定义为
MSE=1mnm−1∑i=0n−1∑j=0[I(i,j)−K(i,j)]2 (4) 然后将PSNR(dB)定义为
PSNR=10⋅lg(MAX2IMSE) (5) 其中，MAXI是图像的最大像素值。如果每个像素用8位二进制表示，则为255。对于彩色图像，计算红绿蓝(Red-Green-Blue,RGB)3个通道的MSE，然后除以3得到最终的PSNR值。
SSIM指标是度量两幅图像的结构相似程度，是一种感知模型。与MSE绝对误差不同，它是更符合人类直观感知的图像质量评估标准，可以抵消MSE无法测量图像结构[23]相似性的缺点。SSIM已在损失函数部分中简要介绍，在这里将给出其计算方法。
SSIM公式基于图像的3个关键特征度量：亮度(l(IX,IY))、对比度(c(IX,IY))和结构(s(IX,IY))
l(IX,IY)=2μXμY+C1μ2X + μ2Y+C1 (6) c(IX,IY)=2σXσY+C2σ2X + σ2Y+C2 (7) s(IX,IY)=σXY+C3σXσY+C3 (8) 一般采用C3=0.5C2。C1=(k1L)2, C2=(k2L)2以避免分母为0。L是像素值的范围上限，取255。默认值为k1=0.01, k2=0.03。所以
SSIM(IX,IY)=[l(IX,IY)αc(IX,IY)βs(IX,IY)γ] (9) 以α=β=γ=1为例
SSIM(IX,IY)=(2μXμY+C1)(2σXY+C2)(μ2X+μ2Y+C1)(σ2X+σ2Y+C2) (10) 3.1.3 实验计算资源
本文中，所有进行实验比较的模型都是基于PyTorch框架，并在Intel Xeon E5-2680 v4处理器和2片NVIDIA GeForce RTX 2080 Ti(总计显存为22 GB)的服务器上训练了500000个epoch。
3.2 实验方法
本实验数据中图像尺寸为1349×1079，为适应运行时设备限制的内存占用空间，将图像随机裁切为128×128大小进行训练，生成器和鉴别器的初始学习率均为10−4，在迭代周期分别为50000, 100000, 200000, 300000时进行10−1的衰减。网络的训练过程中采用了小批次训练迭代，批量尺寸(batch size)被设置成4。使用自适应矩估计(Adaptive moment estimation, Adam)优化算法[24]来优化模型参数。在传统胃镜数据集和胶囊胃镜数据集上分别与SRN-DeblurNet, DeblurGAN-v2两种主流的去模糊算法及改进SPSR网络进行了对比。SRN-DeblurNet, DeblurGAN-v2为目前效果较好的开源算法，改进SPSR网络则是将Ma等人[8]的超分辨率网络改为去模糊网络，用来对比算法性能。在胶囊胃镜数据集的实验中，本文增加了迁移测试实验，利用传统胃镜数据集训练好的模型在胶囊胃镜数据集上直接进行测试，对比不同模型的泛化性能。
对传统胃镜数据集进行测试，结果如表1所示。实验结果显示，在数据指标上本文算法比其他方法在两个指标上均有所提升。与对照组中指标较高的DeblurGAN-v2相比较，本文算法将PSNR值从26.55提升至26.89，SSIM值从0.818提升至0.849。
表 1 不同算法在传统胃镜数据集上的指标测试结果SRN-DeblurNet 改进SPSR DeblurGAN-v2 本文算法 峰值信噪比(PSNR) 26.40 26.47 26.55 26.89 结构相似度(SSIM) 0.799 0.815 0.818 0.849 从图5可以看出，SRN-DeblurNet, DeblurGAN-v2方法处理后，图像仍然存在模糊，尤其在消化道中溃疡出血、增生息肉及肠壁边缘处较为明显。改进的SPSR方法虽然在细节生成效果上优于SRN-DeblurNet，但是出现了重影的现象，实际的复原效果也并不理想。本文算法处理后的胃镜图像与SRN-DeblurNet方法和DeblurGAN-v2方法相比不但提高了清晰度，丰富了边缘和纹理信息；还缓解了GAN网络虚构出的重影现象，复原图像更加贴近真实的清晰图像，在胃内粘液、出血和褶皱等细节处，本文算法有更好的表现力。
表2为不同算法在胶囊胃镜数据集上的指标测试结果，从表2实验数据可以看出，本文算法在不同的数据上也能有更好的表现力。在评价指标方面，本文算法训练后的PSNR和SSIM值分别达到了29.04和0.826，高于SRN-DeblurNet的28.01和0.795，也高于改进SPSR的28.70和0.771以及DeblurGAN-v2的28.81和0.813；迁移测试中，本文算法在传统胃镜数据集上的PSNR和SSIM值分别为28.83和0.801，高于其他3种对比算法SRN-DeblurNet、改进SPSR和DeblurGAN-v2。
表 2 不同算法在胶囊胃镜数据集上的指标测试结果SRN-DeblurNet 改进SPSR DeblurGAN-v2 本文算法 峰值信噪比(PSNR) 迁移 26.93 28.33 28.79 28.83 训练 28.01 28.70 28.81 29.04 结构相似度(SSIM) 迁移 0.777 0.767 0.783 0.801 训练 0.795 0.771 0.813 0.826 从图6标识迁移的图像是使用光学胃镜数据集训练后直接在胶囊胃镜数据集上迁移测试的结果，标识训练的图像是使用胶囊胃镜数据集训练并测试得到的结果，本文算法在胶囊胃镜数据集上直接训练实验及迁移测试复原的胃镜图像效果均优于SRN-DeblurNet、改进SPSR和DeblurGAN-v2 3种对比算法，在毛细血管、局部溃疡等细节变化多的位置最为明显。
4. 结束语
本文提出一种基于梯度指导生成对抗网络的内镜图像去模糊算法并对损失函数进行了改进，通过梯度信息指导模糊图像的复原，缓解了结构变形和虚构重影的现象；设计了预处理网络来纠正过度模糊，提高训练效率。通过在传统光学胃镜和胶囊内镜的数据集上进行训练和测试，检验其性能。实验结果表明，在性能指标方面，本文算法的PSNR值及SSIM值较SRN-DeblurNet和DeblurGAN-v2等均有所提升，且迁移测试效果也优于上述算法。直接视觉评估，本文算法在细节和边缘处有更好的生成效果，缓解了结构变形和虚构重影的现象，视觉效果更好。下一步工作，针对特征提取对全局信息的关注仍然不充分，可考虑采用计算机视觉中近期研究热点Transformer结构，Transformer本身具有很好的全局信息提取能力，与卷积神经网络结合，可更好地整合全局信息和局部信息，预期可获得更好的胃镜图像去模糊效果。
-
表 1 骨干基础网络结构表
重复次数 类别 卷积核 卷积核尺寸 输出特征图大小 Conv 64 7×7/2 208×208 Max 2×2/2 104×104 3 Conv 64 3×3/1 Conv 64 3×3/1 Res 104×104 Conv 128 3×3/2 Conv 128 3×3/1 Res 52×52 3 Conv 128 3×3/1 Conv 128 3×3/1 Res 52×52 Conv 256 3×3/2 Conv 256 3×3/1 Res 26×26 4 Conv 256 3×3/1 Conv 256 3×3/1 Res 26×26 Conv 512 3×3/2 Conv 512 3×3/1 Res 13×13 2 Conv 512 3×3/1 Conv 512 3×3/1 Res 13×13 
下载: 导出CSV
表 2 候选框的宽度和高度表
检测层尺寸(像素) (宽度，高度) (宽度，高度) (宽度，高度) 13×13 (41,103) (53,138) (77,205) 26×26 (30,74) (30,94) (35,84) 104×104 (20,30) (20,51) (27,61)
下载: 导出CSV
表 3 网络模型的对比结果表
模型 mAP(%) FPS ACF+T+THOG 71.49 32 HalFus+TSDCNN 88.24 2.5 TSDCNN+Ada 89.03 1.3 SSD 88.01 42 YOLOv3 91.35 45 YOLOv3-tiny 80.57 155 FPDNet 91.29 68
下载: 导出CSV
-
[1] SAGAR U, RAJA R, and SHEKHAR H. Deep learning for pedestrian detection[J]. International Journal of Scientific and Research Publications, 2019, 9(8): 66–69. doi: 10.29322/IJSRP.9.08.2019.p9212 [2] PRISCILLA C V and SHEILA S P A. Pedestrian detection - A survey[C]. Proceedings of the 1st International Conference on Innovative Computing and Cutting-edge Technologies, Istanbul, Turkey, 2020: 349–358. doi: 10.1007/978-3-030-38501-9_35. [3] CHEN Runxing, WANG Xiaofei, LIU Yong, et al. A survey of pedestrian detection based on deep learning[C]. Proceedings of the 8th International Conference on Communications, Signal Processing, and Systems, Singapore, 2020: 1511–1516. [4] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91–110. doi: 10.1023/B:VISI.0000029664.99615.94 [5] 孙锐, 陈军, 高隽. 基于显著性检测与HOG-NMF特征的快速行人检测方法[J]. 电子与信息学报, 2013, 35(8): 1921–1926. doi: 10.3724/SP.J.1146.2012.01700SUN Rui, CHEN Jun, and GAO Jun. Fast pedestrian detection based on saliency detection and HOG-NMF features[J]. Journal of Electronics &Information Technology, 2013, 35(8): 1921–1926. doi: 10.3724/SP.J.1146.2012.01700 [6] FELZENSZWALB P F, GIRSHICK R B, MCALLESTER D, et al. Object detection with discriminatively trained part- based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627–1645. doi: 10.1109/TPAMI.2009.167 [7] HASTIE T, ROSSET S, ZHU Ji, et al. Multi-class AdaBoost[J]. Statistics and its Interface, 2009, 2(3): 349–360. doi: 10.4310/SII.2009.v2.n3.a8 [8] BREIMAN L. Random forests[J]. Machine Learning, 2001, 45(1): 5–32. doi: 10.1023/A:1010933404324 [9] 陈勇, 刘曦, 刘焕淋. 基于特征通道和空间联合注意机制的遮挡行人检测方法[J]. 电子与信息学报, 2020, 42(6): 1486–1493. doi: 10.11999/JEIT190606CHEN Yong, LIU Xi, and LIU Huanlin. Occluded pedestrian detection based on joint attention mechanism of channel-wise and spatial information[J]. Journal of Electronics &Information Technology, 2020, 42(6): 1486–1493. doi: 10.11999/JEIT190606 [10] REN Jing, REN Rui, GREEN M, et al. Defect detection from X-ray images using a three-stage deep learning algorithm[C]. Proceedings of 2019 IEEE Canadian Conference of Electrical and Computer Engineering, Edmonton, Canada, 2019: 1–4. doi: 10.1109/CCECE.2019.8861944. [11] PAN Meiyan, CHEN Jianjun, WANG Shengli, et al. A novel approach for marine small target detection based on deep learning[C]. Proceedings of the IEEE 4th International Conference on Signal and Image Processing, Wuxi, China, 2019: 395–399. doi: 10.1109/SIPROCESS.2019.8868862. [12] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014: 580–587. doi: 10.1109/CVPR.2014.81. [13] GIRSHICK R. Fast R-CNN[C]. Proceedings of 2015 IEEE International Conference on Computer Vision, Santiago, Chile, 2015: 1440–1448. doi: 10.1109/ICCV.2015.169. [14] REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137–1149. doi: 10.1109/TPAMI.2016.2577031 [15] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 779–788. doi: 10.1109/CVPR.2016.91. [16] REDMON J and FARHADI A. YOLO9000: Better, faster, stronger[C]. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 6517–6525. doi: 10.1109/CVPR.2017.690. [17] REDMON J and FARHADI A. YOLOv3: An incremental improvement[J]. arXiv: 1804.02767, 2018. [18] LIU Wei, ANGUELOV D, ERHAN D, et al. SSD: Single shot multibox detector[C]. Proceedings of the 14th European Conference on Computer Vision, Amsterdam, The Netherlands, 2016: 21–37. doi: 10.1007/978-3-319-46448-0_2. [19] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904–1916. doi: 10.1109/tpami.2015.2389824 [20] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]. Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770–778. doi: 10.1109/CVPR.2016.90. [21] LIU Weiyang, WEN Yandong, YU Zhiding, et al. Large-margin Softmax loss for convolutional neural networks[C]. Proceedings of the 33rd International Conference on Machine Learning, New York, USA, 2016: 507–516. [22] HWANG S, PARK J, KIM N, et al. Multispectral pedestrian detection: Benchmark dataset and baseline[C]. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston, USA, 2015: 1037–1045. doi: 10.1109/CVPR.2015.7298706. [23] KANUNGO T, MOUNT D M, NETANYAHU N S, et al. An efficient K-means clustering algorithm: Analysis and implementation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 881–892. doi: 10.1109/TPAMI.2002.1017616 [24] BOTTOU L. Stochastic gradient descent tricks[M]. Neural Networks: Tricks of the Trade. 2nd ed. Berlin Germany: Springer, 2012: 421–436. doi: 10.1007/978-3-642-35289-8_25. [25] RAHMAN M A and WANG Yang. Optimizing intersection-over-union in deep neural networks for image segmentation[C]. Proceedings of the 12th International Symposium on Advances in Visual Computing, Las Vegas, USA, 2016: 234–244. doi: 10.1007/978-3-319-50835-1_22. [26] KROTOSKY S J and TRIVEDI M M. On color-, infrared-, and multimodal-stereo approaches to pedestrian detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2007, 8(4): 619–629. doi: 10.1109/TITS.2007.908722 [27] LIU Jingjing, ZHANG Shaoting, WANG Shu, et al. Multispectral deep neural networks for pedestrian detection[C]. Proceedings of 2016 British Machine Vision Conference, York, UK, 2016: 73.1–73.13. doi: 10.5244/C.30.73. [28] KÖNIG D, ADAM M, JARVERS C, et al. Fully convolutional region proposal networks for multispectral person detection[C]. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops, Honolulu, USA, 2017: 243–250. doi: 10.1109/CVPRW.2017.36. 期刊类型引用(7)
1. 陈清江，邵菲，王炫钧. 基于边缘引导与特征融合的分阶段图像去模糊. 光电子·激光. 2025(01): 17-26 . 
百度学术2. 潘晓英，廉佳，贺琪琪，薛玉锋，王昊，罗斌. 基于生成对抗网络的蓝光激光刀视频实时上色方法. 武汉大学学报(工学版). 2025(01): 150-162 . 百度学术3. 张建禄，吴超，岳永刚，翟春雨，武剑灵，方国宝. 高电压分解下SF_6断路器气体泄漏快速预警算法研究. 电测与仪表. 2025(03): 104-111 . 百度学术4. 李羽馨，张选德. 基于特征保真网络的图像超分辨研究. 陕西科技大学学报. 2024(01): 161-168 . 百度学术5. 马伟良. 大数据挖掘在移动通信网络故障诊断中的应用研究. 产业与科技论坛. 2024(17): 38-41 . 百度学术6. 徐辛酉，杨晓芳. 生成对抗网络在老照片档案智能化修复中的应用. 档案学通讯. 2024(06): 115-121 . 百度学术7. 严靖易，李小霞，秦佳敏，文黎明，周颖玥. 抽样切分卷积实现跨尺度特征融合及内镜图像去模糊. 计算机应用研究. 2023(04): 1233-1238 . 百度学术其他类型引用(7)
-
下载:
百度学术
计量
- 文章访问数: 1148
- HTML全文浏览量: 736
- PDF下载量: 134
- 被引次数: 14
下载:
