
Citation: | Liang ZHANG, Guohong WANG, Xiangyu ZHANG, Siwen LI. Fast-slow Time Domain Joint Processing Suppressing Smeared Spectrum Jamming[J]. Journal of Electronics & Information Technology, 2020, 42(10): 2508-2515. doi: 10.11999/JEIT190734 |
步态识别是一种基于受试者的身体外形和行走方式实现身份认证的生物识别技术,然而现实场景中的相机视角、服装和携带物等因素会导致人体轮廓发生明显变化,从而给步态识别任务带来巨大挑战[1,2]。
根据研究对象的数据类型,步态识别方法可以大致分为两类:基于模型的方法[3–10]和基于表观的方法[11–22]。近年来,基于步态剪影的表观学习方法表现出更为优秀的性能,且占用计算资源更少,因而该类方法逐渐成为主流。当前基于表观的深度步态识别方法大致可以分为3类。第1类方法[14,15]将步态序列当作一个无序的图像帧集合,分别提取帧级特征和集合级特征,并使用水平金字塔映射(Horizontal Pyramid Mapping, HPM)聚合全局和局部特征;第2类方法[16–18]关注于步态特征在空间维度上的划分方式,并利用3D卷积神经网络(Convolutionnal Nerual Network, CNN)以获得全局时空特征和各个身体部分的局部时空表征;第3类方法[19–22]侧重对步态序列进行时间关系建模和运动特性捕捉,尝试设计多尺度时间特征和运动特征提取方法。
通过观察分析,步态剪影的有效信息集中在边缘轮廓,然而上述方法没有针对人体轮廓设计特定的特征提取方法。因此,Liang等人[23]提出GaitEdge,该方法利用语义分割从RGB图像中提取步态剪影,并将剪影中的边缘区域与对应位置的语义分割概率相乘,然后将该边缘与人体内部区域组合以得到边缘增强的步态剪影,但该方法依然缺乏重要的显式运动信息。针对该问题,本文创新性地借助点集配准中的形变场来刻画行走过程中人体轮廓的位移量和位移方向,该形变场不仅能够有效保留人体形态信息,还可以弥补GaitEdge缺乏显式运动信息的问题,为后续获取步态运动特征奠定良好基础。
综上,本文的主要贡献包括:(1)针对步态剪影数据中运动信息不足的问题,本文首次将非刚性点集配准算法引入步态识别,利用人体轮廓形变场提升对运动变化的感知能力,并提出基于形变场和步态剪影的双路径网络模型GaitDef;(2)利用人体轮廓预处理和非刚性点集配准算法从剪影序列中获取人体轮廓形变场,并针对形变场数据的稀疏性,本文在形变场分支中设计多尺度特征提取模块以提升网络对形变场数据的表征能力;(3)针对受试者的行走特性,本文在步态剪影分支中提出帧间差异性特征提取模块以捕捉行走过程中人体的动态变化特征,并构建帧间上下文特征提取模块以提取连续步态帧之间的上下文信息。
GaitDef的网络结构如图1所示,其主要包括形变场特征提取分支、步态剪影特征提取分支,全连接层(Fully Connected Layer, FC)[14–16]和分类器(Classifier)组成。与多数直接将步态剪影作为输入数据的步态识别方法不同,本文利用经过点集配准得到的形变场提升对人体轮廓形状信息和运动特性的表征能力。
形变场和步态剪影数据分别经过特征提取网络得到形变场和步态剪影特征。在形变场分支中,形变场数据依次经过3维卷积(Conv3d)、时间聚合操作(Temporal Aggregation, TA)、多尺度特征提取模块(Multi-Scale Feature Extraction Module, MSFEM)、时间池化(Temporal Pooling, TP)和空间维度GeM(Generalized-Mean)池化。根据求和与拼接这两种特征融合方式,本文将MSFEM模块分别定义为MSFEM A和MSFEM B, MSFEM模块的结构如图2所示。此外,本文针对步态剪影设计了帧间差异性和上下文信息特征提取模块(Adjacent frame difference and Context Feature Extraction Module, ACFEM)。同样,根据特征融合方式将ACFEM模块定义为ACFEM A和ACFEM B,其结构如图3所示。
形变场特征和步态剪影特征通过相加操作得到最终的步态特征,该步态特征依次经过FC层和分类器。本文对全连接层的输出特征计算3元组损失(triplet loss),对分类器输出的结果计算交叉熵损失(cross-entropy loss)。
在经典的非刚性点集匹配算法中,薄板样条鲁棒点匹配算法(Thin-Plate Spline RPM, TPS-RPM)[24]将退火算法、薄板样条和软分配用于空间变换和离群值的剔除,从而获得点集间的对应关系。由于人体轮廓变化是一种典型的非刚性变换,因而本文使用TPS-RPM算法对相邻帧的人体轮廓点进行非刚性点集配准,以刻画相邻帧之间的人体轮廓点对应关系和挖掘受试者在行走过程中所隐含的运动特征。
图4(a)展示了从步态剪影生成形变场的过程,本文首先进行人体轮廓提取,利用等间隔抽样将连续的人体轮廓离散化,然后对相邻帧的轮廓点集合进行配准。人体轮廓配准可视化效果如图4(b)所示,红色圆圈代表前一帧的人体轮廓点,黄色十字代表后一帧的人体轮廓点。
TPS-RPM算法主要包含两个相互迭代的关键步骤:计算点集之间的对应关系M和求解非刚性空间变换函数f。假设两个待配准人体轮廓点集为V={va,a=1,2,⋯,K}和U={ui,i=1,2,⋯,N},其中,va∈R2×1和ui∈R2×1是表示2维空间坐标点的列向量。定义X为中间变换点集,f为V~X的变换函数,V中每个点通过f映射到一个新位置xa=f(va)。点集配准的目标可以表示为最小化2次能量函数E(Z,f)
minZ,fE(Z,f)=minZ,fN∑i=1K∑a=1zai‖ui−f(va)‖2+λ‖Lf‖2−ξN∑i=1K∑a=1zai |
(1) |
Z={zai}是二值矩阵,它表示V和U的对应关系矩阵,如果两个点对应,则该位置值为1,否则为0。
式(1)中第2项的‖Lf‖2是引入的平滑性约束项,其可以表示为
‖Lf‖2=∞∫−∞∞∫−∞[(∂2f∂x2)2+2(∂2f∂x∂y)2+(∂2f∂y2)2]dxdy |
(2) |
第3项用于防止过多的点被判断为野点。λ和ξ是权重参数。TPS-RPM使用关系矩阵M代替Z将整数匹配变换为实数匹配。M的大小为N×K,且M中每个元素mai的取值范围为[0,1],mai越接近1表示两点对应程度越高。则式(1)可以表示为
minM,fE(M,f)=minM,fN∑i=1K∑a=1mai‖ui−f(va)‖2+λ‖Lf‖2−ξN∑i=1K∑a=1mai |
(3) |
在此基础上,迭代更新对应关系矩阵M和变换函数f。首先,根据退火参数w和空间变换f更新对应矩阵M,直至w达到或小于终止温度时终止
mai=1wexp(−(ui−f(va))T(ui−f(va))2w) |
(4) |
然后逐行、逐列对M进行归一化,根据更新后的对应关系矩阵M对变换函数f进行更新
minfE(f)=minfK∑a=1‖ya−f(va)‖2+λ‖Lf‖2 |
(5) |
其中,ya=∑Ni=1maiui,变量ya为点集U根据对应关系矩阵M计算得到va的对应点。
最后,将TPS与式(5)中的能量目标E(f)结合,并展开平滑项‖Lf‖2,即可得到薄板样条能量函数
ETPS(f)=K∑a=1‖ya−f(va)‖2+λ∞∫−∞∞∫−∞[(∂2f∂x2)2+2(∂2f∂x∂y)2+(∂2f∂y2)2]dxdy |
(6) |
相邻帧人体轮廓集合经过配准可以对应关系矩阵M,M记录了从点va移动到点ui过程中水平和垂直方向的位移量。定义输入剪影序列S维度为1×T0×H×W,T0为序列的帧数,H×W代表图像的高度和宽度,通道数1表示剪影为灰度图像。定义点集配准输出的形变场序列D的维度为2×(T0−1)×H×W,通道数2为水平和垂直方向发生的位移量。D记录了相邻两帧人体轮廓点间的对应关系。由于个体间行为习惯和人体形态存在差异,连续帧的形变场序列可以有效表征人体形态变化,提升对人体行为动作的动态感知能力。
人体轮廓形变场虽然可以有效表征人体行走过程中的运动变化量,但其只在人体轮廓离散点上有数据。因此,本文在空间维度上使用多尺度卷积以提升对形变场数据的感知能力和获得高判别力步态特征。形变场分支的网络结构如图1所示,形变场D经过3维卷积和时间聚合操作[16]得到特征fD,该过程可以表示为
fD=FTA(FConv3d(D)) |
(7) |
其中,fD的维度为CTA×TTA×H×W,CTA表示通道数,TTA为压缩后的帧数,FConv3d(⋅)表示卷积核尺寸为k=(3,3,3)的3维卷积。FTA(⋅)为时间聚合操作,它是卷积核为k=(3,3,3),步长为s=(3,1,1)的3维卷积。
由于形变场D中的有效数值只分布在人体轮廓点位置,形变场数据具有稀疏性,针对该特性,本文设计多尺度特征提取模块(MSFEM),该模块的网络结构如图2所示。假设输入特征为fDefInput,其维度为CIn×TIn×H×W。fDefInput分别被送入卷积核尺寸为k=(3,3,3),k=(3,5,5)和k=(3,7,7)的3维卷积。同时,本文对卷积核尺寸为k=(3,5,5)和k=(3,7,7)的两个3维卷积增加残差连接,以增强特征的表征能力。此外,如图2所示,根据该模块的输出特征融合方式(Feature Fusion),本文将MSFEM模块定义为:MSFEM A(元素级特征相加)和MSFEM B(通道维度特征拼接)。
融合后的特征定义为fDefFusion,fDefFusion的特征维度定义为CFusion×TFusion×H×W。然后,fDefFusion经过TP层,在时间维度对特征进行最大池化操作并得到fTP,fTP的维度为CFusion×1×H×W。进一步,fTP被送入GeM层[16]以在空间维度上实现特征压缩,该过程可以表示为
fDefGeM=(F1×1×WAvg((fTP)p))1/1pp |
(8) |
其中,fDefGeM为形变场分支最终的输出特征,其维度为CFusion×1×H×1,F1×1×WAvg(⋅)表示对W维度的平均池化操作,p是可以随网络训练而不断更新的参数。
步态剪影序列不仅可以有效地反映出人体轮廓的形状特点,同时直接刻画了行走过程中人体的动态变化。本文从帧间动态差异性提取和时间上下文信息增强的角度出发,设计步态剪影特征提取网络分支,该分支的网络结构如图1所示。定义输入剪影序列为S,S的维度为1×T×H×W。S首先经过卷积层和时间聚合层得到fS,然后fS被送入帧间差异性和上下文信息特征提取模块(ACFEM)。
图3是ACFEM模块的网络结构,其输入特征定义为fSilInput,fSilInput的维度为CIn×TIn×H×W。该模块由3部分组成:全局特征提取分支、帧间差异性特征提取分支和上下文信息提取分支。其中,全局特征提取分支由卷积核为k=(3,3,3)的3维卷积和激活函数LeakyReLU构成,用于提取整体特征fSilGlobal_final。
在帧间差异性特征提取分支中,为捕捉连续帧的人体动态变化特性,本文在时间维度上计算fSilInput中相邻帧之间的特征差值并得到fSilDif,fSilDif的维度为CIn×(TIn−1)×H×W,然后使用0值填充得到fSilDif′,其维度为CIn×TIn×H×W。fSilDif′分别经过卷积核为k=(3,3,3)的3维卷积得到动态区域的时空特征和卷积核为k=(1,3,3)的3维卷积得到动态区域的空间特征,两个特征相加后经过激活函数得到增强特征fSilDif_final。
在上下文信息提取分支中,本文对特征fSilInput中相邻帧之间的特征计算均值并得到fSilCont,fSilCont的维度为CIn×(TIn−1)×H×W,使用0值填充得到fSilCont′,其维度为CIn×TIn×H×W。然后,fSilCont′分别经过卷积核k=(3,3,3)的3维卷积以提取时空特征和卷积核k=(3,1,1)的3维卷积以提取时序特征,两个输出特征在经过激活函数后相加得到特征fSilCout_final。此外,如图3所示,根据该模块的输出特征融合方式,将ACFEM模块定义为:ACFEM A(元素级特征相加)和ACFEM B(通道维度特征拼接)。ACFEM模块的输出特征定义为fSilFusion,fSilFusion依次经过TP层和GeM层,得到输出特征fSilGeM,fSilGeM与fDefGeM拥有相同的特征维度。
本文对形变场特征fDefGeM和步态剪影特征fSilGeM进行元素级特征求和并得到融合特征fFusion=fDefGeM+fSilGeM。然后,fFusion依次经过FC层和分类器,其中FC层的输出特征用于计算3元组损失以拉近类内样本的距离和推远类间样本的距离,分类器的输出分类结果用于计算交叉熵损失以约束网络学习身份判别性特征。
对于3元组损失,假设给定一个特征3元组(fa,fp,fq),其中fa和fq属于同一受试者的特征,fa和fp属于不同受试者的特征,当存在H个3元组{Gh|Gh=(fha,fhp,fhq),h=1,2,⋯,H}时,则3元组损失可以表示为
Ltri=1HH∑h=1max(m−d−h+d+h,0) |
(9) |
其中,d+h=‖fha−fhq‖22和d−h=‖fha−fhp‖22表示两个特征间的欧氏距离,m表示边界阈值。
本文中的交叉熵损失可以表示为
Lce=−I∑i=1ziln(pi) |
(10) |
其中,I是身份特征的数量,zi是第i个样本对应的one-hot类型身份标签,pi表示第i个样本的预测概率。
最终,网络训练的总损失Lall可以表示为
Lall=Lce+Ltri |
(11) |
CASIA-B[25]包含了124位受试者在3种行走条件下采集的10组步态数据,其中包括6组正常行走(NM)数据、2组背包行走(BG)数据和2组穿衣行走(CL)数据。并且每组步态数据对应有11个不同视角,即每位受试者共有110组步态序列。其中74位受试者的步态数据用于训练,剩余50位受试者的步态数据用于测试。在测试阶段,每位受试者在NM条件下的前4组数据为验证集(Gallery),剩余6组数据为探针集(Probe)。
CCPG[26]包含了200位受试者的步态数据,每位受试者数据包含7组不同的服装和携带物以及10个不同方位的相机视角,共有室内和室外两种采集场景。其中前100位受试者的步态数据用于训练,剩余100位受试者的步态数据用于测试。测试阶段包含了4种测试场景:全身换装,仅换上装,仅换下装和背包。
网络模型输入的步态剪影尺寸为H×W=64×44,训练阶段中,输入的步态序列长度为T=30,测试阶段将序列中所有帧送入网络架构。3元组损失中边界阈值设为m=0.2,GeM层中的参数p采用与文献[16]相同的设置,初始值设为6.5。在CASIA-B数据集上,MSFEM和ACFEM模块在3个阶段(A,A,B)输出的特征通道数分别为(64,128,128),在CCPG数据集上,设为(64,128,256)。此外,在网络训练阶段,Batchsize设置为8×8=64,其中每组训练数据抽取的受试者人数设置为8,每位受试者中选取的样本数为8。本文采用Adam作为优化器,学习率设置为0.000 1,训练迭代次数(epoch)设置为100K。本文使用的硬件环境为2卡NVIDIA GeForce RTX
本节分别在CASIA-B和CCPG数据集上将GaitDef与近年来先进的步态识别方法进行对比,包括GaitSet[14], GaitGL[16], GaitPart[19],基于上下文敏感的时间特征学习网络(Context-Sensitive Temporal feature Learning network, CSTL)[20], Lagrange[22], MetaGait[27]和GaitGCI-T[28]。由于CSTL, Lagrange, MetaGait和GaitGCI-T等方法仅包含CASIA-B数据集上的实验结果,且尚未提供源码或源码不完整,因此本文在CCPG数据集上仅对GaitSet, GaitPart和GaitGL 3种方法进行实验对比。
在CASIA-B数据集上,GaitDef与对比方法的结果如表1所示。从表1可以看出,在NM, BG和CL条件下,GaitDef的Rank-1识别准确率分别可以达到97.6%, 95.7%和87.2%。其中在NM条件下,本文所提方法超过了GaitSet, GaitPart, GaitGL和Lagrange等4种最先进的方法,略低于CSTL, GaitGCI和MetaGait。在BG条件下,本文所提方法达到了SOTA的性能,与MetaGait和GaitGCI-T相比,GaitDef准确率也分别高出0.5%和0.7%。在CL条件下,GaitDef的识别结果明显高于其他对比方法,分别比MetaGait和GaitGCI-T高出0.3%和0.8%。实验结果表明,虽然MetaGait在NM条件下取得了最优结果,但GaitDef整体表现更优,且GaitDef在应对背包和穿衣场景时可以达到更高的识别准确率。
验证集 NM#1-4 | 0°~180° | 均值 | |||||||||||||
探针集 | 0° | 18° | 36° | 54° | 72° | 90° | 108° | 126° | 144° | 162° | 180° | ||||
NM# 5-6 |
GaitSet | AAAI19 | 90.8 | 97.9 | 99.4 | 96.9 | 93.6 | 91.7 | 95.0 | 97.8 | 98.9 | 96.8 | 85.8 | 95.0 | |
GaitPart | CVPR20 | 94.1 | 98.6 | 99.3 | 98.5 | 94.0 | 92.3 | 95.9 | 98.4 | 99.2 | 97.8 | 90.4 | 96.2 | ||
GaitGL | ICCV21 | 96.0 | 98.3 | 99.0 | 97.9 | 96.9 | 95.4 | 97.0 | 98.9 | 99.3 | 98.8 | 94.0 | 97.4 | ||
CSTL | ICCV21 | 97.2 | 99.0 | 99.2 | 98.1 | 96.2 | 95.5 | 97.7 | 98.7 | 99.2 | 98.9 | 96.5 | 97.8 | ||
Lagrange | CVPR22 | 95.2 | 97.8 | 99.0 | 98.0 | 96.9 | 94.6 | 96.9 | 98.8 | 98.9 | 98.0 | 91.5 | 96.9 | ||
MetaGait | ECCV22 | 97.3 | 99.2 | 99.5 | 99.1 | 97.2 | 95.5 | 97.6 | 99.1 | 99.3 | 99.1 | 96.7 | 98.1 | ||
GaitGCI-T | CVPR23 | – | – | – | – | – | – | – | – | – | – | – | 97.9 | ||
GaitDef | 本文 | 95.3 | 98.1 | 99.2 | 98.0 | 96.7 | 96.0 | 98.6 | 99.4 | 99.2 | 99.1 | 94.1 | 97.6 | ||
BG# 5-6 |
GaitSet | AAAI19 | 83.8 | 91.2 | 91.8 | 88.8 | 83.3 | 81.0 | 84.1 | 90.0 | 92.2 | 94.4 | 79.0 | 87.2 | |
GaitPart | CVPR20 | 89.1 | 94.8 | 96.7 | 95.1 | 88.3 | 94.9 | 89.0 | 93.5 | 96.1 | 93.8 | 85.8 | 91.5 | ||
GaitGL | ICCV21 | 92.6 | 96.6 | 96.8 | 95.5 | 93.5 | 89.3 | 92.2 | 96.5 | 98.2 | 96.9 | 91.5 | 94.5 | ||
CSTL | ICCV21 | 91.7 | 96.5 | 97.0 | 95.4 | 90.9 | 88.0 | 91.5 | 95.8 | 97.0 | 95.5 | 90.3 | 93.6 | ||
Lagrange | CVPR22 | 89.9 | 94.5 | 95.9 | 94.6 | 93.9 | 88.0 | 91.1 | 96.3 | 98.1 | 97.3 | 88.9 | 93.5 | ||
MetaGait | ECCV22 | 92.9 | 96.7 | 97.1 | 96.4 | 94.7 | 90.4 | 92.9 | 97.2 | 98.5 | 98.1 | 92.3 | 95.2 | ||
GaitGCI-T | CVPR23 | – | – | – | – | – | – | – | – | – | – | – | 95.0 | ||
GaitDef | 本文 | 93.8 | 97.0 | 97.1 | 96.7 | 95.8 | 92.5 | 95.2 | 97.5 | 98.3 | 97.0 | 92.0 | 95.7 | ||
CL# 5-6 |
GaitSet | AAAI19 | 61.4 | 75.4 | 80.7 | 77.3 | 72.1 | 70.1 | 71.5 | 73.5 | 73.5 | 68.4 | 50.0 | 70.4 | |
GaitPart | CVPR20 | 70.7 | 85.5 | 86.9 | 83.3 | 77.1 | 72.5 | 76.9 | 82.2 | 83.8 | 80.2 | 66.5 | 78.7 | ||
GaitGL | ICCV21 | 76.6 | 90.0 | 90.3 | 87.1 | 84.5 | 79.0 | 84.1 | 87.0 | 87.3 | 84.4 | 69.5 | 83.6 | ||
CSTL | ICCV21 | 78.1 | 89.4 | 91.6 | 86.6 | 82.1 | 79.9 | 81.8 | 86.3 | 88.7 | 86.6 | 75.3 | 84.2 | ||
Lagrange | CVPR22 | 81.6 | 91.0 | 94.8 | 92.2 | 85.5 | 82.1 | 86.0 | 89.8 | 90.6 | 86.0 | 73.5 | 86.6 | ||
MetaGait | ECCV22 | 80.0 | 91.8 | 93.0 | 87.8 | 86.5 | 82.9 | 85.2 | 90.0 | 90.8 | 89.3 | 78.4 | 86.9 | ||
GaitGCI-T | CVPR23 | – | – | – | – | – | – | – | – | – | – | – | 86.4 | ||
GaitDef | 本文 | 77.8 | 92.8 | 94.2 | 91.0 | 87.7 | 82.7 | 86.4 | 90.1 | 91.9 | 88.5 | 75.6 | 87.2 |
在CCPG数据集上,本文将GaitDef与GaitSet, GaitPart, GaitGL等3个主流步态识别方法进行对比,对比结果如表2所示,所有结果为10个不同方位相机的平均值,且不包括相同相机,其中不同方位的相机对应不同的相机编号。从表2可以看出,在全身换装(CL-FULL)、仅换上装(CL-UP)、仅换下装(CL-DN)和背包(BG)等条件下,GaitDef的Rank-1识别准确率分别可以达到65.4%, 71.1%, 64.5%和72.1%,实验结果在多数相机视角下超过其它方法。在CL-FULL, CL-UP和BG条件下,GaitDef的Rank-1准确率比GaitGL分别高出3.8%, 3.3%和2.6%,实验结果表明GaitDef在换衣和背包场景下可以获得更高的识别准确率。
相机编号 | |||||||||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 均值 | |||
CL-FULL | GaitSet | AAAI19 | 50.6 | 44.7 | 57.0 | 63.8 | 59.2 | 61.4 | 58.3 | 65.9 | 62.5 | 67.4 | 59.1 |
GaitPart | CVPR20 | 49.8 | 42.4 | 56.5 | 60.3 | 58.8 | 62.4 | 56.1 | 63.7 | 62.1 | 66.1 | 57.8 | |
GaitGL | ICCV21 | 56.0 | 47.9 | 60.9 | 65.8 | 60.7 | 64.9 | 58.2 | 67.8 | 68.2 | 65.7 | 61.6 | |
GaitDef | 本文 | 59.3 | 52.3 | 65.4 | 66.5 | 66.3 | 70.3 | 62.9 | 70.1 | 68.5 | 72.3 | 65.4 | |
CL-UP | GaitSet | AAAI19 | 59.2 | 56.0 | 64.2 | 65.2 | 66.8 | 70.7 | 66.0 | 66.3 | 64.5 | 72.2 | 65.1 |
GaitPart | CVPR20 | 58.6 | 52.3 | 62.4 | 65.1 | 65.9 | 68.3 | 61.8 | 65.8 | 64.4 | 67.6 | 63.2 | |
GaitGL | ICCV21 | 61.8 | 59.1 | 67.4 | 68.9 | 68.6 | 72.3 | 65.0 | 71.6 | 73.9 | 69.8 | 67.8 | |
GaitDef | 本文 | 66.1 | 62.4 | 71.2 | 71.2 | 72.7 | 76.8 | 69.3 | 72.9 | 73.0 | 75.6 | 71.1 | |
CL-DN | GaitSet | AAAI19 | 59.9 | 52.9 | 62.7 | 68.0 | 65.1 | 66.3 | 63.7 | 69.6 | 67.6 | 72.4 | 64.8 |
GaitPart | CVPR20 | 58.2 | 49.6 | 61.1 | 65.5 | 64.9 | 68.0 | 60.8 | 66.2 | 69.4 | 69.4 | 63.3 | |
GaitGL | ICCV21 | 63.4 | 51.7 | 63.7 | 65.1 | 63.4 | 67.1 | 59.3 | 68.3 | 71.6 | 66.9 | 64.1 | |
GaitDef | 本文 | 63.8 | 51.2 | 62.5 | 62.5 | 66.8 | 68.9 | 61.2 | 69.1 | 70.0 | 69.4 | 64.5 | |
BG | GaitSet | AAAI19 | 64.3 | 54.8 | 69.9 | 74.1 | 69.6 | 73.3 | 67.5 | 67.7 | 66.2 | 73.6 | 68.1 |
GaitPart | CVPR20 | 62.7 | 56.0 | 67.1 | 68.3 | 70.1 | 72.8 | 63.4 | 67.4 | 65.0 | 72.9 | 66.6 | |
GaitGL | ICCV21 | 64.7 | 55.0 | 71.6 | 72.6 | 67.3 | 74.9 | 66.0 | 74.1 | 73.1 | 75.4 | 69.5 | |
GaitDef | 本文 | 67.6 | 55.2 | 74.1 | 76.0 | 72.3 | 77.0 | 71.2 | 75.2 | 74.6 | 77.8 | 72.1 |
本文在人体轮廓配准前,对人体轮廓进行了等间隔抽样的离散化处理,由于数据集中部分样本的人体轮廓点数少于140个,因此本节在轮廓点抽样时分别设置了4种不同轮廓点数:50个、80个、100个和120个。图5为基于不同抽样点数得到的形变场数据经过形变场分支的实验结果。从中可以发现在NM, BG和CL条件下,步态识别准确率随人体轮廓点数量增加而逐渐提升。其中,在NM条件下,抽样点数为100个时取得了最高识别准确率93.1%。在BG和CL条件下,准确率随轮廓点数增加得到的提升效果更为明显。此外,从对比实验结果中可以发现,即使形变场中只有50个有效数据点,在NM, BG和CL条件下,识别准确率也分别可以达到91.7%, 80.1%和65.4%,进而验证了人体轮廓形变场数据的有效性。
本节分别在CASIA-B和CCPG数据集上进行了网络分支的消融实验以验证不同分支的有效性,该实验中的形变场分支的输入数据为基于120个人体轮廓点得到的形变场。
CASIA-B数据集上的消融实验结果如表3所示。在形变场网络结构中,当MSFEM模块中分别单独使用卷积核尺寸为3, 5和7的卷积层提取形变场特征时,它们在3种状态下的平均Rank-1识别准确率分别可以达到75.7%, 81.5%和81.5%;同时使用两种不同尺寸的卷积核提取步态特征时,识别准确率明显高于单独使用一种尺寸卷积核时的结果;同时使用3种不同尺寸卷积核的卷积提取形变场特征时,其性能达到最优。
网络分支 | 特征提取模块结构 | NM | BG | CL | 均值 |
形变场分支 | MSFEM只使用卷积核尺寸为(3,3,3)的卷积 | 88.9 | 80.2 | 58.1 | 75.7 |
MSFEM只使用卷积核尺寸为(3,5,5)的卷积 | 92.4 | 85.3 | 66.9 | 81.5 | |
MSFEM只包含卷积核尺寸为(3,7,7)的卷积 | 92.4 | 84.8 | 67.3 | 81.5 | |
MSFEM使用卷积核尺寸为(3,3,3)和(3,5,5)的卷积 | 92.5 | 85.7 | 67.6 | 81.9 | |
MSFEM使用卷积核尺寸为(3,3,3)和(3,7,7)的卷积 | 92.8 | 85.4 | 67.3 | 81.8 | |
MSFEM使用卷积核尺寸为(3,5,5)和(7,7,7)的卷积 | 93.1 | 85.7 | 67.9 | 82.2 | |
MSFEM | 93.0 | 86.4 | 69.2 | 82.9 | |
步态剪影分支 | ACFEM只使用全局特征分支 | 96.8 | 94.1 | 84.1 | 91.7 |
ACFEM只使用帧间差异性特征提取分支 | 97.0 | 94.6 | 84.6 | 92.1 | |
ACFEM只使用上下文特征提取分支 | 96.6 | 94.0 | 83.7 | 91.4 | |
ACFEM使用全局特征和帧间差异性特征提取分支 | 97.2 | 95.3 | 86.1 | 92.9 | |
ACFEM使用全局特征和上下文特征提取分支 | 97.2 | 94.7 | 85.2 | 92.4 | |
ACFEM使用帧间差异性特征和上下文特征提取分支 | 97.1 | 95.1 | 86.4 | 92.9 | |
ACFEM | 97.5 | 95.4 | 86.6 | 93.2 | |
特征融合 | 形变场分支(MSFEM)+步态剪影分支(ACFEM) | 97.6 | 95.7 | 87.2 | 93.5 |
在步态剪影分支中,ACFEM分别只使用全局分支、帧间差异性特征提取分支和上下文特征提取分支的Rank-1指标可以达到91.7%, 92.1%和91.4%,其中帧间差异性提取分支的性能最优。同时使用任意两个特征提取分支取得的准确率明显高于单独使用帧间差异性提取分支。在融合3个特征提取分支后,ACFEM在NM, BG和CL条件下可以达到97.5%, 95.4%和86.6%,取得最优结果。
此外,基于形变场和步态剪影的特征融合方法在NM, BG和CL条件下的Rank-1识别准确率分别为97.6%, 95.7%和87.2%,该结果超过了单独使用形变场分支和步态剪影分支,进而验证了特征融合的有效性。
CCPG数据集上的消融实验结果如表4所示。由于换衣对人体轮廓影响较大,并且形变场为离散的轮廓点数据,因此单独使用形变场分支在CL-Full, CL-UP, CL-DN, BG等条件下的Rank-1识别准确率仅为50.5%, 59.8%, 57.5%和61.4%。同时使用形变场和步态剪影分支在4种条件下的平均结果为68.3%,比单独使用形变场和步态剪影分支分别高出11%和3.2%,进而验证了特征融合的有效性。
网络分支 | 特征提取模块结构 | CL-Full | CL-UP | CL-DN | BG | 均值 |
形变场分支 | MSFEM | 50.5 | 59.8 | 57.5 | 61.4 | 57.3 |
步态剪影分支 | ACFEM | 62.0 | 67.5 | 62.8 | 68.2 | 65.1 |
特征融合 | 形变场分支(MSFEM)+步态剪影分支(ACFEM) | 65.4 | 71.1 | 64.5 | 72.1 | 68.3 |
本节分析了3元组损失函数中边界值m对模型的影响,并设置m的取值范围为{0.1,0.2,0.3,0.4,0.5}。由表5可知,不同的边界值m会影响模型在训练阶段的步态特征学习,进而导致模型在测试阶段的性能差异。当m值设置为0.2时,模型的Rank-1识别准确率最高;而当m值设置偏小或偏大,模型性能都会有所下降。
m | NM | BG | CL | 均值 |
0.1 | 97.3 | 95.3 | 85.9 | 92.8 |
0.2 | 97.6 | 95.7 | 87.2 | 93.5 |
0.3 | 97.3 | 94.9 | 84.9 | 92.4 |
0.4 | 97.3 | 94.9 | 85.2 | 92.5 |
0.5 | 97.5 | 95.0 | 84.6 | 92.4 |
本节对比了GaitDef与GaitSet, GaitPart, GaitGL等方法在CASIA-B数据集上的NM, BG和CL 3种条件下的平均识别准确率、模型参数量和浮点计算次数(FLoating Point Operations, FLOPs)。对比结果如表6所示。在步态识别准确率方面,GaitDef的平均Rank-1识别准确率优于其他对比方法;而在模型复杂度方面,由于GaitDef是双分支网络结构,因此GaitDef的模型复杂度较高。形变场分支通过使用多尺度3维卷积提升形变场特征的表征能力,导致该分支模型参数量和FLOPs较高,如何在保持较高识别准确率的条件下设计更为轻量的步态识别模型成为本文未来的研究方向。
方法 | 平均Rank-1 识别准确率 |
参数量 | 浮点计算次数 |
GaitSet | 84.2 | 2.59 | 6.54 |
GaitPart | 88.8 | 1.20 | 113.92 |
GaitGL | 91.8 | 2.49 | 25.24 |
GaitDef(形变场分支) | 82.9 | 8.07 | 136.45 |
GaitDef(步态剪影分支) | 93.2 | 2.48 | 55.91 |
GaitDef(形变场分支+ 步态剪影分支) |
93.5 | 10.55 | 178.38 |
本文将点集配准引入步态识别任务,利用点集配准得到的人体轮廓形变场表征行走过程中人体轮廓的动态变化,对比实验验证了形变场数据的有效性。并在此基础上,提出一种基于人体轮廓形变场的双流步态识别网络结构GaitDef,针对形变场数据的稀疏性设计多尺度特征提取模块,利用多尺度卷积捕捉人体空间特征,针对步态剪影序列提出帧间差异性捕捉模块和上下文信息特征增强模块,以提升网络对行走过程中动态区域变化特性和上下文信息的表征能力,消融实验验证了网络结构的有效性。
SPARROW M J and CIKALO J. ECM techniques to counter pulse compression radar[P]. United States Patent, 7081846, 2006.
|
赵杨, 尚朝轩, 韩壮志, 等. 分数阶傅里叶和压缩感知自适应抗频谱弥散干扰[J]. 电子与信息学报, 2019, 41(5): 1047–1054. doi: 10.11999/JEIT180569
ZHAO Yang, SHANG Chaoxuan, HAN Zhuangzhi, et al. Fractional Fourier transform and compressed sensing adaptive countering smeared spectrum jamming[J]. Journal of Electronics &Information Technology, 2019, 41(5): 1047–1054. doi: 10.11999/JEIT180569
|
卢云龙, 李明, 曹润清, 等. 联合时频分布和压缩感知对抗频谱弥散干扰[J]. 电子与信息学报, 2016, 38(12): 3275–3281. doi: 10.11999/JEIT160919
LU Yunlong, LI Ming, CAO Runqing, et al. Jointing time-frequency distribution and compressed sensing for countering smeared spectrum jamming[J]. Journal of Electronics &Information Technology, 2016, 38(12): 3275–3281. doi: 10.11999/JEIT160919
|
李欣, 王春阳, 原慧, 等. 基于干扰重构和峭度最大化的SMSP干扰抑制方法[J]. 北京航空航天大学学报, 2018, 44(6): 1176–1184. doi: 10.13700/j.bh.1001-5965.2017.0421
LI Xin, WANG Chunyang, YUAN Hui, et al. SMSP jamming suppression method based on jamming reconstruction and kurtosis maximum[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(6): 1176–1184. doi: 10.13700/j.bh.1001-5965.2017.0421
|
尹洪伟, 李国林, 路翠华. 一种基于复值盲分离的欺骗干扰抑制算法[J]. 上海交通大学学报, 2015, 49(10): 1564–1569. doi: 10.16183/j.cnki.jsjtu.2015.10.023
YIN Hongwei, LI Guolin, and LU Cuihua. An algorithm of deception jamming suppression based on complex-value Blind Source Separation[J]. Journal of Shanghai Jiaotong University, 2015, 49(10): 1564–1569. doi: 10.16183/j.cnki.jsjtu.2015.10.023
|
李飞, 李国林, 粘朋雷. 基于盲源分离的雷达信号欺骗干扰抑制[J]. 海军航空工程学院学报, 2015, 30(5): 424–428. doi: 10.7682/j.issn.1673-1522.2015.05.005
LI Fei, LI Guolin, and NIAN Penglei. Radar signal deception jamming suppressing based on Blind Source Separation[J]. Journal of Naval Aeronautical and Astronautical University, 2015, 30(5): 424–428. doi: 10.7682/j.issn.1673-1522.2015.05.005
|
ADAMY D L. EW 104: EW Against A New Generation of Threats[M]. Boston MA: Artech House, 2015: 60-64.
|
HUO Weibo, HUANG Yulin, PEI Jifang, et al. Ship detection from ocean SAR image based on local contrast variance weighted information entropy[J]. Sensors, 2018, 18(4): 1196. doi: 10.3390/s18041196
|
GÖKSU H. Ground moving target recognition using log energy entropy of wavelet packets[J]. Electronics Letters, 2018, 54(4): 233–235. doi: 10.1049/el.2017.4267
|
ZHANG Shuanghui, LIU Yongxiang, and LI Xiang. Autofocusing for sparse aperture ISAR imaging based on joint constraint of sparsity and minimum entropy[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(3): 998–1011. doi: 10.1109/JSTARS.2016.2598880
|
邹本振, 张萌, 王朝. 脉冲压缩雷达的信号包络及检测模型研究[J]. 中国电子科学研究院学报, 2019, 14(1): 55–60. doi: 10.3969/j.issn.1673-5692.2019.01.010
ZOU Benzhen, ZHANG Meng, and WANG Chao. Research on modeling of envelope detection of pulse-compression radar[J]. Journal of CAEIT, 2019, 14(1): 55–60. doi: 10.3969/j.issn.1673-5692.2019.01.010
|
王本庆, 李兴国. LFM信号调频斜率的双正交Fourier变换分析算法[J]. 电子与信息学报, 2009, 31(7): 1620–1623.
WANG Benqing and LI Xingguo. Analysis algorithm to frequency rate of LFM signal based on biorthogonal Fourier transform[J]. Journal of Electronics &Information Technology, 2009, 31(7): 1620–1623.
|
DE SENA A and ROCCHESSO D. A fast Mellin and scale transform[J]. EURASIP Journal on Advances in Signal Processing, 2007, 2007(1): 89170. doi: 10.1155/2007/89170
|
OZAKTAS H M, ARIKAN O, KUTAY M A, et al. Digital computation of the fractional Fourier transform[J]. IEEE Transactions on Signal Processing, 1996, 44(9): 2141–2150. doi: 10.1109/78.536672
|
HATEFFARD F, DOLATI P, HEIDARI A, et al. Assessing the performance of decision tree and neural network models in mapping soil properties[J]. Journal of Mountain Science, 2019, 16(8): 1833–1847. doi: 10.1007/s11629-019-5409-8
|
GARG H and RANI D. A robust correlation coefficient measure of complex intuitionistic fuzzy sets and their applications in decision-making[J]. Applied Intelligence, 2019, 49(2): 496–512. doi: 10.1007/s10489-018-1290-3
|
KRASICHKOV A S, GRIGORIEV E B, NIFONTOV E M, et al. Estimation of acceptable boundaries for the correlation coefficient in the ECG beat classification task[J]. Biomedical Engineering, 2018, 51(6): 389–393. doi: 10.1007/s10527-018-9756-5
|
验证集 NM#1-4 | 0°~180° | 均值 | |||||||||||||
探针集 | 0° | 18° | 36° | 54° | 72° | 90° | 108° | 126° | 144° | 162° | 180° | ||||
NM# 5-6 |
GaitSet | AAAI19 | 90.8 | 97.9 | 99.4 | 96.9 | 93.6 | 91.7 | 95.0 | 97.8 | 98.9 | 96.8 | 85.8 | 95.0 | |
GaitPart | CVPR20 | 94.1 | 98.6 | 99.3 | 98.5 | 94.0 | 92.3 | 95.9 | 98.4 | 99.2 | 97.8 | 90.4 | 96.2 | ||
GaitGL | ICCV21 | 96.0 | 98.3 | 99.0 | 97.9 | 96.9 | 95.4 | 97.0 | 98.9 | 99.3 | 98.8 | 94.0 | 97.4 | ||
CSTL | ICCV21 | 97.2 | 99.0 | 99.2 | 98.1 | 96.2 | 95.5 | 97.7 | 98.7 | 99.2 | 98.9 | 96.5 | 97.8 | ||
Lagrange | CVPR22 | 95.2 | 97.8 | 99.0 | 98.0 | 96.9 | 94.6 | 96.9 | 98.8 | 98.9 | 98.0 | 91.5 | 96.9 | ||
MetaGait | ECCV22 | 97.3 | 99.2 | 99.5 | 99.1 | 97.2 | 95.5 | 97.6 | 99.1 | 99.3 | 99.1 | 96.7 | 98.1 | ||
GaitGCI-T | CVPR23 | – | – | – | – | – | – | – | – | – | – | – | 97.9 | ||
GaitDef | 本文 | 95.3 | 98.1 | 99.2 | 98.0 | 96.7 | 96.0 | 98.6 | 99.4 | 99.2 | 99.1 | 94.1 | 97.6 | ||
BG# 5-6 |
GaitSet | AAAI19 | 83.8 | 91.2 | 91.8 | 88.8 | 83.3 | 81.0 | 84.1 | 90.0 | 92.2 | 94.4 | 79.0 | 87.2 | |
GaitPart | CVPR20 | 89.1 | 94.8 | 96.7 | 95.1 | 88.3 | 94.9 | 89.0 | 93.5 | 96.1 | 93.8 | 85.8 | 91.5 | ||
GaitGL | ICCV21 | 92.6 | 96.6 | 96.8 | 95.5 | 93.5 | 89.3 | 92.2 | 96.5 | 98.2 | 96.9 | 91.5 | 94.5 | ||
CSTL | ICCV21 | 91.7 | 96.5 | 97.0 | 95.4 | 90.9 | 88.0 | 91.5 | 95.8 | 97.0 | 95.5 | 90.3 | 93.6 | ||
Lagrange | CVPR22 | 89.9 | 94.5 | 95.9 | 94.6 | 93.9 | 88.0 | 91.1 | 96.3 | 98.1 | 97.3 | 88.9 | 93.5 | ||
MetaGait | ECCV22 | 92.9 | 96.7 | 97.1 | 96.4 | 94.7 | 90.4 | 92.9 | 97.2 | 98.5 | 98.1 | 92.3 | 95.2 | ||
GaitGCI-T | CVPR23 | – | – | – | – | – | – | – | – | – | – | – | 95.0 | ||
GaitDef | 本文 | 93.8 | 97.0 | 97.1 | 96.7 | 95.8 | 92.5 | 95.2 | 97.5 | 98.3 | 97.0 | 92.0 | 95.7 | ||
CL# 5-6 |
GaitSet | AAAI19 | 61.4 | 75.4 | 80.7 | 77.3 | 72.1 | 70.1 | 71.5 | 73.5 | 73.5 | 68.4 | 50.0 | 70.4 | |
GaitPart | CVPR20 | 70.7 | 85.5 | 86.9 | 83.3 | 77.1 | 72.5 | 76.9 | 82.2 | 83.8 | 80.2 | 66.5 | 78.7 | ||
GaitGL | ICCV21 | 76.6 | 90.0 | 90.3 | 87.1 | 84.5 | 79.0 | 84.1 | 87.0 | 87.3 | 84.4 | 69.5 | 83.6 | ||
CSTL | ICCV21 | 78.1 | 89.4 | 91.6 | 86.6 | 82.1 | 79.9 | 81.8 | 86.3 | 88.7 | 86.6 | 75.3 | 84.2 | ||
Lagrange | CVPR22 | 81.6 | 91.0 | 94.8 | 92.2 | 85.5 | 82.1 | 86.0 | 89.8 | 90.6 | 86.0 | 73.5 | 86.6 | ||
MetaGait | ECCV22 | 80.0 | 91.8 | 93.0 | 87.8 | 86.5 | 82.9 | 85.2 | 90.0 | 90.8 | 89.3 | 78.4 | 86.9 | ||
GaitGCI-T | CVPR23 | – | – | – | – | – | – | – | – | – | – | – | 86.4 | ||
GaitDef | 本文 | 77.8 | 92.8 | 94.2 | 91.0 | 87.7 | 82.7 | 86.4 | 90.1 | 91.9 | 88.5 | 75.6 | 87.2 |
相机编号 | |||||||||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 均值 | |||
CL-FULL | GaitSet | AAAI19 | 50.6 | 44.7 | 57.0 | 63.8 | 59.2 | 61.4 | 58.3 | 65.9 | 62.5 | 67.4 | 59.1 |
GaitPart | CVPR20 | 49.8 | 42.4 | 56.5 | 60.3 | 58.8 | 62.4 | 56.1 | 63.7 | 62.1 | 66.1 | 57.8 | |
GaitGL | ICCV21 | 56.0 | 47.9 | 60.9 | 65.8 | 60.7 | 64.9 | 58.2 | 67.8 | 68.2 | 65.7 | 61.6 | |
GaitDef | 本文 | 59.3 | 52.3 | 65.4 | 66.5 | 66.3 | 70.3 | 62.9 | 70.1 | 68.5 | 72.3 | 65.4 | |
CL-UP | GaitSet | AAAI19 | 59.2 | 56.0 | 64.2 | 65.2 | 66.8 | 70.7 | 66.0 | 66.3 | 64.5 | 72.2 | 65.1 |
GaitPart | CVPR20 | 58.6 | 52.3 | 62.4 | 65.1 | 65.9 | 68.3 | 61.8 | 65.8 | 64.4 | 67.6 | 63.2 | |
GaitGL | ICCV21 | 61.8 | 59.1 | 67.4 | 68.9 | 68.6 | 72.3 | 65.0 | 71.6 | 73.9 | 69.8 | 67.8 | |
GaitDef | 本文 | 66.1 | 62.4 | 71.2 | 71.2 | 72.7 | 76.8 | 69.3 | 72.9 | 73.0 | 75.6 | 71.1 | |
CL-DN | GaitSet | AAAI19 | 59.9 | 52.9 | 62.7 | 68.0 | 65.1 | 66.3 | 63.7 | 69.6 | 67.6 | 72.4 | 64.8 |
GaitPart | CVPR20 | 58.2 | 49.6 | 61.1 | 65.5 | 64.9 | 68.0 | 60.8 | 66.2 | 69.4 | 69.4 | 63.3 | |
GaitGL | ICCV21 | 63.4 | 51.7 | 63.7 | 65.1 | 63.4 | 67.1 | 59.3 | 68.3 | 71.6 | 66.9 | 64.1 | |
GaitDef | 本文 | 63.8 | 51.2 | 62.5 | 62.5 | 66.8 | 68.9 | 61.2 | 69.1 | 70.0 | 69.4 | 64.5 | |
BG | GaitSet | AAAI19 | 64.3 | 54.8 | 69.9 | 74.1 | 69.6 | 73.3 | 67.5 | 67.7 | 66.2 | 73.6 | 68.1 |
GaitPart | CVPR20 | 62.7 | 56.0 | 67.1 | 68.3 | 70.1 | 72.8 | 63.4 | 67.4 | 65.0 | 72.9 | 66.6 | |
GaitGL | ICCV21 | 64.7 | 55.0 | 71.6 | 72.6 | 67.3 | 74.9 | 66.0 | 74.1 | 73.1 | 75.4 | 69.5 | |
GaitDef | 本文 | 67.6 | 55.2 | 74.1 | 76.0 | 72.3 | 77.0 | 71.2 | 75.2 | 74.6 | 77.8 | 72.1 |
网络分支 | 特征提取模块结构 | NM | BG | CL | 均值 |
形变场分支 | MSFEM只使用卷积核尺寸为(3,3,3)的卷积 | 88.9 | 80.2 | 58.1 | 75.7 |
MSFEM只使用卷积核尺寸为(3,5,5)的卷积 | 92.4 | 85.3 | 66.9 | 81.5 | |
MSFEM只包含卷积核尺寸为(3,7,7)的卷积 | 92.4 | 84.8 | 67.3 | 81.5 | |
MSFEM使用卷积核尺寸为(3,3,3)和(3,5,5)的卷积 | 92.5 | 85.7 | 67.6 | 81.9 | |
MSFEM使用卷积核尺寸为(3,3,3)和(3,7,7)的卷积 | 92.8 | 85.4 | 67.3 | 81.8 | |
MSFEM使用卷积核尺寸为(3,5,5)和(7,7,7)的卷积 | 93.1 | 85.7 | 67.9 | 82.2 | |
MSFEM | 93.0 | 86.4 | 69.2 | 82.9 | |
步态剪影分支 | ACFEM只使用全局特征分支 | 96.8 | 94.1 | 84.1 | 91.7 |
ACFEM只使用帧间差异性特征提取分支 | 97.0 | 94.6 | 84.6 | 92.1 | |
ACFEM只使用上下文特征提取分支 | 96.6 | 94.0 | 83.7 | 91.4 | |
ACFEM使用全局特征和帧间差异性特征提取分支 | 97.2 | 95.3 | 86.1 | 92.9 | |
ACFEM使用全局特征和上下文特征提取分支 | 97.2 | 94.7 | 85.2 | 92.4 | |
ACFEM使用帧间差异性特征和上下文特征提取分支 | 97.1 | 95.1 | 86.4 | 92.9 | |
ACFEM | 97.5 | 95.4 | 86.6 | 93.2 | |
特征融合 | 形变场分支(MSFEM)+步态剪影分支(ACFEM) | 97.6 | 95.7 | 87.2 | 93.5 |
网络分支 | 特征提取模块结构 | CL-Full | CL-UP | CL-DN | BG | 均值 |
形变场分支 | MSFEM | 50.5 | 59.8 | 57.5 | 61.4 | 57.3 |
步态剪影分支 | ACFEM | 62.0 | 67.5 | 62.8 | 68.2 | 65.1 |
特征融合 | 形变场分支(MSFEM)+步态剪影分支(ACFEM) | 65.4 | 71.1 | 64.5 | 72.1 | 68.3 |
m | NM | BG | CL | 均值 |
0.1 | 97.3 | 95.3 | 85.9 | 92.8 |
0.2 | 97.6 | 95.7 | 87.2 | 93.5 |
0.3 | 97.3 | 94.9 | 84.9 | 92.4 |
0.4 | 97.3 | 94.9 | 85.2 | 92.5 |
0.5 | 97.5 | 95.0 | 84.6 | 92.4 |
方法 | 平均Rank-1 识别准确率 |
参数量 | 浮点计算次数 |
GaitSet | 84.2 | 2.59 | 6.54 |
GaitPart | 88.8 | 1.20 | 113.92 |
GaitGL | 91.8 | 2.49 | 25.24 |
GaitDef(形变场分支) | 82.9 | 8.07 | 136.45 |
GaitDef(步态剪影分支) | 93.2 | 2.48 | 55.91 |
GaitDef(形变场分支+ 步态剪影分支) |
93.5 | 10.55 | 178.38 |
验证集 NM#1-4 | 0°~180° | 均值 | |||||||||||||
探针集 | 0° | 18° | 36° | 54° | 72° | 90° | 108° | 126° | 144° | 162° | 180° | ||||
NM# 5-6 |
GaitSet | AAAI19 | 90.8 | 97.9 | 99.4 | 96.9 | 93.6 | 91.7 | 95.0 | 97.8 | 98.9 | 96.8 | 85.8 | 95.0 | |
GaitPart | CVPR20 | 94.1 | 98.6 | 99.3 | 98.5 | 94.0 | 92.3 | 95.9 | 98.4 | 99.2 | 97.8 | 90.4 | 96.2 | ||
GaitGL | ICCV21 | 96.0 | 98.3 | 99.0 | 97.9 | 96.9 | 95.4 | 97.0 | 98.9 | 99.3 | 98.8 | 94.0 | 97.4 | ||
CSTL | ICCV21 | 97.2 | 99.0 | 99.2 | 98.1 | 96.2 | 95.5 | 97.7 | 98.7 | 99.2 | 98.9 | 96.5 | 97.8 | ||
Lagrange | CVPR22 | 95.2 | 97.8 | 99.0 | 98.0 | 96.9 | 94.6 | 96.9 | 98.8 | 98.9 | 98.0 | 91.5 | 96.9 | ||
MetaGait | ECCV22 | 97.3 | 99.2 | 99.5 | 99.1 | 97.2 | 95.5 | 97.6 | 99.1 | 99.3 | 99.1 | 96.7 | 98.1 | ||
GaitGCI-T | CVPR23 | – | – | – | – | – | – | – | – | – | – | – | 97.9 | ||
GaitDef | 本文 | 95.3 | 98.1 | 99.2 | 98.0 | 96.7 | 96.0 | 98.6 | 99.4 | 99.2 | 99.1 | 94.1 | 97.6 | ||
BG# 5-6 |
GaitSet | AAAI19 | 83.8 | 91.2 | 91.8 | 88.8 | 83.3 | 81.0 | 84.1 | 90.0 | 92.2 | 94.4 | 79.0 | 87.2 | |
GaitPart | CVPR20 | 89.1 | 94.8 | 96.7 | 95.1 | 88.3 | 94.9 | 89.0 | 93.5 | 96.1 | 93.8 | 85.8 | 91.5 | ||
GaitGL | ICCV21 | 92.6 | 96.6 | 96.8 | 95.5 | 93.5 | 89.3 | 92.2 | 96.5 | 98.2 | 96.9 | 91.5 | 94.5 | ||
CSTL | ICCV21 | 91.7 | 96.5 | 97.0 | 95.4 | 90.9 | 88.0 | 91.5 | 95.8 | 97.0 | 95.5 | 90.3 | 93.6 | ||
Lagrange | CVPR22 | 89.9 | 94.5 | 95.9 | 94.6 | 93.9 | 88.0 | 91.1 | 96.3 | 98.1 | 97.3 | 88.9 | 93.5 | ||
MetaGait | ECCV22 | 92.9 | 96.7 | 97.1 | 96.4 | 94.7 | 90.4 | 92.9 | 97.2 | 98.5 | 98.1 | 92.3 | 95.2 | ||
GaitGCI-T | CVPR23 | – | – | – | – | – | – | – | – | – | – | – | 95.0 | ||
GaitDef | 本文 | 93.8 | 97.0 | 97.1 | 96.7 | 95.8 | 92.5 | 95.2 | 97.5 | 98.3 | 97.0 | 92.0 | 95.7 | ||
CL# 5-6 |
GaitSet | AAAI19 | 61.4 | 75.4 | 80.7 | 77.3 | 72.1 | 70.1 | 71.5 | 73.5 | 73.5 | 68.4 | 50.0 | 70.4 | |
GaitPart | CVPR20 | 70.7 | 85.5 | 86.9 | 83.3 | 77.1 | 72.5 | 76.9 | 82.2 | 83.8 | 80.2 | 66.5 | 78.7 | ||
GaitGL | ICCV21 | 76.6 | 90.0 | 90.3 | 87.1 | 84.5 | 79.0 | 84.1 | 87.0 | 87.3 | 84.4 | 69.5 | 83.6 | ||
CSTL | ICCV21 | 78.1 | 89.4 | 91.6 | 86.6 | 82.1 | 79.9 | 81.8 | 86.3 | 88.7 | 86.6 | 75.3 | 84.2 | ||
Lagrange | CVPR22 | 81.6 | 91.0 | 94.8 | 92.2 | 85.5 | 82.1 | 86.0 | 89.8 | 90.6 | 86.0 | 73.5 | 86.6 | ||
MetaGait | ECCV22 | 80.0 | 91.8 | 93.0 | 87.8 | 86.5 | 82.9 | 85.2 | 90.0 | 90.8 | 89.3 | 78.4 | 86.9 | ||
GaitGCI-T | CVPR23 | – | – | – | – | – | – | – | – | – | – | – | 86.4 | ||
GaitDef | 本文 | 77.8 | 92.8 | 94.2 | 91.0 | 87.7 | 82.7 | 86.4 | 90.1 | 91.9 | 88.5 | 75.6 | 87.2 |
相机编号 | |||||||||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 均值 | |||
CL-FULL | GaitSet | AAAI19 | 50.6 | 44.7 | 57.0 | 63.8 | 59.2 | 61.4 | 58.3 | 65.9 | 62.5 | 67.4 | 59.1 |
GaitPart | CVPR20 | 49.8 | 42.4 | 56.5 | 60.3 | 58.8 | 62.4 | 56.1 | 63.7 | 62.1 | 66.1 | 57.8 | |
GaitGL | ICCV21 | 56.0 | 47.9 | 60.9 | 65.8 | 60.7 | 64.9 | 58.2 | 67.8 | 68.2 | 65.7 | 61.6 | |
GaitDef | 本文 | 59.3 | 52.3 | 65.4 | 66.5 | 66.3 | 70.3 | 62.9 | 70.1 | 68.5 | 72.3 | 65.4 | |
CL-UP | GaitSet | AAAI19 | 59.2 | 56.0 | 64.2 | 65.2 | 66.8 | 70.7 | 66.0 | 66.3 | 64.5 | 72.2 | 65.1 |
GaitPart | CVPR20 | 58.6 | 52.3 | 62.4 | 65.1 | 65.9 | 68.3 | 61.8 | 65.8 | 64.4 | 67.6 | 63.2 | |
GaitGL | ICCV21 | 61.8 | 59.1 | 67.4 | 68.9 | 68.6 | 72.3 | 65.0 | 71.6 | 73.9 | 69.8 | 67.8 | |
GaitDef | 本文 | 66.1 | 62.4 | 71.2 | 71.2 | 72.7 | 76.8 | 69.3 | 72.9 | 73.0 | 75.6 | 71.1 | |
CL-DN | GaitSet | AAAI19 | 59.9 | 52.9 | 62.7 | 68.0 | 65.1 | 66.3 | 63.7 | 69.6 | 67.6 | 72.4 | 64.8 |
GaitPart | CVPR20 | 58.2 | 49.6 | 61.1 | 65.5 | 64.9 | 68.0 | 60.8 | 66.2 | 69.4 | 69.4 | 63.3 | |
GaitGL | ICCV21 | 63.4 | 51.7 | 63.7 | 65.1 | 63.4 | 67.1 | 59.3 | 68.3 | 71.6 | 66.9 | 64.1 | |
GaitDef | 本文 | 63.8 | 51.2 | 62.5 | 62.5 | 66.8 | 68.9 | 61.2 | 69.1 | 70.0 | 69.4 | 64.5 | |
BG | GaitSet | AAAI19 | 64.3 | 54.8 | 69.9 | 74.1 | 69.6 | 73.3 | 67.5 | 67.7 | 66.2 | 73.6 | 68.1 |
GaitPart | CVPR20 | 62.7 | 56.0 | 67.1 | 68.3 | 70.1 | 72.8 | 63.4 | 67.4 | 65.0 | 72.9 | 66.6 | |
GaitGL | ICCV21 | 64.7 | 55.0 | 71.6 | 72.6 | 67.3 | 74.9 | 66.0 | 74.1 | 73.1 | 75.4 | 69.5 | |
GaitDef | 本文 | 67.6 | 55.2 | 74.1 | 76.0 | 72.3 | 77.0 | 71.2 | 75.2 | 74.6 | 77.8 | 72.1 |
网络分支 | 特征提取模块结构 | NM | BG | CL | 均值 |
形变场分支 | MSFEM只使用卷积核尺寸为(3,3,3)的卷积 | 88.9 | 80.2 | 58.1 | 75.7 |
MSFEM只使用卷积核尺寸为(3,5,5)的卷积 | 92.4 | 85.3 | 66.9 | 81.5 | |
MSFEM只包含卷积核尺寸为(3,7,7)的卷积 | 92.4 | 84.8 | 67.3 | 81.5 | |
MSFEM使用卷积核尺寸为(3,3,3)和(3,5,5)的卷积 | 92.5 | 85.7 | 67.6 | 81.9 | |
MSFEM使用卷积核尺寸为(3,3,3)和(3,7,7)的卷积 | 92.8 | 85.4 | 67.3 | 81.8 | |
MSFEM使用卷积核尺寸为(3,5,5)和(7,7,7)的卷积 | 93.1 | 85.7 | 67.9 | 82.2 | |
MSFEM | 93.0 | 86.4 | 69.2 | 82.9 | |
步态剪影分支 | ACFEM只使用全局特征分支 | 96.8 | 94.1 | 84.1 | 91.7 |
ACFEM只使用帧间差异性特征提取分支 | 97.0 | 94.6 | 84.6 | 92.1 | |
ACFEM只使用上下文特征提取分支 | 96.6 | 94.0 | 83.7 | 91.4 | |
ACFEM使用全局特征和帧间差异性特征提取分支 | 97.2 | 95.3 | 86.1 | 92.9 | |
ACFEM使用全局特征和上下文特征提取分支 | 97.2 | 94.7 | 85.2 | 92.4 | |
ACFEM使用帧间差异性特征和上下文特征提取分支 | 97.1 | 95.1 | 86.4 | 92.9 | |
ACFEM | 97.5 | 95.4 | 86.6 | 93.2 | |
特征融合 | 形变场分支(MSFEM)+步态剪影分支(ACFEM) | 97.6 | 95.7 | 87.2 | 93.5 |
网络分支 | 特征提取模块结构 | CL-Full | CL-UP | CL-DN | BG | 均值 |
形变场分支 | MSFEM | 50.5 | 59.8 | 57.5 | 61.4 | 57.3 |
步态剪影分支 | ACFEM | 62.0 | 67.5 | 62.8 | 68.2 | 65.1 |
特征融合 | 形变场分支(MSFEM)+步态剪影分支(ACFEM) | 65.4 | 71.1 | 64.5 | 72.1 | 68.3 |
m | NM | BG | CL | 均值 |
0.1 | 97.3 | 95.3 | 85.9 | 92.8 |
0.2 | 97.6 | 95.7 | 87.2 | 93.5 |
0.3 | 97.3 | 94.9 | 84.9 | 92.4 |
0.4 | 97.3 | 94.9 | 85.2 | 92.5 |
0.5 | 97.5 | 95.0 | 84.6 | 92.4 |
方法 | 平均Rank-1 识别准确率 |
参数量 | 浮点计算次数 |
GaitSet | 84.2 | 2.59 | 6.54 |
GaitPart | 88.8 | 1.20 | 113.92 |
GaitGL | 91.8 | 2.49 | 25.24 |
GaitDef(形变场分支) | 82.9 | 8.07 | 136.45 |
GaitDef(步态剪影分支) | 93.2 | 2.48 | 55.91 |
GaitDef(形变场分支+ 步态剪影分支) |
93.5 | 10.55 | 178.38 |