
Citation: | Bo JIA, Xiaoxin FENG, Jun LI, Biting YU, Qian ZHAO, Qi WU. Pilot Iris Recognition Based on Spherical Haar Wavelet and Convolutional Neural Network[J]. Journal of Electronics & Information Technology, 2021, 43(4): 939-947. doi: 10.11999/JEIT190928 |
随着机器视觉的不断发展,各种新兴的生物识别技术开始出现并得到广泛应用,虹膜识别就是其中很有代表性的一种。由于虹膜识别具有唯一性、稳定性、安全性等优点,以及虹膜作为眼球的一部分,一般情况下不会受到损坏,相对于其他生物识别技术来说具有较高的优越性,因此广泛应用于如移动支付、门禁系统以及智能手机和计算机的解锁等涉及身份信息确认的众多场景。但是传统虹膜识别由于拍摄和图像转换等原因准确率并不高,如何提高虹膜识别的准确率和识别速度就成为热门的研究话题。显然,提高虹膜识别有两种有效途径:一是提取更加有效的虹膜特征,二是建立更为有效的分类器。本文的出发点在于,提取一种更加新颖的虹膜球体表面特征,获取更加精细的虹膜球体局部信息。
2002年Ma等人[1]提出使用一组Gabor滤波器来捕获局部和全局虹膜特征,设计一种基于加权欧几里得距离的虹膜特征识别方法,该方法显著改善了识别精度与模型运行时间。Yao等人[2]提出了一种基于改进的Log-Gabor滤波器的虹膜识别算法。由于具有严格带通的特性使得Log-Gabor滤波器比复杂Gabor滤波器更适合于提取虹膜相位特征。Nabti等人[3]采用多尺度边缘检测方法作为预处理步骤以有效地定位虹膜,并提出了一种使用矩不变量的特征向量表示和基于异或运算的快速匹配方法。2012年,Proença等人[4]提出一种基于虹膜颜色和形状的多特征融合识别方案,实现无噪声虹膜动态划分。Santos等人[5]提出1维小波、2维小波、Gabor、局部二值模式(Local Binary Patterns, LBP)和尺度不变特征转换(Scale-Invariant Feature Transform, SIFT)的多特征融合的虹膜识别方法,识别结果得到了显著改善。Tan等人[6]提出结合虹膜纹理、虹膜颜色、皮肤纹理和睫毛分布的虹膜识别方法。这种方法包含了虹膜外部有效特征,但也使得运算更为复杂,且易受干扰。2015年Huo等人[7]提出一种融合Gabor滤波器和直方图变换的虹膜识别方法,该方法也获得了良好的识别效果。2016年Kumar等人[8]提出一种基于2维离散余弦变换(Discrete Cosine Transform, DCT)的虹膜特征提取与识别算法,其中2维DCT可以用于提取虹膜上最具区分度的特征。2019年刘元宁等人[9]使用2维Haar小波提取虹膜纹理特征作为频域特征并与使用二分统计局部二值模式提取的空域特征相结合,提出一种特征加权融合的虹膜识别算法。将Gabor滤波与Haar小波相结合,提取虹膜特征实现虹膜2次识别的方法也能取得较好的效果。
上述方法在不同数据集上都取得了不错的虹膜识别效果,但是这些研究大多使用虹膜平面图像信号,未曾涉及虹膜球体表面信号。虹膜是一种复杂球状体,其表面是一种复杂曲面,而不是一个平面。曲面的几何特征信息是虹膜图像的有效特征信息。显然,研究一种可以表达球体表面信号的方法对于虹膜识别至关重要。球面Haar小波基(Spherical Haar Wavelet, SHW)具有球状表面信号分析能力[10],而目前比较有代表性的SHW主要有以下3种:
第1种是以Bio Haar小波基为代表的半正交球面Haar小波基,其对于平滑的函数和信号具有较好的处理能力,利用其定位特性,可以简单高效地实现很多球面图像处理算法,比如局部平滑和增强。但由于其为半正交小波基,不能使用K最大近似策略(K-largest approximation strategy)得到最佳近似,因此与其他正交或几乎正交(nearly orthogonal)的小波基相比,寻找Bio Haar小波基的最佳近似会更困难。
第2种为以Pseudo Haar小波基为代表的伪Haar小波基,其并不是
第3种是以Nielson和Bonneau小波基为代表的几乎正交球面Haar小波基。当球面三角形域逐渐变为平面时,该类型小波基变为完全正交的小波基,其解决了对称性和完全正交性无法同时实现的问题,同时与Bio Haar小波基相比,在相同的分解尺度下以及使用相同比例的小波系数时,均方根误差更小,在提升了效率的同时计算复杂度并没有增加。但当球面三角网络细分层度较低时,其正交性较差,此时使用其近似球面信号误差较大。
由此可见,大部分球面Haar小波基都不可避免地存在各种缺点,无法保证在各种条件下对球面信号的分析和近似表示始终保持较高的精度。因此,本文聚焦一种正交对称的球面Haar小波基,它可以有效表示虹膜球体表面信号。目前,对正交对称的球面Haar小波基的研究很少见报道。它可以处理复杂拍摄条件下出现曲面扭曲,以及无法获得很好的特征表示等问题。
显然,发展正交且对称的球面Haar小波基对于虹膜识别是一种全新的特征提取方法,具有重要理论意义和巨大的应用价值。正交对称球面Haar小波(Orthogonal and Symmetric Spherical Haar Wavelet, OSSHW)基是以球面内接正八面体为基础使用球面三角形划分球面,并在此基础上构建一种离散的OSSHW基。本文提出一种基于正交对称的Haar小波和卷积神经网络的飞行员虹膜识别方案。使用OSSHW得到的虹膜特征输入卷积神经网络中进行识别,如图1所示。
本文的结构如下:第2节给出球面谐波函数以及各类球面Haar小波基;第3节给出正交且对称的球面Haar小波基的定义与推导过程;第4节给出仿真实验,使用球面谐波函数以及5种不同的球面Haar小波基对球面虹膜信号进行处理,提取虹膜特征,并使用构建深度学习网络实现对虹膜特征的识别,对比球面谐波函数和这些球面Haar小波基的优点与不足;第5节是结论。
考虑由测地球体构造形成的球面三角形
φj,k=χTj,k,˜φj,k=α(Tj,k)−1χTj,k |
(1) |
其中,
ψj,m=2(φj+1,m−Ij+1,m/Ij+1,0φj+1,0) |
(2) |
Nielson小波基是定义在嵌套三角形域上的Haar小波基,其主要特点为“几乎正交”,即当球面三角形域逐渐变为平面时,小波基变为完全正交的小波基。由于小波基的正交性在计算最佳近似时十分重要,在这方面,完全正交的小波基优于半正交小波基,具有几乎正交特性的Nielson小波基就是对半正交小波基的改进。
Bonneau小波基针对Nielson小波基做了改进,Nielson小波基的重构矩阵各项为关于子三角形面积的2次项,Bonneau小波基同样为几乎正交的,但重构矩阵具有更低阶次的系数多项式。
Pseudo Haar小波基根据最优三角Haar小波基构造,球面小波基于测地线构造得到,使用测地平分线划分球面三角形。
φli(ω)={1,ω∈Tli0,其他 |
(3) |
定义3种在第
ψli,0(ω)=φl+14i(ω)−φl+14i+1(ω)−φl+14i+2(ω)+φl+14i+3(ω),ψli,1(ω)=φl+14i(ω)−φl+14i+1(ω)+φl+14i+2(ω)−φl+14i+3(ω),ψli,2(ω)=φl+14i(ω)+φl+14i+1(ω)−φl+14i+2(ω)+φl+14i+3(ω) |
(1) |
球面谐波函数为球坐标下3维拉普拉斯方程角度部分的解,经过归一化后,球面谐波函数可以使用伴随勒让德多项式来表达,即
Yml(θ,φ)=(−1)m√(2l+1)4π(l−|m|)!(l+|m|)!Pml(cosθ)eimφ |
(5) |
定义在球面上的函数
f(θ,φ)=∞∑l=0l∑m=−lCmlYml(θ,φ) |
(6) |
为研究球面谐波函数对于球面信号处理的能力以及使用球面谐波函数提取虹膜特征并用于虹膜识别的效果,本文尝试使用球面谐波函数对球面虹膜信号进行分解和重构,重构后的函数作为原球面虹膜信号的近似,对该近似球面虹膜信号进行可视化,从而可以直观地展示球面谐波函数对球面信号处理的效果。
对球面上的每一个采样点上通过求解伴随勒让德多项式来得到对应的一系列球面谐波基函数的函数值。将每一个采样点从球面坐标映射到2维纹理坐标中,有效地避免纹理扭曲现象,使用映射后的2维纹理坐标获取输入图像的采样点对应的信号值,使用蒙特卡罗积分估算法得到球面谐波基函数与原函数积分的近似值,从而获得系数
根据球面谐波基阶数不同,获得的球面谐波系数的数量也不同,从而使用球面谐波系数对原信号进行近似重构时,效果也相应不同。重构原信号使用如式(7)
˜f(s)=n−1∑l=0l∑m=−lcmlyml(s)=n2∑i=0ciyi(s) |
(7) |
实验中使用虹膜图像作为原始信号,使用球面谐波函数对原信号进行分解,提取球面谐波系数,并使用球面谐波系数进行近似重构,并对重构出的函数进行可视化。
根据图2所示的重构图像可以看出,随着球面谐波基阶数的增加,重构出的球面信号具有越来越多的细节信息,但在阶数为60时,球面谐波系数已经有
OSSHW小波基定义在
子域通过在组成
与Schröder和Sweldens的划分方法不同,OSSHW小波基并未使用测地平分线来确定新的顶点的位置,而是通过保证3个外部的子三角形
球面三角形如图3所示,
τj,k(ω)={1,ω∈Tj,k0,其他 |
(8) |
三角形
αj,k(ω)=∫S2τj,k(ω)dω=∫Tj,kτj,k(ω)dω |
(9) |
对于一个类Haar基,尺度基函数
φj,k=ηj,kτj,k |
(10) |
其中,
⟨φj,k,˜φj,k⟩=δk,k′k,k′∈K(j) |
(11) |
根据
ηj,k=1√αj,k,φj,k=τj,k√αj,k |
(12) |
根据尺度基函数性质,得滤波系数为
hj,k,l=√αkj+1,l√αj,k |
(13) |
根据快速小波变换的理论,小波合成步骤可以通过如式(14)的矩阵形式表示
(λj+1,0λj+1,1λj+1,2λj+1,3)=(hj,0g0j,0g1j,0g2j,0hj,1g0j,1g1j,1g2j,1hj,2g0j,2g1j,2g2j,2hj,3g0j,3g1j,3g2j,3)(λjγ0jγ1jγ2j) |
(14) |
其中,
根据尺度基函数的性质,每一个第
φj,k=∑l∈K(j+1)hj,k,lφj+1,l |
(15) |
同时第
ψj,m=∑l∈K(j+1)gj,m,lφj+1,l |
(16) |
从而可以看出,若要求小波基满足半正交性,即需满足尺度函数与小波函数内积为0,若要求小波基满足正交性,即需满足两个不同的小波函数内积为0,根据内积的线性性质,则滤波系数需满足如式(17)的条件
∑lhj,k,lgj,k,l=0,∑l∑l′gj,k,lgj,k,l′=δl,l′ |
(17) |
在此基础上需满足外部3个子三角形面积相等的条件,此时,合成矩阵满足对称性,合并上文中推导出的小波基的半正交性以及正交性的条件,列出如式(18)的两个等式
0=−c√α1√αp+2a√α1√αp+b√α1√αp,0=c2α1α0+a2+2ab |
(18) |
其中,
假定
ψ0j,k=Λ1Λ0τ0+1Λ1((−2a+1)τ1+aτ2+aτ3) |
(19) |
ψ1j,k=Λ1Λ0τ0+1Λ1(aτ1+(−2a+1)τ2+aτ3) |
(20) |
ψ2j,k=Λ1Λ0τ0+1Λ1(aτ1+aτ2+(−2a+1)τ3) |
(21) |
其中,
为比较各类球面Haar小波基近似球面信号的效果,分别使用Bio Haar小波基、Nielson小波基、Bonneau小波基、Pseudo Haar小波基以及OSSHW小波基对相同的输入信号进行小波变换,使用相同数量的系数对原信号进行最佳近似重构,其中,除半正交基Bio Haar小波基外,其余小波基均可以使用K最大近似策略得到最大的
图4给出了虹膜信号不同球面小波基的两个范数误差与保留系数的关系。由于这些小波基的重构误差相对接近,因此横坐标使用对数坐标轴,以使曲线易于区分和对比。可以看到OSSHW小波基在细分层数为7时误差与Nielson, Bonneau和Pseudo Haar小波基非常接近。在
对于作为球面信号的虹膜图像,当细分层数为3时,小波基之间的差异显著增加。Nielson和Pseudo Haar小波基的
表1给出了使用5种不同球面Haar小波基进行虹膜信号重构
小波基 | 虹膜信号 | ||||
Bio Haar | Nielson | Bonneau | Pseudo Haar | OSSHW | |
1 | 0.2671 | 0.2432 | 0.2448 | 0.2535 | 0.2282 |
2 | 0.1917 | 0.1744 | 0.1717 | 0.1813 | 0.1690 |
3 | 0.2967 | 0.2720 | 0.2716 | 0.2860 | 0.2676 |
4 | 0.2519 | 0.2345 | 0.2340 | 0.2446 | 0.2310 |
5 | 0.2636 | 0.2457 | 0.2483 | 0.2571 | 0.2432 |
实验中使用的虹膜图像部分来自IITD虹膜数据库,另一部分为使用数字CMOS相机采集的东方航空公司飞行员的虹膜图像。由于采集到的虹膜图像通常包含眼睑、睫毛等眼睛的其他部位,同时也包含如拍摄过程中由于反光导致的瞳孔中的亮点等噪声干扰。因此在使用小波变换提取虹膜特征以及识别之前需要对虹膜图像进行预处理,保留虹膜纹理信息的同时尽可能地去除干扰因素。
首先需要对虹膜进行定位,即在一张虹膜图像中确定虹膜的内外边界以及瞳孔的位置。对于虹膜的内外边界,使用Canny边缘检测与Hough变换[12]来确定对应的边界圆。其中,为减小Hough变换的计算量,加快其运算速度,选择合适的比例系数按比例将原图像缩小。之后对虹膜图像进行裁剪,只保留虹膜外边界内部的部分,设定相应的阈值,同样使用Hough变换确定虹膜内边界圆的位置,如图5所示。
完成虹膜的定位后,需要将虹膜图像中的噪声干扰去除。首先,将图像中虹膜内边界内部区域即瞳孔部分的灰度值置为NaN,去除瞳孔中的亮点。对图像进行二值化,可以将睫毛和瞳孔的区域分离出来,由于之前已经得到了虹膜内外边缘的位置信息,因此以眼睛上睫毛为例,可以将瞳孔以上的虹膜外边界以内的区域选为感兴趣区域,在这个区域中检测睫毛,并确定睫毛的最低点。之后对原图像进行水平方向的Canny边缘检测,对得到的边缘图像使用Hough变换检测直线,即可大致确定眼睑的位置。最后将眼睑的位置与睫毛最低点位置比较,即可确定对虹膜图像上部分的裁剪范围,如图6所示。
使用同样的方法对眼睛的下眼睑和睫毛进行检测,并对虹膜图像进行裁剪。同时,以虹膜外边界内部的区域为感兴趣区域创建掩模,从而去除虹膜外边界周围的噪声干扰。为避免虹膜在图像中的位置不同对虹膜识别造成的影响,将虹膜调整到图像中心,即虹膜外边界圆心与图像中心点重合。最终得到图7所示的虹膜图像。
对输入图像信号进行小波变换。可以证明,当层级
从最精细一层的球面三角形开始,4个子三角形的尺度函数系数与分解矩阵相乘即可得到父三角形的尺度函数系数以及小波函数系数,以此类推,即可递归求得所有的系数。之后为方便寻找最大的
本文使用的虹膜图像来自IITD虹膜数据库和中国东方航空公司的飞行员,包括来自112只眼睛的560张图像,每只眼睛5张图像。随机选取80%的图像作为训练集,20%的图像作为测试集。由于卷积神经网络能够更好地处理高维度数据,本文方法OSSHW的小波系数如前文所述细分层数为7时为131072,传统机器学习方法对于这种规模的数据学习非常困难,而卷积神经网络可以构建更有效的模型进行识别[13]。因此本文使用卷积神经网络来学习OSSHW变换提取的虹膜特征。卷积神经网络结构如图8所示。网络结构包含4个卷积层,使用1维卷积,每个卷积层中的卷积核尺寸均为4、步长为1。每个卷积层后连接BN层和池化层,4个卷积层后连接两个全连接层,神经元个数为1024,使用Dropout来防止过拟合,dropout rate设为0.5。
为验证OSSHW+CNN模型的优越性,与部分传统算法[14, 15]以及深度学习算法[16, 17]在IITD虹膜数据集上进行对比,实验采用正确分类率(Correct Classification Rate, CCR)作为评价此虹膜识别系统精确度的指标,表示正确分类次数与总分类次数之比。根据表2中数据,使用球谐函数+CNN进行虹膜识别的准确率为91.07%,显著低于使用5种球面Haar小波基时的准确率。其中Bio Haar小波基的识别准确率最低,仅为95.53%。在球面Haar基中,OSSHW小波基+CNN提供的虹膜识别准确率最高,为98.21%, Nielson+CNN提供的准确率为96.42%, Bonneau+CNN和Pseudo Haar+CNN提供的准确率为97.32%。
与主流虹膜识别算法相比,OSSHW+CNN模型的虹膜识别准确率高于传统算法以及绝大部分深度学习算法,仅仅略逊于IrisConvDeeper算法。而以IrisConvDeeper算法为代表的深度卷积网络均需构建复杂的深度卷积网络用于虹膜图像特征提取,模型的识别准确率及精细特征提取能力很大程度依赖于网络的深度和复杂度,因此具有参数量大、计算复杂度高、模型训练时间长等缺点。与之相比,本文提出的OSSHW小波基与CNN结合的虹膜识别框架主要使用球面小波基对虹膜精细特征进行提取生成特征向量,因此仅需构建包含4层卷积层的CNN模型即可实现对虹膜的高精度识别,训练时间、参数量以及计算复杂度均远远优于上述各类深度学习模型。考虑到虹膜识别系统运行速度等原因,OSSHW的球面细分层级设为5,使得提取的虹膜特征维度适中,保证了识别速度,但并不能完全保留虹膜纹理信息,从而也导致识别准确率优势不够明显。
本文提出一种基于正交对称的球面Harr小波的虹膜识别方法,它能有效地避免平面虹膜图像造成的纹理扭曲现象,提高虹膜识别的准确率。本文的贡献主要归纳如下:
(1)提出一种基于球面Haar小波的使用球面信号来代替平面信号进行虹膜特征学习的方法,它比传统球谐函数以及其他各类球面Haar小波基具有更强的球体表面信息捕获能力。
(2)提出一种正交且对称的球面Haar小波基OSSHW的构建方法,并推导出其尺度基函数和小波基函数。
(3)对比分析了Bio Haar小波基、Nielson小波基、Bonneau小波基和Pseudo Haar小波基对球面虹膜信号进行分解和重构的性能。
(4)提出基于正交且对称的球面Haar小波和CNN的联合学习框架,实现虹膜图像的精确识别,并与主流虹膜识别算法进行比较。实验结果表明,使用具有正交性的球面Haar小波基相对于球谐函数和半正交小波基等各类球面Haar小波基具有更高的准确率。
MA Li, WANG Yunhong, and TAN Tieniu. Iris recognition based on multichannel Gabor filtering[C]. The 5th Asian Conference on Computer Vision, Melbourne, Australia, 2002: 279–283.
|
YAO Peng, LI Jun, YE Xueyi, et al. Iris recognition algorithm using modified log-Gabor filters[C]. The 18th International Conference on Pattern Recognition (ICPR’06), Hong Kong, China, 2006: 461–464.
|
NABTI M and BOURIDANE A. An effective and fast iris recognition system based on a combined multiscale feature extraction technique[J]. Pattern Recognition, 2008, 41(3): 868–879. doi: 10.1016/j.patcog.2007.06.030
|
PROENÇA H and SANTOS G. Fusing color and shape descriptors in the recognition of degraded iris images acquired at visible wavelengths[J]. Computer Vision and Image Understanding, 2012, 116(2): 167–178. doi: 10.1016/j.cviu.2011.10.008
|
SANTOS G and HOYLE E. A fusion approach to unconstrained iris recognition[J]. Pattern Recognition Letters, 2012, 33(8): 984–990. doi: 10.1016/j.patrec.2011.08.017
|
TAN Tieniu, ZHANG Xiaobo, SUN Zhenan, et al. Noisy iris image matching by using multiple cues[J]. Pattern Recognition Letters, 2012, 33(8): 970–977. doi: 10.1016/j.patrec.2011.08.009
|
HUO Guang, LIU Yuanning, ZHU Xiaodong, et al. Secondary iris recognition method based on local energy-orientation feature[J]. Journal of Electronic Imaging, 2015, 24(1): 013033. doi: 10.1117/1.JEI.24.1.013033
|
KUMAR A, POTNIS A, and SINGH A. Iris recognition and feature extraction in iris recognition system by employing 2D DCT[J]. IRJET International Research Journal of Engineering and Technology, 2016, 3(12): 503–510.
|
刘元宁, 刘帅, 朱晓冬, 等. 基于特征加权融合的虹膜识别算法[J]. 吉林大学学报: 工学版, 2019, 49(1): 221–229.
LIU Yuanning, LIU Shuai, ZHU Xiaodong, et al. Iris recognition algorithm based on feature weighted fusion[J]. Journal of Jilin University:Engineering and Technology Edition, 2019, 49(1): 221–229.
|
OUYANG Wanli, ZHAO Tianle, CHAM W K, et al. Fast full-search-equivalent pattern matching using asymmetric haar wavelet packets[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 28(4): 819–833. doi: 10.1109/tcsvt.2016.2629621
|
WU E Q, ZHOU Guirong, ZHU Limin, et al. Rotated sphere haar wavelet and deep contractive auto-encoder network with fuzzy Gaussian SVM for pilot’s pupil center detection[J]. IEEE Transactions on Cybernetics, 2019, 51(1): 332–345. doi: 10.1109/TCYB.2018.2886012
|
XU Guangzhu, ZHANG Zaifeng, and MA Yide. A novel method for iris feature extraction based on intersecting cortical model network[J]. Journal of Applied Mathematics and Computing, 2018, 26(1/2): 341–352.
|
ALOYSIUS N and GEETHA M. A review on deep convolutional neural networks[C]. 2017 International Conference on Communication and Signal Processing (ICCSP), Chennai, India, 2017: 588–592.
|
DHAGE S S, HEGDE S S, MANIKANTAN K, et al. DWT-based feature extraction and radon transform based contrast enhancement for improved iris recognition[J]. Procedia Computer Science, 2015, 45: 256–265. doi: 10.1016/j.procs.2015.03.135
|
BHARATH B V, VILAS A S, MANIKANTAN K, et al. Iris recognition using radon transform thresholding based feature extraction with Gradient-based Isolation as a pre-processing technique[C]. The 9th International Conference on Industrial and Information Systems (ICIIS), Gwalior, India, 2014: 1–8.
|
MINAEE S, ABDOLRASHIDI A. Deepiris: Iris recognition using a deep learning approach[J]. arXiv preprint arXiv: 1907.09380, 2019.
|
CHEN Ying, WANG Wenyuan, ZENG Zhuang, et al. Adapted deep convnets technology for robust iris recognition[J]. Journal of Electronic Imaging, 2019, 28(3): 033008.
|
1. | 薛阳,张舒翔,贾巍,秦瑶. 基于改进Faster RCNN的电缆外护套破损检测. 电子测量技术. 2023(15): 158-164 . ![]() | |
2. | 刁显峰,杜卫平. 小波分解和多尺度形态学的舰船图像自动识别. 舰船科学技术. 2021(16): 169-171 . ![]() |
小波基 | 虹膜信号 | ||||
Bio Haar | Nielson | Bonneau | Pseudo Haar | OSSHW | |
1 | 0.2671 | 0.2432 | 0.2448 | 0.2535 | 0.2282 |
2 | 0.1917 | 0.1744 | 0.1717 | 0.1813 | 0.1690 |
3 | 0.2967 | 0.2720 | 0.2716 | 0.2860 | 0.2676 |
4 | 0.2519 | 0.2345 | 0.2340 | 0.2446 | 0.2310 |
5 | 0.2636 | 0.2457 | 0.2483 | 0.2571 | 0.2432 |