Coarse-to-fine Inspection for Flexo First Item Based on the Electronic Sample
-
摘要: 为了解决柔印首件检验没有基准织物图像作为参照的难点,该文提出一种以电子样稿为参照物的柔印首件“粗-精”检测方法,主要分为粗匹配、精匹配和缺陷检测3个阶段。首先,针对电子样稿与印刷首件内容粗细不一、灰度特性差异大、柔印内容重复率高等问题,融合超点(SuperPoint)与强力匹配(SuperGlue)方法进行粗匹配。然后,针对柔印过程版材伸缩、弯曲引发柔印内容局部偏移的问题,采用归一化互相关(NCC)法微调样稿字符,实现精匹配。最后,提出约束聚类的方法将缺陷检测问题转化为电子样稿与柔印首件差异最小化的问题。对比实验表明,该文方法的柔印首件检测性能要优于其他织物印刷品缺陷检测方法,其漏检率为0,误检率为1.3%,平均Dice系数为0.941,且检测时间仅为2.761 s/pcs,满足实际工程的需求。Abstract: In order to solve the problem that there is no real reference of the fabric image in the flexo first item inspection, a coarse-to-fine inspection method of flexo first item is proposed based on electronic samples, which is mainly divided into three stages: coarse matching, fine matching and defect detection. First, since different thickness of the characters, large differences in gray characteristics, and high repetition of flexo content inherently exist in the electronic sample and the flexo first item, the SuperGlue with SuperPoint are employed for rough matching. Then, a Normalized Cross-Correlation(NCC)-based method is used to fine-tune the electronic sample characters for fine matching, which can deal with local offsets of flexo content are caused by plate expansion and bending in flexo printing process. Finally, a constrained clustering method is proposed to transform the defect detection problem into the problem of minimizing the difference between electronic sample and flexo first item. Comparison experiments show that the proposed method can achieve better inspection performance for flexo first item, with the missed detection rate of 0, the false detection rate of 1.3%, the average Dice coefficient of 0.941, and the inspection time of 2.761 s/pcs. This promising inspection indicates that the proposed method can be well employed in real industries.
-
1. 引言
柔印工艺由于印刷质量好、适用性广、水墨毒性小、生产效率高且生产操作维护简便等特性[1],被广泛应用于包装、标签和装潢印刷等领域。在柔印标签批量生产前,工人每次换班、换产以及设备装调后,都必须经历柔印首检工艺,即印刷的第1件或前几件柔印产品都必须与电子样稿比对检查,以尽早发现印刷质量问题。当前柔印首检采用人工3检制:自检、互检和专检。可是,柔印标签上的印刷内容涉及世界各地语言(超过5000多种文字),且印刷字符内容众多,平均每个标签超过200多个字符。这导致人工质检劳动强度大,耗时耗力,极易漏检,从而造成柔印标签成批超差、返修、报废,引起严重的经济损失。因此,高精度的柔印首件自动检测方法对于柔印工艺具有重要的现实意义。
虽然机器视觉已被广泛应用于织物印刷内容检测[2],但是以往研究更多以印刷正品为模板,检查批量印刷过程中所产生的印刷缺陷[3-8]。Qayum等人[3]采用窗口滑动思想分别提取参考样品图像子块及待检测样品图像子块,采用归一化互相关系数分析两幅图像各子块之间的相关性,最终实现纺织轮转印花图像缺陷检测。Alam等人[4]调用Halcon软件里已有的图像处理函数,经过图像分割、连通域提取、直方图列和面积等特征分析、区域像素点数目计算等步骤完成印花织物缺陷检测。Jing等人[5]通过RGB累积平均法求取计算印花织物的最小周期,以最小周期为滑动窗口对模板图像和待测图像构造高斯金字塔。通过互相关系数和固定阈值设置对印刷品疵点进行定位,并使用拉普拉斯金字塔重建原始图像,得到实际缺陷位置。Ng等人[6]通过直方图均衡对规则纹理的织物图像进行预处理,再以无缺陷的正品织物为参照将预处理后的待测织物图分解为织物纹理图像和缺陷图像,最后通过硬阈值分割缺陷图像完成检测。Kang等人[7]提出了两种检验印花织物的方法。一种使用无缺陷织物图像与Gabor滤波器重建后的图像差异为目标函数,通过遗传算法获取目标函数最小值时的Gabor滤波器参数,无缺陷图和待测图分别使用滤波器进行处理,若待测图灰度值大于无缺陷图对应7×7滑块内的最大值或小于最小值,即为疵点。另一种方法采用梯度下降的思想,通过距离匹配函数求取周期距离,得到印刷织物图像的图案单元,再使用规则条带提取织物单元的特征,实现织物疵点分割。上述方法都是检测重复性高、对称性强的印花类图案,显然难以适用于检测印刷字符种类繁多、重复性低、数目多的柔印首件标签。柔印首件检测无法提供印刷正品,因此这些以标准印刷产品作为对照模板的检测方法必然无法生效。
近年来,因为机器学习可规避人工启发提取特征,已有研究将其应用于织物缺陷检测[9-12]。Hu等人[9]将测试图像分割成若干个尺寸大小相同的图像子块,输入到卷积去噪自编码器网络和哈希编码器中,获得特征向量和哈希码,与样本数据库的哈希码集比较以确定参考图像在原始样本图像中的位置,再使用尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)特征进行匹配,通过灰度标准化、图像差分以及计算Tsallis熵进行阈值分割的方法完成缺陷检测。Chakraborty等人[10]开发了印花织物数据库并使用深度卷积神经网络解决斑点缺陷检测和印刷配准问题。Zhao等人[11]采用Inception-Resnet-V2网络对输入织物图像进行分类,根据分类结果确定待检测区域尺寸和位置,采用Faster R-CNN对待检测区域进行检测,最后得到织物缺陷检测结果。Huang等人[12]首先将织物数据训练SegNet分割网络,然后将其输出作为决策网络DecNet的输入,从而得到织物缺陷检测结果。为了确保模型泛化能力,机器学习方法需构建样本数量众多且正负样本分布均衡的织物图像数据集。但是,柔印首件检测工艺仅能提供1个或几个柔印样品,根本无法构建数据集。
针对上述问题,本文提出一种基于电子样稿的柔印首件“粗-精”检测方法,主要包括粗匹配、精匹配和缺陷检测3个阶段。在粗匹配阶段,为了解决电子样稿与柔印首件内容粗细不一、灰度特性差异大的问题,采用SuperPoint[13]构建图像特征,以潜在凸显两者之间的相似性;然后,采用SuperGlue[14]方法解决两者在匹配时存在的柔印内容重复率高、误匹配点对多的难题。在精匹配阶段,为了解决柔印过程中因版材伸缩、弯曲引发柔印内容局部偏移而导致错检的现象,基于粗匹配结果采用归一化互相关法[15](Normalized Cross Correlation, NCC)对电子样稿的字符或图案进行位置微调寻优。在缺陷检测阶段,以电子样稿分割结果为约束条件,提出约束聚类方法将缺陷检测问题转化为电子样稿与柔印首件差异最小化的优化问题,优化求解后即实现柔印首件自适应检测。
2. 本文提出的方法
2.1 算法框架
本文所提柔印首件“粗-精”检测算法框架如图1所示,主要包括粗匹配、精匹配、缺陷检测3个阶段。在粗匹配阶段,采用SuperPoint分别检测电子样稿和柔印首件的超点特征。然后,采用SuperGlue匹配电子样稿和柔印首件的丰富超点。接着,设计基于NCC匹配方法微调电子样稿,实现电子样稿和柔印首件的精匹配。之后,以微调后电子样稿的阈值化结果为约束条件,提出约束聚类方法将缺陷检测问题转化为电子样稿与柔印首件差异最小化的问题,求解优化问题即可实现柔印首件缺陷自适应检测。
2.2 粗匹配
由于首件检验的特性,不存在印刷正品实物作为标准图像,只能以电子样稿作为参照模板。为了将电子样稿与待测柔印首件匹配对齐,采用SuperPoint 检测提取兴趣点,再采用强力匹配方法计算最优匹配矩阵。
2.2.1 SuperPoint
由于电子样稿与柔印首件内容粗细不一、灰度特性差异大,传统方法提取的特征无法准确描述电子样稿和柔印首件。而SuperPoint采用深度学习网络、以位姿计算损失函数,所以能够更好地表征两幅图像之间的共性特征,并且SuperPoint网络输入图片尺寸无需归一化或者分块,即可处理不同尺寸的输入图像。因此,采用SuperPoint自监督网络提取电子样稿和柔印首件的超点。为了提高泛化能力,在训练阶段对图片进行了随机的缩放和旋转,以进行数据增强。SuperPoint自监督网络训练共分为3个步骤(图2):
(1) 基础检测器预训练。因为虚拟几何形状的角点是可人工标注的,将以标注的集合形状数据集(HPatches[16])作为监督数据训练基础检测器。采用文献[13]的训练策略,以类VGG16[17]作为基础检测器,训练网络参数提取几何形状角点。
(2) 兴趣点标注。采用步骤(1)中预训练的基础检测网络分别提取柔印首件和电子样稿的角点,进行兴趣点标注。
(3) 联合训练。
(a)为了增强网络的泛化能力,对步骤(2)中的柔印首件和电子样稿分别进行N次单应性变换,并通过基础检测器分别标注变换后各图像的兴趣点,构建
C2N 组已知单应性变换关系的图像对,联合训练的初始权重采用在MS-COCO[18]数据集上预训练过的模型参数。(b)联合训练。随机取
C2N 次图像对,每次由抽取的两种不同姿态的兴趣点构建损失函数,以其中一种姿态的兴趣点自标注作为真值,另一种姿态作为观察结果,构建出兴趣点损失函数和描述子损失函数,训练目标需使得匹配点距离小,非匹配点距离大。联合训练后得到SuperPoint检测网络。最终的损失函数为
L(χ,χ′,D,D′,Y,Y′,S)=Lp(χ,Y)+Lp(χ′,Y′)+λLd(D,D′,S) (1) Lp(X,Y)=1HCWCHC,WC∑h=1w=1lp(Xhw,yhw) (2) lp(Xhw,Y)=−lg[exp(Xhwy)65∑k=1exp(Xhwk)] (3) 其中,
Lp 是兴趣点的全卷积交叉熵损失函数,Ld 是描述子的点之间的损失函数,λ 是权重系数。兴趣点损失函数Xhw∈X ,X 是检测的兴趣点点集合,Y 是真值集合,yhw∈Y 。Ld(D,D′,S)=1(HCWC)2⋅HC,WC∑h=1w=1HC,WC∑h′=1w′=1ld(dhw,d′h′w′;shwh′w′) (4) Shwh′w′={1,||^Hphw−ph′w′||≤80,其他 (5) Ld(d,d′,s)=λd⋅s⋅max(0,mp-dTd′)+(1−s)⋅max(0,dTd′-mn) (6) 特征描述子损失函数应用于所有的特征点对,
D 和D′ 是两幅图像的特征描述子集合,其中dhw∈D ,d′h′w′∈D′ ,对点匹配情况的定义如式(5),phw 代表(h,w) 块的中心。^Hphw 代表映射变化后的中心坐标。λd 是平衡不对应点数远多于对应点的权重因子。2.2.2 SuperGlue
由于电子样稿和柔印首件之间存在大量重复的内容信息,而传统匹配方法仅依据各组特征描述子的相似度进行匹配,因此可能造成大量的匹配冗余。因为SuperGlue使用图神经网络和注意力机制并结合分配优化求解方式可以解决复杂的特征匹配问题,所以本文采用SuperGlue方法对电子样稿和柔印首件进行匹配。
如图3所示,SuperGlue采用端到端的训练方式经过以下步骤完成匹配。
(1)输入关键点:由2.2.1节超点提取方法,采用SuperPoint检测网络分别获得电子样稿和柔印首件对应的第
l 个关键点的描述子和坐标位置dFl ,pFl 和dRl,pRl ,使用描述子和位置作为SuperGlue网络的输入。(2)注意力图神经网络:将电子样稿与柔印首件的描述子和坐标位置分别编码成特征匹配向量,利用自注意力与交叉注意力聚合机制来回增强(重复L次)特征向量的匹配性能。
(a) 关键点编码:注意力图神经网络使用Keypoint编码器分别将电子样稿与柔印首件的关键点位置
pFl 和pRl 及其视觉描述符dFl 和dRl 映射到特征向量中0(0)xFl=dFl+MLPenc(pFl) (7) 0(0)xRl=dRl+MLPenc(pRl) (8) 其中,
0(0)xFl和0(0)xRl 分别对应电子样稿和柔印首件的编码形式。MLPenc 为多层感知编码器。(b) 注意力聚合:首先,将电子样稿与柔印首件两幅图像的所有关键点构建为一张完全图,其节点是两幅图像的各个关键点,自边缘是将关键点连接到同一张图像的其他所有关键点,交叉边缘是将其中一张图像的关键点连接到另一图像的所有关键点。其次,与数据库检索的方式(根据某些元素的属性
kj 检索它们的值vj )类似,将自注意力与交叉注意力聚合为以下的加权平均值mε→i mε→i=∑j:(i,j)∈εαijVj (9) 其中,权重
aij 是相似度(即查询索引qi 投影到属性kj 上)的Softmax αij=Softmax(qTikj) (10) 属性、索引和值被计算为图神经网络深度特征的线性映射。如查询关键点
i 在图像Q中,所有源关键点都在图像S 中,(Q,S)∈{F,R}2 ,则有qi=W1(l)XQi+b1 (11) [kjVj]=[W2W3](l)XSj+[b2b3] (12) l 的每个层有映射参数,为电子样稿与柔印首件两幅图像的所有关键点学习和共享。最后,定义多层图神经网络每一层计算更新的表示。例如,令(l)xFi 作为电子样稿图像l 层中元素i的中间表示形式,信息mϵ→i 是整张图中所有关键点{j:(i,j)∈ε }的聚合结果,电子样稿图像中的所有特征传递更新的消息是(l+1)xFi=(l)xFi+MLP([(l)xFi||mϵ→i]) (13) 其中,
[⋅||⋅] 表示串联操作。同样,柔印首件图像上所有特征采用类似的更新形式,来回增强(重复L次)特征向量fFl 和fRl 的特征匹配性能。(3)最佳匹配层:创建一个M×N初始分配矩阵,增加一层垃圾箱通道,即分配矩阵尺寸变为(M+1)×(N+1),为了过滤出错误的匹配点,将不匹配的关键点分配给垃圾箱这个通道。通过Sinkhorn[19]算法迭代求解分配优化问题,得到最优的分配矩阵,再根据分配矩阵每列最大值横、纵坐标对应的特征点对作为匹配点对,采用随机抽样一致性(RANdom SAmple Consensus, RANSAC)方法求仿射变换矩阵,对柔印首件图进行对应仿射变换,完成电子样稿和柔印首件的粗匹配。
2.3 精匹配
粗匹配后的电子样稿与柔印首件图像已基本对齐。但由于柔印过程中版材会发生局部相对偏移,导致柔印首件内容与电子样稿始终存在局部偏差,造成全局仿射变换或透视变换难以实现内容完全对齐。因此,提出一种精匹配策略,通过微调子内容块的位置消除柔印首件内容局部偏差带来的影响,实现两者图像内容的完全对齐。
电子样稿内容清晰、黑白分明,采用固定阈值(阈值为128)即可提取电子样稿的不同文字或图案的子内容块
Fs ,设子内容块的中心点坐标为(Xs,Ys) ,尺寸为(Ws,Hs) 。以Fs 为模板图,在柔印首件图像R 中对应的区域内进行NCC搜索匹配。设变量δ 为搜索扩展基数(δ 与Fs 无关,本文δ =30),则每个搜索点(x,y )对应的NCC计算为ncc(x,y)=Hs/2∑m=−Hs/2Ws/2∑n=−Ws/2f(x+m,y+n)⋅r(m,n)−Hs⋅Ws⋅μf⋅μt{(Hs/2∑m=−Hs/2Ws/2∑n=−Ws/2f2(x+m,y+n)−Hs⋅Ws⋅μ2f)⋅(Hs/2∑m=−Hs/2Ws/2∑n=−Ws/2r2(m,n)−Hs⋅Ws⋅u2t)}1/2 (14) x∈[Xs−δ:Xs+δ],y∈[Ys−δ:Ys+δ] (15) uf(x,y)=1Hs⋅WsHs/2∑m=−Hs/2Ws/2∑n=−Ws/2f(x+m,y+n) (16) ut(x,y)=1Hs⋅WsHs/2∑m=−Hs/2Ws/2∑n=−Ws/2r(m,n) (17) 其中,
f(x+m,y+n) 为电子样稿F 像素点(x+m, y+n) 的灰度值,r(m,n) 为柔印首件图像R 像素点(m,n) 的灰度值,uf(x,y) 和ut(x,y) 分别为电子样稿和柔印首件图像在搜索扩展窗口内的灰度均值,从而得到(2δ+1)×(2δ+1)的ncc(x,y) 相似度矩阵,ncc(x,y) 最大值对应的像素点记为P(xmax,ymax)=argmax(ncc(x,y)) (18) 根据
P(xmax,ymax) 与中心点坐标(Xs,Ys) 得到偏移量ΔP ΔP=(xmax−Xs,ymax−Ys) (19) 将
Fs 平移ΔP ,所有子块按照式(14)—式(19)操作即可完成柔印首件与电子样稿之间的精匹配。2.4 缺陷检测
2.4.1 约束聚类
织物版材的色彩、厚度不一会产生透底现象,导致柔印首件内容分割可能存在错误,因此以微调后的电子样稿阈值化结果为约束条件,提出一种约束聚类方法精准提取柔印首件内容。
将柔印首件图像分割问题转换为与样稿文件分割图差异最小的优化问题,即
T∗=argmin(H−1∑x=0W−1∑y=0abs((Ft(x,y)−Rt(x,y)))) (20) Ft(x,y)={1,F(x,y)≥1280,F(x,y)<128 (21) Rt(x,y)={1,R(x,y)≥T0,R(x,y)<T (22) T∈[min(c1,c2),max(c1,c2)] (23) 其中,F和R分别为“粗-精”匹配后的电子样稿和柔印首件图像,求解满足式(20)的聚类图像Rt即为柔印首件的最佳分割结果。为了减少优化算法的求解时间,采用K均值聚类法(此处K=2)得到聚类中心
c1 ,c2 ,完成柔印首件图像分割的初始化,并且将(c1+c2)/2 作为遗传算法初始化的种子之一,采用遗传算法[20]求解优化问题式(20)。2.4.2 缺陷评估
柔印首件可能因内容笔画断开或油墨局部扩散凸起造成毛刺现象,约束聚类分割难以抑制这种误差,影响后续缺陷检测,因此提出距离变换法进行缺陷评估。
定义边缘距离函数为
Dij=min(||pij−qik||2),qik∈E (24) 其中,
pij 为阈值化后的电子样稿中第i 个目标的第j 个边缘点像素坐标。设该目标最小外接矩形区域为δF ,则qik 为约束聚类后的柔印首件对应δF 区域内轮廓点集合E中的某边缘像素点。则采用以下策略评估
Defect={1,Dij≥Td0 (25) 其中,
Td 为阈值参数。由于柔印首件与电子样稿内容存在微小粗细偏差,且企业实际生产要求疵点超过0.3 mm2就预警,因此本文设置Td 为1.0。采用式(25)电子样稿的所有目标边缘点进行逐点评估对应的柔印首件,即可完成柔印首件的质量检测。3. 实验和结果
3.1 数据集采集和实验平台
在实际工业生产中,本文仅需使用佳能LIDE400扫描仪柔印首件图像,与电子样稿进行比对即可完成柔印首检工作。视觉采集系统要求低,共采集了400张不同产品的柔印首件,其中黑底样本40张,白底样本360张,图像尺寸范围为191×595~2480×3570;正常样品290张,印错40张(错码错字符),印多40张(字符模糊和脏污),印缺30张(字符缺失部分)。实验在以下平台进行:Windows10 64位旗舰操作系统,6核Intel(R) Core(TM) i5-11400H @ 2.70 GHz@3.50 GHz, 16 G内存,GPU: NVIDIA GeForce GTX 1650,以Python3为编程语言。
采用漏检率、误检率、平均Dice系数、平均检测时间(待测样本检测过程的平均用时)等4个指标评价算法性能。为计算漏检率与误检率,定义IoU大于0.5即为检测成功,否则检测失败。
3.2 搜索扩展基数δ的影响
搜索扩展基数δ影响着NCC匹配的搜索区域大小,进而影响柔印首检性能。如表1所示,随着δ增大,检测效果首先有所提升,当δ=30时达到最佳检测效果,但是之后反而下降,而且检测时间也随δ增大而增大。这可能是因为柔印首件各子内容的水平间距大致30个像素而垂直间距则远大于30个像素。因此,综合考虑检测效果和时间,本文选择δ=30。
表 1 搜索扩展基数δ对检测性能的影响10 15 20 25 30 35 40 45 50 误检率(%) 1.9 0.9 0.6 0.4 1.3 0.5 0.8 0.8 1.1 漏检率(%) 2.9 1.1 2.0 2.0 0 1.0 1.8 2.0 2.4 Dice系数 0.879 0.910 0.930 0.936 0.941 0.913 0.882 0.879 0.877 处理时间(s/pcs) 2.281 2.356 2.427 2.452 2.761 2.932 3.231 3.341 3.413 3.3 评估阈值参数Td的影响
由式(11)和式(12)可以看出,Td对本文方法的检测性能有较大影响。如表2所示,误检率随Td增大快速下降且趋向于0,而漏检率随Td增大而增加,Dice系数随Td增大先快速增大又略微减低。综合来看,当Td为1.0时,检测性能最佳。与实际印刷工艺中柔印首件与电子样稿的内容粗细差异约为一个像素点基本一致。
表 2 评估阈值参数Td对缺陷检测结果的影响0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 误检率(%) 42.6 1.3 0.3 0.1 0.1 0.1 0.05 0.02 0.02 漏检率(%) 0 0 5.7 30.4 32.6 40.1 44.6 48.2 49.1 Dice系数 0.548 0.941 0.943 0.941 0.938 0.917 0.912 0.910 0.906 处理时间(s/pcs) 2.643 2.761 2.801 2.842 2.803 2785 2.792 2.853 2.942 3.4 消融实验
从表3可以看出,仅有粗匹配时,误检率高达63.4%,漏检率为28.1%,Dice系数为0.192。因为全局的粗匹配未能解决柔印版材伸缩、弯曲引发的内容局部偏移问题。采用“粗-精”匹配时,漏检率和误检率降低为16.8%和5.5%,Dice系数为0.328,这说明精匹配已经较好地解决了偏移问题。可是,柔印首件透底或背景与字符内容接近可能会导致较多的误检,甚至一定程度的漏检。为此,在融入约束聚类后,本文方法在增加极少检测时间的前提下检测性能大幅度地提升,漏检率甚至降至0。
表 3 消融实验方法 误检率(%) 漏检率(%) Dice系数 检测时间(s/pcs) 粗匹配 63.4 28.1 0.192 2.342 +精匹配 16.8 5.5 0.328 2.743 +精匹配+约束聚类 1.3 0 0.941 2.761 3.5 与其他检测方法的对比
为了验证本文方法的有效性,将本文方法与4种织物缺陷检测方法[21,22,11,12]进行对比(表4)。其中,Faster R-CNN[11]和Seg+DecNet[12]按照训练集为130组、测试集270组进行了数据集的拆分,并且重新进行训练。
文献[19]采用的Surf匹配方法无法解决柔印版材伸缩、弯曲引发柔印内容局部偏移的问题,而且采用的差分法对灰度变换及噪声较为敏感,因此该方法极易引起大量漏检、误检。而结构相似度(Multi-Scale Structural SIMilarity Index, MS-SSIM)方法其匹配环节仅有全局匹配,也无法解决局部偏移问题,且检测尺度过粗,细微缺陷无法检出。因此也仍然存在大量误检。文献[11]采用级联的Faster R-CNN 网络进行缺陷检测,目标检测方法的骨干网络无法避免会经过下采样处理,而柔印首件缺陷尺寸细微,因此小目标的感受野映射回原图时会偏移缺陷的真实区域,造成一定程度的漏检。在图4中,脏污和印错类标签出现大面积检测为缺陷,这是由于电子样稿设计文档没有边框线,人工框选电子样稿时截取边距不一致,导致电子样稿与柔印首件的边距存在偏差。经过“粗-精”匹配后,电子样稿与柔印首件内容已完全对齐,但四周仍存在不同颜色的填充像素。经过此类样本训练的网络,容易出现大面积检测为缺陷的检测效果。实验结果也表明,该方法误检率极高,且存在漏检。文献[12]因为采用了两阶段检测,所以取得了优于Faster R-CNN的效果,但其仍旧无法解决局部偏移及柔印首件和电子样稿的表征差异问题,其误检率为62.3%,漏检率为29.3%,Dice系数为0.443。最后,本文在SuperGlue匹配基础上进行了精匹配微调电子样稿,抑制了局部偏移的影响,同时约束聚类使得本文方法能够在电子样稿的先验分割前提下获得最优的柔印首件缺陷检测效果。而且,本文方法检测时间也仅为2.761 s/pcs。
图4展示了4种典型柔印首件检测效果示例。其中,红色标记为检测出的缺陷。在实际操作过程中,为了便于工人快速定位到红色标记的缺陷,本文方法额外添加了黄色提示框。图4的展示情况与表4中的指标评价是一致的。
4. 结束语
由于柔印首件产品数量极少,且作为参照物的电子样稿与之具有较大的差异性,因此目前人工三检制耗时耗力且极易造成误检、漏检。本文提出一种柔印首件“粗-精”检测方法,采用SuperPoint和SuperGlue将电子样稿和柔印首件进行粗匹配,基于NCC对电子样稿进行微调以抑制局部偏移影响,以微调后电子样稿二值图为约束条件提出约束聚类方法对柔性首件进行最优分割,最后以距离变换法进行缺陷检测。对比实验表明,本文方法能够在合理的时间内高质量地完成柔印首件检测,检测性能高达漏检率为0、误检率1.3%、平均Dice系数为0.941,且检测时间仅为2.761 s/pcs,满足实际工程需求。
但是,本文的柔印首件检测方法依赖于灰度和边缘特征等时间及空间差异,由于柔印首件和电子样稿差异大,仍旧不可避免的存在一定误检,未来的工作将主要针对降低误检率展开,考虑缺陷检测部分采用深度学习网络学习伪缺陷与真实缺件之间内在模式差异,区分伪缺陷,减少误检,从而进一步提升检测性能。
-
表 1 搜索扩展基数δ对检测性能的影响
10 15 20 25 30 35 40 45 50 误检率(%) 1.9 0.9 0.6 0.4 1.3 0.5 0.8 0.8 1.1 漏检率(%) 2.9 1.1 2.0 2.0 0 1.0 1.8 2.0 2.4 Dice系数 0.879 0.910 0.930 0.936 0.941 0.913 0.882 0.879 0.877 处理时间(s/pcs) 2.281 2.356 2.427 2.452 2.761 2.932 3.231 3.341 3.413 表 2 评估阈值参数Td对缺陷检测结果的影响
0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 误检率(%) 42.6 1.3 0.3 0.1 0.1 0.1 0.05 0.02 0.02 漏检率(%) 0 0 5.7 30.4 32.6 40.1 44.6 48.2 49.1 Dice系数 0.548 0.941 0.943 0.941 0.938 0.917 0.912 0.910 0.906 处理时间(s/pcs) 2.643 2.761 2.801 2.842 2.803 2785 2.792 2.853 2.942 表 3 消融实验
方法 误检率(%) 漏检率(%) Dice系数 检测时间(s/pcs) 粗匹配 63.4 28.1 0.192 2.342 +精匹配 16.8 5.5 0.328 2.743 +精匹配+约束聚类 1.3 0 0.941 2.761 -
[1] 李少波, 杨静, 王铮, 等. 缺陷检测技术的发展与应用研究综述[J]. 自动化学报, 2020, 46(11): 2319–2336. doi: 10.16383/j.aas.c180538LI Shaobo, YANG Jing, WANG Zheng, et al. Review of development and application of defect detection technology[J]. Acta Automatica Sinica, 2020, 46(11): 2319–2336. doi: 10.16383/j.aas.c180538 [2] RASHEED A, ZAFAR B, RASHEED A, et al. Fabric defect detection using computer vision techniques: A comprehensive review[J]. Mathematical Problems in Engineering, 2020, 2020: 8189403. doi: 10.1155/2020/8189403 [3] QAYUM M A and NASEER M. A fast approach for finding design repeat in textile rotary printing for fault detection[J]. The Journal of the Textile Institute, 2017, 108(1): 62–65. doi: 10.1080/00405000.2015.1135579 [4] ALAM S M J, HU Guoqing, and ROY S. Analysis of a printed complex image quality checking method of fabric cloth for development of an automated quality checking system[J]. Signal, Image and Video Processing, 2021, 15(1): 195–203. doi: 10.1007/s11760-020-01737-w [5] JING Junfeng and REN Huanhuan. Defect detection of printed fabric based on RGBAAM and image pyramid[J]. Autex Research Journal, 2021, 21(2): 135–141. doi: 10.2478/aut-2020-0007 [6] NG M K, NGAN H Y T, YUAN Xiaoming, et al. Patterned fabric inspection and visualization by the method of image decomposition[J]. IEEE Transactions on Automation Science and Engineering, 2014, 11(3): 943–947. doi: 10.1109/TASE.2014.2314240 [7] KANG Xuejuan, YANG Panpan, and JING Junfeng. Defect detection on printed fabrics via Gabor filter and regular band[J]. Journal of Fiber Bioengineering & Informatics, 2015, 8(1): 195–206. doi: 10.3993/jfbi03201519 [8] 李敏, 崔树芹, 谢治平. 高斯混合模型在印花织物疵点检测中的应用[J]. 纺织学报, 2015, 36(8): 94–98. doi: 10.13475/j.fzxb.20140504105LI Min, CUI Shuqin, and XIE Zhiping. Application of Gaussian mixture model on defect detection of print fabric[J]. Journal of Textile Research, 2015, 36(8): 94–98. doi: 10.13475/j.fzxb.20140504105 [9] HU Xudong, FU Mingyue, ZHU Zhijuan, et al. Unsupervised defect detection algorithm for printed fabrics using content-based image retrieval techniques[J]. Textile Research Journal, 2021, 91(21/22): 2551–2566. doi: 10.1177/00405175211008614 [10] CHAKRABORTY S, MOORE M, and PARRILLO-CHAPMAN L. Automatic defect detection of print fabric using convolutional neural network[J]. arXiv preprint arXiv: 2101.00703, 2021. [11] ZHAO Zhiyong, GUI Kang, and WANG Peimao. Fabric defect detection based on cascade faster R-CNN[C]. The 4th International Conference on Computer Science and Application Engineering, Sanya, China, 2020: 98. [12] HUANG Yanqing, JING Junfeng, and WANG Zhen. Fabric defect segmentation method based on deep learning[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 5005715. doi: 10.1109/TIM.2020.3047190 [13] DETONE D, MALISIEWICZ T, and RABINOVICH A. SuperPoint: Self-supervised interest point detection and description[C]. The IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, Salt Lake City, USA, 2018: 224–236. [14] SARLIN P E, DETONE D, MALISIEWICZ T, et al. SuperGlue: Learning feature matching with graph neural networks[C]. The IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020: 4937–4946. [15] SATOH S. Simple low-dimensional features approximating NCC-based image matching[J]. Pattern Recognition Letters, 2011, 32(14): 1902–1911. doi: 10.1016/j.patrec.2011.07.027 [16] BALNTAS V, LENC K, VEDALDI A, et al. HPatches: A benchmark and evaluation of handcrafted and learned local descriptors[C]. The IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 3852–3861. [17] SIMONYAN K and ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]. 3rd International Conference on Learning Representations, San Diego, USA, 2015. [18] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: Common objects in context[C]. 13th European Conference on Computer Vision, Zurich, Switzerland, 2014: 740–755. [19] CUTURI M. Sinkhorn distances: Lightspeed computation of optimal transport[C]. The 26th International Conference on Neural Information Processing Systems, Lake Tahoe, USA, 2013: 2292–2300. [20] 王勇臻, 陈燕, 于莹莹. 求解多旅行商问题的改进分组遗传算法[J]. 电子与信息学报, 2017, 39(1): 198–205. doi: 10.11999/JEIT160211WANG Yongzhen, CHEN Yan, and YU Yingying. Improved grouping genetic algorithm for solving multiple traveling salesman problem[J]. Journal of Electronics &Information Technology, 2017, 39(1): 198–205. doi: 10.11999/JEIT160211 [21] WANG Yangping, XU Shaowei, ZHU Zhengping, et al. Real-time defect detection method for printed images based on grayscale and gradient differences[J]. Journal of Engineering Science and Technology Review, 2018, 11(1): 180–188. doi: 10.25103/jestr.111.22 [22] TOLBA A S and RAAFAT H M. Multiscale image quality measures for defect detection in thin films[J]. The International Journal of Advanced Manufacturing Technology, 2015,, 79(1/4): 113–122. doi: 10.1007/s00170-014-6758-7 -