Loading [MathJax]/jax/output/HTML-CSS/jax.js
高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于卷积神经网络的印刷电路板色环电阻检测与定位方法

刘小燕 李照明 段嘉旭 项天远

刘小燕, 李照明, 段嘉旭, 项天远. 基于卷积神经网络的印刷电路板色环电阻检测与定位方法[J]. 电子与信息学报, 2020, 42(9): 2302-2311. doi: 10.11999/JEIT190608
引用本文: 刘小燕, 李照明, 段嘉旭, 项天远. 基于卷积神经网络的印刷电路板色环电阻检测与定位方法[J]. 电子与信息学报, 2020, 42(9): 2302-2311. doi: 10.11999/JEIT190608
Xiaoyan LIU, Zhaoming LI, Jiaxu DUAN, Tianyuan XIANG. Method for Color-ring Resistor Detection and Localization in Printed Circuit Board Based on Convolutional Neural Network[J]. Journal of Electronics & Information Technology, 2020, 42(9): 2302-2311. doi: 10.11999/JEIT190608
Citation: Xiaoyan LIU, Zhaoming LI, Jiaxu DUAN, Tianyuan XIANG. Method for Color-ring Resistor Detection and Localization in Printed Circuit Board Based on Convolutional Neural Network[J]. Journal of Electronics & Information Technology, 2020, 42(9): 2302-2311. doi: 10.11999/JEIT190608

基于卷积神经网络的印刷电路板色环电阻检测与定位方法

doi: 10.11999/JEIT190608
基金项目: 国家自然科学基金(61973108, U1913202),电子制造业智能机器人技术湖南省重点实验室开放基金(IRT2018001)
详细信息
    作者简介:

    刘小燕:女,1973年生,教授,博士生导师,研究方向为图像处理技术及其应用、智能建模与控制

    李照明:男,1996年生,硕士生,研究方向为图像处理技术

    段嘉旭:男,1989年生,博士生,研究方向为深度学习与图像处理技术

    项天远:男,1985年生,博士生,研究方向为机器人控制与信息系统

    通讯作者:

    刘小燕 xiaoyan.liu@hnu.edu.cn

  • 中图分类号: TN911.73; TP391.41

Method for Color-ring Resistor Detection and Localization in Printed Circuit Board Based on Convolutional Neural Network

Funds: The National Natural Fundation of China (61973108, U1913202), The Open fund for Hunan Key Laboratory of Intelligent Robot Technology in Electronic Manufacturing Industry (IRT2018001)
  • 摘要: 色环电阻是印刷电路板(PCB)中最常用的电子元器件之一,主要依靠色环的排列顺序和颜色等视觉信息进行区分,易发生装配错误。但是色环电阻装配质量的人工检测方法效率低、误检率高,而传统的基于图像处理技术的自动检测方法鲁棒性较差,难以解决不同拍摄角度、物距及光照条件下的PCB板色环电阻检测问题。针对这一问题,该文提出一种基于卷积神经网络(CNN)的PCB板色环电阻自动检测与定位方法,首先采用编码器-解码器结构的卷积神经网络模型及带有权重的交叉熵损失函数的网络训练方法,较好地解决了复杂光照及场景下PCB板色环电阻的图像分割问题;然后采用最小面积外接矩形方法定位单个色环电阻,并通过仿射变换对色环电阻位置进行垂直校正;最后通过高斯模板匹配方法实现了色环电阻的色环定位。采用1270幅PCB图像对该文方法进行了实验和验证,并与传统的基于形态学和基于模板匹配的色环电阻检测方法进行了对比,结果表明,该文方法在召回率、准确率及重叠度等性能指标上具有明显优势,处理速度快,能满足实际应用要求。
  • 印刷电路板(Printed Circuit Board, PCB)将电子元器件依照特定规则连接在一起,使其整体实现具体功能,是电子产品不可或缺的基本构成部分[1]。随着高密度PCB板的广泛应用,PCB板上元器件的种类和数量逐渐增多,从而易发生元件缺失、偏移及错件等缺陷[2]。PCB板元器件的人工检测方法存在效率低、误检率较高的缺点,尤其是色环电阻主要依靠色环的排列顺序和颜色等视觉信息进行区分,更易发生装配及检测错误[3]

    针对这一问题,近年来国内外学者将图像处理技术应用于PCB板元器件的自动检测与识别。Gaidhane等人[4]提出了一种基于相似性度量的PCB板表面缺陷检测方法,该方法采用对称矩阵的秩表征待测PCB图像与PCB模板图像的相似度,秩越大,则表示两者差异越大,由此判断待测PCB板是否符合标准。但是,该方法不能对待测PCB板具体元器件(例如电容、电阻等)的缺失或错件进行定位和检测。倪尧等人[5]提出了一种基于电容图像轮廓特征的定位方法,通过阈值分割、边缘检测以及圆形几何特征实现了PCB板上电容的定位。但是该方法需事先从PCB图像中人工选出局部的电容区域图像,不适用于自动检测,且阈值分割算法对光照条件敏感,鲁棒性有待提高。Dong等人[6]采用混沌种群的粒子群优化方法,将待测PCB图像与贴片电阻字符区域的模板图像进行匹配,实现了PCB板上两种型号的贴片电阻的识别与定位。王耀南和姜建国等人[7,8]提出了基于图像模板匹配算法的PCB板上元器件检测方法,通过选取合适的元器件模板图像,根据模板图像与搜索子图的匹配度来识别元器件类型。

    上述方法原则上可对PCB板中贴片电阻和色环电阻等元器件进行定位,但均需先建立待测元器件的模板图像库,且每次只能检测一个元器件。由于PCB上色环电阻种类多,色环颜色有很多组合方式,其图像模板的建立较为困难。此外,由于色环电阻的识别依赖色环颜色特征,当光照条件不同时,同一型号的色环电阻的色环颜色在图像中会呈现差异,因此易导致图像匹配错误、检测失败,这对传统的图像处理算法提出了挑战。文献[9]提出一种基于Ostu分割算法的色环印刷质量的检测方法,但是该方法只能处理简易背景下单个色环电阻的图像,不能从PCB板中检测色环电阻,而且这种基于阈值的图像分割方法很难解决光照强度不同时的色环分割问题。文献[9,10]针对单个色环电阻图像,通过与色环电阻的背景颜色对比定位出色环,然后使用K近邻分类器辨别色环颜色,实现色环电阻的阻值识别。该方法不能从PCB板中检测色环电阻,仅能检测简易背景下的单个色环电阻,且对色环电阻的背景颜色较为敏感,鲁棒性有待进一步提高。

    综上,传统的图像处理算法对于简易背景下的PCB图像中单个元器件的检测是有效的,但是对图像质量要求较高。当图像中元器件种类多、排列紧密,且存在光照不均情况时,算法的准确度和鲁棒性不高。尤其是对于依赖色环颜色进行阻值区分的色环电阻,光照强度及打光方式给其图像分割带来了很大困难,即使同一型号的色环电阻,其色环颜色在图像中也会呈现差异,这对色环电阻的检测与定位提出了挑战。因此有必要研究一种新的图像处理方法来解决不同光照条件下不同布局的多元器件PCB板色环电阻检测与定位问题。

    近年来,随着新一代人工智能技术的迅猛发展,卷积神经网络(Convolutional Neural Network, CNN)为解决上述问题提供了一种思路。与传统的图像处理方法相比,卷积神经网络具有自主学习,鲁棒性强等明显优势,因此在街景图像分割[11,12]、粒状物体图像分割[13]、玻璃表面缺陷检测[14]、目标检测[15-17]等图像处理与分析领域取得了成功的应用。因此,本文针对不同拍摄条件下及不同布局的PCB板色环电阻的检测与定位难题,借鉴文献[11]的编码器-解码器结构,构建了一种轻量级的全卷积神经网络模型,以实现PCB板中色环电阻的快速分割与检测;然后根据卷积神经网络获得的色环电阻分割图像,采用最小外接矩形算法对色环电阻进行定位,并使用仿射变换进行垂直校正;最后通过高斯模板对色环电阻的色环进行定位,实现了PCB板上色环电阻及色环的检测与定位。

    数据集由1270幅彩色PCB原始图像(尺寸为256×256×3)组成(图1所示)。根据PCB制造过程的实际工艺要求,板上元器件应当合理有序地排布。对于色环电阻而言,PCB板上色环电阻大致呈横、纵或横纵交替分布,但是其具体位置及倾斜程度仍然可能存在差异,这一差异对色环电阻上色环的定位造成一定困难。本文数据集中的PCB图像在拍摄角度、光照条件及物距存在较大差异,元器件的类别及布局形式多样,色环电阻的种类、大小与数量也存在较大差异,数据集较为完备。本文选取其中的970幅图像作为训练集,共约5000个色环电阻;150幅图像作为验证集,用于确定合适的模型参数;150幅图像作为测试集,共含有851个色环电阻,用于对本文所提方法进行测试。

    图 1  PCB图像数据集示例

    本文算法的总体流程如图2所示,主要包括(1)色环电阻分割方法和(2)色环电阻及色环定位方法两部分。

    图 2  本文算法的总体流程图

    在图像分割任务中,通常采用全卷积神经网络。Badrinaravanan等人[11]采用编码器-解码器结构(encoder-decoder)的全卷积神经网络,在彩色街景图像分割中取得了较高精度。但是该网络共包含26个卷积层,卷积核数目由64递增1倍,参数众多、运算量大,不能满足对色环电阻快速分割的要求。因此,本文借鉴其编码器-解码器结构,构建了一种轻量级的全卷积神经网络,以满足色环电阻图像分割的精度与速度要求。

    本文的网络模型如图3所示。网络由4层编码器-解码器及Softmax分类器组成,其中每个编码器由卷积层(conv)、归一化层(batch normalization)、激活层(ReLU)以及下采样层(max pooling)构成,每个解码器由上采样层(upsampling)、卷积层、归一化层以及激活层构成。输入为256×256的彩色PCB图像,输出为色环电阻分割图像。

    图 3  编码器-解码器结构的卷积神经网络模型

    本文CNN的主要计算过程:

    (1) 卷积及激活函数:卷积层的卷积核大小为2×2,步长为1,卷积核数目由16递增1倍。激活函数为ReLU激活函数:对于输入x,输出y=max(0,x)

    (2) 下采样与上采样过程:下采样层通过最大值池化将输入特征图缩小2倍,记录局部最大值索引(pooling indices),并输出特征图(max map)。上采样层则结合特征图和局部最大值索引,将特征图扩大2倍,保证输入与输出特征图尺寸一致并减少了上采样过程的计算量。详细计算过程如图4所示。

    图 4  Max pooling与Upsamping计算过程

    (3) 设网络输入和输出分别为x={x1,x2,···,xn}y={y1,y2,···,yn},归一化计算过程如式(1)和式(2)[18]

    ˆxi=xiμσ2+ε (1)
    yi=γˆxi+β (2)

    其中,μ, σ2分别为x的均值与方差,γβ由网络训练得到,ε为非0的极小常量。

    (4) 采用带有权重的交叉熵损失函数来训练网络,其中Softmax分类器的概率函数为

    p(y=j|x;w)=ewj×x/kl=1ewl×x (3)

    其中w为权值参数,k为总类别数,p表示预测结果为j类别时的概率。由于数据中存在不均衡,网络模型的训练过程中会偏向数量多的目标。因此引入种类惩罚与补偿,即数量多的类别权重小于1,反之大于1。权重θc的公式为

    θc=median(fc|cC)/fc (4)

    其中fc表示所有图像中c类别的像素点的总和与含有该类别的所有图像像素点的总和的比值。有权重的交叉熵损失函数Loss(y,ˆy)

    Loss(y,y)=1NNi=12c=1(θicycilgˆyci) (5)

    其中yci表示像素点i的实际类别为c类,ˆyci表示像素点i属于c类的预测概率,θic表示像素点i为类别c时的权重。选择Adam优化算法[19]作为本文的梯度下降算法,将批量大小设定为8,进行200次迭代。

    根据上述卷积神经网络获得的色环电阻分割结果,本文采用图5所示的方法对色环电阻及色环进行定位。首先采用最小面积外接矩形算法获得色环电阻的矩形轮廓,并根据轮廓信息,通过仿射变换将色环电阻统一校正为垂直放置,以便后续的色环定位;最后通过高斯模板匹配方法,定位出色环电阻中的各条色环。

    图 5  色环电阻及色环的定位方法流程图以及中间过程示意图

    具体实现过程如下:

    (1) 基于最小面积外接矩形算法的色环电阻定位方法:通过建立给定目标的凸外形并旋转外形,寻找最小面积的包围矩形。主要计算公式如式(6)

    xv0xv3=msinaxv1xv0=lcosaxv1xv3=2(xpxv3)} (6)

    (2) 色环电阻的垂直校正:采用仿射变换,将色环电阻最小外接矩形的中心点p=(xp,yp)作为旋转中心,逆时针旋转(90a)至垂直,如图6所示。本文仿射变换矩阵M

    图 6  色环电阻最小外接矩形的确定
    M=[αββα(1α)xpβypβyp+(1α)xp] (7)

    其中,α=cos(90a), β=sin(90a)

    (3) 基于高斯匹配的色环定位:对于垂直校正后的色环电阻图像,采用高斯模板匹配方法来定位色环。归一化的高斯模板根据高斯函数G(x)对称轴为极值点向四周逐渐较小的特性,将图像灰度值转换到[0,1][20]n维归一化的高斯模板系数为z=[z1,z2,···,zn]

    G(xi)=12πσnexi22σn2,i[1,n]zn=G(xn)/ni=1G(xi),i[1,n]} (8)

    其中,σn=((n1)×0.51)×0.3+0.8, xi=i(n1)×0.5

    由于色环电阻的宽度与该电阻的色环宽度大致呈比例,因此,本文根据色环电阻的宽度来选取不同等级n的高斯模板,使模板匹配更具有灵活性。采用归一化相关系数匹配法R(u,v)将高斯模板分别与色环电阻RGB三通道的灰度值进行匹配并叠加

    R(u,v)=u+U1x=uv+V1y=v(f(x,y)¯fu,v)(t(xu,yv)¯t)u+U1x=uv+V1y=v(f(x,y)¯fu,v)2u+U1x=uv+V1y=v(t(xu,yv)¯t)2 (9)

    其中,u, v为匹配点,U, V为模板大小,f(x,y)为匹配区域内的灰度值,t(xu,yv)为模板系数,¯t为模板系数均值,¯fu,v为匹配区域中的灰度值均值。

    ¯fu,v=1UVu+U1x=uv+V1y=vf(x,y) (10)

    由于色环灰度值大致处于波谷,因此提取匹配结果小于–0.8的点为待定色环点,由于光照以及边缘阴影的影响,最终将大于1/3色环电阻宽度的色环待定区域作为色环,最终实现了色环的定位。

    为了对上述方法进行性能评价与分析,采用准确率Acc、召回率Recall、精确率Precision、精确率与召回率的加权调和平均F1、重叠度IoU共5个评价指标[21]

    Acc=(TP+TN)/(TP+TN+FP+FN)Recall=TP/(TP+FN)Precision=TP/(TP+FP)F1=2×Precision×Recall/(Precision+Recall)IoU=(AB)/(AB)} (11)

    其中,TP为真正例、FP为假正例、TN为真反例、FN为假反例;AB分别表示预测结果与标注真值。

    本文以python 3.5作为编程语言,在硬件平台16GB的Intel Xeon E2520 v3 CPU和2GB的NVIDIA GTX750i GPU上实现了本文所提方法。采用150幅彩色PCB图像对本文方法进行测试,并与基于形态学的方法[5]和基于模板匹配的方法[8]的结果进行对比,并采用评价指标对各方法性能进行了定量评估,以验证本方法的有效性和优越性。

    图7以6幅PCB图像为例,分别给出了传统的基于形态学的方法[5]、基于模板匹配的方法[8]以及本文所提的基于卷积神经网络方法的PCB色环电阻的分割及检测结果。测试图像中PCB布局多样、色环电阻的种类、数量、拍摄角度、排列方式、光照条件存在较大差异,有助于对算法性能进行验证。其中,图像1中共含有14个色环电阻,并且色环电阻的排布紧密、种类多;图像2和图像3的色环电阻数目分别为6和5,图像中的色环电阻与电容的颜色及轮廓相近,且图像2中色环电阻排列紧密程度存在差异;图像4中色环电阻数目为6,其色环电阻的排列方式不同(存在横向与纵向),而且个别色环电阻存在歪斜以及遮挡情况;图像5的光照较强而且图像模糊,共有5个色环电阻,且色环电阻存在歪斜情况;图像6的光照较弱,含有2个横纵排列的色环电阻,而且图像中阴影较多。

    图 7  本文方法与传统方法的色环电阻分割与检测结果对比

    基于形态学的检测方法由于采用阈值分割,对图像光照、色环颜色以及紧密程度等较为敏感,色环电阻的分割效果差,导致色环电阻的漏检以及误检。如图像1和图像2中仅检测出5个色环电阻,漏检及错检13个。此外,当其它电子器件(如电容)的长宽比与色环电阻相近时,该方法将其误检为色环电阻,如图像3和图像4共出现6次错检现象。并且当光照条件存在较大差异时(如图像5与图像6),图像的阈值分割结果存在边缘粘连情况,导致完全检测不到色环电阻,检测失败。对于6幅待测图像中的38个色环电阻,基于形态学的方法能正确检测出其中的13个,误检9个,漏检21个。

    与基于形态学的检测方法相比,基于模板匹配的方法通过与色环电阻模板图像的匹配程度判断是否为待测的色环电阻,因此对于每幅PCB图像,该方法只能检测出其中的一个色环电阻。对图7所示的6幅待测PCB图像中的38个色环电阻,模板匹配方法只能正确检测出其中6个,漏检32个。

    与传统的基于形态学和基于模板匹配的方法相比,本文所提出的基于卷积神经网络的色环电阻分割与检测方法,对于拍摄角度、光照条件、PCB元器件布局等具有良好的鲁棒性,色环电阻图像分割效果相对较好,因此能够正确检测出6幅待测PCB图像所包含的全部38个色环电阻,在检测正确率方面明显优于传统的方法。

    采用以上3种方法对图7中的PCB图像(图像1-图像4)进行色环电阻分割与检测,各方法的性能指标如表1所示。由于基于模板匹配的检测方法[8]不涉及色环电阻图像分割,因此仅给出了该方法正确检测出的色环电阻数。由表1可以看出,对于全部31个待测色环电阻,传统的基于形态学的方法和基于模板匹配的方法仅能分别正确检测出其中的13和4个色环电阻。与之相比,本文提出的基于卷积神经网络的方法对图像中色环电阻的数目及排列方式无特殊限制,图像分割精度高、鲁棒性好,因此能正确检测出全部31个色环电阻,其性能指标(Acc, Recall, Precision, IoU和F1值)均明显优于基于形态学的色环电阻检测方法。

    表 1  不同检测方法对图像1-图像4中色环电阻的分割与检测结果
    方法图像分割性能指标PCB板中色环电阻实际个数检测出的色环电阻个数
    AccRecallPrecisionIoUF1
    基于形态学的方法[5]0.7960.5750.1740.1540.2603113
    基于模板匹配的方法[8]314
    本文方法0.9660.9910.6660.6600.7853131
    下载: 导出CSV 
    | 显示表格

    最后,采用测试集中的150张PCB图像共计851个色环电阻对本文的卷积神经网络模型进行进一步测试。结果表明,本文方法的色环电阻分割效果良好(平均Recall=0.979、平均Precision=0.851、平均F1=0.899、平均IoU=0.834、平均Acc=0.982),能正确检测出841个色环电阻,正确率达到98.8%。该方法对全部150幅彩色PCB测试图像的总处理时间如下:测试数据与网络模型载入时间为4.8453 s、网络模型测试并保存结果的时间为7.2724 s,总计13.1277 s,单幅PCB图像的平均检测时间为0.0875 s,处理速度快,能满足实际应用要求。

    对于图8(a)的PCB原始图像,首先CNN实现色环电阻的分割与检测(如图8(b)),最后分别使用本文方法和Ostu方法[9]分割色环电阻的色环,并且对分割结果进行对比。由图8可知,Ostu方法在分割色环时出现了色环遗漏现象,且色环与背景发生粘连,无法进行色环定位。与之相比,本文基于高斯匹配算法的色环分割结果中色环与背景分离、未发生色环遗漏且分割边缘清晰,易于进行色环定位。将PCB图像中的309个待检测色环进行实验测试,其中遗漏以及错误定位7个,正确定位总数为302,色环的定位准确率为97.7%。实验结果表明,本文所提出方法的准确率较高,能够较好地实现色环电阻的色环定位。图9为色环定位结果示例。

    图 8  本文方法与Ostu方法[9]的色环分割结果对比
    图 9  PCB板上色环电阻的色环定位结果

    本文CNN共含4层编码器-解码器结构(W=4)。由于网络层数会直接影响分割结果,因此有必要讨论网络层数(W)对色环电阻分割结果的影响,从而验证W的合理性。图10给出了W=3与W=5时的网络模型示意图。以W=4的网络模型为例,对其训练过程进行详细说明(如图11)。由图11可看出,CNN经过200次迭代训练后收敛,并且获得较高准确率(达到0.99)。采用第3节所述的硬件平台训练本文CNN网络,共耗时约2.5 h。

    图 10  网络层数不同时的卷积神经网络模型示意图(W=3, W=5)
    图 11  训练过程中误差及准确率随迭代次数的变化曲线

    本文采用验证集(150幅PCB图像)对不同W的CNN分割结果进行定量比较,如表2所示。对比可以发现,当W=4时,分割结果的各项指标相对较好,其中平均Acc、平均Precision、平均IoU均为最大值,虽然平均Recall不是最大值,但是Recall与Precision的加权调和平均F1的平均值为最大值。因此,由4层解码器-编码器构成的卷积神经网络的色环电阻分割模型可作为本文最佳网络模型。

    表 2  不同网络层数时色环电阻的分割性能指标对比
    平均Acc平均Recall平均Precision平均IoU平均F1
    W=30.9850.9700.8870.8700.925
    W=40.9910.9590.9530.9240.995
    W=50.9850.8830.9650.8650.921
    W=60.9790.8370.9360.8050.881
    下载: 导出CSV 
    | 显示表格

    需要指出的是,本文在训练CNN时用了970幅图像作为训练集。虽然训练集具有良好的代表性,但是考虑到PCB板的复杂性,有必要对训练样本数量的充足性进行分析。训练集是否足够,可采用以下方法进行粗略评判:(1)CNN在测试集上的各项精度指标是否良好;(2)CNN在测试集及验证集上的各项精度指标是否差异不大。从表3中可以看出,本文CNN在测试集上的各项性能指标良好,且在测试集与验证集的各项性能指标差异不大,这说明本文的训练集是足够的,算法是有效的。当然,训练集图像越多,对提高网络模型的精度越有利,但是样本标记时间和训练时间也会随之增加,因此,需要根据实际需求,在速度和精度之间寻求一个平衡。后期我们会采集更多的原始图像来训练网络,以进一步提高CNN对色环电阻的检测精度。

    表 3  CNN在测试集与验证集上的性能指标对比
    平均Acc平均Recall平均Precision平均IoU平均F1
    验证集0.9910.9590.9530.9240.995
    测试集0.9820.9790.8510.8340.899
    下载: 导出CSV 
    | 显示表格

    PCB板上色环电阻的自动检测与定位一直是个难点,传统的基于形态学的检测方法对图像的光照条件敏感、鲁棒性差,而基于模板匹配的检测方法无法检测出PCB板中的多个色环电阻。针对传统方法的局限性,本文根据人工智能技术的成果,提出了一种基于卷积神经网络的PCB板色环电阻自动检测与定位方法,较好地解决了复杂光照及场景下PCB板色环电阻的图像分割问题;基于分割后的图像,采用最小面积外接矩形方法和仿射变换定位出PCB板上的每个色环电阻,继而通过高斯模板匹配方法对色环电阻的每个色环进行了准确定位。采用1270幅PCB图像对该文的卷积神经网络模型进行了训练和测试,并将检测结果与基于形态学和基于模板匹配的色环电阻检测方法进行了对比,结果表明,本文方法在召回率、准确率及重叠度等性能指标上具有明显优势,检测正确率达到98.8%,色环的定位准确率为97.7%,单幅PCB图像的平均检测时间约为0.0875s,可以满足实际应用需求。

    需要指出的是,本文实验中PCB图像大小统一为256×256,对于不同尺寸的待测图像,可以通过缩放或拼接方法进行检测。当然,拼接过程中可能发生色环电阻被“切割”的问题,这是我们今后进一步的研究工作。

  • 图  1  PCB图像数据集示例

    图  2  本文算法的总体流程图

    图  3  编码器-解码器结构的卷积神经网络模型

    图  4  Max pooling与Upsamping计算过程

    图  5  色环电阻及色环的定位方法流程图以及中间过程示意图

    图  6  色环电阻最小外接矩形的确定

    图  7  本文方法与传统方法的色环电阻分割与检测结果对比

    图  8  本文方法与Ostu方法[9]的色环分割结果对比

    图  9  PCB板上色环电阻的色环定位结果

    图  10  网络层数不同时的卷积神经网络模型示意图(W=3, W=5)

    图  11  训练过程中误差及准确率随迭代次数的变化曲线

    表  1  不同检测方法对图像1-图像4中色环电阻的分割与检测结果

    方法图像分割性能指标PCB板中色环电阻实际个数检测出的色环电阻个数
    AccRecallPrecisionIoUF1
    基于形态学的方法[5]0.7960.5750.1740.1540.2603113
    基于模板匹配的方法[8]314
    本文方法0.9660.9910.6660.6600.7853131
    下载: 导出CSV

    表  2  不同网络层数时色环电阻的分割性能指标对比

    平均Acc平均Recall平均Precision平均IoU平均F1
    W=30.9850.9700.8870.8700.925
    W=40.9910.9590.9530.9240.995
    W=50.9850.8830.9650.8650.921
    W=60.9790.8370.9360.8050.881
    下载: 导出CSV

    表  3  CNN在测试集与验证集上的性能指标对比

    平均Acc平均Recall平均Precision平均IoU平均F1
    验证集0.9910.9590.9530.9240.995
    测试集0.9820.9790.8510.8340.899
    下载: 导出CSV
  • 熊光洁, 马树元, 聂学俊, 等. 基于机器视觉的高密度电路板缺陷检测系统[J]. 计算机测量与控制, 2011, 19(8): 1824–1826.

    XIONG Guangjie, MA Shuyuan, NIE Xuejun, et al. Defects inspection system of HID PCB based on machine vision[J]. Computer Measurement &Control, 2011, 19(8): 1824–1826.
    吴福培, 张宪民. 印刷电路板无铅焊点假焊的检测[J]. 光学 精密工程, 2011, 19(3): 697–702. doi: 10.3788/OPE.20111903.0697

    WU Fupei and ZHANG Xianmin. Inspection of pseudo solders for lead-free solder joints in PCBs[J]. Optics and Precision Engineering, 2011, 19(3): 697–702. doi: 10.3788/OPE.20111903.0697
    CHEN Y S and WANG J Y. Reading resistor based on image processing[C]. 2015 IEEE International Conference on Machine Learning and Cybernetics, Guangzhou, China, 2015: 566–571. doi: 10.1109/ICMLC.2015.7340616.
    GAIDHANE V H, HOTE Y V, and SINGH V. An efficient similarity measure approach for PCB surface defect detection[J]. Pattern Analysis and Applications, 2018, 21(1): 277–289. doi: 10.1007/s10044-017-0640-9
    倪尧, 鲍宇. 基于目标轮廓几何特征的电容元件定位方法[J]. 计算机工程与科学, 2017, 39(8): 1476–1482. doi: 10.3969/j.issn.1007-130X.2017.08.014

    NI Yao and BAO Yu. A capacitor element localization method based on geometrical features of target contour[J]. Computer Engineering and Science, 2017, 39(8): 1476–1482. doi: 10.3969/j.issn.1007-130X.2017.08.014
    DONG Na, WU C H, IP W H, et al. Chaotic species based particle swarm optimization algorithms and its application in PCB components detection[J]. Expert Systems with Applications, 2012, 39(16): 12501–12511. doi: 10.1016/j.eswa.2012.04.063
    王耀南, 刘良江, 周博文, 等. 一种基于混沌优化算法的PCB板元件检测方法[J]. 仪器仪表学报, 2010, 31(2): 410–415. doi: 10.19650/j.cnki.cjsi.2010.02.028

    WANG Yaonan, LIU Liangjiang, ZHOU Bowen, et al. Detection method of printed circuit board components based on chaotic optimization algorithm[J]. Chinese Journal of Scientific Instrument, 2010, 31(2): 410–415. doi: 10.19650/j.cnki.cjsi.2010.02.028
    姜建国, 王国林, 孟宏伟, 等. 一种电子元器件组装结果检测方法[J]. 西安电子科技大学学报: 自然科学版, 2014, 41(3): 110–115, 173. doi: 10.3969/j.issn.1001-2400.2014.03.016

    JIANG Jianguo, WANG Guolin, MENG Hongwei, et al. Detection method for assembling results of electronic components[J]. Journal of Xidian University, 2014, 41(3): 110–115, 173. doi: 10.3969/j.issn.1001-2400.2014.03.016
    毛林威. 轴向色环电阻质量自动检测系统的设计[D]. [硕士论文], 北京理工大学, 2015.

    MAO Linwei. The design of color-ring resistor quality automatic detection system[D]. [Master dissertation], Beijing Institute of Technology, 2015.
    CHEN Y S and WANG J Y. Computer vision on color-band resistor and its cost-effective diffuse light source design[J]. Journal of Electronic Imaging, 2016, 25(6): 061409. doi: 10.1117/1.JEI.25.6.061409
    BADRINARAYANAN V, KENDALL A, and CIPOLLA R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481–2495. doi: 10.1109/TPAMI.2016.2644615
    王海, 蔡英凤, 贾允毅, 等. 基于深度卷积神经网络的场景自适应道路分割算法[J]. 电子与信息学报, 2017, 39(2): 263–269. doi: 10.11999/JEIT160329

    WANG Hai, CAI Yingfeng, JIA Yunyi, et al. Scene adaptive road segmentation algorithm based on deep convolutional neural network[J]. Journal of Electronics &Information Technology, 2017, 39(2): 263–269. doi: 10.11999/JEIT160329
    DUAN Jiaxu, LIU Xiaoyan, WU Xin, et al. Detection and segmentation of iron ore green pellets in images using lightweight U-net deep learning network[J]. Neural Computing and Applications, 2020, 32(10): 5775–5790. doi: 10.1007/s00521-019-04045-8
    YE Ruifang, PAN C S, CHANG Ming, et al. Intelligent defect classification system based on deep learning[J]. Advances in Mechanical Engineering, 2018, 10(3): 1–7. doi: 10.1177/1687814018766682
    ZHANG Shifeng, WEN Longyin, BIAN Xiao, et al. Single-shot refinement neural network for object detection[C]. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 18–23. doi: 10.1109/CVPR.2018.00442.
    REN Shaoqing, HE Kaiming, GIRSHICK R, et al. Faster RCNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137–1149. doi: 10.1109/TPAMI.2016.2577031
    张烨, 许艇, 冯定忠, 等. 基于难分样本挖掘的快速区域卷积神经网络目标检测研究[J]. 电子与信息学报, 2019, 41(6): 1496–1502. doi: 10.11999/JEIT180702

    ZHANG Ye, XU Ting, FENG Dingzhong, et al. Research on faster RCNN object detection based on hard example mining[J]. Journal of Electronics &Information Technology, 2019, 41(6): 1496–1502. doi: 10.11999/JEIT180702
    IOFFE S and SZEGEDY C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]. The 32nd International Conference on Machine Learning, Lille, France, 2015: 448–456.
    KINGMA D P and BA J. Adam: A method for stochastic optimization[C]. The 3rd International Conference on Learning Representations (ICLR), San Diego, USA, 2015: 1–13.
    邸男, 李桂菊, 陈春宁, 等. 结合归一化差分高斯特征的图像匹配技术研究[J]. 电子测量与仪器学报, 2014, 28(6): 585–590. doi: 10.13382/j.jemi.2014.06.002

    DI Nan, LI Guiju, CHEN Chunning, et al. Image matching technology research based on normalized DOG features[J]. Journal of Electronic Measurement and Instrumentation, 2014, 28(6): 585–590. doi: 10.13382/j.jemi.2014.06.002
    卢倩雯, 陶青川, 赵娅琳, 等. 基于生成对抗网络的漫画草稿图简化[J]. 自动化学报, 2018, 44(5): 75–89. doi: 10.16383/j.aas.2018.c170486

    LU Qianwen, TAO Qingchuan, ZHAO Yalin, et al. Sketch simplification using generative adversarial networks[J]. Acta Automatica Sinica, 2018, 44(5): 75–89. doi: 10.16383/j.aas.2018.c170486
  • 期刊类型引用(8)

    1. 易子娟,贾渊. 基于改进MobileNetV3的色环电阻识别. 计算机系统应用. 2023(04): 361-367 . 百度学术
    2. 段宇飞,孙记委,王焱清,张三强. 基于改进卷积神经网络的油茶果壳籽分选方法. 农业工程学报. 2023(03): 154-161 . 百度学术
    3. 张良安,刘同鑫,谢胜龙,陈洋. 基于机器视觉的改进线束导线排序检测系统设计. 包装工程. 2023(11): 268-276 . 百度学术
    4. 姜媛媛,蔡梦南. 轻量化的印刷电路板缺陷检测网络 Multi-CR YOLO. 电子测量与仪器学报. 2023(11): 217-224 . 百度学术
    5. 冉亮,许伟,曾祥平,何静,李艳虹. 中短波发射台站防雷接地装置电阻值智能检测研究. 自动化与仪器仪表. 2022(05): 218-222 . 百度学术
    6. 张可,顾寄南,夏子林,李静. 基于深度学习的色环电阻检测与判读方法研究. 电子测量技术. 2022(11): 126-133 . 百度学术
    7. 刘涛,张涛. 基于GhostNet-YOLOv4算法的印刷电路板缺陷检测. 电子测量技术. 2022(16): 61-70 . 百度学术
    8. 刘莹,王晓宇,徐卓飞,喻丹,董晨曦. 基于卷积神经网络的商品图像识别. 数字印刷. 2020(06): 33-40 . 百度学术

    其他类型引用(8)

  • 加载中
图(11) / 表(3)
计量
  • 文章访问数:  2637
  • HTML全文浏览量:  1577
  • PDF下载量:  99
  • 被引次数: 16
出版历程
  • 收稿日期:  2019-08-09
  • 修回日期:  2020-05-26
  • 网络出版日期:  2020-06-23
  • 刊出日期:  2020-09-27

目录

/

返回文章
返回