高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

偏光片细微外观缺陷偏振成像检测方法

黄广俊 列智豪 王兴政 钟小品 邓元龙

黄广俊, 列智豪, 王兴政, 钟小品, 邓元龙. 偏光片细微外观缺陷偏振成像检测方法[J]. 电子与信息学报, 2022, 44(5): 1636-1642. doi: 10.11999/JEIT210870
引用本文: 黄广俊, 列智豪, 王兴政, 钟小品, 邓元龙. 偏光片细微外观缺陷偏振成像检测方法[J]. 电子与信息学报, 2022, 44(5): 1636-1642. doi: 10.11999/JEIT210870
HUANG Guangjun, LIE Zhihao, WANG Xingzheng, ZHONG Xiaopin, DENG Yuanlong. Inspection of Slight Aesthetic Defects in a Polarizing Film via Polarization Imaging[J]. Journal of Electronics & Information Technology, 2022, 44(5): 1636-1642. doi: 10.11999/JEIT210870
Citation: HUANG Guangjun, LIE Zhihao, WANG Xingzheng, ZHONG Xiaopin, DENG Yuanlong. Inspection of Slight Aesthetic Defects in a Polarizing Film via Polarization Imaging[J]. Journal of Electronics & Information Technology, 2022, 44(5): 1636-1642. doi: 10.11999/JEIT210870

偏光片细微外观缺陷偏振成像检测方法

doi: 10.11999/JEIT210870
基金项目: 国家自然科学基金(62171288),深圳市基础研究项目(20190808143415801, 20180305123922293)
详细信息
    作者简介:

    黄广俊:男,1988年生,工程师,研究方向为视觉检测

    列智豪:男,1994年生,硕士生,研究方向为视觉检测

    王兴政:男,1984年生, 副教授, 研究方向为计算成像

    钟小品:男,1979年生,副教授,研究方向为视觉检测

    邓元龙:男,1971年生,教授,研究方向为视觉检测

    通讯作者:

    邓元龙 dengyl@szu.edu.cn

  • 中图分类号: TP274; TP391

Inspection of Slight Aesthetic Defects in a Polarizing Film via Polarization Imaging

Funds: The National Natural Science Foundation of China (62171288), Shenzhen Basic Research Project (20190808143415801, 20180305123922293)
  • 摘要: 针对偏光片细微外观缺陷难以成像、难以检测的问题,该文提出一种基于偏振成像的外观缺陷检测新方法。通过缺陷偏振态指标测量结果,定性描述了对比度增强机理。利用缺陷与正常区域之间透射光偏振态的显著差异,大幅提高缺陷的成像对比度,从而简化后续图像处理算法,提高检测速度和准确率。实验结果表明,偏光片外观缺陷平均检出率达到97.3%,平均单个样品检测时间约为0.22 s,基本满足产业化应用要求。
  • 偏光片是一种常见的偏振光学元件,应用非常广泛,例如在薄膜电晶体液体显示器(Thin Film Transistor Liquid Crystal Display, TFT-LCD)型液晶显示面板中,必有两层偏振方向正交的偏光片。偏光片成品一般由6层微米级厚度的透明聚合物薄膜组成,其外观缺陷(Aesthetic Defect)可能出现在任何一层。凸凹点、异物、气泡、划痕等外观缺陷会直接降低显示面板的质量等级,甚至导致整个面板报废。目前,国内外偏光片生产商和液晶面板厂家,仍然普遍采用人工目视方法离线检测偏光片外观缺陷。目视检测劳动强度大、主观性强且一致性差,检测效率无法进一步提高。因此,研究偏光片外观缺陷自动检测技术具有重要的应用意义。

    Yoon等人[1]利用发光二极管(Light Emitting Diode, LED)面光源,研究了偏光片在线检测和分类技术,并采用图像分割和模板匹配方法对异物、气泡和凹痕等缺陷进行检测和识别,缺陷分类精度达到96%。Kuo等人[2]采用线阵相机设计了偏光片外观缺陷检测系统,使用霍夫变换识别分割后的图像,识别气泡、划痕、灰尘和异物等缺陷,分类精度达到98%。Cheng等人[3]使用哈尔小波变换方法检测偏光片Mura缺陷。Yen等人[4]研究了一种基于黑白条纹投影的检测系统,用于检测偏光片微小凸点缺陷,能够在0.3 s内完成36 mm×27 mm偏光片样本的缺陷检测。2017年,韩国湖西大学Won等人[5]采用卷积神经网络,主要研究了点缺陷的分类问题,缺陷分类精度达到95%。针对凹痕、异物、亮点和划痕4类常见的偏光片外观缺陷,Kuo等人[6]使用最大灰度等级、离心率、对比度和灰度共生矩阵来提取缺陷图像的特征,然后输入到径向基神经网络中进行识别,缺陷分类精度达到98.9%。2018年,中北大学Lei等人[7]使用深度学习目标检测算法对偏光片外观缺陷进行检测,平均准确率达到67.5%。2020年,太原科技大学Liu等人[8]提出一种基于深度学习的轻量级神经网络,该模型的分类准确率达到99.4%,可以解决无缺陷,污渍和缺陷图像的分类问题。

    上述研究主要关注图像处理和分类算法,较少涉及缺陷成像方法的研究,而偏光片细微外观缺陷难以成像、难以检测的问题,才是影响自动检测技术获得实际应用的关键障碍。针对这个问题,文献[9,10]采用条纹结构光照明实现了缺陷成像增强,并研究了缺陷模型、成像仿真、结构光增强机理和相应的缺陷图像处理算法。然而,对于突起、刺伤和水胶粒等极细微透明缺陷,即使采用上述结构光照明方法,却仍然难以成像、难以检测。

    偏振成像能够有效增加目标探测和识别的维度信息,广泛应用于视觉检测领域[11,12]。由于椭偏、散射退偏和旋向等效应,偏光片外观缺陷会改变入射光的偏振态,从而显著提高缺陷成像对比度。因此,本文提出一种基于偏振成像的偏光片外观缺陷检测技术,利用缺陷与正常区域之间透射光偏振态的差异,提高极细微外观缺陷的成像对比度,从而简化图像处理算法,进一步提高检测速度和准确率。本文组成如下:第2部分介绍检测系统与缺陷成像增强的效果;第3部分实验研究上述缺陷成像增强的机理;第4部分给出150个缺陷样品的检测结果;然后是讨论和结束语。

    缺陷检测系统如图1所示,为典型的“起偏-样品-检偏”(Polarizer-Sample-Analyser, PSA)布局。工业相机为5.1×106像素,视场为61.5 mm×41.5 mm,实际分辨率约20 μm/像素,满足检测最小缺陷(100 μm)的要求。参考偏光片生产厂家的检测现场(暗室),实验系统采用遮光布屏蔽,避免可能存在的环境光干扰。均匀线偏振光透射被测样品,旋转偏振镜(检偏器)方向,相机采集不同角度下的缺陷图像。当检偏器与偏光片样品透光轴方向一致和垂直时,图像分别为最亮和最暗,缺陷成像对比度较低,不利于缺陷检出。某一个凹痕缺陷在不同检偏角时的图像灰度值如表1所示,当二者夹角处于45°左右时,缺陷成像对比度较高。

    图 1  检测系统
    表 1  凹痕缺陷对比度
    偏光片样本与检偏器夹角(º)
    0102030405060708090
    对比度(%)11.011.612.012.714.314.112.111.610.28.8
    下载: 导出CSV 
    | 显示表格

    本文采用式(1)所定义的对比度[13] ,其中,GD, GB分别是缺陷和背景的灰度值

    V=|GBGD|maxGB+GD×100%
    (1)

    针对均匀光和结构光照明都无法成像的突起、捏痕、刺伤和指痕4种极细微缺陷,偏振光成像效果如图2所示,对比度分别提高到8.6%, 1.5%, 18.3%和4.9%,有效实现了缺陷成像增强。

    图 2  不同成像方式下4种缺陷对比度(从左到右分别为均匀光成像、结构光成像、偏振光成像)

    采用横向塞曼激光器,直接输出线偏振光,入射被测偏光片样品,实验系统如图3所示。通过1维运动平台实现缺陷区域和周边正常区域的逐点扫描,偏振态测试仪测量出射光的偏振态,逐点给出偏振度(Degree Of Polarization, DOP)、线偏振度(Degree Of Linear Polarization, DOLP)、圆偏振度(Degree Of Circular Polarization, DOCP)、偏振角(Angle Of Polarization, AOP)和椭圆率(ellipticity)等偏振态数据,从而检验缺陷对入射光偏振态的影响。

    图 3  缺陷偏振特性测试系统

    一个典型凹痕缺陷样品的测试数据如图4所示。正常区域的偏振度和线偏振度约为97%(保护膜和离型膜会产生少量的退偏作用),由于缺陷的退偏、椭偏等作用,缺陷区域的DOP和DOLP明显降低到86%左右,而偏振角、圆偏振度和椭圆率角却明显上升。显然,与正常区域相比,缺陷区域透射光的偏振态存在较大变化,通过检偏器之后,二者的强度必然存在较大差异——这是图1所示检测系统实现缺陷成像增强的机理。

    图 4  凹痕缺陷偏振态测量结果

    同理测量了水胶粒、亮点、蝶纹、划伤和突起5种常见极细微缺陷的偏振态指标,与正常区域的最大差值如表2所示。可见,利用缺陷与正常区域出射光偏振态的差异,检测偏光片外观缺陷,具有较好的可行性。

    表 2  偏振态指标的最大差值(缺陷与正常区域之间)
    缺陷类型偏振度(%)线偏振度(%)圆偏振度(%)偏振角(°)椭圆率角(°)
    水胶粒4.844.548.500.462.81
    亮点2.202.231.451.581.59
    蝶纹1.792.066.652.612.74
    划伤1.822.841.501.260.23
    突起6.436.440.690.320.51
    下载: 导出CSV 
    | 显示表格

    由于采用偏振成像,偏光片极细微外观缺陷成像对比度得到大幅提升,所以缺陷图像无需预处理,直接应用鲁棒主成分分析法(Robust Principle Component Analysis, RPCA)[14,15]即可。RPCA是一种常用的前景背景分离算法,该算法将缺陷图像矩阵分解为一个低秩矩阵和一个稀疏矩阵的叠加,其中前者即为背景,后者则为缺陷目标。选取稀疏矩阵对应的图像,采用Otsu阈值分割得到二值化图像,即可检出缺陷和提取相关信息。针对6种常见细微缺陷,缺陷图像与检出结果如图5所示。

    图 5  常见6种细微缺陷原始图像及其RPCA分解稀疏矩阵图像的二值化结果

    针对实验室已有的150个细微外观缺陷样品,检测结果如表3所示,平均检出率达到97.3%,基本满足产业应用需求。少量极细微缺陷样本的偏振特性变化很小,导致不能检出,例如指痕等缺陷。需要进一步研究此类极细微缺陷的偏振模型,并优化检测系统设计以提高检出率。

    表 3  缺陷检出率对比
    缺陷类型数量结构光成像偏振成像
    检出数量检出率(%)检出数量检出率(%)
    突起3003100.0
    捏痕3003100.0
    刺伤4004100.0
    指痕500480.0
    蝶纹7571.47100.0
    亮点363391.73494.4
    水胶粒383694.73797.4
    划伤545296.354100.0
    总计15012684.014697.3
    下载: 导出CSV 
    | 显示表格

    采用线型结构光[9]检测一个61.5 mm×41.5 mm样品,由于需要主动光多步扫描并识别多幅图像,在同样的平台上(Matlab 2020b,Windows10系统,Intel i5-4460 3.2 GHz, 16 GB RAM)实现图像采集与缺陷提取,平均所需时间约为1.39 s;与此对比,本文提出的偏振成像法无需运动或扫描环节,仅需要处理一幅图像,平均检测时间约为0.22 s,更适于在线/连续检测。

    实验中发现,部分极细微缺陷的对比度可以进一步提高。使用圆偏振镜测量法计算Stokes参量,如式(2)所示[16]

    S=(S0S1S2S3)=(IF(0)+IF(90)S02IF(45)IF(0)IF(90)S02IB(0))
    (2)

    其中, IF(0º), IF(45º), IF(90º)分别为偏振镜在0º, 45º, 90°时所采集的图像,IB(0º)表示反向使用圆偏振镜采集的图像。将S0-S3代入式(3)和式(4),进一步计算缺陷的偏振度(Degree Of Polarization, DOP)和偏振角(Angle Of Polarization, AOP)图像[16],如图6所示

    图 6  两个典型缺陷成像效果对比
    DOP=S21+S22+S23S0
    (3)
    AOP=12arctan(S2S1)
    (4)

    可见,两个缺陷样品的成像对比度在DOP和AOP图像中都有明显提升。然而,不同的缺陷样品,偏振态指标图像效果差异较大;具体缺陷类型所对应的最佳偏振态表征指标尚不明确,其中的机理和指标图像合成方法需要进一步深入研究。

    偏光片的部分点状透明缺陷(例如压痕)具有一种特殊性—部分偏光片粘贴到基板之后,由于粘贴力及自身恢复等因素,缺陷会消失,并不影响液晶面板质量等级;而有些压痕样品则不行。缺陷3维形态的差异是造成这种区别的重要因素。根据图4所示的缺陷偏振态测量结果可知,缺陷区域偏振态的连续分布,反映出该缺陷的3维形态,因此,本文所提出的偏振成像检测方法,可望在检测有无缺陷的同时,无损测量缺陷的3维形态。

    针对偏光片极细微外观缺陷,提出一种基于“起偏-样品-检偏”(Polarizer-Sample-Analyser, PSA)布局的偏振成像检测方法。由于缺陷存在一定的椭偏和散射退偏作用,透射光的偏振态有明显变化,因此本方法可以大幅提高缺陷成像对比度,从而简化后续的图像处理算法,提高检测速度和缺陷检出率。虽然目前还没有建立定量的机理表达或数学模型,但是缺陷区域偏振态指标的测量结果,以及大量的检测数据,验证了此方法的可行性。所研究的偏光片外观缺陷检测方法与系统,也同样适用于其他类似薄膜产品的质量控制,具有较好的应用前景。

  • 图  1  检测系统

    图  2  不同成像方式下4种缺陷对比度(从左到右分别为均匀光成像、结构光成像、偏振光成像)

    图  3  缺陷偏振特性测试系统

    图  4  凹痕缺陷偏振态测量结果

    图  5  常见6种细微缺陷原始图像及其RPCA分解稀疏矩阵图像的二值化结果

    图  6  两个典型缺陷成像效果对比

    表  1  凹痕缺陷对比度

    偏光片样本与检偏器夹角(º)
    0102030405060708090
    对比度(%)11.011.612.012.714.314.112.111.610.28.8
    下载: 导出CSV

    表  2  偏振态指标的最大差值(缺陷与正常区域之间)

    缺陷类型偏振度(%)线偏振度(%)圆偏振度(%)偏振角(°)椭圆率角(°)
    水胶粒4.844.548.500.462.81
    亮点2.202.231.451.581.59
    蝶纹1.792.066.652.612.74
    划伤1.822.841.501.260.23
    突起6.436.440.690.320.51
    下载: 导出CSV

    表  3  缺陷检出率对比

    缺陷类型数量结构光成像偏振成像
    检出数量检出率(%)检出数量检出率(%)
    突起3003100.0
    捏痕3003100.0
    刺伤4004100.0
    指痕500480.0
    蝶纹7571.47100.0
    亮点363391.73494.4
    水胶粒383694.73797.4
    划伤545296.354100.0
    总计15012684.014697.3
    下载: 导出CSV
  • [1] YOON Y G, LEE S L, CHUNG C W, et al. An effective defect inspection system for polarized film images using image segmentation and template matching techniques[J]. Computers & Industrial Engineering, 2008, 55(3): 567–583. doi: 10.1016/j.cie.2008.01.015
    [2] KUO C C F J, CHIU C H, and CHOU Y C. Research and development of intelligent on-line real-time defect inspection system for polymer polarizer[J]. Polymer-Plastics Technology and Engineering, 2009, 48(2): 185–192. doi: 10.1080/03602550802634501
    [3] CHENG C C and JAO H M. Application of the Haar wavelet to Mura detection for polarizer[C]. 2013 IEEE International Conference on Industrial Technology (ICIT), Cape Town, South Africa, 2013: 1080–1085.
    [4] YEN H N and SYU M J. Inspection of polarizer tiny bump defects using computer vision[C]. 2015 IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, USA, 2015: 525–527.
    [5] WON Y, JOO H, and KIM J. Classification of defects in the polarizer of display panels using the Convolution Neural Network (CNN)[J]. International Journal of Computing, Communications and Instrumentation Engineering (IJCCIE), 2017, 4(1): 139–142. doi: 10.15242/IJCCIE.E0217018.
    [6] KUO C F J, LAI Chunyu, KAO C H, et al. Integrating image processing and classification technology into automated polarizing film defect inspection[J]. Optics and Lasers in Engineering, 2018, 104: 204–219. doi: 10.1016/j.optlaseng.2017.09.017
    [7] LEI Haiwei, WANG Bin, WU Hehe, et al. Defect detection for polymeric polarizer based on faster R-CNN[J]. Journal of Information Hiding and Multimedia Signal Processing, 2018, 9(6): 1414–1420. doi: 10.15242/ijccie.e0217018
    [8] LIU Ruizhen, SUN Zhiyi, WANG Anhong, et al. Lightweight efficient network for defect classification of polarizers[J]. Concurrency and Computation:Practice and Experience, 2020, 32(11): e5663. doi: 10.1002/cpe.5663
    [9] LAI Wenwei, ZENG Xiaoxing, HE Jian, et al. Aesthetic defect characterization of a polymeric polarizer via structured light illumination[J]. Polymer Testing, 2016, 53: 51–57. doi: 10.1016/j.polymertesting.2016.05.011
    [10] DENG Yuanlong, XU Shaopeng, CHEN Haoquan, et al. Inspection of extremely slight aesthetic defects in a polymeric polarizer using the edge of light between black and white stripes[J]. Polymer Testing, 2018, 65: 169–175. doi: 10.1016/j.polymertesting.2017.11.019
    [11] 熊志航, 廖然, 曾亚光, 等. 利用偏振成像在复杂现场快速识别金属碎屑[J]. 红外与激光工程, 2020, 49(6): 10–15. doi: 10.3788/IRLA20201012

    XIONG Zhihang, LIAO Ran, ZENG Yaguang, et al. Rapid identification of metal debris in complicated scenes by using polarization imaging[J]. Infrared and Laser Engineering, 2020, 49(6): 10–15. doi: 10.3788/IRLA20201012
    [12] 李嘉晋, 廖然, 卓泽鹏, 等. 利用偏振光散射技术的藻类絮凝过程监测[J]. 大气与环境光学学报, 2020, 15(1): 72–80. doi: 10.3969/J.issn.1673-6141.2020.01.008

    LI Jiajin, LIAO Ran, ZHUO Zepeng, et al. Monitoring of algal flocculation using polarized light scattering[J]. Journal of Atmospheric and Environmental Optics, 2020, 15(1): 72–80. doi: 10.3969/J.issn.1673-6141.2020.01.008
    [13] FECHNER G T, HOWES D H, and BORING E G. Elements of Psychophysics[M]. New York: Holt, Rinehart and Winston, 1966. doi: 10.1037/11304–026.
    [14] 罗勇江, 杨腾飞, 赵冬. 色噪声下基于白化频谱重排鲁棒主成分分析的语音增强算法[J]. 电子与信息学报, 2021, 43(12): 3671–3679. doi: 10.11999/JEI200594

    LUO Yongjiang, YANG Tengfei, and ZHAO Dong. Speech enhancement algorithm based on robust principal component analysis with whitened spectrogram rearrangement in colored noise[J]. Journal of Electronics and Information Technology, 2021, 43(12): 3671–3679. doi: 10.11999/JEI200594
    [15] 杨依忠, 汪鹏飞, 胡雄楼, 等. 基于鲁棒主成分分析的运动目标检测优化算法[J]. 电子与信息学报, 2018, 40(6): 1309–1315. doi: 10.11999/JEIT170789

    YANG Yizhong, WANG Pengfei, HU Xionglou, et al. Moving object detection optimization algorithm based on robust principal component analysis[J]. Journal of Electronics &Information Technology, 2018, 40(6): 1309–1315. doi: 10.11999/JEIT170789
    [16] CHIPMAN R A, LAM W S T, and YOUNG G. Polarized Light and Optical Systems[M]. New York: CRC Press, 2018: 66–68.
  • 期刊类型引用(4)

    1. 朱俊玮,邓元龙,周炫,陈少龙,钟小品,王兴政. 基于偏振基础参数的偏光片外观缺陷检测方法. 光学学报. 2025(04): 142-151 . 百度学术
    2. 汪伟,张海裕,柯链宝,康晴,李健军,毕海. 分焦平面式偏振相机偏振误差分析及偏振定标. 光子学报. 2024(09): 35-46 . 百度学术
    3. 朱达荣,杨岗,汪方斌,王端标,龚雪. 太阳能电池板表面偏振双向反射分布函数. 光电子·激光. 2023(11): 1193-1200 . 百度学术
    4. 王鑫森,陈晓辉,段亚凡,陈嘉慧. 曲面光学元件表面微缺陷透射式偏振检测. 光学技术. 2023(06): 717-722 . 百度学术

    其他类型引用(7)

  • 加载中
图(6) / 表(3)
计量
  • 文章访问数:  1790
  • HTML全文浏览量:  1610
  • PDF下载量:  183
  • 被引次数: 11
出版历程
  • 收稿日期:  2021-08-24
  • 修回日期:  2021-11-01
  • 网络出版日期:  2021-11-13
  • 刊出日期:  2022-05-25

目录

/

返回文章
返回