电子路牌显示质量缺陷的快速准确识别方法

曹梦龙,靳利文

(青岛科技大学 自动化与电子工程学院，山东 青岛266061)

随着电子技术和计算机技术的快速发展，电子路牌作为一种多功能显示终端在公共交通领域得到广泛的应用。电子路牌通常是由遮阳板和几千至几万个发光二极管(light emitting diode，LED)组成，在复杂的工业生产过程中难免会出现各种显示质量缺陷，如虚亮、坏点和花屏等。目前国内相关企业主要采取人工目视检测法对产品进行检测，该方法容易受到质检人员主观因素的影响，出现漏检和误检，严重影响产品的良品率。而传统的检测方法，如射线检测法(RT)、涡流探伤法(ET)、红外检测法(TIR)等，主要针对产品的各种表面缺陷，如凹坑、擦痕、划痕等[1-3]，无法对电子路牌显示质量进行测试。近年来，随着新能源客车的大量使用，电子路牌产量急剧增长，相关企业急需一种稳定可靠的检测方法。机器视觉技术以其出色的检测精度和效率成为电子路牌产品缺陷检测的关键技术。

针对电子路牌显示质量缺陷，需要从采集图像中完整分割出目标区域(即每颗LED像素的灰度信息)。目前常用的图像目标提取方法包括:阈值分割法[4]、边缘检测技术[5]、形态学操作[6]等。阈值分割法是最常见的图像分割方法，处理速度快，但是难以处理图像中反光干扰与目标区域低对比度的问题;而边缘检测技术和形态学操作很容易被噪声干扰，出现边缘断裂的情况，影响目标轮廓的提取。为了增强图像阈值分割效果，本研究提出一种引入面积约束条件的直方图阈值分割新方法。针对图像中存在遮阳板反光干扰与目标区域对比度较低的问题，通过引入面积约束条件限制阈值取值范围，结合直方图阈值分割方法完成对目标区域的准确提取。

1 本研究算法概述

本研究针对遮阳板反光干扰与目标区域低对比度造成的阈值分割效果差的问题，提出了一种基于面积约束的阈值分割新方法。首先，对图像进行图像预处理，然后对图像像素的灰度信息进行直方图分析，通过面积约束条件限制阈值取值范围，结合阈值分割方法增强图像阈值分割效果，最后使用图像矩完成缺陷目标的识别。本研究缺陷识别算法流程图如图1所示。

图1 改进阈值分割方法的缺陷识别算法流程Fig．1 Defect recognition algorithm flow based on improved threshold segmentation method

2 图像预处理

为了降低遮阳板表面反光干扰对图像中目标区域几何形状特征的影响，本研究采用了由TOMASI C和MANDUCHI R提出的双边滤波方法[7-8]。该方法是一种同时考虑了图像频域处理和时域处理的非线性滤波方法。主要在Gauss滤波基础之上，将Gauss权系数改进成Gauss函数和图像亮度信息的乘积，再与图像信息作卷积运算，使图像经过Gauss滤波后能够保持清晰的边缘信息[7，9]，从而达到“去噪保边”的目的。

定义图像像素函数f(x，y)的简式为f(ξ)，经过滤波处理后输出的图像表示为h(x)，综合考量图像像素空间邻近度和灰度值相似度的双边滤波算法，其公式化描述如下:

其中:

公式(2)中，k(x)为归一化参数。φ(x，y)是基于像素间空间邻近度的空域核，在灰度变化平缓的区域内对图像进行平滑作用。φ(x，y)是基于像素灰度值相似度的值域核，在图像边缘部分具有保持边缘的作用。滤波核的公式化描述如下:

其中，σd为空域核φ(x，y)的空域滤波系数，由像素间的空间邻近度决定，距离越小，σd越大;σr为值域核φ(x，y)的值域滤波系数，由像素灰度值相似度决定，相似度越高，σr越大[7，9]。

在实际应用中，由于超过一定距离的像素对当前目标像素的影响权重较小，可以忽略其影响。所以在邻域窗口Ω内，可以对公式(1)离散化，其公式可以简化成如下公式:

由公式(5)可见，该式综合了两种高斯权重，其中的单位化分部ω是双边滤波的滤波核，由空域核φ(x，y)和值域核φ(x，y)的乘积得到，使其能够在平滑图像灰度“尖锐”变化的同时保持边缘特征。

由于原始图像尺寸较大，为显示缺陷的图像信息，本研究将包含缺陷的部分区域放大显示，并将图中反光干扰、缺陷位置用红色圆圈标识。经过双边滤波和灰度化处理的缺陷图像如图2所示。

图2 灰度化缺陷图像Fig．2 Grayscale defect image

3 图像阈值分割算法

由于电子路牌图像目标区域内像素灰度值相关性较高，其边缘部分图像灰度值与背景有较大差异，满足阈值分割法的基本模型，所以本研究采用阈值分割法作为图像缺陷提取方法。

3．1 阈值分割算法原理

阈值分割法是最常见的图像分割方法，具有处理速度快，稳定性高的优点。阈值分割法的基本原理是选取一个合适的灰度图像分割阈值T，将f(x，y)≥T的像素点标为1，剩余f(x，y)＜T的像素点标为0，输出的二值化图像g(x，y)算法模型如式(6)所示。

阈值分割法的目标是在尽可能保留目标区域的同时舍弃干扰信息[4]，因此，选取一个合适的灰度图像分割阈值成为确定图像分割效果的关键。由于图像熵具有较强的适应能力和鲁棒性，因此选择图像熵作为选取图像分割阈值的主要依据。其原理是:图像熵在给定阈值T的基础上，计算该阈值所分割图像的目标区域概率密度、背景区域概率密度，从而计算出目标区域熵值和背景区域熵值，通过被选择的阈值T使分割的图像目标区域熵值、背景区域熵值两部分灰度统计的信息量为最大，从而得到合适的分割阈值。该方法的具体步骤如下:

1)求出给定的灰度图像分割阈值T所分割图像的目标区域概率密度、背景区域概率密度

2)求取灰度图像分割阈值T所分割图像的目标区域熵值和背景区域熵值

3)根据阈值T分割的图像目标区域熵值、背景区域熵值，根据两部分灰度值计算总熵值H(t)＝H0(t)＋H1(t)。

4)如果分割阈值T使得分割后的图像目标、背景区域两部分灰度值计算的总熵值H(t)最大，即满足T＝argmax(H0(t)＋H1(t))，所得阈值T即为最佳阈值;否则转入步骤(1)继续选取阈值。

为了更好的提高处理速度，优化计算效率，在实际应用中针对目标区域熵值H0(t)和背景区域熵值H1(t)进行统一变量处理，推导过程如式(7)、式(8)所示。

3．2 改进阈值分割算法

由图2可知，在经过图像预处理之后，仍然存在少部分遮阳板工件表面反光干扰，这些干扰与目标区域对比度较低，严重干扰了阈值分割效果。为了去除干扰，在阈值分割处理的同时引入面积约束，通过增加对阈值取值范围的限制，结合阈值分割方法计算出最佳的灰度图像分割阈值，从而达到理想的分割效果。

面积约束的核心思想是根据电子路牌的光特性模型，得到预判的目标和图像像素的比例，根据此先验信息在直方图上增加对阈值取值范围的限制。面积约束综合考量了LED目标区域像素和图像总像素之间的关系并考虑了反光噪点的分割比例。电子路牌可以用图3所示的模型表示。

图3 电子路牌模型Fig．3 Electronic street sign model

电子路牌由大量的LED组成，其光特性使得成像效果近似于圆形，而且LED分布均匀，具有阵列分布的特点，具备引入面积约束的条件。面积约束条件是LED目标区域像素和像素总数的比例。由图3可知，图像f(x，y)像素总数是M×N，LED数量为n，电子路牌模型中LED半径为r，求取目标和图像总像素的比例K的公式如下:

由式(9)可以看出，通过设置r的大小就可以控制面积约束参数K。面积约束可以直接在灰度直方图上设置，也可以通过公式(10)形式表现，其中T i为当前选取阈值，Pi为灰度值为i的像素点的数量。

该公式含义是指从灰度0开始，根据选取阈值T i依次计算目标区域像素数占采集图像像素总数的比例，如果该比值与面积约束参数K的差的绝对值达到最小，则T i为图像分割的最佳阈值。

3．3 实验验证

为了验证本研究算法引入面积约束条件的有效性，本研究对3种典型的显示质量缺陷:虚亮、坏点和花屏，建立图像灰度直方图分析。为了显示引入面积约束条件的分割阈值与其他算法分割阈值的差异性，本研究使用传统的OTSU方法与本研究算法进行对比，其图像分割阈值取值如图4所示。

图4 阈值分割算法对比实验Fig．4 Threshold segmentation comparison experiment

由对比实验可以看出，本研究方法选取的图像分割阈值相对传统的OTSU方法的图像分割阈值差异较为明显，证明本研究引用的面积约束条件能够很好的限制阈值取值范围。相对比传统的OTSU算法，本研究算法选取的图像分割阈值灰度值更高，能够更好的处理遮阳板工件表面反光干扰与目标区域对比度低的问题，其图像分割阈值的取值明显优于传统的OTSU方法。

4 缺陷识别算法

经过图像预处理以及图像阈值分割之后，需要对电子路牌显示质量缺陷数量进行统计。通过对电子路牌模型分析可知，其分割之后的LED目标区域轮廓近似于圆形。因此，本研究主要使用图像矩对LED目标区域质心进行标记，并按照电子路牌具有阵列分布的特点，根据求取的质心坐标，进行行列扫描，找出缺陷坐标位置。其具体流程图如图5所示。

图5 缺陷识别算法流程图Fig．5 Defect recognition algorithm flow chart

该缺陷识别算法质心坐标求取公式如下。

1)计算二值化图像的像素灰度值之和M＝

2)计算图像中每个像素与其对应的X坐标的乘积之和;每个像素与其对应的Y坐标的乘积之和

本研究根据电子路牌的特点，通过对求取的质心坐标进行行列扫描，找出质心坐标缺失位置即为缺陷位置。其质心标记的部分坐标如表1所示。

表1 图像矩缺陷标记结果Table 1 Image moment defect marking results

5 实验部分

5．1 实验条件

实验采用Intel Core i5 CPU，8 G内存，VS2017编译软件;使用C＋＋与OPENCV视觉库进行编程开发。在图像采集过程中，为降低遮阳板反光干扰，保证图像采集过程中亮度的一致性，本研究采用指向性较弱的漫反射光源进行照明。为了更好地显示图像处理效果，实验中选取的30幅待检图像中包含虚亮、坏点和花屏等显示质量缺陷，均存在遮阳板反光干扰。

5．2 实验过程分析

本实验过程以图6所示虚亮缺陷为例进行详述。通过图6(a)可以明显看出该图像含有数目较多反光干扰，本研究通过在图6(b)引入的双边滤波有效地平滑了图像，可以明显地观察到图像内部的大部分反光干扰得到了很好的抑制，而且对于目标区域的特征并没有太大改变。经过图像预处理之后，图像中仍然存在少部分反光干扰，使用传统的阈值分割法很难处理该图像。因此，本研究引入面积约束条件限制阈值取值范围。对比传统的阈值分割，更能兼顾缺陷提取的准确度和效率，从而达到理想的分割效果。面积约束引入的分割比例K的数值是在均衡计算熵值准确率和算法效率前提下，经过综合考虑电子路牌LED发光模型并结合大量的实验确定的。根据电子路牌产品型号不同，K值也不同，但是经过实验验证，决定分割比例K值的关键参数r值约为电子路牌LED发光模型中标准r值的0.87倍，改进的阈值分割效果如图6(c)所示。最后通过图像矩对目标区域进行标记，完成对缺陷的识别，其缺陷识别效果如图6(d)所示。

图6 电子路牌显示质量缺陷检测过程Fig．6 Relationship of crude BIS dilution factor and selectivity

考虑到待检对象的缺陷的多样性，本研究在对比实验选择上，选取了3组具有代表性的缺陷图像作为实验对象，并选取了2种常见的具有代表性的缺陷识别方法与本研究算法进行了对比:一种是文献[10]所述基于Otsu算子的最优阈值处理方法，该方法使用最小二乘法原理进行图像分割，具备良好的分割效果;另一种是文献[11]所述具备自适应分割阈值的Sobel微分检测算法，该方法对于一般图像分割效果好，通用性较强。为了避免其他因素的影响，本研究均对原始图像采用了双边滤波。缺陷识别的对比实验如图7所示。

图7 本研究对比实验分割效果Fig．7 Experimental segmentation effect comparison

图7(a)、(b)、(c)中可以看出不同缺陷图像中均存在数目较多的低对比度缺陷噪点。在对比实验中，经过人工调整阈值参数，文献[10]算法能对图像进行识别分割，但是分割效果不理想，仍有部分反光干扰存在，需要对图像进行二次处理才能完整分割出目标区域;文献[11]算法在此实验条件下对3种图像缺陷均无法完成准确识别;而经过本研究方法可以完全识别这3种缺陷，经过阈值分割处理之后直接保留图像目标区域的完整灰度信息。

为了平衡检测效率和算法准确度，验证本研究算法的鲁棒性及有效性，本实验采集4种不同缺陷数目的混合缺陷素材各50幅，共计200幅图做为验证样本。使用本研究缺陷检测算法对缺陷图像进行检测验证，将测试结果与样本实际缺陷数量对比来统计检测算法的正确率。表2给出了改进阈值分割方式的本研究算法实验结果，表明了本研究算法对检测精度、速度的提高都有明显的效果。

6 结 语

本研究主要针对电子路牌遮阳板反光干扰与目标区域低对比度造成图像难以分割的问题，提出了一种基于直方图阈值分割和面积特征约束获取最佳分割阈值的目标区域提取方法。通过使用改进的阈值分割新方法，极大的提高了缺陷检测效率，解决了电子路牌质量缺陷检测识别难点，提升了该产业自动化水平。经过综合实验生产测试，该方法对产品缺陷检测准确率达到95%，其效率远大于人工检测，成功实现了对电子路牌显示质量缺陷的实时、快速、准确检测。