多特征矩融合的液晶屏字符缺陷检测算法

陈昕，方成刚

（南京工业大学 机械与动力工程学院，江苏 南京211800）

1 引 言

字符型液晶屏是一种用于显示电动车码数、钟表时间等功能的产品，其字符能否正常显示决定了该产品的合格与否。传统的字符检测依靠人工质检，存在误判、漏判等问题。

近年来，由于机器视觉、图像处理的快速发展，基于图像的缺陷检测技术引起了学术界和工业界的广泛关注。刘伟［1］等针对SMD字符，提出了一种基于连通域法的轮廓特征分析提取算法，将字符轮廓特征与标准字符的轮廓特征进行匹配。李定珍［2］等针对VFD字符，提出了一种基于质心直线拟合的检测算法，通过最小二乘法进行直线拟合，进行基于平行直线的小角度倾斜校正，然后对不同点亮模式的图像特征进行判别。徐珩［3］等通过借助多张字符图像来配准字符，以消除字符位姿变化带来的影响，并通过像素面积、灰度值特征来进行缺陷判别。徐炜东［4］等提出了一种基于形状模板的ASMIM匹配算法，并利用加权归一化向量点积相似度来判别缺陷。郑菁菁［5］等通过提取字符的像素密度特征以及运用字符映射算法进行缺陷检测。郑魁敬［6］等通过字符灰度密度分布和灰度差的自适应阈值亮度法对字符区域进行遍历，进行字符的灰度缺陷检测。李海山［7］等通过提取字符样本图像颜色直方图特征对卷积神经网络进行训练，达到色彩缺陷检测的效果。

以上算法中存在以下不足：单一的轮廓、几何特征检测缺陷的准确度较低。字符颜色、灰度缺陷检测目前还处于起步阶段，将以上两种缺陷检测相结合的算法还比较少。本文使用Hu不变矩来描述字符结构特征，采用Zernike矩来弥补Hu矩所不能描述的高阶矩信息［8］；使用颜色矩来描述字符在HSV通道下的颜色亮度特征，采用灰度矩来弥补颜色矩所不能描述的灰度信息。运用2DPCA技术对上述矩进行融合，通过欧氏距离来衡量相似度达到缺陷检测的效果，最终通过实验验证该算法的可靠性。

2 多特征矩检测框架

2.1 ROI区域提取

ROI（Region of interest）提 取是从被 处理的原始图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域［9］。本文研究对象为液晶屏图像中单个字符，针对字符字体的特点，结合图像处理手段可提取各字符所在区域。

提取出完整的字符是实现特征矩阵提取和特征描述以及缺陷检测的关键［10］。对图像进行去噪、二值化、Canny边缘检测预处理之后，通过Hough直线检测进行倾斜校正，形态学处理连接字符内部线段，连通域分析提取各字符区域来实现ROI区域提取，如图1所示。

图1 ROI区域提取实现Fig.1 Implementation of ROI region extraction

2.2 检测总体框架

液晶屏字符常见缺陷有：断线、漏线；亮度过高、过低等。上述缺陷采用字符的结构（轮廓）、颜色（灰度）特征进行描述。字符特征矩阵包括轮廓矩阵、灰度矩阵。轮廓矩阵中包括Hu矩、Zernike矩［11］，灰度矩阵中包括颜色矩、灰度矩［12］。通过构造字符特征矩阵并采用2DPCA方式对矩阵进行融合，最终运用欧式距离进行模板图像特征矩与待检测图像特征矩的相似度衡量达到缺陷检测的目的，检测框架如图2所示。

图2 多特征矩检测框架Fig.2 Multi-feature moment detection framework

3 特征矩提取

3.1 Hu矩的提取

图像的Hu矩是一种具有旋转、平移和尺度不变性的图像特征。文生平等［11］利用Hu矩算法对字符进行识别，结果表明Hu矩能够很好地提取字符轮廓特征参数。一张大小为C×R的图像f(x，y)，其（p+q）阶原点矩、中心矩以及归一化中心矩为：

式中p、q分别为图像像素坐标中水平距离和垂直距离的阶数。x0、y0为目标区域的质心坐标，x0=m01/m00，y0=m01/m00。图像的Hu不变矩为：

式中η02、η11和η20为二阶归一化中心矩，η03、η12、η21和η30为三阶归一化矩阵。针对无缺陷、有缺陷两种字符的不同姿态，如图3所示，其对应的Hu不变矩的特征量（由于7个数变化范围较大，为了便于比较，将特征量取对数显示）如表1所示。

图3 不同姿态字符Fig.3 Different attitude characters

表1 不同姿态下的Hu矩Tab.1 Hu moment under different poses

3.2 Zernike矩的提取

Zernike矩能有效识别属于同一类别却有着较大形状轮廓差异的字符。王峰等利用Zernike矩识别车牌字符，结果表明Zernike矩能够很好地提取字符轮廓特征参数［13］。Zernike的正交多项式{Vnm(x，y)}=Rnm()

ρejmθ，其中：

式中：n、m为Zernike多项式的阶数；n为非负的正数；(n-|m|)是偶数，|m|≤n；Rnm(ρ)为点（x，y）的径向多项式。对上文中C×R大小的数字化离散的图像用求和来代替积分，其Zernike矩Znm为：

针对图4中无缺陷、有缺陷两种字符的不同姿态，由于Hu矩的7个不变矩仅由二阶、三阶（低阶矩）构成，为了将字符的轮廓、结构特征描述得更加准确，采用Zernike矩的6、7、8、9、10、11阶矩（高阶矩）进行计算，矩的计算结果如表2所示。

表2 不同姿态下的Zernike矩Tab.2 Zerniek moment under different poses

图4 亮度缺陷HSV通道对比Fig.4 Comparison of HSV channels with luminance defects

3.3 颜色矩的提取

颜色矩是一种图像颜色特征的表示方法［14］。由于颜色信息主要分布于低阶矩中，所以采用一阶、二阶、三阶可以表达字符的颜色分布［15］。颜色矩表示为：

式中，Pi，j表示字符图像中第i个颜色通道分量中灰度为j的像素出现的概率，N表示图像中像素的个数。

由于HSV空间饱和度、明度与人眼的主观认识比较符合［15］，因此，针对字符亮度缺陷，本文采用H、S、V三个分量以及三阶颜色矩组成一个9维的直方图向量，字符的颜色特征Fcolor表示如式（12）所示，正常亮度、过高亮度两张字符图像的H、S、V三分量比较如图4所示。

根据颜色特征式（12）可提取出正常亮度、过高亮度两张字符的颜色矩阵F，如表3所示。

表3 亮度缺陷下的颜色矩Tab.3 Color moments under brightness defects

3.4 灰度矩的提取

本文灰度矩是字符图像的灰度特征。郑魁敬等［6］通过灰度矩算法来检测手机背面缺陷，结果表明灰度矩能够很好地描述目标区域的灰度分布特征情况。灰度矩G包括灰度特征中的以下部分：灰度均值m：表示图像的亮暗不同；灰度方差σ2：反应了字符亮度缺陷图像的灰度值的离散程度；灰度熵e：灰度熵的大小具有不同的意义，值越大表示字符图像包含的信息越多；偏斜度ξ：表示目标区域灰度直方图的偏斜性，值越小表示直方图越对称。

式中，K表示灰度级数，Ki表示第i个灰度级，P(Ki)表示Ki出现的概率。针对图5并结合式（13）提取灰度矩，如表4所示。

表4 亮度缺陷下的灰度矩Tab.4 Gray moments under brightness defects

图5 100张缺陷字符欧氏距离分布Fig.5 Euclidean distance distribution of 100 defective characters

4 特征矩融合与缺陷判别

4.1 2DPCA的矩阵融合

将4组 特 征矩Hu、Zernike、F、G组成m×n的矩阵T，其中m=4，n=max(n1，n2，n3…nm，)，若矩阵维数小于n，则向量维数向后补0使其维数扩展为n，得到字符特征矩T为：

2DPCA通过降维的方式，将T投影到低维的平面上，获得低维融合特征［16］。假设X为一个n维归一化列向量，将T按公式（15）投影到X上获得一个m维的投影列向量Y：

字符图像所有的特征向量投影到X上就得到所有样本的投影向量，投影向量之间的分散程度代表了X区分样本的能力，本文采用投影向量的协方差J（X）表示分散程度。当J（X）的值取最大时，X对特征向量的区分能力最强，如式（16）所示：

定义Gt为特征矩阵的相关矩阵，假设有M个特征矩阵数据，m×n的矩阵Ti(i=1，2，…，M)，则平均特征矩阵为：

则：

综上，

因此，使得J（X）最大化的投影方向集{X1，X1，…，Xd}是Gt的前d个最大特征值对应的彼此正交的特征向量，d需要满足：

式中，λi是Gt的n个特征值，σi为特征值的贡献度因子，σcum为前d个特征值的累计贡献度。将矩阵T投影到这些向量集上即可得到融合后的特征向量：

由YK主成分向量形成m×d的矩阵Z=[Y1，Y2，…Yd]称为字符特征矩阵T的融合特征矩阵。

4.2 缺陷判别

为了衡量标准图像与待检测图像之间特征矩的相似程度［17］，本文采用欧式距离来衡量［18］。假设Zi、Zj分别是标准字符、待检测字符的融合特征矩，则欧氏距离为：

为了达到字符缺陷检测的目的以及避免误判、漏判，结合融合特征矩阵之间的欧氏距离，通过实验法确定缺陷阈值，从而判定是否存在缺陷。

5 实验验证分析

由于液晶屏在实际生产过程中字符存在缺陷的几率较小，该缺陷检测属于偏斜类问题［19］。为了选取合适的缺陷阈值以防止错判、漏判等情况发生，选择100张缺陷（包含亮度、轮廓缺陷）不显著的字符图像计算其与标准字符的欧氏距离［20］，如图5所示。

由图5数据可知，100张缺陷不显著的字符图像的特征矩与标准字符图像的特征矩之间的欧氏距离最大值为0.498 35，最小值为0.302 26，因此满足式（23）的欧氏距离即认为该字符存在缺陷。

本文多特征矩融合的字符缺陷检测算法通过Matlab2018a软件编程实现。为了检验算法的有效性以及缺陷阈值的稳定性，仿照秦钟伟等的方法［21］，采用主观评价和客观评价2种方式进行评价。主观评价是指将算法检测的结果与人工检测的结果做主观对比，该方法较为直观。客观评价主要是将该算法的检测结果与同类问题下的算法结果相比较，评价其效率以及准确性。

主观评价：从上述100张缺陷字符之外选取2张典型缺陷的字符图像，将人工目测结果与算法检测结果进行对比，如图6所示。

图6 主观评价结果Fig.6 Results of subjective evaluation

客观评价：采用本文融合算法与单独算法在相同工况下各自处理两种典型缺陷各100张随机字符图像，比较识别效率（单张液晶屏图像检测时间）、误判率（将正常字符判定为缺陷字符）、漏判率（将缺陷字符判定为正常字符）、准确率（能够准确判别缺陷），如表5和图7所示。

表5 本文融合特征与单一特征比较Tab.5 Comparison of fusion features and single features

图7 本文算法与同类算法比较Fig.7 Algorithm presented in this paper compared with similar algorithms

通过上述主观评价和客观评价，证明了本文所提算法的稳定性。该算法在与同类算法相同效率的情况下降低了字符的误判率以及漏判率，效果优于同类算法，提高了字符缺陷检测的准确性。

6 结 论

本文为了满足液晶屏字符自动化检测高效、准确的需求，保证检测的低误判率、低漏判率，提出了一种基于多特征矩融合的字符缺陷检测算法。

将字符结构轮廓特征的Hu矩、Zernike矩和字符颜色灰度特征的颜色矩、灰度矩，采用2DPCA的方式生成融合特征矩，并通过欧氏距离衡量标准融合特征矩与待测融合特征矩的相似度，实验设定缺陷相似度阈值，达到缺陷检测的效果。

在主观评价方面，人眼检测结果与算法结果相比较，证明了该算法的实用性以及缺陷阈值的稳定性；在客观评价方面，本文算法与同类算法的比较结果表明，证明该算法具有优于同类算法的准确性，误判率为1%，漏判率为0%，效率为0.6 s。