打印机显示模块的机器视觉检测系统的设计

战荫伟，付 波

（广东工业大学 计算机学院，广东 广州510006）

0 引 言

在打印机显示模块生产过程中，一些因素如电路板引脚错误焊接等会导致显示预设功能界面错误，例如应该通过点阵显示Ready字样却没有显示或者显示不全完而发生错误，影响打印机正常使用，因此，打印机显示模块的检测十分重要。检测方法一般有两种。一是电气的方法，检查打印机处于各功能状态时电路板的通电情况，不过这种方法极其复杂，不直观，所以目前一般不采用；二是视觉方法，检测显示屏各功能界面图像的显示情况，这是目前通行的检测方法。当前，多以人工手段检测打印机显示模块，即通过人眼来分辨各功能界面图像是否错误。人眼易疲劳、具有主观性且对大量密集信息分辨力不足，因此人工检测容易造成误判或漏判、检测速度慢、精度低等问题。

由于显示屏显示图像的结构稳定，特征明显，因此很适合使用自动化的手段代替人工进行检测。事实上，已有很多将机器视觉应用于LED显示屏检测的应用［1－6］。文献［1］中提出了基于机器视觉检测的LED显示屏的两个核心问题：对每个LED灯区域的定位和灰度采集。提出学习“图片”法来定位LED灯区域，建立学习图片中LED灯的中心点位置和待检测图片中LED灯中心点位置的仿射变换，从而完成LED灯的定位。文献 ［5］提出了手机显示屏坏点的检测，将机器视觉应用于手机显示屏的检测。文献 ［6］提出利用数学形态学消除噪声点，提取LED显示单元对应的点阵ROI。本文基于专业机器视觉库Halcon［7－9］，设计一个打印机显示模块的视觉检测系统。

1 系统总体方案设计

系统工作流程见图1，系统结构见图2，系统主要由处理系统、相机、气缸 （运动控制）、工作台等四部分构成。相机由工业数字相机、光源和光学镜头构成，主要负责采集图像，工业数字相机通过1394a接口与上位机相连，将采集到的图像数据经过图像采集卡传输给处理系统；气缸由5个气缸按钮手、滑道和气管构成，主要负责执行机械运动，实现自动化；处理系统由计算机、视觉软件和图像采集卡构成，负责图像数据的处理和传输；工作台由控制核、指示灯和蜂鸣器构成，主要负责运动控制。

图1 系统工作流程

图2 系统结构

2 光学硬件选型

光学硬件选型主要包括相机、镜头和光源的选型。相机的选择决定了系统的检测精度，本系统使用大恒300万像素彩色相机DH－HV3110FC，分辨率达到0.05mm，使得点阵中每个点元素包含的像素达到100个，足以用来判断一个点是否被点亮，满足要求。镜头的选择是根据工作视野和工作距离来确定的，检测微小元器件时，可能会选用放大镜、远心镜等，本系统选用的是焦距为25mm的普通镜头Computar M2514－MP2。

光源选择的合适已否直接影响着视觉系统的应用效果。依据LED灯的工作原理［10］，本系统选用LED带漫射板球积分光源。显示模块的显示屏是带LED背光的液晶显示屏，显示屏上方还有一个透明的玻璃外壳，显示图像是16×16×5的点阵，这样的显示结构决定了不能用直线光源（如条形光源等），必须采用方向和亮度都均匀的光源，否则显示屏会产生强反光或显示屏各部分亮度不均匀，影响检测效果。LED带漫射板的球积分光源，又称漫射无影光。它采用半球状漫反射面，将底部环形光发出的光线均匀反射到光源发出口，面分布均匀性、方向均匀性都很好，可以将表面比较复杂的物体或图片照射出比较均匀的效果。相机和镜头的参数见表1和表2。

表1 DH－HV3110FC数字相机主要参数

表2 Computar M2514－MP2镜头的主要参数

3 视觉软件设计

系统实验对象是某公司生产的L1080显示模块，显示模块的点阵ROI包含16个连续的大小相同的矩阵Li（i＝1…16），每个矩阵Li的大小为16×5，基本元素为0.5mm×0.5mm矩形区域Li；j，k（i，j＝1…16，k＝1…5）。本系统的检测工作是识别Li；j，k（i，j＝1…16，k＝1…5）点亮与否，与标准功能界面图像比较，然后判别出该功能界面显示与否。L1080显示模块预设6个功能界面图像，如图3所示。图3中，自上而下，第一个为所有Li；j，k都点亮、第五个为所有Li；j，k都没有点亮、其他仅为部分点亮等情形。

3.1 软件设计中的关键技术

根据LED显示屏显示图像的结构是16×16×5点阵可知，该系统的关键技术就是显示图像的16×16×5点阵ROI的精确定位以及灰度检测。采用信息量最大的图3（a）图像数据进行建模，建模算法主要分3步：第一步，显示屏定位；第二步，点阵ROI的定位；第三步，将点阵转化成数值矩阵。

3.1.1 显示屏的定位

在视觉系统中，由于机械和工件都存在一定的误差，并不能保证被测物在图像中总处于同样的位置和方向，因此系统设计检测算法必须能够应对这种位置的变化。

图3 L1080预设功能界面图像

首先，对图像进行校正，使用大津法［11］（OTSU）

分割出图像的显示屏部分。其算法的基本原理是：使得类间方差最大化的阈值t便是分割出图像前景目标的最好阈值

式中：α2——类间方差，q1——灰度值不大于t的类的概率，q2——灰度值大于t的类的概率，μ1——灰度值不大于t的类的均值，μ2——灰度值大于t的类的均值，μ——两类的类间均值。

使得α2最大的灰度值t就是最佳阈值。利用阈值t，分割出显示屏区域。然后校正图像。显示屏的上下边界是两条平行线，所以显示屏区域的最小外接矩形与x轴正向的夹角θ∈（－π／2，π／2］是显示屏的偏转角。利用偏转角θ和平移值（dx，dy）生成的仿射变换矩阵校正被测物的图像，仿射变换矩阵为

最后，利用校正后图像的二值图像创建形状模板［12］，因为二值图像创建形状模板更稳定。

3.1.2 点阵的定位

利用大津法 （OTSU）、数学形态学方法［13－15］处理校正后的图像得到点阵ROI的粗定位，16个类矩形区域Li（i＝1…16），如图4所示。

图4 16个类矩形区域

然后，对Li（i＝1…16）精确的定位包含在其内的点阵。Li包 含 一 个16 （5的 点 阵， 基 本 元 素 是Li；j，k， 每 个Li；j，k的高度和宽度都是基本相同的，但由于其自身工艺的原因，使得各Li；j，k的高度和宽度有一定的差别，导致定位过程中可能会产生累计误差，使得误差越来越大，最终定位错误。对点阵ROI定位有两种方案。

方案1：如图5所示，根据Li的最小外接矩形和点阵的垂直方向Li；j，k的数量 （作为点阵ROI的先验知识）定位出包含一行点元素的矩形区域，如图5（b）所示，再根据该矩形区域和点阵的水平方向Li；j，k的数量 （作为点阵ROI的先验知识）定位出每个Li；j，k的位置，如图5 （c）所示，最后得到完整的点阵ROI，如图5（d）所示。

图5 方案1点阵定位过程

方案2：根据方案1，得到完整的点阵ROI，然后继续对点阵中每个Li；j，k的位置进行精确定位，如图6（d）所示。进行精确定位 的 原 因 是 Li；j，k很 小，而 且 各 Li；j，k的 大小不尽相同，所以计算出的 Li；j，k很有可能与实际Li；j，k不完全重合，一大部分覆盖实际的Li；j，k，一小部分覆盖实际的Li；j，k＋1，慢慢的由于误差累积的原因很可能就会造成错误定位。精确定位的原理是Li；j，k是有边界的，只要连续对Li；j，k对应的图像进行阈值分割，当分割出的区域面积增长值小于一个给定值时，计算出的Li；j，k完全覆盖实际的Li；j，k，消除累积误差；否则继续处理。阈值取为

式中：N——感兴趣区域包含的总像素数，f——像素点与该点灰度值的映射，所以f（i）——像素i的灰度值。

图6 方案2点阵定位过程

根据以上两种方案，均可以得到一个16×5的点阵，对每个Li（i＝1…16）做同样处理，便可得到一个16×16×5的点阵。

3.1.3 点阵转化成数值矩阵

在检测每个预设图像时，通过查找模板、做仿射变换，将得到的16×16×5的点阵映射为当前图像的点阵ROI，对每个Li；j，k对应的图像做阈值分割处理，如果得到区域的面积在一定的范围内，则说明Li；j，k对应的数值为1，否则为0，这样便得到16×16×5的数值矩阵，再进行数值矩阵对比即可完成检测。

3.2 实验结果

本文共采用100个L1080显示模块做测试，50个采用方案1，50个采用方案2。实验数据统计见表3。由实验结果知，方案2的效果更好，虽然在时间上有所增加，但相对检测性能来说，时间上的部分增加是可以接受的，所以本系统的实现采用了方案2。

表3 实验结果统计

分析导致方案1的误判、漏判的实验结果图7（a）的发现：由于没有消除累积误差，造成定位的不准确，使得实验结果也发生很大的偏差；分析图7（b）的测试结果发现：矩形框选中Li；j，k和Li；j，k＋1，Li；j，k是没有被点亮的，但由于定位的不准确，使得计算出Li；j，k有很大一部分覆盖在实际的Li；j，k＋1上，导致误判为点亮。方案2实验结果如图7（c）所示，对不同的L1080，测试结果显示，点阵ROI完全覆盖在正确的位置上，结果完全正确。

4 结束语

图7 检测效果

对打印机显示模块生产行业进行深入的调查研究，发现目前多数以人工手段完成其性能的评估和检测，其检测速度和精度已无法满足现有的工业自动化生产需求，因此，设计实现基于专业机器视觉库HALCON的打印机显示模块自动化检测系统代替人工检测应运而生，提出的定位点阵ROI的方法能够消除累计误差，实现对显示模块点阵ROI的精确定位，提高检测结果的精度。改善了传统的人工检测方法的速度慢、精度低等问题，能够很好的满足现代化工业生产的需求。设计方案也存在不足，系统的工作环境 （包括机械环境和光源环境）必须固定而且比较敏感。

［1］WANG Hongye.LED display module inspection system ［D］.Dalian：Dalian University of Technology，2012 （in Chinese）.［王宏业.LED显示单元检测系统 ［D］.大连：大连理工大学，2012.］

［2］ZHANG Yu.Inspection technique of TFT－LCD screen mura drawback based on machine vision［D］.Harbin：Harbin Industrial University，2006 （in Chinese）.［张昱.基于机器视觉的TFT－LCD屏mura缺陷监测技术研究 ［D］.哈尔滨：哈尔滨工业大学，2006.］

［3］ZHANG Ge.Research on LCD defects automatic detection system［D］.Nanjing：Nanjing University of Science and Technology，2008（in Chinese）.［张戈.液晶显示屏缺陷自动检测系统的研究［D］.南京：南京理工大学，2008.］

［4］PANG Ran.Research on LCD digital table visual identification key technology ［D］.Guangzhou：Guangdong University of Technology，2008 （in Chinese）.［庞然.液晶数字表视觉识别关键技术研究 ［D］.广州：广东工业大学，2008.］

［5］QIN Xiaowei.Research on mobile phone screen bad point detection system based on machine vision ［D］.Chengdu：University of Electronic Science and Technology，2009 （in Chinese）.［覃晓伟.基于机器视觉的手机屏坏点检测系统研究 ［D］.成都：电子科技大学，2009.］

［6］XU Yunfeng，ZHANG Yan.Research on LED screen brightness detection algorithm ［C］／／Proceedings of International Conference on Audio，Language and Image Processing，2012：925－929.

［7］ZHANG Yujin.Machine vision and image techniques ［J］.Automation Panorma，2009 （2）：20－25 （in Chinese）.［章毓晋.机器视觉和图像技术 ［J］.自动化博览，2009（2）：20－25.］

［8］Carsten Steger，Markus Ulrich，Christian Wiedemann.Machine vision algorithm and application ［M］.YANG Shaorong，WU Dijing，DUAN Deshan，transl.Beijing：Tsinghua University Press，2009 （in Chinese）.［Carsten Steger，Markus Ulrich，Christian Wiedemann.机器视觉算法与应用 ［M］.杨少荣，吴迪靖，段德山，译.北京：清华大学出版社，2009.］

［9］LI Jingfeng，YANG Lina，PAN Heng.Visual C＋＋ detailed serial communication technology ［M］.Beijing：Mechanical Industry Press，2010 （in Chinese）.［李景 峰，杨 丽 娜，潘 恒.Visual C＋＋串口通信技术详解 ［M］.北京：机械工业出版社，2010.］

［10］GENG Chunming，CAI Dongbao.Design of mechanical parts inspection system based on computer vision ［J］.Computer Measure ＆Control，2012，20 （1）：38－39 （in Chinese）.［耿春明，蔡东宝.基于计算机视觉的机械零件检系统设计 ［J］.计算机测量与控制，2012，20 （1）：38－39.］

［11］Tian H，Srikanthan T，Asari K V.The segmentation algorithm of improvement a two－dimensional otsu and application research ［C］／／2nd International Conference on Software Technology and Engineering，2010：V1－76 －V1－79.

［12］ZHAO Zhenming，PENG Guohua，FU Limei.High precision and fast reliable image matching base on the shape model ［J］.Computer Application，2010，30 （2）：25－30 （in Chinese）.［赵振明，彭国华，符立梅.基于形状模板的快速高精度可靠图像匹配 ［J］.计算机应用，2010，30 （2）：25－30.］

［13］Hu Jinmei，Li Zuoyong.Medical image segmentation algorithm based on the improved mathematical morphology ［J］.Computer Simulations，2011，28 （5）：299－302.

［14］Chen Tingting，Cheng Xiaoping.Image segmentation using fuzzy morphology and morphological watershed algorithm ［J］.Journal of Southwest University，2008，30 （3）：142－145.

［15］Wei Qiangqiang.Showdown mathematical morphology and its application in the image edge detection ［J］.Science and Technology Information，2010，10 （2）：38－42.