基于机器视觉的矿用数显电测量仪表检测系统

叶景东，　宗寿松,2，　朱美强，　李明

(1.中国矿业大学 信息与电气工程学院， 江苏 徐州　221008，2.江苏安科瑞电器制造有限公司， 江苏 无锡　214405)



基于机器视觉的矿用数显电测量仪表检测系统

叶景东1，宗寿松1,2，朱美强1，李明1

(1.中国矿业大学 信息与电气工程学院， 江苏 徐州221008，2.江苏安科瑞电器制造有限公司， 江苏 无锡214405)

针对人工核定煤矿数显电测量仪表时存在的检测效率低、劳动强度大、受人主观因素影响等弊端，设计了基于机器视觉的煤矿数显仪表自动检测系统。该系统通过控制数显电测量仪表上电全显示与相机录像获取开机过程，使用亮点统计方式识别全显帧，采用模板匹配完成仪表显示质量的自动判定，并通过穿线法字符识别自动判定其测量精度。工业样机实验结果验证了该系统的有效性。

数显电测量仪表； 仪表检测； 机器视觉

网络出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160902.1009.004.html

0　引言

矿用数显电测量仪表是指以晶体管或液晶屏作为显示载体的电量测量仪表，在煤矿生产、电量监控中被广泛应用[1]。矿用数显电测量仪表检测分为显示质量检测与精度检测两部分。通常，矿用数显电测量仪表开机时，会依序自动显示全显信号、仪表型号等信息[2-3]，根据全显信息可以判断仪表显示是否正常。进行仪表精度检测时，将仪表显示值与输入信号进行对比，判断电信号测量误差是否满足国家标准或者企业规定的要求。目前，国内煤矿企业对煤矿数显电测量仪表的安全检测工作主要依靠人工检测。人工检测的自动化程度较低，劳动强度大，受主观因素影响较大，而且无法保存检测图像数据[4-5]。鉴此，本文采用图像处理和识别技术，设计了基于机器视觉的矿用数显电测量仪表检测系统。

1　系统总体设计

1.1系统硬件设计

人工检测仪表时，检测人员通过肉眼观察仪表的开机过程，来确认仪表显示是否符合要求，再进行精度检测[6]。基于机器视觉的矿用电测量仪表检测系统将采用摄像头代替人眼，计算机代替人脑来完成仪表的检定。系统硬件部分主要由计算机、工业相机、串口控制继电器、仪表供电电源、程控标准源等组成，其结构如图1所示。

图1　硬件结构

计算机通过并口、PCI总线和串口分别与工业相机和程控标准源及供电电源连接。由于电测量仪表显示器本身发光，所以外界光源影响较小，无需添加辅助光源。当计算机控制工业相机开始录像时，计算机通过控制串口控制继电器接通仪表的供电电源，使仪表自动开机。仪表开机完毕后，计算机控制工业相机停止录制，保存仪表开机录像，检测所需的数据采集是否完成。进行精度检测时，计算机控制标准测试电源加载测试信号，并通过工业相机采集图像，对显示结果进行识别。

1.2系统检测流程

通过控制仪表电源获得开机视频后，系统对视频的每一帧进行分析，找出仪表开机时显示的全显帧，采用模板匹配的方法检测仪表显示是否符合要求，然后通过输入精度检测信号进行精度检测，最后保存检测数据。具体检测流程如图2所示，图像处理流程如图3所示。

图2　系统检测流程

图3　图像处理流程

2　系统检测原理

2.1开机关键帧图像获取

开机视频可以分解为不同帧的图像。对于每一帧图像，系统将分通道处理，二值化每一个像素点，然后统计亮点的个数。以一个开机显示2路信号的电压表为例，统计亮点数的变化规律，如图4所示,开机图像如图5所示。开机瞬间，亮点数增加，之后仪表进入一个稳定的过程，即状态2，其对应的图像如图5中的状态2。第1个显示信号稳定一段时间后，仪表开始切换到第2个信号点并在一段时间内保持稳定，对应的图像为图5中的状态3。仪表完成开机后，切换到正常零输出状态，开机结束。

图4　亮点数统计

根据图4的规律，可以通过信号的亮点数和亮点数阶跃点来判断整段视频中哪几幅图像帧是开机检测需要的图像。当阶跃的数量达到一定数值时，系统判定仪表状态发生变化，仪表显示进入另一个状态；当阶跃数量小于所设值时，系统判定为所在状态得到保持。通过这种方法，系统得到每一种状态的帧数及所保持的时间，并通过去除时间较短的状态以去除干扰。统计同一状态的亮点数量的平均值，找出最接近亮点数平均值的图像帧为所在状态的最稳当点。

状态1:帧数1状态2:帧数7状态3:帧数14状态4:帧数20状态1:帧数2状态2:帧数9状态3:帧数15状态4:帧数19

图5开机图像

由于工业相机分辨率高，统计关键帧亮点数的时间较长，所以在实际使用时需要对其进行优化。这里使用了2种优化策略。首先，因为亮点统计规律与分辨率无关，所以可通过压缩图片、降低分辨率来加快关键帧获取速度。其次，仪表开机时不同状态会持续一定时间，同一个状态会采集到数帧相同的图像。因此，可采用跳跃统计图像帧的方式统计所有帧，以缩减检测时间。

2.2仪表图像定位

在获取到开机关键帧原始图像后，为了消除因图像错位产生的误差，需要对图像进行定位预处理。将较小的标准模板作为参考，在输入模板中寻找相对性的相似度最高的模块，使标准模板可以在空间上进行定位。模板匹配算法主要有基于灰度的模板匹配、基于几何特征模板匹配和特征加权模板匹配[7]。本文使用算法较简单、速度较快的基于灰度的模板匹配定位方法。模板匹配示意和结果如图6和图7所示，从匹配数组中划分和标准模板大小相同的子数组，与标准模板相减取绝对值，并且进行累加。不同子数组的计算结果组成大小为(M-m)(N-n)的新数组,其中M,N为匹配数组大小,m,n为模板数组大小。新数组中最小值就是与模板相识度最高的子模块，如式(1)所示。

(1)

式中：d(i,j)为最佳匹配子模块；(i,j)为像素点的坐标；S(i,j)为与模板大小一样的子模块数组；T(i,j)为模板数组。

图6　模板匹配示意

图7模板匹配结果

2.3显示质量检测

寻找到最佳模板之后，系统需要对图像进行检测识别，判断仪表是否符合开机要求。将匹配到的最佳模板与标准模板相减，计算绝对值，组成差异化图像数组。将差异化图像数组进行二值化滤波，消除因光线等外界因素产生的微小偏差。检测二值化后的差异化图像数组的联通模块，将因为位置偏差等因素造成的小模块去除，保留面积较大的模块。最后通过检测差异化图像数组是否存在面积大的模块来识别图像是否和标准模板一致，如图8所示。

(a)关键帧图像(b)标准模板图像(c)相减图像(d)处理结果

图8图像检测

2.4仪表精度检测

电测量仪表精度检测图像采用边缘检测进行显示数字的提取，将图像进行膨胀，把每个数字作为一个联通域进行切割。数字图像提取出来后,采用穿线法进行数字字符的识别,如图9所示。其中w为数字图像宽度,h为高度。穿线法通过ABCDEFG七条线段穿过图像,检测是否经过线段,经过为1,不经过为0。对识别到的编码采用表1进行转换，得到识别数字。得到数字识别结果后，将其与仪表输入进行比对，计算精度误差，并根据数据库信息进行精度检定。

图9　穿线法

ABCDEFG结果00001011111011021110101301011014111100151111011610001017111111181111101910111110

3　实验结果分析

采用2 592×1 944高分辨率工业相机和i7-4710MQCPU计算机，基于OPENCV和C++平台搭建软件系统。样机在仪表生产厂家进行了实验运行，结果表明，该系统能够实现相关矿用数显电测量仪表的显示质量检测和精度检测。

3.1显示质量实验结果

在仪表生产厂家录制15帧/s的开机录像用于检测显示质量。实验时，分别对数码管与液晶面板两类仪表进行了测试，均得到满意的结果。对于合格仪表，液晶仪表的实验结果见图8，数码管仪表结果与之类似。对于安全质量不合格的仪表样本，数码管仪表开机过程中获取到的全显信号关键帧与标准模板匹配，识别出了仪表显示存在缺段的质量问题，如图10所示。

关键帧图像标准模板图像差值图像识别结果

图10数码管缺段检测

通过压缩图像加速和跳跃采集对仪表信息关键帧获取进行优化，使整个检测时间缩短，结果如图11所示。系统优化后，在分辨率高时有较大的速度提升；当分辨率低时，提升空间较小，提升效果依然存在，但不明显。

图11　处理时间

3.2精度检测实验结果

样机系统通过比对识别出的数字与输入数值，检测电测量仪表精度是否满足安全质量要求。本系统测试了10种类型100多个电测量仪表，包括电压表、电流表、电能表，其中有液晶显示和数码管显示的数显仪表测试结果表明，系统能够检测出精度不达标的电测量仪表。

4　结语

针对煤矿数显电测量仪表的安全检测，基于机器视觉技术，设计了煤矿用数显电测量仪表检测系统。该系统采用了计算机控制、机器视觉分析的方法，实现了煤矿电测量仪表显示质量检测和测量精度检测，自动化程度较高。工业样机实验结果验证了该系统的可行性。

[1]韩书,胡彧,李彤,等.通风安全仪器仪表管理系统设计[J].工矿自动化,2014,40(5):109-112.

[2]孙杰.通风安全仪表计算机管理系统的设计[J].工矿自动化,2011,37(4):88-91.

[3]孙继平.煤矿井下安全避险“六大系统”的作用和配置方案[J].工矿自动化,2010,36(11):1-4.

[4]陈蓉,杨慕升,张宇,等.基于机器视觉的仪表自动检定系统的研究[C]//中国仪器仪表学会青年学术会议,黄山，2007.

[5]李伟,任娜娜,胡艳侠,等.基于机器视觉和LabVIEW的指针式仪表自动检测系统设计[J].自动化与仪器仪表,2015(4)：178-181.

[6]李栋,杨志家.基于机器视觉的指针仪表识读方法[J].仪表技术与传感器,2012(10):31-33.

[7]崔政,李壮.两种改进的模板匹配识别算法[J].计算机工程与设计,2006,27(6):1083-1085.

Detection system for coal mine electrical inspection instrumentwithdigitaldisplaybasedonmachinevision

YE Jingdong1,ZONG Shousong1,2,ZHU Meiqiang1,LI Ming1

(1.SchoolofInformationandElectricalEngineering,ChinaUniversityofMiningandTechnology，Xuzhou221008,China； 2.JiangsuAcrelElectricCo.,Ltd.,Wuxi214405,China)

Inviewofproblemsoflowmeasurementefficiency,highlabourintensityandbeinginfluencedbysubjectivefactorsinmanuallycalibratingcoalmineelectricalinspectioninstrumentwithdigitaldisplay,anautomaticinspectionsystemforcoalmineelectricalinspectioninstrumentwithdigitaldisplaywasdesignedbasedonmachinevision.Thesystemcontrolspoweronoftheinstrumentandavideotogetbootingprocess,anduseshighlightsstatisticsmodetoidentifykeydisplayframeoftheelectricalinspectioninstrument,usestemplatematchingtocompleteautomaticidentificationofthedisplayimage,andusesdigitrecognitionwiththreadingmethodtodetectthemeasurementaccuracyautomaticly.Validityofthedesignedsystemisverifiedwithexperimentresultsfromindustrialprototypesystem.

electricalinspectioninstrumentwithdigitaldisplay;instrumentinspection;machinevision

1671-251X(2016)09-0013-04DOI:10.13272/j.issn.1671-251x.2016.09.004

2016-04-14；

2016-07-20；责任编辑：胡娴。

江苏省自然科学基金项目(BK20130207)；江苏省博士后基金项目(1301029C)。

叶景东(1990-)，男，广东广州人，硕士研究生，研究方向为机器视觉，E-mail：cumtyjd@126.com。

TD679

A网络出版时间：2016-09-02 10:09

叶景东，宗寿松，朱美强，等.基于机器视觉的矿用数显电测量仪表检测系统[J].工矿自动化，2016,42(9)：13-16.