设备铭牌字符识别系统的开发与实现

2020-07-23李奇超马波伍弘张锐

宁夏电力 2020年2期

李奇超，马波，伍弘，张锐

(国网宁夏电力有限公司电力科学研究院，宁夏银川 750011)

随着信息化、智能化时代的到来，电气化产品大批量生产，迫切需要开发1套高识别率和准确率的设备铭牌字符自动检测识别系统[1-2]来代替人工检测手动抄录。铭牌字符识别不同于其他具有白色背景的普通文字识别，它的形状轮廓线条方向多变，字符内容较专业，同时包含字母、数字、文字和特殊符号，部分术语还需通过固定排列才能构成，字符区域内还可能出现模糊、倾斜的情况，识别难度较大。

目前对于字符识别，主要有结构模式识别和统计模式识别：结构识别可用来识别汉字，但抗干扰能力较差；统计模式识别基于图像处理和图像识别理论，识别效果较好[3]。文献[4]提出1种结合垂直与水平投影的模版匹配方法进行字符分割，提高了字符分割的准确性和鲁棒性，但功能单一无法解决复杂环境下的铭牌字符识别问题；文献[5]提出了基于霍尔变换的铭牌图像旋转矫正方法，解决了图像倾斜导致字符识别准确率低的问题，但对于带胶面、哑光面、亮镜面等类型的铭牌未深入研究；文献[6]提出了基于深度学习的电力设备铭牌识别方法，避免了裁剪图像、字符分割的过程，解决了传统铭牌识别准确率低的问题，但对倾斜角度较大、铭牌中含有字母和特殊符号的情况，铭牌识别效果欠佳。

因此，开发了1种字符识别系统，通过摄像头对设备铭牌进行成像，利用图像预处理、铭牌匹配、字符精定位、图像增强和字符分割等处理技术，实现高效字符识别。

1 系统开发思路

依据提高图像字符识别率和准确率的设计思路，搭建系统结构，如图1所示。通过细化系统各部分功能，开发相关模块，实现设备铭牌字符识别系统的开发。

图1 字符识别系统结构设计

1.1 建立样品模板库

根据待识别铭牌字符，建立字符识别铭牌图像库。将不同厂家、不同类型的铭牌划分为不同类别，分类管理，建立类别样品库，为后续识别算法的样本处理搭建基础。根据样本中的每类铭牌，建立铭牌类别模板信息库，再对库中样本进行分辨率调整、轮廓处理和倾斜校正，得到该类铭牌标准模板。

1.2 铭牌类别判定与字符识别

针对标准模板库中的铭牌，通过自动识别或人机交互模式，识别出铭牌归属类别，再根据不同类别铭牌字符的特殊性，比如清晰度、间距大小、字符组合等特征，对精确定位待识别区进行图像预处理、铭牌匹配、字符精定位、图像增强、字符分割等处理，提高识别精度。最后针对待识别区域标定的取值范围，对自动识别结果进行修正、输出。在人机交互模式中，设置有用户判定和手动选择类别选项，以确保复杂环境下的字符识别率。同时系统把正确的识别结果保存反馈至模板库，不断丰富样本库，不断提高识别率和准确率。

2 系统模块设计

根据拟实现功能，设计了图像字符识别逻辑结构框架，如图2所示，字符识别功能主要从5个方面进行开发设计。

图2 图像字符识别逻辑结构框架

2.1 图像预处理

该部分设计通过摄取摄像头输入的每一帧图像，预处理后得到图像数据，然后对铭牌进行图像分辨率调整、轮廓处理及倾斜校准，保证后续功能算法和处理能够及时、准确。

2.1.1 分辨率调整

利用双三次插值算法[7-8]，找出图像中待求像素点像素值的影响因子，根据影响因子获取目标图像对应的像素值，通过源代码编程处理，达到图像缩放的目的。假如每个待求像素点为x，由其相邻左右各2个像素进行加权，求得其像素值：

(1)

先利用公式(1)、(2)对每个4×4窗口内纵列求临时插值像素点，然后对4个临时像素点利用同样的原理求得最终的待求像素点像素，从而实现图像的放缩。

2.1.2 轮廓处理

针对已调整分辨率的铭牌图片，对铭牌区域进行局部二值化，对二值化图像进行细化处理。假定每个像素点在参数空间对应曲线之间的交点(x，y)，如果交于一点的曲线数量超过阈值，那么认为交点(ρ,θ)在图像空间对应1条直线，如式(3)所示：

ρ=xcosθ+ysinθ

(3)

再对细化处理后的图像进行Hough直线检测，利用Laplacian边缘检测结果进行图像多边形轮廓检测，根据轮廓的几何关系、长宽比、面积尺寸、纹理特征等约束，剔除掉干扰区域。最后，使用Hough变换直线检测拟合得到铭牌区域的四边形轮廓，从而得到铭牌区域的粗定位[9]。

2.1.3 倾斜校正

由于拍摄角度、安装方式等多种因素会使拍摄到的铭牌图像产生倾斜变形，给后续的字符分割和识别带来麻烦，因此字符分割前需对铭牌区域图像进行倾斜校正，根据拟合得到的铭牌区域四边形直线，自动选择四边形的4个顶点坐标，并以此为参数对图像进行全局透视变换，完成铭牌区域的图像倾斜校正。

2.2 铭牌匹配

根据模板库中不同类型铭牌，首选自动识别方式对铭牌类型进行匹配识别。识别时依据样本量的多少选择采用机器学习或模板匹配的方式进行识别。模板匹配采用判别分析和对比的方式：判别分析主要从颜色特征和纹理特征进行提取，颜色特征以颜色直方图和颜色均值作为特征，而纹理特征以方向梯度直方图的梯度直方作为输入[10]；对比的方式则是建立两图像的距离函数，通过阈值设定进行类型判定。由于目前采集的铭牌样本量通常难以达到大数据的层次，因此文中设计时选择传统机器学习算法，如迭代算法、神经网络算法。

2.3 字符精确定位

经过图像预处理和铭牌匹配，对输入的铭牌区域信息，定位出各部分字符或文本小区域，并将表格线去除，然后输出铭牌所有字符区域，达到精定位的目的。在构建铭牌模板库时，针对每类标准模板铭牌，完成版面布局检测，并自定义待识别区域及其物理含义。设计时考虑了辅以灰度化、平滑虑噪、边缘检测、局部自适应二值化、横纵向表格线去除、横纵向跳变检测、形态学滤噪、连通域分析等图像预处理操作，达到字符精确定位的要求，定位流程如图3所示。

图3 字符精确定位流程

2.4 图像增强

本部分功能设计思路是先采用中值滤波的方式进行去噪，再采用限制对比度自适应直方图均衡化(CLAHE)方法对各区域进行图像增强，最后通过Ostu二值化进行阈值分割，达到增强局部区域对比度，增强图像局部细节可视性，同时抑制噪音产生的目的，实现功能效果见图4。

图4 图像增强效果

2.5 字符分割识别

本部分设计主要对经图像增强后的精确定位区域进行字符切分识别，然后依据模板信息加以校正，再将字符信息索引至原图对应位置。针对含字母、数字、文字和特殊符号等不同区域字符，采用先验知识法提高精度。根据字符宽度和间距的阈值采用投影法对字符进行分割，再将每个字符归一化，达到每张图片大小一致的效果，处理效果如图5所示。

图5 字符分割效果

3 实验验证

3.1 测试与验证

总体功能设计后，测试和验证是系统开发的最后关键一环，也是验证系统能否满足预期功能的必要手段。本文对不同厂家30多种类型1 000张设备铭牌图片进行了字符识别测试，其中包含哑光面、亮镜面和带胶膜面的铭牌。为充分验证系统对铭牌信息的识别性能，试验还进一步加大识别难度，采用3种类型摄像头在左侧45°避免复杂光线、右侧45°避免复杂光线和正面复杂光线的条件下进行了拍照识别验证，字符定位识别结果如图6所示，铭牌识别效果如图7所示。

图6 铭牌字符精确定位识别结果

图7 铭牌字符识别结果

3.2 实验结果与分析

实验从测试的变压器铭牌中选出铭牌信息必须标志的16个项目[11]进行统计分析，分析结果表明，本系统整体性能稳定，能够适应复杂的背景和外在因素干扰，具有较强的鲁棒性。光线是影响铭牌识别准确率的关键因素，铭牌钢印字体受光线影响最大。同时在相同外部环境条件下，利用800万像素、1 200万像素和1 600万像素3种不同类型摄像头，对同一铭牌识别的结果显示，摄像头像素高低直接影响铭牌字符识别率和正确率的高低。系统对亮镜牌子、带胶牌子的识别精度有限，其中亮镜面字符识别率为75%，受铭牌带胶程度不同，带胶铭牌的识别率结果无法量化，字符可识别的最小分辨率为1 200×800像素，哑光牌子识别准确率相对较高，为87%；对同时含有字母、符号和数字信息的钢印字体识别准确率最差，仅为70%；对黑色印字、打印黄色字、黑底亮字识别准确率较高，达95%以上；对纯汉字信息识别准确率最高，达100%。