一种基于OCR技术在评价机器人轨迹可行性的应用

许郭樑

摘要：本文设计一套自动化获取机器人关节信息内容的光学识别（Optical Character Recognition）方法。该方法用于快速评估机器人轨迹在现场应用的可行性，该轨迹主要应用于蓝光拍照式测量系统。首先对每张包含机器人关节信息图片做预处理，分离RGB图层，对图层进行二值化，采用LANCZOS方法进行图像的插值处理，使用Tesseract的搜索算法对图像内容进行识别，获取机器人各轴信息。通过评估OCR结果的，识别出错概率小于3%，可以满足使用要求。结论：基于Tesseract的识别工具获取机器人关节信息，免去目视检查轨迹和人工判断各轴姿态是否合理的工作内容，机器人工程师执行检查程序后执行机器人程序，即可将机器人各轴数据转化成结构化的数据报告，提高检查机器人轨迹可用性的效率，有利于后续进行更进一步的数据处理。

Abstract： Technology of OCR apply to Automatic grabbing the information of robot joints， it plays a role to check validation of the robot path quickly which could widely use in BLS（Blue light system）. First step， pre-process is going to focus on image-processing which contains split of RGB image， Binarization， and resize by LANCZOS algorithm. Using Tesseract as OCR Tools recognize the values of joints from each image. The error rate of this method is less 3%， which could meet the needs. Conclusion The OCR based on the Tesseract can avoid the trouble of manually checking and validating the robot path and convert the image of joints into structured data files. Improve the efficiency of generation OLP （Off Line Program） report and deeply dig the data to get further information.

关键词：Python语言;图文识别;OCR

Key words： python;recognition technology;OCR

0  引言

随着工业关节机器人应用愈加广泛，现场调试机器人轨迹的工作也随之增加。OLP（Off Line Program）机器人离线轨迹的制作，检查和评价工作的质量将越来越多的影响到现场工程的质量。OLP通常在虚拟工位里完成制作，通过检查后交付现场使用。本文将讨论一种利用图像识别技术（OCR）从虚拟工位内获取机器人位姿信息的方法，并在获取后进行数据检查，找出OLP内不符合标准的位姿。通常不符合标准的位姿会造成机器人运动带来的干涉和设备损坏，该标准需要结合机器人末端执行器，工具的运动范围限制和机器人管线包限制等综合制定而成。本文选取了蓝光测量工位内机器人作为采集轴数据的对象。OCR工具选择Tesseract作为OCR引擎，识别单张图片时间小于0.5秒，识别工作不依赖网络，在本地电脑上完成，识别率成功率大于97%，实时捕捉机器人在虚拟工位内运行时的各个关节值并记录。可以有效代替人工目视检查OLP，提升OLP检查的效率同时降低现场调试机器人轨迹的时间。

1  图像的预处理

对于图像进行RGB分层，二值化，插值放大处理（LANCZOS算法）。为了保证字符识别的效果，在识别之前对图像进行预处理，排除图像中的干扰因素以提高图像的质量，为后续字符识别提高一个良好的基础。[1]对图像进行预处理，有利用快速执行字符识别，其中采用模板匹配法进行识别满足本文应用场景。模板匹配是依靠输入与样本的相似性实现，这种算法对二值化的图像识别速度快，但是图像噪声影响较大。在数字图像处理中，二值化方法通过选取适当的阈值对图像进行分割，从而突出图像中的某些特征。[2]考虑到本次识别的数值和字符为带正负号的两位小数数字，且字体形式固定，使用Tesseract图像识别引擎，可以很好的满足图像识别要求。采用Python语言和标准库PIL（Python Imaging Library）执行图像预处理。

单幅图像内包含一个机器人位姿信息，有6軸机器人各轴角度和2各外部轴角度组成，总共8个数字，见图1。

使用PIL库对图像执行如（表1）操作：

2  字符识别

Tesseract-OCR是一个开源的OCR识别引擎，最初由HP实验室开发，后来贡献给开源软件，目前由谷歌进行代码维护和更新[3]。Tesseract采用命令行交互方式，使用Python的pytesseract库与Tesseract交互，pytesseract.image_to_string的方法将实时捕捉的图像进行预处理并传递给Tesseract执行识别（见图1）。在蓝光测量工位中选取四种测量零件的机器人轨迹进行识别错误率测试，相关错误率见表2，该方式错误率可以接受。

3  评价机器人姿态

通过图像识别后的每个姿态中各个轴数据，评价机器人轨迹是否满足现场使用条件。已蓝光测量工位为例，制定机器人姿态的评价条件，考虑到机器人各轴软极限限制和管线包现场工况条件等因素，结合虚拟仿真工位和现场实际工位状态，综合以上信息确定评价条件。见表3。标记出不符和判断条件的机器人姿态，生成报告后修改标注出的机器人姿态。

4  结论

A利用OCR技术可以快速高效的识别出机器人关节数据，取代人工目视检测机器人OLP在仿真环境内的状态，提高交付现场OLP的质量。

B因为机器人各关节数据间隔小于1秒且变化连续，容易将识别错误的数据自动剔除，3%的识别错误率可以接受。个别识别错误情况，可以人工干预校对。

注：本文涉及到的应用功能的开发，离不开以下公司同事的协助和支持。刘明完成制定机器人姿态的判定工作。李正平制作评估机器人姿态工具。通过以上两位同事的共同努力完成相关标准和工具的开发，再次表示感谢！

参考文献：

[1]万松.基于Tesseract-OCR的名片识别系统的研究与实现.广州：华南理工大学，2014.

[2]郭佳.一种光照不均匀图像的二值化方法.武汉科技大学信息科学与工程学院 湖北 武汉 430081.

[3]邬满.基于跳变检测和Tesseract的机打发票识别算法.南宁市界围工程咨询有限公司 中图分类号：TP3 文献标识码：A 文章编号：1003-9767（2015）18-043-03.

[4]张淙悦，等.基于Tesseract的医学化验单内容识别技术.北京：生物医学工程，2019，38（3）：283-289.