基于改进ORB的巡检机器人视觉算法研究

孙温和，张国伟，，卢秋红

（1.上海电力学院自动化工程学院，上海 200090；2.上海合时智能科技有限公司，上海 201100)

基于改进ORB的巡检机器人视觉算法研究

孙温和1，张国伟1，2，卢秋红2

（1.上海电力学院自动化工程学院，上海 200090；2.上海合时智能科技有限公司，上海 201100)

针对目前变电站巡检机器人存在的不足，提出一种改进的视觉伺服算法。当巡检机器人采集到仪表图像时，利用改进的ORB与模板图像匹配，以验证捕获的图像包含感兴趣区域（ROI），若ROI是实时图像的一部分或全部，则云台控制（PTZ）计算偏移像素来补偿缺陷。改进的ORB克服传统ORB不具尺度不变性的缺点，使图像匹配结果更加精确，机器人能够采集更准确的目标图像，有利于后续识别工作的进行。实验结果表明，该算法提高机器人捕获图像的效率，为变电站使用机器人进行巡检提供可行性。

上海市电站自动化技术重点实验室（NO.13DZ2273800）

0 引言

随着变电站智能化程度的不断提高，利用机器人来完成巡检任务成为一种趋势。由于国内变电站大多数仪表设备均为指针仪表，因此，基于机器视觉实现对变电站仪表自动识别是关键技术之一[1]。机器人巡检过程中，首先要采集需要识别的仪表图像，但由于误差的存在，目标仪表会偏移视野。即需要识别的设备部分或整个区域将偏离图像，会导致机器人无法正常识别，从而导致电力系统的隐患。因此，巡检机器人能够捕获高质量的图像非常关键。

1 视觉伺服

为了解决机器人拍摄仪表图像时的视觉偏移问题，需要建立机器人视觉伺服系统。视觉伺服系统的主要目的是使用视觉系统提供的信息来控制和调整机器人的动作[2-3]。机器人视觉伺服系统的一般结构如图1所示。相机作为视觉传感器执行，以计算机器人与周围环境之间的相对位置。根据期望的设定点和反馈信息，视觉控制器产生机器人的运动控制指令，以控制机器人实现给定的任务[4]。

图1 机器人视觉伺服结构

1

1.1 视觉伺服算法

目前，变电站巡检机器人是轮式车辆平台并且在预先设定的路线上行驶[5]。机器人停在设备前面的固定预设点，并调整摄像机参数以捕获设备图像，在固定点从RFID标签读取参数。然而在获取图像时不包括机器人的姿势和目标设备之间的关系描述，因此不会对机器人姿态做出校正和调整。为了提高巡检机器人的图像采集的质量，本文提出了一种改进的视觉伺服算法，具体过程如下：

步骤1巡检机器人捕获每个设备图像并保存到模板库；

步骤2机器人使用模板图像拍摄参数在预设点连续拍摄仪表图像；

步骤3在每个预设点处，捕获的图像被上传到模式识别功能服务器；

步骤4服务器调用仪表模板图像，并通过改进的ORB将特征点与捕获的图像匹配[6-7]；

步骤5计算模板图像和实时捕获图像之间的偏移距离，以确定要识别的仪表是否在捕获的图像中；

步骤6验证捕获的图像是否包含完整的目标仪表，如果图像包含完整的目标仪表，根据模板参数确定是否需要放大焦距执行“辅助伺服”。若需要改变焦距，则保持PTZ位置，只调整焦距参数，转到步骤3；否则，转到步骤8。如果目标仪表部分或全部偏离图像，根据距离和焦距像切线计算像素偏移和PTZ旋转角度偏移。将旋转角度偏移量转换为PTZ移动参数，调用PTZ偏移量控制补偿图像采集误差，转到步骤7；

步骤7步骤3至6完成了一个完整“视觉伺服”。计数“视觉伺服”次数，如果计数达到预设值，则机器人无法捕获图像。

1.2 改进的OORRBB算法

图像特征匹配在视觉伺服算法中是比较关键的一步，一旦匹配失误，很可能无法捕获准确的图像，因此对图像特征匹配算法的鲁棒性要求较高。目前主要的图像特征匹配算法有[8]：SIFT、SURF及ORB算法。其中SIFT和SURF匹配精确度高，具有尺度不变性，但运算速度慢。ORB算法是目前最为快速的图像特征匹配算法之一，但由于FAST检测不包含特征点尺度信息，故ORB不具备尺度不变性，所以在图像尺度发生变化的情况下，特征点匹配效果较差。因此，本文结合SIFT算法思想，对ORB进行改进，改进后的ORB算法具备尺度不变性。改进的ORB算法步骤如下[9]：

（1）通过SIFT思想建立尺度空间，检测极值点；

（2）去除低对比度和边缘上的极值点，获得具有尺度不变性的稳定特征点；

（3）求取特征点的质心方向；

（4）通过ORB描述符获得具有尺度和旋转不变性的特征点二元描述子；

（5）汉明距离实现特征点匹配。

（1）图像偏差计算采用文中提出的改进的ORB算法将实时检测图像和设备模板图像的特征点对。在两个图像中对每对特征点的位置进行排序，然后可以通过以下公式计算实时图像和模板图像的像素误差偏移：

其中，offset(pix)是像素误差偏移的结果，H为水平方向，V为垂直方向；Ctemp模板图像中特征点的位置；Ccap为实时捕获图像中另一个特征点的位置。

（2）PTZ角度偏移

基于正切比例作为距离和焦距，计算PTZ角偏移与图像像素偏差。“偏移”表示CCD或IR设备的相机投影中的图像像素偏差的实际距离。它可以通过以下公式计算：

其中，offset是成像装置中的图像像素的距离，resolution是相机成像装置中的一个像素宽度。

模板图像和实时图像之间的旋转角偏移可以通过以下公式来计算[10]：

offset(Ang)是模板图像和实时图像之间的旋转角偏移，f是图像采集的焦距。

高校和社会合作方的合作往往比较随意，由于合作方领导层人员的变动等原因，有可能导致合作项目流失、搁浅，甚至被取消。合作机制往往停留在口头协议、框架协议上，很难进入合同协议、制度协议等层面，有可能导致合作时有时无、前途不定。

2 实验结果

图2和图3分别为ORB匹配效果图和改进的ORB匹配效果图。可以看出，ORB采用FAST角点检测，故检测到更多的特征点；此外，ORB不具尺度不变性，匹配较为杂乱。改进的ORB算法借鉴SIFT思想，具备尺度不变性，当目标尺度变化时依然有较好的匹配效果。从图4、图5可以看出，相比SIFT和传统的ORB算法，改进的ORB算法同时具备匹配精度高和匹配速度快优点。

在一个预设位置，使用相同的变电站设备来证明所提出的视觉伺服算法的精度。图6是在检查任务中，实时捕获仪表的图像，仪表设备部分偏移；进行视觉伺服校正后，目标几乎在图像的中间，如图7；为了观察设备的细节，机器人需要放大相机的焦距，放大到仪表区域，如图8。

图2 ORB匹配效果

图3 改进的ORB匹配效果

图4 匹配时间对比

图5 匹配精度对比

图6 校正前

图7 校正后

图8 仪表图像放大

3 结语

本文提出了一种改进的视觉伺服方法。首先通过改进的ORB算法将实时图像与模板图像匹配。借鉴SITF的思想改进ORB算法，改进的ORB算法克服了不具尺度不变性的缺陷并保留ORB算法的快速性。然后通过计算实时图像与模板图像之间的误差偏移来自动控制机器人的姿态，最终捕获高质量的仪表图像，为后续的识别工作奠定了良好的基础。

参考文献：

[1]杨墨，隋天日，曹涛，等．变电站巡检机器人自动充电系统[J]．制造业自动化，2013，35（3）：47-49.

[2]康庆生，孟正大，戴先中．图像雅可比矩阵伪逆估计在视觉伺服中的应用[J]．机器人，2006，28（4）：406-409.

[3]黄颖怡，汪仁煌，岳利军．机器视觉仪表识别方法的研究进展[J]．自动化仪表，2009，30（8）：58-60.

[4]肖鹏，张彩友，冯华，等．变电站巡检机器人GPS导航研究[J]．传感器与微系统，2010，29（8）：23-25.

[5]王麟琨,徐德,谭民.机器人视觉伺服研究进展[J].机器人,2004,26（3）：277-282.

[6]Li L，Wu L，Gao Y.Improved Image Matching Method Based on ORB[C].Ieee/acis International Conference on Software Engineerin，Artificial Intelligence，NETWORKING and Parallel/distributed Computig.IEEE，2016：465-468.

[7]Lowe D.Distance Image Feature from Scale-invariant Key Points[J]．International Journal of Computer Vision．2004，60（2）：91-100.

[8]Gauglitz S，Llerer T，Turk M.Evaluation of Interest Point Detectors and Feature De-scriptors for Visual Tracking[J]．International Journal of Computer Vision，2011，94（3）：335-360.

[9]许宏科，秦严严，陈会茹．基于改进ORB的图像特征点匹配[J]．科学技术与工程，2014，14（18）：105-109.

[10]曾晶，黄自力，王雪梅，等.基于相关匹配算法的目标角度和尺度检测研究[J].激光与红外，2010，40（3）：319-324.

Research on Vision Algorithm of Inspection Robot Based on Improved ORB

SUN Wen-he1，ZHANG Guo-wei1，2，LU Qiu-hong2
（1.Automation Engineering College，Shanghai University of Electric Power，Shanghai 200090；2．Shanghai HRSTEK Co.，Ltd，Shanghai 201100）

Presents a visual navigation method based on Improved ORiented Brief(ORB)mobile robot.In view of the fact that ORB algorithm does not have scale invariance at feature point matching,proposes an improved ORB algorithm based on the idea of SIFT algorithm.Firstly,gener⁃ates the multi-scale space of the image,and detects the stable extremum in the multi-scale space,so that the extracted feature points have the scale invariant information.Then,describes the feature points by the ORB descriptor to generate the binary invariant descriptor.Uses Improved ORB to extract the ORB features of the input scene,and combined with the robot odometer information to achieve robot naviga⁃tion.The experimental results show that the algorithm improves the efficiency of the robot to capture the image and provides the feasibility of using the robot to inspect the substation.

1007-1423（2017）23-0051-04

10.3969/j.issn.1007-1423.2017.23.012

孙温和（1993-），女，硕士研究生，研究方向为机器视觉、机器人导航，Email：402094040@qq.com

张国伟（1970-），男，副教授，研究方向为信息检测、机器人控制。

卢秋红（1973-），女，高级工程师，研究方向为机器人技术、精密仪器

2017-05-11

2017-08-12

视觉伺服；特征点匹配；尺度不变性；改进的ORB

Mobile Robots;Feature Point Matching;Scale Invariance;Improved ORB