基于机器视觉的目标跟随六足机器人

2017-08-16谢子琼

重庆邮电大学学报(自然科学版) 2017年4期

关键词：锁定目标分类器机器

易诗，张磊，谢子琼，张健

(成都理工大学信息科学与技术学院，成都 610059)

基于机器视觉的目标跟随六足机器人

易诗1，张磊2，谢子琼3，张健4

(成都理工大学信息科学与技术学院，成都 610059)

针对智能机器人控制领域的机器视觉中的目标跟踪问题与机器人运动控制方法研究，设计实现了一款基于机器视觉的目标跟随六足机器人，该系统的机器视觉目标跟踪算法为TLD(tracking-learning-detection)算法，采用stm32嵌入式处理器驱动32路舵机控制板控制机器人运动，并设计实现了一种小型自动火控装置用于锁定目标后的定位打击。该系统融合了六足机器人运动学和机器视觉目标跟踪技术,对六足机器人步态进行研究，根据目标视觉导航，精确锁定目标，对目标进行瞄准打击做出了详细的设计实现工作。

机器视觉；TLD算法；目标跟随；stm32处理器；六足机器人

0 引言

随着信息科技，自动化技术，智能硬件技术的飞速发展，对于智能机器人技术的研究越加成熟。机器视觉、定位导航、人工AI等研究领域成果倍出，智能机器人技术目前在消费、军事上的运用越来越广泛。

六足智能机器人机相对传统轮式移动机器人具有跨越障碍性强、适应复杂地形、灵活机动的特点，目前在运动学方面对六足机器人的研究技术较为成熟。随着机器视觉目标跟踪技术和定位导航技术在一些先进的智能机器人产品中已得到一定应用，如大疆、零度等无人机生产研发企业的新一代产品中，使用了基于机器视觉技术的目标自动跟随与导航技术。机器视觉的目标检测、跟踪算法也不断地被更新、完善，机器视觉技术的发展使智能机器人与环境的交互、感知功能得到进一步提升。目前，对机器视觉的研究方向与成果主要在于算法的设计与实现和无人机及slam机器人方面的应用。对于机器视觉中目标跟踪技术应用于六足机器人的研究较少，研究融合机器视觉与六足智能机器人的运动学优势的系统对机器视觉技术应用于智能机器人控制具有很大的意义。

本文设计实现了一种基于机器视觉目标自动跟随、锁定的六足机器人控制系统。该系统目标跟踪锁定采用TLD(tracking-learning-detection)目标跟踪算法，实现对目标快速、稳定地锁定跟踪，提取目标重心，计算机器人与目标相对位置，为机器人调整自身位置对准目标提供精准数据；该系统运动控制采用STM32嵌入式处理器，并设计了一款小型自动火控系统模拟对跟踪目标的精确射击。该系统较好融合了机器视觉目标跟踪技术、六足机器人运动控制技术和自动火控技术。

1 机器视觉目标跟踪算法

机器视觉是智能机器人研究领域一个重要分支，目前一系列成熟机器视觉算法已投入应用，如有的系统采用TLD目标跟踪算法。TLD算法是Zdenek Kalal提出的一种对视频中单个物体长时间追踪的算法。它主要由追踪器、检测器、机器学习3个模块构成。TLD算法相对于传统跟踪算法，其优势在于TLD算法结合了传统跟踪算法和传统检测算法，解决了跟踪过程中的变形和跟踪目标的部分遮挡问题。同时，采用改进的在线学习机制对跟踪模块的显著特征点和目标模型以及检测模块的相关参数进行更新[1]。

TLD目标跟踪算法总体框架如图1所示。

图1 TLD算法总体框架图Fig.1 TLD algorithm overall framework

跟踪模块是观察帧与帧之间的目标动向，采用LK(Lucas-Kanade)光流法，利用时间差预测目标出现位置进行锁定[2]。

检测模块是将跟踪器提取的目标图像看成独立的，然后去定位，使用一个级联分类器，使用级联分类器结构有利于对目标的判断分类。级联分类器包含3个级别，首先是图像元方差分类器：其功能为计算图像元像素灰度值的方差，把方差小于原始图像元方差一半的样本标记为负，这为对目标分类的第一步；其次是集成分类器：实际上是一个随机蕨分类器[3]，用于目标分类中对动态目标的筛选；然后是最近邻分类器：用于计算新样本的相对相似度及对跟踪目标的长时间锁定。计算公式为

(1)

(1)式目的在于计算采集目标图像元pi和pj的相似度。(1)式中，N为归一化相关系数，这样值N(pi,pj)取值在[0,1]范围内，如采集目标图像元间具有较高的相似性，则(1)式计算值越大。

根据跟踪模块的结果，学习模块评估检测模块的错误，并生成训练样本更新检测模块的目标模型，提高检测器的性能，避免以后出现类似错误、主要采用P-N(positive-nagitive)学习，P-N学习是一种半监督的机器学习算法，在模块运行过程中检测正负样本[4]。正样本由(2)式计算得出，负样本由(3)式计算得出。

(2)

(3)

(2)式中，等号右边为每次图像样本经分类器筛选得出的上个周期采集的正样本和当前周期采集的正样本。(3)式中，等号右边为每次图像样本经分类器筛选得出的上个周期采集的负样本和当前周期采集的负样本。

正负样本由检测模块提供的检测结果经过k次迭代得出。P-N算法根据样本结果进行学习，训练，生成一个目标分类器，并不断更新[5]。

TLD目标跟踪算法在3个模块的闭环协同工作下，能够对锁定目标进行长期、有效、可靠地跟踪。

2 机器视觉导航设计

目标跟踪算法采用TLD算法为机器人提供目标位置的坐标信息，TLD算法使用机器视觉开源库opencv在电脑上实现，导航设计实现流程如下。

1)指定需要跟踪目标。

2)启动TLD算法在线学习、训练、锁定目标特征。

3)跟踪目标。

4)提取目标图像位置形心。

5)计算目标与图像中心位置差值，作为位置调整依据。

6)启动串口，发送调整机器人位置命令。

导航的核心在于提取需要跟踪的目标位于图像中的重心坐标，由(4)式计算：

(4)

(4)式中：x0，y0为形心坐标；f(x,y)为图像在(x,y)处坐标值。根据(4)式计算出跟踪物体的形心，通过形心计算，可以确定跟踪物体中心在图像中具体的坐标，提供该物体的定位信息[6]。

在电脑上运行图像处理上位机软件通过形心与图像中心位置的差值，生成机器人位置移动命令并通过无线串口发送到机器人运动控制端，让机器人调整自身的左右、前后移动，使目标处于图像中心位置，从而达到机器人正对目标并和目标保持固定距离。

3 六足机器人控制系统设计

3.1 控制系统总体框架

六足机器人控制系统采用stm32处理器作为下位机控制核心，总体设计方案为下位机处理器通过无线串口模块接收电脑上运行的机器视觉目标跟踪算法提供的位置信息加以处理，生成控制命令发送至32路舵机控制板生成PWM(pulse width modulation)波控制六足机器人底盘各个舵机的运动，进行目标跟随，同时架设在六足机器人底盘上的摄像头实时采集视频图像，通过open-wrt模块传输至电脑进行图像处理，在跟随目标进入设定的区域及距离时启动架设在六足底盘上的小型火控系统模拟对目标的精确跟踪打击。

控制系统总体设计框架如图2所示。

图2 控制系统总体设计框架图Fig.2 Overall design frame of control system

3.2 六足机器人步态控制设计

六足机器人的运动控制中，主要为机器人步态控制，六足机器人采用仿生学设计，模拟自然界六足昆虫运动方式，相比轮式机器人，履带机器人等地面运动机器人有着多地形适应性、更高稳定性和更灵活移动的优势。

六足步行机器人的步态是多种多样的，其中，三脚架步态是一个六足步行机器人的典型步态。昆虫行走，通常在非直线前进的同时，将脚分成两组，用三角形的支撑结构向前移动[7]。其步态设计如图3所示。

图3 六足机器人三角步态Fig.3 Triangular gait of six legged robot

如图3，六足机器人身体两侧分布6条腿，六足通过三角步态进行移动。机器人在水平和垂直方向上运动时，B，D，F脚为摆动脚，向水平或垂直方向摆动，A,C,E脚保持原有位置不动，只发挥支撑作用。由于机器人重心较低，不需要协调Z轴移动，容易稳定，因此这种方案得到广泛的应用[8]。

运动系统由处理器发送舵机控制命令，控制舵机操纵六足机器人使用三角步态进行前、后、左转、右转的基本运动。

3.3 跟随瞄准控制设计

为突出表现六足机器人对目标跟随锁定的精确度，系统设计了一款小型火控系统，在六足机器人根据目标调整自身位置进行跟随过程中，达到正对目标并和目标保持固定距离后，启动火控装置，激发小弹丸命中目标。

小型火控系统由继电器、电子点火模块、发射装置构成，在目标锁定后由stm32处理器发出激发信号，启动发射装置射击。

火控系统设计框图如图4所示。

六足机器人自动跟随的基本原因是系统根据电脑端运行的机器视觉目标跟踪算法获取自身与目标形心位置坐标关系，根据坐标不断运动更新调整自身位置，以达到与目标保持正对和与目标保持固定距离，锁定目标后，开火命中目标。

图4 火控系统设计框图Fig.4 Diagram of fire control system design

自动跟随瞄准的基本流程如图5所示。

图5 自动跟随瞄准流程图Fig.5 Automatic target following flow chart

系统启动后获取摄像头实时视频流，指定需要跟踪的目标物体，提取目标的形心坐标，例如(550，270)，说明目标位于摄像头左下位置，根据目标形心坐标发出位置调整信息，机器人向左及向下运动，正对目标后，目标形心将锁定于图像中心区域(420-440，290-310)，此时机器人正对目标，随后调整与目标距离，根据目标锁定框面积值，机器人前进或后退，在此过程中同时保持正对目标，调整到与目标距离位于设定开火距离后(目标框图像值大于1 500像素，小于2 500像素)启动火控装置，准确命中目标。对于静止目标或运动目标，机器人都可以该方式稳定跟随。

4 系统测试

目标跟随六足机器人在完成组装、算法设计、软硬件调试后进行了完整的测试工作。

为保证测试全面性，设置了一个带纸靶的遥控小车，六足机器人锁定小车上的靶心后跟随小车运动，在运动过程中调整自身与小车角度、位置，在正对靶心，保持固定距离后启动火控系统激发并命中靶心。

六足机器人跟随小车运动测试效果如图6所示。

图6 六足机器人跟随目标测试Fig.6 Six legged robot following target test

由图6可以看出，六足机器人获取机器视觉目标跟随算法提供的位置信息后，跟随目标运动，能很好地调整自身位置。

六足机器人在正对目标，保持与目标一定距离后锁定目标，启动火控系统激发命中目标，测试结果如图7所示。

图7 六足机器人瞄准目标测试Fig.7 six legged robot robot aiming test

由图7可以看出，在六足机器人锁定目标后启动火控装置，准确命中锁定目标的中心位置。

系统运行中机器视觉目标跟随算法不断更新六足机器人和目标的位置关系，以达到锁定、跟随目标。

对目标稳定检测和跟踪做出测试，效果如图8所示。

图8 目标检测跟踪测试

由图8可以看出，机器视觉目标跟随算法可以有效锁定目标。通过控制机器人自身位置，让目标靶心随时处于摄像头中心部分，能有效、可靠地锁定目标。

系统所采用摄像头为720P高清网络摄像头，通过测试，摄像头采集图像中心点坐标为(430，300)，设定火控启动距离为离目标50 cm，为测试系统工作性能，采用了一组6个目标进行跟踪、锁定和瞄准测试，测试结果如表1所示。

通过以上测试，该系统可以高效锁定目标，控制六足机器人与跟随目标的位置关系，同时在达到指定位置条件时，启动火控系统精准命中目标。

表1 测试结果Tab.1 Test results

5 结论

基于机器视觉的目标跟随六足机器人，采用了先进的机器视觉目标跟踪算法，可以长期、稳定地跟踪并锁定目标。在运动控制方面采用的嵌入式处理器可以高效控制六足机器人转向，前进后退等动作。融合机器视觉算法及自动控制系统的六足机器人可以对移动目标进行自动跟随，同时可对跟随目标进行精准射击等操作，对于智能机器人控制技术具有深远应用研究价值。

[1] 廖万辉,李琳.基于机器视觉的工业机器人定位系统[J].微计算机信息,2009,25(8):242-244. LIAO Wanhui, LI Lin. Industrial robot localization system based on machine vision[J]. microcomputer information, 2009,25(8): 242-244.

[2] 许海霞.机器视觉标定与目标检测跟踪方法及其应用研究[D].长沙：湖南大学,2011：230-232. XU Haixia. Research on machine vision calibration and target detection and tracking method [D]. Changsha：Hunan University, 2011.230-232.

[3] 龚爱平.基于嵌入式机器视觉的信息采集与处理技术研究[D].杭州：浙江大学,2013. GONG Aiping. Research on information collection and processing technology based on embedded machine vision [D]. Hangzhou：Zhejiang University, 2013.

[4] 周鑫,钱秋朦,叶永强,等.改进后的TLD视频目标跟踪方法[J].中国图象图形学报,2013,18(9):1115-1123. ZHOU Xin, YE Yongqiang, WANG Congqing, et al. TLD Video object tracking method Chinese improved [J]. Journal of image and graphics, 2013,18(9):1115-1123.

[5] 李伟.六自由度关节式机器人控制系统开发[D].上海：华东理工大学,2014. LI Wei. Development of control system for articulated robot with six degrees of freedom [D].Shanghai： East China University of Science and Technology, 2014.

[6] 易诗，林凡强．基于改进TLD的自动目标跟踪方法[J].重庆邮电大学学报:自然科学版，2016,28(6):892-896． YI Shi, LIN Qiangfan. Automatic Tracking method based on improved TLD[J]. Journal of Chongqing University of Posts and Telecommunications: Natural Science Edition, 2016,28(6):892-896．

[7] 魏星．基于SVM 的山体滑坡灾害图像识别方法[J].电子测量技术，2013，36( 8)：65-70． WEI Xing. Image recognition method of landslide disaster based on SVM [J]. Electronic measurement technology, 2013, 36 (8):65-70.

[8] BABENKO B，YANG M H，BELONGIE S.Visual tracking with online multiple instance learning[C]//Proc. CVPR 2009. [s.l.]：IEEE Press，2009：983-990.

[9] 贺人庆.多关节机器人嵌入式控制系统开发[D].杭州：浙江大学,2015. HE Renqing. Development of embedded control system for multi joint robot [D]. Hangzhou：Zhejiang University, 2015.

[10] LIM T Y，RATNAM M M，KHALID M A．Automatic classification of weld defects using simulated data and an MLP neural network[J].Insight，2007，49 ( 3 ) :154-159.

[11] TSAI R. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344.

[12] INIGO R M, MCVEY E S, BERGER B J, et al. Machine vision applied to vehicle guidance[J]. IEEE transactions on pattern analysis and machine intelligence, 1984 (6): 820-826.

[13] MIRAPEIX J，GARCIA-ALLENDE P B，COBO A，et a1．Real-time arc-welding defect detection and classification with principal component analysis and artificial neural networks[J]．NDT & E International，2007，40 ( 4 ) :315-323．

[14] VINCENT P，LAROCHELLE H，LAJOIE I， et al．Stacked de noising auto encoders: learning useful representations in a deep network with a local de noising criterion[J]．Journal of Machine Learning Research，2010，11 ( 12 ) :3371-3408．

[15] DUAN X, CHEN W, YU S, et al. Tripod gaits planning and kinematics analysis of a hexapod robot[C]//2009 IEEE International Conference on Control and Automation. [s.l.]: IEEE, 2009: 1850-1855.

(编辑：魏琴芳)

The National Undergraduate Innovation and Entrepreneurship Project (201610616043)

Aiming at the target tracking problem in the field of intelligent robot control, machine vision study and research on robot motion control method, this paper designed a six-foot robot using machine vision technology to follow the target, and the system uses the TLD target tracking algorithm to track the target, controls the robot movement using the stm32 embedded processor to drive the 32-way steering gear control board,and designs a mini automatic fire control device used to lock the target and strike. The system integrates the six-foot robot kinematics and machine vision target tracking technology. The system realizes visual navigation and studies the six legged gait.

Machine vision; tracking-learning-detection(TLD) algorithm; Target follow; Stm32 processor; Six-legged robot

10.3979/j.issn.1673-825X.2017.04.020

2017-03-15

2017-07-06 通讯作者：易诗 549745481@qq.com

国家大学生创新创业项目(201610616043)

TN919.5

1673-825X(2017)04-0557-06

Target following six-legged robot based on machine vision

(College of Information Science and Technology, Chengdu University of Technology, Chengdu 610059, P.R.China)