基于车载摄像机移动机器人的模糊神经网络跟踪

彭 飞， 王朝立

（上海理工大学光电信息与计算机工程学院，上海 200093）

基于车载摄像机移动机器人的模糊神经网络跟踪

彭 飞， 王朝立

（上海理工大学光电信息与计算机工程学院，上海 200093）

针对车载单目摄像机的轮式移动机器人的目标跟踪问题，提出一种模糊跟踪控制方案.方案分为两部分，分别为摄像机控制部分和轮式移动机器人控制部分.摄像机控制部分通过相关特征点之间的连线的夹角设计摄像机云台控制器，使摄像机能够实时跟踪目标，保持目标在图像平面的期望位置上.轮式移动机器人控制部分通过设计T-S模糊神经网络控制器使其能够在视觉伺服反馈下实时调整速度和姿态，实现目标的有效跟踪.仿真结果表明了本文方法的有效性.

摄像机；轮式移动机器人；模糊神经网络；跟踪

近年来，轮式移动机器人（WMR）由于具备良好的机动性、灵活性、可操作性，且能深入到许多人类所不能到达的区域，已经被广泛应用于工业、农业、医疗、军事、航天、星际探索等各个领域［1-2］.随着需求量的增加以及需求领域的扩大，对WMR的可靠性、智能程度等方面提出了更高的要求.在计算机视觉技术不断取得进步的背景下，给WMR安装摄像机，赋予其类似于人类的视觉功能，其安装方法主要有两种：第一种方法是在车体外某个高度安装固定的摄像机，车体移动而摄像机保持固定，这种方法的局限性在于WMR的可视空间是有限的，但优点是图像信息相对稳定；第二种方法是在WMR车体上安装摄像机，摄像机随车体的移动而移动.第二种方法又分为两个方向，即摄像机不具有自由度和摄像机具有自由度.不具有自由度的摄像机和WMR保持为一个整体，移动的过程中随车体的移动而移动；具有自由度的摄像机在随车体发生移动的过程中能够产生相对于车体的运动，通过水平和垂直方向的摆动发生姿态的变化.车载摄像机保证了WMR的视觉范围，极大地扩展了其活动的范围和空间.基于视觉伺服的控制是WMR发展的主要方向，并且相关的研究已经取得了许多成果.文献［3］针对在车体上安装不具有自由度的摄像机的WMR模型，提出了一种基于图像特征点的控制方法，通过提取环境中特征点进行匹配、识别，使WMR进行有效的追踪，但不具有自由度的摄像机会影响WMR整体的机动性和灵活性，且存在视觉死角问题.文献［4］采用了一种多结构体复合控制方案，根据环境信息的变化在不同结构体之间自动切换，保证了WMR的良好性能.这种控制方案使WMR在复杂环境下具备较强的适应能力，但其结构相对比较复杂.文献［5］对载有具备自由度的摄像机的WMR模型设计一种基于Backstepping的控制律，使WMR能够可靠到达期望的位姿，但此控制律包含人为预先给定参数，系统性能随参数的不同而有所差异，对参数设定人员的经验和水平有所依赖，且在运行过程中不能根据环境信息进行实时动态调节，系统始终保持良好的性能有困难.

针对以上问题，本文对载有摄像机的WMR提出一种控制方案，对摄像机和车体分别进行控制器的设计.摄像机云台具有两个自由度，能跟随目标的变化产生水平和垂直方向的偏角，使摄像机能够实时根据目标方位变化作出相应的变化，有效地跟踪目标，在保证良好机动性的同时也能够克服视觉死角问题.对于WMR的姿态跟踪控制，采用基于TS模糊神经网络的控制器，以摄像机获得的视觉信息作为输入，运行中根据信息的变化对控制器结构参数实现实时动态调整，保证WMR对目标的有效追踪，使系统始终具备良好的稳定性和鲁棒性.此方案将具有自由度的摄像机和WMR结合为仿生的独立系统，在WMR的视场下获取目标的位置，使目标和系统之间的相对位置更加明了，跟踪任务更加明确，减小了对环境的依赖.

1 摄像机控制

如图1所示，图中（x-O-y）为物理尺寸图像平面坐标系，像素点的水平方向和垂直方向的物理尺寸分别为δx，δy，（u-O′-v）为像素图像平面坐标系，图像平面坐标系原点在像素图像平面坐标系下的坐标为（u0，v0），设此点为摄像机跟踪的期望位置点.（xc-Oc-yc）为摄像机坐标系，摄像机光轴zc经过图像平面中心点且垂直该平面，即（u0，v0）为图像平面的中心点.追踪目标的中心点P在图像平面的投影为P′点，P′经过图像处理之后在像素图像平面坐标系下的坐标为（u，v），P′点在图像平面坐标系的坐标轴上的投影分别为和，到O点的距离为Δx，到O点的距离为Δy，即

由几何运算，得

目前很多方法就是在环境参照下对WMR和目标分别进行定位，这些方法中车体和目标之间的定位对环境有所依赖，因此对WMR的活动空间造成了约束.本文建立WMR坐标系，在此坐标系下进行目标位置的分析和跟踪，从而使车体和目标之间的定位摆脱环境参照的约束，得到任何时刻目标相对于WMR的准确位置，便于机器人进行及时有效的跟踪，从而使WMR的应用范围得到较大的拓展.具体就是在跟踪过程中WMR坐标系绑定在车体上，随车体的运动而运动，同时通过摄像机获得目标在WMR坐标系下的位置，建立目标相对于WMR的系统误差，这样WMR和目标构成一独立跟踪系统，能够应用于不同的环境.

建立以车体底面中心为原点OR，车体正前方为yR（车体行进的方向），水平方向为xR的WMR坐标系（xR-OR-yR）.本模型中摄像机光心、WMR几何中心和OR处于同一铅垂线上.设摄像机光轴方向与车体正前方在水平方向上的偏角为θ，在垂直方向上的偏角为γ，这两个角即为摄像机云台的水平偏角和垂直偏角，通过驱动两个独立电机来实现.为了便于分析，取过Oc点且平行yR的射线为k′，且在k′上任取一点Q以便于角度表示.在OcOR之间取一辅助点O′c，使得｜Oc′OR｜=｜OO′｜.立体图如图2所示.

图1 图像平面图Fig.1 Image plane

图2 立体分析图Fig.2 Analysis of the stereo diagram

在图2中，∠POcQ在水平面（xR-OR-yR）上的投影为ψ，在垂直面（Oc-OR-yR）上的投影为φ.∠OOcQ在水平面（xR-OR-yR）上的投影即为云台的水平方向上的偏角θ，在垂直面（Oc-OR-yR）上的投影即为云台的垂直方向上的偏角γ（为了让图形清晰明了，φ和γ在图中未画出）.f为摄像机焦距，图像平面中的O和点在（xR-OR-yR）平面上的投影分别为O′和P″，有以下几何关系：.经过分析，垂直于平面OOcOc′，因此均为直角.

在Rt△ORO′P″中

文献［6］中给出了一种ψ和φ的分析方法，本文和其不同之处在于本文是在WMR的坐标系下进行目标和车体之间位置分析，是在一个坐标系系统内部直接得出目标的位置关系，从而分析出云台控制所需角度关系.而文献［6］是在借助外界参照坐标系下首先得出目标和车体各自在此坐标系下的位置和姿态，然后进行两者之间的参数比对，即通过间接方法得出两者之间的相对位置误差，再分析出云台控制所需角度关系.相同之处在于通过分析均得出ψ和φ的表达式关系，因此其控制器在本文可以适用.且文献［6］中对此控制器进行了实验，实验效果很好地说明了此控制器的有效性，故本文摄像机云台控制器采用文献［6］控制器.

2 轮式移动机器人控制

2.1 问题描述

如图3（见下页），r为球体目标的半径，e为目标中心到WMR中心的距离，d为车体前后长度，h1和h2分别为摄像机支架和WMR车体高度.

令

求得车体到目标点距离

在跟踪过程中，绑定在WMR上的坐标系（xROR-yR）随车体的移动而移动，通过e和角ψ可以在跟踪过程中得到目标在WMR坐标系下的任一时刻的距离和偏角，也就是任何时刻目标相对于WMR的准确位置，便于机器人进行及时有效的跟踪.如图4所示.

图3 模型分析图Fig.3 Analysis of the model

图4 WMR坐标系图Fig.4 WMR coordinate system

因此，根据摄像机获取的e和ψ信息，设计控制器，输出WMR的线速度ν和角速度ω，再经过驱动轮与WMR的线速度和角速度之间的转换关系得到两轮的角速度［1］为

式中，ωl和ωr分别为WMR的左轮和右轮的角速度；r为车轮的半径；2b为车体宽度.在左轮和右轮的角速度的驱动下车体对目标进行跟踪，使得

因在跟踪过程中，OR点和目标中心不可能重合，令

即得

2.2 基于T－S模糊神经网络的控制器

模糊神经网络起源于20世纪80年代后期的日本［7］，其将模糊控制和神经网络控制有效结合，在许多领域得到广泛的研究及应用［8-9］.T-S模糊神经网络模型由Takagi-Sugeno首先提出［10］.该模型主要分为前件网络和后件网络两大部分，前件网络主要功能为匹配模糊规则的前件，后件网络的主要功能为产生模糊规则的后件.

在WMR的跟踪问题中，智能控制方法应用比较普遍，比如模糊控制.模糊控制存在的问题就是模糊规则数目比较多，从而造成控制器复杂、应变时间长、反应迟钝，且控制器内部的某些设定的常数对系统影响比较大.T-S模型将模糊控制与神经网络控制相结合，用线性局域方程代替了结论部分所取的常数，因此可以用少量的模糊规则就能生成相对较复杂的非线性函数，能够对多变量系统的模糊规则的个数进行有效地减少.T-S网络最显著的特征就是对模型的依赖性小，自主学习能力强，鲁棒性能好.因此，针对本文的WMR跟踪问题，设计基于T -S模糊神经网络的控制器.

T-S模糊控制规则表示为［11］

在本文中，根据控制需要，将控制器输入变量设为两个，n=2，即x1=e1，x2=ψ.根据经验，当变量e1和ψ的语言变量均设为7个左右时，对变量的描述比较准确又不过于繁琐.为不失一般性，本文先设变量e1语言变量个数为m1，变量ψ语言变量个数为m2，在此条件下设计控制器，然后在后面仿真部分根据实际情况选择合适的语言变量个数.因此共有规则条数

控制器输入变量采用高斯函数表示的铃形函数对输入变量进行划分，即

式中，i=1，2；ki=1，2，…，mi；ciki，σiki分别为高斯函数的中心和宽度.

因此，本文基于T-S模糊神经网络的控制器结构图如图5所示.

图5 控制器结构图Fig.5 Controller structure

控制器主要分为前件网络和后件网络两大部分，前件网络共有四层.第一层为输入层，有2个节点，分别对应输入e1和ψ，即WMR和目标之间的距离和偏角.第二层为网络的模糊化层，有m1+m2个节点，分别对应各个语言变量值.第三层为网络的模糊推理层，有m个节点，分别对应每条模糊规则.第四层为网络的归一化层，有m个节点，其功能是对结果进行归一化处理.后件网络由2个结构相同的并列子网络组成.每个子网络均有三层，第一层为网络的输入层，共有3个节点，第一个节点给定值为1，以提供模糊规则后件中的常数，后两个节点分别对应输入e1和ψ.第二层有m个节点，分别对应m条规则，用来计算每条规则的后件.第三层为网络的输出层，每个子网络有1个输出节点，因此两个子网络产生两个输出节点，分别对应控制器的两个输出y1和y2.本文将第一个输出y1设为移动小车的线速度ν，即y1=ν，将第二个输出y2设为移动小车的角速度ω，即y2=ω.

其中，前件网络第三层用来对每条规则的适用度进行计算的表达式为

第四层对结果进行归一化处理的表达式为

误差函数取为

式中，yd1，yd2为理论计算输出；y1，y2为实际输出.

控制器中，变量e1和ψ的模糊分割前面已经确定，需要学习的参数为后件网络的连接权（i= 0，1，2；r=1，2）和前件网络隶属度函数的，.文献［12］所述算法最大特点是简洁、计算量少，因此能够很快地进行学习并进行参数调整，同时可以避免陷入不希望的局部极值从而提高收敛速度［12］，本文采用这种学习算法.

式中，i=1，2；学习率β＞0. ciki，σiki的学习算法

式中，i=0，1，2；r=1，2.

3 仿真实验

根据上述结构的模糊神经网络控制器，分别设定不同的语言变量个数进行仿真，并通过仿真效果分析得出最佳的训练步骤.

给定曲线为

训练之前并不知道多少步比较合适，故首先任意给定训练步数，再根据训练情况取一个比较合适的训练数值，所以网络训练步骤初步设定为200.分别设定语言变量个数m1和m2为：6，7，8，9，10和11个，不同语言变量个数的跟踪误差曲线如图6所示（见下页）.

根据仿真误差曲线图6可以看出，当语言变量个数为6时，初始响应跟踪误差最大，达到0.4，且跟踪过程中收敛时间比较长且振荡次数比较多，训练到160步左右时，不再收敛且误差比较大.随着语言变量的不断增多，当语言变量个数达到10个时，初始响应速度比较快，且初始误差在0.05以内，随着训练步骤的增加误差收敛过程比较快且平稳，网络的训练步骤达到60步左右时，跟踪误差已经非常小且已经稳定，再增加训练步骤已经没有实际意义且影响系统响应时间，因此实际训练步骤选为60即可.如果将语言变量个数增加为11个，由图6可以明显看出，系统的初始跟踪误差又开始增加.因此，根据对比分析，语言变量个数选为10个最恰当，训练步骤选为60即可.在此条件下，曲线的跟踪效果如图7所示.

图6 跟踪误差曲线图Fig.6 Tracking error curve

图7 跟踪曲线图Fig.7 Tracking curve

4 结论

本文对装载了具有两个自由度的摄像机的WMR提出一种控制方案，分别设计了摄像机云台控制器和基于T-S模糊神经网络的控制器，使WMR能够根据摄像机实时采集的图像信息控制摄像机云台和WMR车体进行有效的跟踪，仿真结果表明了该控制器良好的性能.车载的带有自由度的摄像机能够极大地扩展WMR的活动空间，增强其机动灵活性；T-S模糊神经网络的控制器能够根据环境信息进行自我学习和调整，克服系统性能对人为设定的某些参数的依赖性，增强了对环境的适应能力，具有很强的鲁棒性；在WMR的视场下进行定位和跟踪，使目标的相对位置更加明了，跟踪效果更好.

［1］ 李艳东，王宗义，朱玲，等.非完整移动机器人的神经网络鲁棒自适应控制［J］.计算机工程与应用，2010，46（2）：211-241.

［2］ 廖勤武，王朝立，梅迎春.基于超声的非完整移动机器人避障控制［J］.上海理工大学学报，2009，31（4）：402 -405.

［3］ Adrian B，Obada M，Vladimir T.An image based visual servoing scheme for wheeled mobile robots［C］∥2011 15th International Conference on System Theory，Control，and Computing，2011：1-5.

［4］ Wang Y，Lang H X，Clarence W S.A hybrid visual sereo controller for robust grasping by wheeled mobile robots［J］.Transactions on Mechatronics，2010，15（5）：757-769.

［5］ Wang Z L，Liu H Y.Visual regulation of a nonholonomic wheeled mobile robot with two points using lyapunov functions［C］／／IEEE International Conference on Mechatronics and Automation.Xi’an：IEEE，2004：1603-1608.

［6］ Francesco C，Luigi F，Marco M，et al.Visual servoing of a wheeled mobile robot for intercepting a moving object［C］∥2005 IEEE／RSJ International Conference on／Intelligent Robots and Systems，2005：2737 -2743.

［7］ 伍世虞，徐军.动态模糊神经网络——设计与应用［M］.北京：清华大学出版社，2008.

［8］ 唐柱，丁学明，刘灿.基于引力搜索和粒子群混合优化算法的T-S模型辨识［J］.上海理工大学学报，2013，35（4）：351-354.

［9］ 黄炳强，曹广益.基于模糊人工势场的移动机器人路径规划［J］.上海理工大学学报，2006，28（4）：347-350.

［10］ 王士同.神经模糊系统及其应用［M］.北京：北京航空航天大学出版社，1998.

［11］ 张乃尧，阎平凡.神经网络与模糊控制［M］.北京：清华大学出版社，1998.

［12］ 孙增圻，徐红兵.基于T-S模型的模糊神经网络［J］.清华大学学报，1997，3（37）：76-80.

（编辑：董 伟）

Camera Based Fuzzy Neural Networ k Tracking for Wheeled Mobile Robots

PENGFei， WANGChao-li
（School of Optical-Electrical and Computer Engineering，University of Shanghai for Science and Technology，Shanghai 200093，China）

Aiming at tracking targets by wheeled mobile robots（WMR）with cameras，a fuzzy neural network control scheme was presented.The scheme includes two parts：one is to control the camera and the other is to control the wheeled mobile robots.In the camera control part，a Pan-Tilt controller was designed by using some angles between related lines connecting feature points so that the feature points on the camera image plane can track the target feature points timely and keep them in the desired positions on the image plane.For the tracking control of the wheeled mobile robots，a tracking controller was proposed by using the T-S fuzzy neural network.The configuration and speed of wheeled mobile robots can be adjusted from by virtue of visual servoing feedback to implement an effective target tracking.The simulation results illustrate the effectiveness of the scheme propvided.

camera；wheeled mobile robots；fuzzy neural network；track

TP 242.6

A

2013-11-11

国家自然科学基金资助项目（61374040）；上海市教委科技创新项目（13ZZ115）；上海市研究生创新项目（54-13 -302-102）

彭 飞（1983-），男，硕士研究生.研究方向：智能控制、伺服控制、机器人控制.E-mail：robestp＠sina.com

王朝立（1965-），男，教授.研究方向：非线性控制、鲁棒控制、智能控制、机器人控制、视觉伺服控制.E-mail：clclwang＠126.com

1007-6735（2014）04-0385-06

10.13255／j.cnki.jusst.2014.04.016