基于颜色学习的移动机器人目标跟踪研究

杨 伟

（武夷学院 电子工程系，福建 武夷山 354300）

基于颜色学习的移动机器人目标跟踪研究

杨 伟

（武夷学院 电子工程系，福建 武夷山 354300）

针对目标的颜色特征较难描述的特点，并且不同光线下不同环境中相同目标的颜色信息也会不一样，本文提出了基于颜色学习的目标识别的方法。该方法可以在不知道目标颜色特征的情况下，通过摄像头采集目标的颜色自主地进行分析，然后生成目标的颜色特征信息，从而实现对目标的颜色特征的自主学习。在滤波环节中本文将噪声也进行图像分割，然后进行像素统计，将像素个数小于设定值的区域去除，从而达到滤波的效果。针对目标大小可以获取的情况，本文采用单目视觉对目标进行测距，结合从图像中获取的目标相对机器人的方位角信息，在极坐标中对其方位进行描述，并在定位的基础上对目标进行定位及跟踪实验。

颜色学习；目标识别；单目视觉；目的定位；目标跟踪

引 言

随着科学技术的发展，作为机器人眼睛的机器视觉得到非常大的发展，然而机器视觉在机器人技术中依然是比较薄落的一个环节。由于摄像头采集上有误差，同时在不同光线下，采集回来的图像信息相差较大，因此对目标的特征描述带来较大困难。本文针对特征中的颜色特征进行分析，为了解决颜色特征难以描述的问题，提出基于颜色学习的目标识别方法。此方法在不同环境中采集目标的颜色信息，然后自主地给出颜色特征信息。在进行颜色学习的过程中，非常重要的一个环节就是滤波环节，如果有较多噪声搀杂在目标中，将使目标的颜色学习变得不准确。由于颜色学习过程中对学习的速度要求不是太高，所以本文在颜色学习过程中采用统计的方法进行滤波，虽牺牲了学习的速度，但将使滤波效果较佳，使学习效果较佳。同时在颜色特征表示上分多个特征区域对特征进行描述，很好地解决了噪声及反光点对学习的影响。

1 系统组成及工作原理

1.1 系统组成

整个系统主要由机器人部分和视觉部分组成，机器人部分主要由主控制器、编码器、驱动器、运动控制卡、执行机构等部分组成，视觉部分则由摄像头和图像采集卡组成。主控制器控制着图像采集卡通过摄像头进行图像采集，同时根据图像处理与识别后的结果，按一定策略控制着运动控制卡，运动控制卡控制着驱动器驱动执行机构，并通过编码器采回执行后的信息，利用运动控制卡中的PID实现闭环控制。系统中各部分的相互关系如图1所示。

图1 移动机器人及其视觉系统组成图

1.2 系统的工作原理

系统的工作流程其实可为两部分，一部分是图像学习部分，另一部分则为目标识别与目标跟踪部分。图像学习是为目标识别与目标跟踪服务的，其最终给出的颜色特征将在目标识别过程中应用。目标识别过程中将调入目标颜色特征，然后根据目标的颜色特征提取出目标所在区域，从而不必对整幅图像进行处理，节省了大量计算时间。具体的流程图如图2所示。

图2 系统的工作流程图

2 图像预处理与图像分割

本系统先将采集回来的彩色图像进行备份，以供给后面进行颜色特征描述。备份完数据后，将对数据进行色彩变化，将图像从彩色变换为灰度图像。本文中的彩色图像用的是RGB彩色空间[1]，进行灰度化采用公式

式中，Y为变换后的灰度值，R为彩色图像的红色分量值，G为彩色图的绿色分量值，B为彩色图像的蓝色分量值

在图像灰度化后，采用中值滤波对图像进行简单的滤波，以使图像分割后的区域尽量少。本系统采用四邻域的方法来区分图像是否是同一个区域的[2]，同时对每个区域的像素个数进行统计，将个数小于设定的阈值的区域除去，从而由于大多数噪声的每个区域像素个数都较小，所以很好地达到了将噪声除去的目的。实验证明此方法在目标是颜色块时候，效果非常好。在实验中经过对阈值的调整，将能实现将图像中的孤立噪声完全除去的目的。图3为采集回来的目标原始图像（左边的为目标），图4为图像滤波并分割后的图像。从图中可以看出除了在目标图像的边沿有少量的图像丢失外，其它效果较理想，孤立的噪声也完全除去了。但从图中可以看出目标旁边的水桶就出现了较大的失真，后面的阴影也和水桶连在了一起，这是因为水桶的反光比较严重，所以有较多部分失去了，同时其灰度值和阴影部分较相近，所以在分割时有部分阴影连入其中。

图3 采集的原始图像

图4 滤波并分割后的图像

3 图像颜色特征的学习

在图像分割并滤波后，图像颜色特征学习的准备工作基本就已经完成。图像分割后的图像中包括多个区域，每个区域内用相同的数字填充，不同区域的填充值则不一样。本系统根据区域在图像中从左到右的顺序来排列填充数字。考虑到一开始的时候机器人无法得到哪个区域才是目标区域，在每个目标的前几次学习过程中，使目标图像位于整个图像的中间。因此在前几次学习过程中机器人将位于中间部分的区域取出，计算出此区域的各边界信息，然后根据这些边界信息，从前面备份的图像信息中取出其颜色数据。

取出颜色信息后本系统将这些数据进行相应的变换，以便进行颜色信息的数学表示，本系统用用R、G、B三个分量占总色彩的比例以及色彩的灰度值来对目标的颜色特征进行描述[3]。即

式中r、g、b分别为R、G、B三个分量占总色彩的比例。

经过对r、g、b及Y的统计可以得出这个区域里的所有像素点的颜色特征。

通过统计计算发现在颜色特征中存在一些明显孤立的特征。经分析可能的原因是有些噪声夹杂在目标区域中或者图像采集中存在反光现象。针对这一问题进行图像处理是困难且矛盾的：一方面，如果只是简单地把原始图像特征按最大值（最小值）提取，则会造成较大的误差，甚至将全部颜色特征都当作目标特征。另一方面，如果不进行图像特征的统计与合并，则会出现非常多的目标特征信息，必将为目标识别带来较大的计算量和困难。

为了解决此问题，本文设计了一种颜色特征学习方法，设

式中 rn、gn、bn、Yn为目标图像中第 n 个像素点的r、g、b、Y 值，Rn、Gn、Bn、yn为 rn、gn、bn、Yn的集合。i、m 、n为大于 0的整数，并且 i＜m＜n。

设 Rx、Gx、Bx、yx为分别关于 Rn、Gn、Bn、yn的阈值。现以Rn为例，

式中RRn表示第n个合并后的区域（即集合）

如果 Δrm-i＞Rx，则 rm、ri暂时不作合并。现取满足合并要求的两个 rm、ri，如果 Δrn-m≤ Rx，或 Δrn-i≤ Rx，则可将 rn、rm、ri合并成新的区域即

如果 Δrm-n＞Rx并且 Δrn-i＞Rx，则不作合并。同理对Rn的特征进行两两计算，使每个数值都和其它数值进行过计算，便能统计出关于特征集合的多个区域。

对 Gn、Bn、yn的统计方法同 Rn的相同。

经过多次学习后发现，颜色的主要区域的像素个数较多，而噪声和反光点区域中的像素个数则较小。为此本系统对各区域像素占总像素的百分比也设置了一个阈值，当小于此阈值时认为是噪声或是反光点。即设Xr为Rn中某个区域的像素个数、n为总的像素个数、ΔR为设定的阈值，当（Xr/n）≤ΔR时则认为是噪声或是反光点。

在实验中发觉用此方法统计出的颜色特征信息去识别相应的颜色块，效果较好。针对图3所示原始图像，用此方法统计出来的目标颜色特征提取出目标颜色块的图像如图5所示。

4 目标识别

本系统中对目标的识别主要是用目标的颜色特征结合目标形状特征进行识别。目标的颜色特征是调用颜色学习得出的颜色特征信息，即R、G、B三个分量占总色彩的比例以及色彩的灰度值，如果这些特征都满足要求才认为是目标的颜色，然后将满足要求的颜色块提取出来，进行灰度化、滤波、二值化等处理，以供后面的目标形状特征识别使用。图6为目标静止在环境中的图像，图7为将目标将从环境中提取出来的图像。从图中可看出，除了边界部分有失真之外，目标的大部分都被提取出来了。

图7 根据目标颜色特征提取出的目标图像

在本系统中目标的形状特征主要是计算目标的边界长度的平方与目标面积的比值[4]。本系统中使用的目标在正面采集成二维图像后为一个正方形，可以知道其周长的平方除以面积为4，实验发现中不同视角下采回来的目标图像统计出来的不一定为4而是在其周围进行波动，本系统在实验中得出将其设置为3.5到5.0能基上将目标识别出来。实验中也发现此种形状特征的方法不够稳定，因此将此方法作为颜色目标识别的一种辅助方法，目的是为了较验一下目标，如果单独用此形状特征的方法将会出现较多识别错误。

5 目标定位

目前大多数的研究中都是用双目进行测距，本系统中能获得目标的大小、摄像头镜头的大小、摄像头的视角，故采用单目进行测距[5]，并结合从图像中分析得到的目标方位角信息，在极坐标系中对目标定位[6]。

图8 摄像头摄像的二维模型

图8为摄像头摄像的二维模型[7]，图8中X表示摄像头镜头的大小，Z表示和目标同一距离并在水平方向平行于目标的整个摄像头可视范围大小，h表示镜头到焦点的距离，H表示目标到焦点的距离，为摄像机的视角。则可求得

本系统中的摄像头视角为130度，所以可知

X可以实际测得，从而只有Z是未知的，在本系统中摄像头采集回来的图像是320×240个像素大小，并可获得目标的实际宽度为L，设目标在图像中的宽度为 X1，则可知

从而得知目标离焦点的距离。从目标图像的中心在整幅图像中的位置可得出目标相对机器人的方位角，设目标的中心在图像中的位置为（XL，YL），则可得其在水平方向相对摄像头视角正中心的角度为

α的正负表示目标位置相对于摄像头视角正中心的左右方向。取水平面为极坐标的平面，取摄像头视角正中心的延长线为极轴，摄像头的焦点为极点，取相对摄像头视角正中心的延长线为逆时针的方向为角度的正方向[8]。从而可实现目标在极坐标中描述为（H ，α）。

6 目标定位及跟踪实验

从目标定位的极坐标表示中可以看出，要对目标进行定位就要知道目标与机器人的距离和方位角，本小节将对目标的离机器人的距离和方位角分别进行测量实验，并在这两个实验的基础上进行跟踪实验。

6.1 目标的距离测量

用机器人对目标进行距离测量，表1为实验中记录的9组数据。从表1中可以发现，有7组用机器人测量的值与实际值的误差较小，但有2组误差相对来说较大。从表1中还可以看出当目标与摄像头的距离在23cm到55cm之间时，误差相对较小，且测量误差随着距离减小而增加；当目标与摄像头的距离在55cm以上时，随着距离的增大误差也跟着增大，且当目标与摄像头的距离在139cm以上时误差较大。

表1 机器人对目标的距离测量实验（单位：cm）

随着距离的增大误差增大主要是因为距离远的时候目标图像的边上就会比较模糊，从而影响了测量的精度。测量误差随着距离减小而增加，这是因为目标是圆柱形的，所以当目标离机器人较近时摄像头可以采集到的目标区域将会变小，离得越近，能采集到的目标区域将小，当然这个减小的速度很小，所以从数据可以看出在55cm之前误差随着目标离机器人距离的减小而增加，但误差增加的幅度相比55cm之后误差随目标离机器人距离的增加而增加的幅度小很多。

6.2 目标的角度测量

用机器人对目标进行角度测量，表2为实验中记录的7组数据，从表2中可以看出，机器人对角度的测量较为准确，相对距离测量，角度测量的精度较高是因为采集回来图像虽然会损失，但损失比较对称，在角度测量中，对称的图像损失对测量结果造成的影响很小，从理论上来谈，如果达到完全对程的话将不会造成影响。可以看出从理论上来说，机器人角度测量比距离测量来得精确和稳定。

表2 机器人目标的角度测量

6.3 目标的运动跟踪

目标的距离和角度能够测量出来，便可以用极坐标对目标的方位进行表示了 (即可以对目标进行定位了)，本实验使目标在规定的视角范围内（至）运动，目标与机器人的初始距离为86cm，当目标与机器人的距离在86cm至96cm的范围内则机器人停止跟踪，当改变距离到不在这个范围内的时候，又重新开始跟踪，一共进行3组实验，用机器人测量目标到机器人的距离与图像帧数的关系如图9所示。为了将目标尽量控制在机器人视角的中间位置，实验中机器人跟踪的时候左轮的速度衡为0.2，设目标在相对机器人的角度为，则机器人右轮的速度为。图9中的S1、S2、S3处有明显的不连续，图9中S4、S5、S6处，其实机器人已经停止跟踪，目标也停止运动了，但S4、S5、S6处却出现了一定的跳变，这主要是因为机器人对目标的距离测量有一定误差，并且由于受光线等噪声的影响，在同一距离下测量出来的距离不一定是相同的值。

图9 基于移动机器人的运动目标跟踪效果图

7 结论

从本系统的实验过程可以得出，目标识别过程中识别效果和运行速率较难两面都顾及。在本文的图像处理环节，其实际上并没有把噪声当成噪声，而是把噪声当成环境的一部分，也对其进行图像分割，然后对每个区域的噪声像素个数进行计算，把个数小于设定值的舍去，因为每个区域的噪声相对目标来说个数小很多。因而此法可以较为容易地去除噪声，但却是以牺牲运行速率为代价的。

本论文中对目标的颜色进行自主学习，这将大大方便了对目标特征的描述，对提高机器人的自主能力有一定的帮助。

本论文在目标定位中，用到了机器视觉进行测距，目前大多数的研究中都是用双目进行测距，但如果在能获取目标的大小的情况下，用本文中的测距方法进行单目测距将能节省机器人的成本，并能节省大量的计算。

[1]王鹏,郑光宇.一种新的基于图像识别技术的信号灯识别算法[J].兵工自动化,2009,28:73-75.

[2]王丹丹,臧怀刚.基于分割的图像识别系统设计[J].机器视觉,2008,5:88-89.

[3]惠宝聚,高雅.基于自适应非参数统计模型的彩色目标跟踪算法研究[J].应用光学.2009,30:449-451.

[4]门立彦,尹四清.一种视频序列中运动目标的跟踪方法[J].2009,4:93-94.

[5]张一鸣,秦世引.基于单目视觉的移动机器人测距方法[J].机器人技术.2008,10:224-226.

[6]许召春.关于利用极坐标换元法求二重极限的思考[J].科技信息.2009,31:243.

[7]袁佳,郭建钢.车辆牌照图像识别技术研究进展[J].专利与综述.2008,1:77-79.

[8]张远辉,韦巍.基于影子的乒乓球机器人单目视觉系统标定[J].中国图象图形学报.2009,14:1895-1897.

Object Tracking of Mobile Robot Based on Studying Color

YANG Wei

(Electronic Engineering Department of Wuyi University，Wuyishan，Fujian 354300)

For the difficult to describe the color characteristics of target.Under different light conditions the same goals have different color information.This paper proposes a method of target recognition based on studying color.In the case the target color characteristics is unknown,this method collect the color of target by camera and analyze independently and generate the color feature information of target.In this paper,the noise filter is also part of the image segmentation. To counting pixel,if the number of pixels of the area less than the settings,the area will be removed.For the case target size can be get,this paper get the target distance based on monocular vision.Combined with images obtained the azimuth information of the target relative robot,and describe target position in polar coordinates.Making experiment of location and tracking based on the positioning of the target.

studying color;object recognition;monocular vision;object localization;object tracking

TP242.62

A

1674－2109(2011)05－0073－06

2011-09-06

杨伟（1984-），男，汉族，助教，主要研究方向：智能控制。