基于特征模型的非结构化道路跟踪算法研究＊

胡 旭，刘满禄，张 华，桑瑞娟，丁华建

（西南科技大学 机器人技术及应用四川省重点实验室，四川 绵阳 621010）

非结构化道路识别与跟踪是室外自主移动机器人视觉导航的研究热点之一，解决该问题有利于机器人实现自主导航。室外环境道路分为结构化道路和非结构化道路，非结构化道路一般不具备明显车道线、路面不均匀、道路边缘模糊且形状不规则，如校园道路和乡村小路，因此对非结构化道路的识别与跟踪比较困难，仍处于研究阶段。

非结构化道路识别与跟踪算法通常包括：基于道路特征的算法[1-2]、基于神经网络的算法[3]和基于道路模型的算法[4-5]等。基于道路特征的算法通过构建道路区域和非道路区域灰度、彩色、纹理等特征模型，利用相似性度量准则匹配这些特征，将视频序列图像分割为道路区域和背景区域。其优点是无需训练大量先验样本，假设道路模型，对道路形状不敏感等，但却极易受到室外多变的光照条件影响。室外环境中，道路区域和非道路区域最直观的区别在于颜色信息的不同，因此道路颜色特征常用于非结构化道路检测与跟踪。由于RGB颜色模型对光照变化较敏感，通常需要对RGB颜色信息进行转化，增强颜色特征模型对光照条件变化的鲁棒性，如叶伟龙等利用RGB颜色空间构建的c1c2c3颜色模型[6]，TAN C等构建的均衡R-G颜色模型[7]。

纹理是一种反映图像中小块区域像素灰度级的空间分布属性，通常不依赖于颜色和亮度的变化，是一种较稳定的图像特征。与颜色模型一样，都属于点样本估计方式，能够相互融合。并且LBP纹理特征具有尺度不变性和旋转不变性，能够鲁棒地表征物体表面纹理特征，其计算复杂度低，易于实现。近年来，随着融合LBP纹理特征与颜色特征研究的深入，将多特征模型与MeanShift算法结合成功应用于人脸跟踪、视频目标跟踪等，克服了单一特征使跟踪结果鲁棒性和准确性差等现象[8-9]。

本文以视觉传感器获取的实时道路图像为研究对象，针对道路的纹理和彩色特征提出了一种基于特征模型的非结构化道路跟踪算法。首先对视频序列图像预处理，在第一帧图像中采集道路区域样本图像，提取LBP纹理特征和颜色特征，建立特征模型。通过特征模型与视频序列图像的一一映射，生成反向投影图，用于道路区域提取。利用道路历史特征模型与当前跟踪结果的观测特征模型进行卡尔曼滤波，更新道路特征模型，实现道路区域跟踪。

1 非结构化道路跟踪系统总体框架

图1为非结构化道路跟踪系统的总体框架，主要包括样本特征提取、特征模型建立、反向投影和模型更新四部分。通过提取视频序列第一帧图像中道路区域的特征，建立初始特征模型，为系统提供前向输入，并将实时跟踪结果反馈到历史特征模型中，交替地更新特征模型和提取视频流中道路区域。

图1 系统总体框架

2 特征模型提取及建模

2.1 LBP纹理特征

LBP是一种表征图像局部空间结构的非参数纹理描述算子，它利用局部二值纹理模式作为纹理基元进行纹理分析。其理论简单，对线性光照变化具有不变性，能够准确地描述图像的纹理特征，在图像检索、运动目标跟踪、图像匹配及面部分析等领域表现出极好的实用价值。

LBP算子生成的基本思想是：首先定义一个M×N的掩膜，以掩膜中心点的灰度值为阈值，将掩膜内其他像素点的灰度值与中心点比较，并进行二值化，对不同位置的二值化值进行二进制编码，得到十进制数作为掩膜中心的LBP纹理特征值[10]。LBP算子的数学表达式为：

其 中 ，s（g-g）= {1， gi-gc≥0，（u，v）为掩膜中心的 图像ic0，其他cc坐标，灰度值为gc，gi表示掩膜中心点圆形邻域中第i像素点的灰度值。通常，有些邻域点不能与图像中的像素点精确对应，其像素值可以通过线性插值法获得。R表示以像素为单位的掩膜半径，P为以R为半径的圆周邻域上的像素个数。通常，（P，R）可根据实际应用需要选取不同的值，如图2所示。

图2 不同（P，R）形成的掩膜

不同的（P，R）组合值对应着不同的 LBP纹理特征值，当P较大，R较小时，对纹理特征的描述性强，但易受噪声影响，计算复杂度急剧增加；当P较小，R较大时，对纹理特征的描述性达不到实际应用的需求。选择合适的（P，R）组合值有利于提高系统的跟踪性能。图3所示为一个具体的LBP纹理特征提取实例，P=8，R=1。

图3 LBP纹理特征提取实例

由式（1）可以看出，定义的LBP算子对线性光照变化鲁棒性强，具有灰度不变性。通常，由于视觉采集设备相对被拍摄物体位置、角度的不同，采集的图像存在不同程度的旋转。为了使提取的纹理特征能够对这种不可避免的旋转具有鲁棒性，Mäenpää等人将 LBP算法进行了改进，使其具有旋转不变性[11]。基本思想为：不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该圆形中心点的LBP值。

其中，ROR（LBPP，R，i）为旋转函数，表示把 LBPP，R按位移动 i次。

在对LBP旋转不变性的研究中发现，有些纹理模式在图像中出现的频率较低，而有些纹理模式出现的频率很高，有时高达90%以上，它们能够包含图像中大部分的纹理模式，在旋转移位过程中，最多有两次0和1之间的跳变，将这类模式称为均匀模式（uniform patterns）[12]。 图 4为 P=8，R=1的所有均匀模式。

图4 均匀模式

具有P个领域点的模型会出现P+1个均匀模式，通过每个模式中 1的个数，用0～P表示均匀模式，将所有的非均匀模式统一为P+1。具有灰度不变性和旋转不变性的LBP算子即可表示为：

其中，

2.2 颜色特征

视觉导航系统通常采用CCD摄像机作为图像输入设备，其输出模式为RGB。RGB颜色模型是一种加色模型，由红、绿、蓝三原色以不同的比例相加，以产生多种多样的颜色。这三种原色对光照亮度变化敏感，而自主移动机器人工作的室外环境，其光照亮度条件是不断变化的。因此，利用RGB颜色空间建立的特征模型使得道路跟踪效果不理想。

HSV颜色模型是根据色彩的三个基本属性 （色调、饱和度、亮度）来确定颜色的一种方法，更接近人眼对颜色的感知。其中，V分量表示亮度信息，即光照条件信息。本文采用H和S两个分量建立颜色模型，相比通常只提取H分量建立颜色模型的方法，建立的颜色模型在充分保留道路颜色信息的同时去除了光照变化对道路跟踪的影响，有利于道路跟踪系统的实现。

2.3 道路特征模型建立

设 N（h、s、lbp）为 三 维 直 方 图 中 （h、s、lbp）的 统 计值， 即模板图像中 H、S、LBP分量为 h、s、lbp的像素点总数，Max（N（h、s、lbp））表示 N（h、s、lbp）的最大值，则H 分量为 h′，S分量为 s′，LBP 分量为 lbp′的像素属于道路的概率为：

将三维直方图中 N （h、s、lbp）用 p （h′、s′、lbp′）代替，得到道路概率查找表，为了显示的可视性，将道路概率查找表中的概率值乘以255，作为道路特征模型，记做H-S-LBP。

2.4 道路特征模型更新

机器人运动过程中，前方道路必定与视频序列初始帧图像中的道路存在差异，再加上室外不确定因素的影响，基于初始帧图像建立的特征模型并不能实时、准确地反映道路特征，致使系统在长时间的跟踪过程中，跟踪结果的准确性不断下降。因此，必须实时更新道路特征模型。

卡尔曼滤波器采用反馈控制的方法估计过程状态，能够递归地解决离散数据线性滤波问题[13]。在实际应用中，卡尔曼滤波器对被建模系统提出了3个假设：（1）系统是线性的；（2）影响测量的噪声是白噪声；（3）噪声呈高斯分布。其基本思想是：利用历史估计值对当前状态变量和误差协方差进行预估计，在反馈校正阶段，通过当前测量值和最小均方误差准则对预估计值校正，得到最优化的后验估计值。其时间更新方程和测量更新方程如式（5）～式（9）所示。

时间更新方程：

测量更新方程：

由于特征模型中特征值间相互独立，基于卡尔曼滤波器的特征模型更新通常是对特征模型中的单个特征值更新，即为每个特征值赋予一个卡尔曼滤波器[14-15]。相比将特征模型看作一个整体的更新方法，对特征值单独更新的方法能够获得一个更准确、更合理的更新模型。但其运算量将受到特征模型中bin的影响迅速增加，势必影响更新速度。将三维特征模型转化为3个一维特征模型，给3个一维特征模型中每个特征值赋予一个卡尔曼滤波器，将得到的更新特征值对应相乘，即可获得三维特征模型中每个特征值的概率估计值，大大减少了计算量。本文建立的特征模型为16×16×9的三维模型，因此需要建立41个一维卡尔曼滤波器，滤波器的参数设定详见参考文献[14]。通常，前后两帧图像中道路区域的特征模型不会发生剧烈变化。因此，将每个滤波器的更新结果与上一帧比较，若小于预设阈值，则更新；否则，保留上一帧的特征值。

3 反向投影

反向投影是一种记录像素点或像素块如何适应直方图模型中分布的方式。用于在待处理图像（通常较大）中查找样本图像（通常较小或者仅1个像素）最匹配的点或者区域，也就是定位样本图像出现在待处理图像中的位置。在道路特征模型中，图像的H、S、LBP分量与道路概率特征值建立了一一对应关系，将图像某一位置的像素值用其对应的道路概率特征值代替，得到反向投影图。由于道路概率特征值被归一化为0～255，因此得到的反向投影图是单通的，即灰度图像。反向投影公式为：

其中，b（u，v）表示图像像素点（u，v）在特征模型中的索引值，qˆi为第 i个 bin 的概率值。

本文道路跟踪算法详细步骤如下：

（1）对获取的视频序列图像预处理，减少噪声的影响；

（2）从视频序列第一帧图像中提取足够的道路区域样本图像；

（3）道路特征模型建立：将获取的 RGB图像转换为HSV图像和灰度图像，利用灰度图像生成图像的LBP纹理特征，并提取HSV图像中的H、S分量，通过样本图像的三维直方图，构建道路特征模型；

（4）通过特征模型与视频序列图像的一一映射进行反向投影，得出道路概率分布图，即反向投影图；

（5）对道路概率分布图后处理，区分道路区域和背景区域，选取连通域面积最大的区域为道路；

（6）更新道路特征模型；

（7）重复步骤（4）、（5）、（6），实现对视频序列中非结构化道路跟踪。

4 实验结果与分析

实验选用的硬件平台为AMD Athlon64 3000+2 GHz处理器，1 GB内存，软件平台为VC2005。实验视频图像均在西南科技大学校园内和后山采集，平均时长10 min，包括多种非结构化道路环境，视频为AVI格式，分辨率为320×240，每帧视频图像平均处理时间为210 ms。实际应用时，等间隔地抽取视频帧图像进行处理，减少数据处理量，有利于系统的实时实现。

本文采用 P=8，R=1的掩膜提取LBP纹理特征，构建16×16×9的道路特征模型。图5对基于不同特征模型的反向投影图进行了比较，图5（a）为采集的视频序列中部分帧原始图像，图 5（b）为采用参考文献 8提出的均衡R-G颜色模型生成的反向投影图，图 5（c）为采用H-S颜色模型生成的反向投影图，图5（d）为采用H-SLBP特征模型生成的反向投影图。图5（b）中，类道路区域误检测现象严重，道路边缘不连续，在第二类环境中，将道路左边大面积的非道路区域检测为道路区域。主要在于均衡R-G模型体现的是像素颜色信息的对比度，当颜色信息的对比度相似时，易产生误投影。相对图5(b)的实验结果，图5（c）中的道路边缘的误投影得到明显改善，但当道路边缘模糊时（如第二类和第三类环境），由于过度区域存在颜色信息的渐变过程或模糊不清时，系统对此类区域的辨识度较低，投影误差增大。比较图5（c）和图 5（d）可以看出，融合纹理特征的实验结果中，道路区域内和非道路区域内的误检测均减少，尤其道路边缘误投影减少，连续性强。这是由于道路边缘处通常存在一些不规则的杂物，使得其纹理特征与道路区域不同，因此被判断为非道路区域，有效提高了道路边缘处跟踪结果的正确率。

图5 不同特征模型反向投影图比较

图6给出了基于H-S-LBP特征模型的非结构化道路跟踪实验结果，黑色曲线内为道路跟踪结果。这些视频图像采集自不同季节，不同天气，均取得了理想的跟踪效果，证明了该算法的有效性。

图6 道路跟踪实验结果

针对室外自主移动机器人的作业需要，提出了一种基于特征模型的非结构化道路跟踪算法。通过建立道路的三维特征模型，对道路区域进行实时跟踪。实验表明，构建的三维特征模型能够准确表征道路特征，在HSV颜色空间下，H、S颜色特征对颜色信息的区分度较好，能够区分与目标颜色信息相近的区域，且其受亮度信息的影响较小，对复杂室外环境适应性较强。融入LBP纹理描述算子的特征模型使跟踪结果中类道路区域明显减少，尤其对于模糊性比较高、辨别难度较大的道路边缘处，其跟踪结果更准确，边缘连续性更强。此外，采用卡尔曼滤波器对道路特征模型更新，使系统跟踪结果的鲁棒性增强。

[1]Huang Jingang， Kong Bin， LiBichun， etal.A new method of unstructured road detection based on HSV color space and road features[C].Proceedingsofthe 2007 International Conference on Information Acquisition， 2007：596-601.

[2]胡晓辉，孙苗强，苏晓许.伪彩色空间完全非结构化道路检测方法[J].中 国图像图形 学 报 ，2012，17（2）：203-208.

[3]李青，郑南宁，马琳，等.基于主元神经网络的非结构化道路跟踪[J].机器人，2002，27（3）：247-251.

[4]Tian Zheng， Xu Cheng， Wang Xiaodong， et al.Nonparametic model for robust road recognition[C].2010 IEEE 10th International Conference on Signal Processing， 2010：869-872.

[5]张玉颖，顾小东，汪源源.基于梯形模型和支持向量机的非结构化道路检测 [J].计算机工程与应用，2010，46（15）：138-141.

[6]叶伟龙，刘华平，孙富春，等.非结构化道路区域检测的协同学习方法 [J].中国图像图形学报，2011，16（5）：792-799.

[7]TAN C， HONG T， CHANG T， et al.Color model-based real-time learning for road following[C].Proceedings of the IEEE Intelligent Transportation Systems Conference， 2006：939-944.

[8]张涛，蔡灿辉.基于多特征Mean Shift的人脸跟踪算法[J].电子与信息学报，2009，31（8）：612-618.

[9]宁纪锋，吴成科.一种基于纹理模型的目标跟踪算法[J].模式识别与人工智能，2007，20（5）：612-618.

[10]OJALA T，PIETIKINEN M，et al.A comparative study of texture measures with classification based on feature distribution[J].pattern recognition.1996，29：51-59.

[11]Mäenpää T， Pietikäinen M.Texture analysis with local binary patterns.In Chen CH & Wang PSP （eds）Handbook of Pattern Recognition and ComputerVision 3rd ed[M].World Scientific，2005.

[12]OJALA T，PIETIKINEN M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971-987.

[13]KALMAN R E.A new approach to linear filtering and prediction problems[J].JournalofBasic Engineering，1960， 82（1）： 35-45.

[14]朱胜利，朱善安.基于卡尔曼滤波器组的Mean Shift模板更新算法 [J].中国图像图形学报，2007，12（3）：460-465.

[15]郭森，柳伟，王建华.一种自适应权值更新的 mean shift跟踪算法[J].科学技术与工程，2009，8（16）：4540-4544.