移动机器人部分遮挡条件下多部件行人跟踪算法

毛 琳，程 凡，许烨豪

(大连民族大学 机电工程学院，辽宁 大连 116605)

在移动机器人视觉行人跟踪应用中，复杂的街道景观和各种公共交通设施会对行人运动跟踪造成影响，干扰算法对目标颜色、纹理等信息的捕获，从而降低算法的有效性。近些年来在行人目标跟踪研究领域中，大多将目标视为独立整体，采用粒子类滤波器对其进行跟踪。文献[1]中提出交互式粒子滤波方法，通过分析不同目标间的遮挡关系，自适应选择不同外观模型进行相似度测量，更新粒子权重，实现遮挡条件下的准确跟踪。文献[2]提出一种迭代粒子滤波算法，通过采样粒子迭代收敛到更接近真实目标状态，提高计算精度。文献[3]提出一个闭塞感知的粒子滤波框架，通过预测新出现的遮挡，更新目标模板，扩大遮挡目标搜索区域，并在闭塞后给予目标快速恢复，在复杂非遮挡场景中具有较好的鲁棒性。文献[4]根据测量对象的运动模式，扩展了现有的跟踪遮挡处理和漂移校正算法，预测目标位置变化控制模型更新，实现遮挡目标情况下的准确跟踪，其他算法如文献[5-9]。

本文提出一种多部件行人粒子滤波器跟踪(Multi-part Pedestrian particle filter Tracking，MPT)算法，以方向梯度直方图(Histograms of Oriented Gradients，HOG)目标检测直立行人身体部件为独立被跟踪单元，应用独立的粒子滤波器进行跟踪，以此提高目标整体跟踪效果。在消除引入多部件跟踪后，一旦某行人部件因街道景物遮挡而致使跟踪失效，无法确定行人真实目标位置的问题，创新性地引入弹簧弹力模型模糊决策算法，对多个部件跟踪进行校准和控制，实现复杂街道环境下的直立行人跟踪。

1 多部件行人跟踪算法

1.1 多部件粒子跟踪

本文所提多部件粒子跟踪算法可分为三个逻辑模块(如图1)：模块A为多部件粒子滤波跟踪模块，在对行人目标进行部件检测基础上，引入多个相互独立的基于颜色直方图的粒子滤波器，对各部件进行跟踪；模块B为模糊决策模块，利用基于弹簧模型的模糊决策算法来减少部件跟踪失效的风险，提高行人跟踪效果；模块C是跟踪校准模块，获取行人检测结果来提高目标跟踪的正确性。

图1 MPT算法逻辑图

多部件的划分采用可变形部件目标检测算法[10]，使用基于方向梯度直方图的可变形部件模型，如图2。此模型包含了一个覆盖整个行人目标的根滤波器和目标部件滤波器。根滤波器描述整个行人目标的形状，而部件滤波器有效地描述行人目标的局部结构，比如行人的头、躯干及四肢等。由于HOG特征的不同，各个部件滤波器得分对根滤波器综合得分的贡献值不同，所以涉及到部件重要程度排列问题。图2(a)、(b)以3个部件为例来说明多部件重要程度关系，图2(c)数字1表示重要程度高，数字3最低，MPT算法以该重要程度为后续多部件跟踪的依据，计算行人直立中垂线位置。

(a) (b) (c) (d)(a)部件模型；(b)空间模型；(c)检测结果；(d)多部件粒子滤波器示意图2 行人目标部件划分与跟踪滤波器区域示意图

在MPT算法实际跟踪过程中，采用视频中的某一帧图像作为输入，可变形部件模型会给出直立行人的多个部件块。根据任一部件块的顶点坐标来确定粒子目标跟踪器初始化椭圆区域，获取行人各部件相应的色彩纹理信息。基于颜色特征的粒子滤波器针对椭圆区域中的颜色特征进行统计计算，综合多个椭圆区域的跟踪结果来确定行人可能的边界框。图2(d)中每一个椭圆区域均为一个独立粒子跟踪器，长方形外接矩形为行人目标输出框。

1.2 弹簧弹力模型模糊决策

无论将行人划分为多少个不同的部件区块，都应保证行人目标的整体完整性。当某一部件因为遮挡而出现跟踪失效时，行人目标框的计算也会随之发生错误，最后导致无法判定行人的真实位置而致使跟踪失败，如图3。

(a)第50帧，行人腿部未被遮挡

(b)第100帧，行人腿部被部分遮挡

针对此情况引入弹簧弹力模型模糊决策机制，设行人目标中垂线为弹簧固定点，中垂线由HOG检测器给出行人目标框计算所得。滤波器为弹簧负载，粒子滤波颜色统计作用的椭圆区域中心点为弹簧部件中心连接点，粒子滤波器作用于椭圆区域的弹簧连接如图4。

图4 基于弹簧的模型示意图

应用标准Mamdani模型的模糊逻辑系统的钟型隶属函数来进行决策，解决部件偏离应有位置的失效问题，其模糊逻辑形式为

IFx1isA1andx2isA2and…xnisAn

THENyisB。

(1)

式中：Ai(i=1,2,...,n)是模糊输入变量；B是模数输出变量。算法采用钟型隶属函数

(2)

式中：x为指定变量的论域范围；[abc]用以指定钟型函数形式，输入输出均以像素为单位。

给定模糊控制器的输入变量是任一行人部件的当前位置偏离程度C和位置的变化率R，控制器的输出是当前位置的校正值P。为了精确控制模糊模型，使用负大(NB)，负中(NM)，零和接近零(ZE)，正中间(PM)和正大(PB)来调整输入和输出模糊语言变量集。具有上述输入和输出集合的相应模糊规则见表1。隶属度函数输入与输出关系曲线如图5，输入/输出特性曲面图如图6(单位：像素)。

表1 校正值P模糊规则表

图5 隶属度函数输入与输出关系曲线

图6 决策系统输入/输出特性曲面图

1.3 跟踪校准

使用跟踪校准模块的目的是对行人跟踪结果进行必要修正，从而提高其准确性。跟踪过程需要借助于多部件检测算法来获取必要的部件参数，一旦检测结果建立，在一定帧数内可由跟踪逻辑完全对行人进行相应处理操作，在需要时重启检测。这里，两次启动检测算法模块的间隔由移动机器人行进与行人相对运动的最大运动速度来决定。这样做可以降低移动机器人应用的计算复杂度，为今后的可实用化发展提供参考。

2 仿真分析

仿真实验在Matlab R2014a和Windows 10操作系统进行测试，移动机器人摄像机为视频采集设备，分辨率1280×720，帧率30帧每秒。

2.1 多部件与单部件跟踪对比

在室外复杂场景跟踪中，单一部件跟踪方式是将行人视作统一的整体，多部件以多个部件覆盖区域联合确定行人目标框。在同一场景下对单部件算法和多部件算法进行跟踪性能对比，如图7。单部件跟踪由于街道环境的前景和背景复杂，仅依靠一个跟踪器可能会造成跟踪不准确的现象，在颜色纹理等特征不变的情况下，增加部件滤波器进行跟踪能够抵御更多错误风险。改变特征检测机制，如采用HOG+颜色纹理等条件，能够让单一跟踪滤波器获得更好的跟踪效果。

(a)初始行进帧

(b)单部件跟踪情况

(c)多部件跟踪情况

2.2 遮挡条件模糊决策仿真

遮挡情况中，以单一行人目标跟踪为仿真主体，采集户外人行道和公园小路两个场景，场景1以垃圾桶为前景，目标在前进时受到垃圾桶的遮挡；场景2以街边广告牌为前景，目标在前进时受到广告牌遮挡。以多部件检测重要程度为依据，设定图8以行人胸部部件为主要参考，图9以腿部部件为参考。假定两个场景中行人为近似匀速运动，对比因遮挡失效与使用MPT算法的仿真结果，如图8、图9。仿真结果表明，本文所提算法在行人部分遮挡后，仍可以能够有效地提供行人跟踪输出框，确保机器人视觉检测与跟踪的行人目标计算准确度，以便于后续行人辨识、轨迹规划等应用。

(a)初始行进帧

(b)部分遮挡失效情况

(c)引入模糊决策算法

(a)初始行进帧

(b)部分遮挡失效情况

(c)引入模糊决策算法

3 结 语

本文针对街道复杂背景可能对行人目标产生遮挡的问题，在现有粒子滤波器的行人跟踪算法基础之上，加入多个粒子滤波器分别跟踪不同的行人身体部件，形成一种新的视觉行人跟踪算法。该算法能够有效解决将行人目标视为单一目标进行跟踪时所出现的遮挡失效问题。同时，针对行人目标多部件协调问题，引入物理学弹簧弹力模糊算法，控制决策任一部件跟踪失败的情况，实现对行人目标的实时跟踪，提高行人目标跟踪准确度。该算法为移动机器人后续行人目标辨识、测距、主动避障和轨迹规划等任务的实现提供了可能。

[1] YANG B, YANG R. Interactive particle filter with occlusion handling for multi-target tracking[C]// International Conference on Fuzzy Systems and Knowledge Discovery. Zhangjiajie, IEEE, 2015:1945-1949.

[2] FAN Z, JI H, ZHANG Y. Iterative particle filter for visual tracking[J]. Signal Processing Image Communication, 2015, 36(C):140-153.

[3] MESHGI K, MAEDA S I, OBA S, et al. An occlusion-aware particle filter tracker to handle complex and persistent occlusions[J]// Computer Vision & Image Understanding. USA, Elsevier, 2016, 150:81-94.

[4] VAN G J , ZWEMER M , WIJNHOVEN R G , et al. Occlusion-robust pedestrian tracking in crowded scenes[C]// International Conference on Intelligent Transportation Systems. Las Palmas,IEEE, 2015:919-924.

[5] DIEDERICHS F, SCHÜTTKE T, SPATH D. Driver intention algorithm for pedestrian protection and automated emergency braking systems[C]// International Conference on Intelligent Transportation Systems. Las Palmas, IEEE, 2015:1049-1054.

[6] JIANG Z, XU B. Tracking multiple pedestrians through detection failures in videos[C]// International Conference on Control, Automation and Information Sciences. Changshu, IEEE, 2015:420-425.

[7] VAN G J , ZWEMER M H, WIJNHOVEN R G , et al. Occlusion-Robust Pedestrian Tracking in Crowded Scenes[C]// International Conference on Intelligent Transportation Systems. Las Palmas, IEEE, 2015:919-924.

[8] MUKHTAR A, XIA L. Target tracking using color based particle filter[C]// International Conference on Intelligent and Advanced Systems. Kuala Lumpur, IEEE, 2014:1-6.

[9] TANG B, CHIEN S, HUANG Z, et al. Pedestrian protection using the integration of V2V and the Pedestrian Automatic Emergency Braking System[C]// International Conference on Intelligent Transportation Systems. Rio de Janeiro, IEEE, 2016:2213-2218.

[10] FELZENSZWALB P F, GIRSHICK R B, MCALLESTER D, et al. Object Detection with Discriminatively Trained Part-Based Models[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32(9):1627-45.