一种基于模糊理论的雷达与视频融合交通目标跟踪方法*

孙景荣,刘思奇,张 华,魏晨依,宋诗斌

(1.西安电子科技大学 空间科学与技术学院,西安 710071;2.山东科技大学 机器人与智能技术重点实验室,山东 青岛 266590)

0 引 言

智能交通系统是收集复杂环境中道路交通信息,并结合多种信息来源,实现对交通环境全面感知以及决策的系统[1]。交通信息的搜聚是智能交通系统的重要一环[2],也是对数据进行进一步分析的基础。复杂环境下的多目标跟踪问题是交通信息获取过程中要重点研究的内容,目标跟踪精度直接关系到智能交通系统后续对交通状况的分析、决策和处理。

毫米波雷达和摄像头都属于道路交通监测常用的传感器,两种传感器的感知性能具有一定优势和局限性[3]。毫米波雷达主要优点是能够在复杂的天气条件下工作,比如夜间或雨雪雾等天气,但它收集的信息并不直观,且可视性不强,为得到被探测目标的形状和其他更细节化的信息,需要采用比较复杂的信号处理算法对雷达的原始信号进行处理才能实现,并且针对目标较大或较近的情况可能会产生虚假目标问题。摄像头可以获取丰富的图像信息,可以根据应用的要求进行信息提取,但在数据采集过程中,天气和光照对摄像机有影响,目标速度等深度信息需要用复杂的算法进行提取,会使得处理速度和效率相对较慢。同时,受摄像机视角所限,如果车辆之间有重叠的阴影,在图像处理过程中容易将多个目标识别为单个目标,这会造成视频分析时出现误检、漏跟的情况。

由于智能交通系统需要大量全面的目标信息,单传感器数据量小,无法满足要求。多传感器融合技术作为一种新兴的获取和处理信息的方式,模拟了人类大脑进行分析和处理信息的过程。多传感器融合技术将各传感器信息排列整合、冗余互补以获取被监测目标全方位高准确率的信息[4]。因此,多传感器融合技术是智能交通系统信息采集所运用重要技术。交通领域中,雷达与视频融合技术在道路车辆和行人检测、盲区检测与预警、交通测序等方面均有应用。例如在行人检测应用方面,行人检测主要指通过模式识别方法来检测图像中的行人,引入雷达测距后对目标的跟踪结果比图像处理结果准确性更高[5],但这种方法需要大量数据对网络结构进行训练并且仅适用于行人检测场景。盲区检测预警系统是以雷达测距技术为核心研制的一种实时定位和测向系统,车辆信息经雷达实时地反馈给电子显示屏来进行事故预警。交通测序是利用高精度雷达对机动车行驶状态进行采集,融合视频技术来识别超速、压线等违章车辆,协助交管部门执法处置[6]。国外对雷达和视频技术的研究多集中于自动驾驶方面,但当前具有自动驾驶功能汽车的安全性有待考虑,要实现完全无人驾驶还需要一个长期的研究过程。目前主流的自动驾驶辅助系统经过优化,大都能实现L2级(部分自动驾驶)[7],但该系统功能并不完善,无法识别突然出现的行人,且该技术更依赖于摄像头,在后续目标跟踪处理上步骤更加繁琐。

综上所述,基于雷视融合的目标跟踪应用仍处于发展阶段,大部分研究通常基于特定应用场景进行融合构建[8-10],不具有通用性。但随着目应用需求的增加,其应用前景也十分广阔,具有一定的研究价值。在数据融合时,对两种传感器在不同维度所采集的数据进行时间空间准确匹配存在一定难度,并且保证融合后对目标进行准确判决存在难度。为了降低单传感器跟踪算法的复杂度,基于模糊集理论,本文给出了一种雷达和视频融合跟踪交通目标的算法,以实现高精度目标跟踪。实测验证结果表明,多传感器融合算法跟踪效果优于单传感器的目标跟踪算法,具有更高的稳定性。

1 本文算法流程

融合算法框图如图1所示,主要过程包括:①构建模拟场景,采集数据并设计雷达和视频数据进的时空匹配方法;②决策级算法的构建中,结合提出的目标判断准则,采用模糊集理论的多传感器融合算法,对获得的雷达与视频融合的目标进行追踪,并模糊化地改进统计距离判断条件;③采集实测数据,验证算法。

图1 算法流程

2 时空匹配

时空匹配是多传感器信息融合的重要步骤,在进行数据处理时,有必要考虑不同帧率和坐标系间的联系,将不同帧率和坐标系的数据整合到同一维度,以便进一步融合[11]。我们选择了一个相对空旷、具有较高测试位置的区域,控制了目标的数量,利用单目标测试场景[12]数据对坐标系进行对准调试,以得到两传感器间准确转换参数。

2.1 时间匹配

在测试中,雷达数据和视频数据的采集率分别为60 frame/s和20 frame/s。

时间匹配时要求起点对齐,达到雷达与视频同步开始,并以雷达数据帧为准完成对视频数据帧的采样,而混合高斯建模的要求是前面30帧完成训练,因而雷达数据的起始时间要在视频数据起始时间的0.5 s后。对齐起始点后,再对数据帧之间进行匹配,如图2所示。在时间轴上,中间的重合点是融合时间点,下方是雷达时间戳,上方是视频时间戳。

图2 时空配准

2.2 空间匹配

为了后续融合处理,需要对雷达和视频两个传感器获得的数据进行空间匹配,对一定环境下的目标信息进行互补。本文将雷达目标信息转化至像素坐标系中,包括5个坐标系的转换过程,如图3所示。

图3 坐标系转换关系

图4是本文设置的两个坐标系的转换示意图。

图4 雷达-世界坐标系转换示意

其中,雷达与目标的径向距离为s,角度为γ,雷达安装高度为h,设备倾斜角度为α,则向二维雷达坐标系转换,即为

xr=s·sin(γ),

(1)

yr=s·cos(γ)。

(2)

θ满足

(2)

构建世界坐标系时,充分考虑现实条件和便于推算,认为世界坐标系和雷达坐标系的原点位置是重合的,即Xw轴与Xr轴方向相同,Zw轴与Yr轴方向相同。根据右手定则,设世界坐标系Yr轴垂直于Xw-Zw平面,方向指向地面。雷达坐标系和世界坐标系的转换关系如公式(3):

(3)

在测试时,为了使偏移量更小,雷达和摄像机并列放置,所以主要通过简单的调试来获取摄像机外部参数,实现世界坐标系和摄像机坐标系的转换。然后根据标定获得的摄像机内部参数,进行摄像头坐标系到像素坐标系的转换。

3 基于模糊集理论的雷达与视频融合算法

3.1 模糊评判问题分类

通过空间和时间的匹配,获得融合算法的输入信息,即雷达目标信息由帧序号、目标ID、转换像素坐标(u,v)、目标速度构成。视频目标信息由帧序号、目标ID、重心坐标(x,y)、跟踪框左上方坐标以及长宽组成。计算雷达目标点迹与各质心坐标的统计距离,并与具有最短统计距离的视频关联ID。

存在三种情况:①雷达点与视频目标一一相对应,即同时被雷达和视频探测到的情况;②多个雷达点与一个视频目标对应情况,这一情况可能是因为雷达航迹冗余问题或者目标分割问题造成的;③未关联的视频目标,这种情况主要由视频处理中的杂波问题引起的。图5为上述三种情况的示意图,其中,跟踪框1、跟踪框2和跟踪框4为目标同时被雷达和视频探测到,跟踪框3为雷达航迹冗余问题导致的,跟踪框5为目标分割问题,跟踪框6为视频杂波问题引起的。

图5 目标信息示意

将所处理的问题按上述①,②,③关联结果进行分类,并给出决策及判决。由于问题的分类存在模糊性,所以采用模糊综合评价法进行分类[13]。

假设雷达与视频传感器的检测准确性用因素集C={cradar,ccamera}表示,评语集设为V={多对一情况,杂波情况},表示雷达航迹冗余问题和视频杂波问题。综合评判由如下4个步骤完成:

Step1 根据各帧数据之间的相关性,统计一对一的关联结果,当雷达点与视频点一一相对应时,若相互间距离较近,则结果正确,由此得到在雷达和视频数据中占比,并作为雷达和视频传感器各自的权重。经过归一化处理后得出模糊子集A。

Step2 对剩余的数据点,按多对一情况和杂波情况来分类,其中多对一情况主要有两种:一种为出现雷达航迹冗余情况,另一种为目标分割问题。将出现上述两种问题的数据占总数据中的比例作为第i个传感器ui的单因素模糊评价ri=(ri1,ri2,…,rin),得到综合评价矩阵为R。

Step3 求出模糊综合评价集B。

Step4 基于最大隶属度原则[14],按照后续决策分类,对全部数据进行判决得到最终结果。

对每一帧数据出现的问题,都可以按照上述综合判断方式加以区分,之后进入不同判决分支做出目标决策。

3.2 目标判决准则

结合模糊综合评判结果,融合决策时需要考虑三种情况。

1)雷达点与跟踪框一对一的情况

在目标关联时,存在雷达杂波点与有效跟踪框相关联的情况。但这种设定结果具有绝对化,故而采用了一种常用的Z型隶属函数[15],用于模糊化统计距离数值。图6即为模糊隶属函数,其中,横轴d表示统计距离,纵轴uij表示雷达数据的第i个目标和视频数据的第j个目标统计距离的隶属度函数,uij满足uij∈[0,1];a点表示雷达和视频所测得目标是同一个目标时的统计距离上限,b点表示当两个车辆目标统计距离大于b时雷达与视频所测得目标毫无关联。

图6 Z型隶属函数

a和b满足

(4)

式中:u′和v′为数据从摄像机坐标系转换至像素坐标系的结果;u和v为数据从雷达坐标系转换至像素坐标系的结果;w表示跟踪框尺寸中宽度像素大小;h为跟踪框尺寸中高度像素大小。由于不同物体的尺寸在图像中的像素尺寸不同,所以其对应生成的边界框尺寸也不相同,通过实验得到系数取1/3为最佳匹配效果。

uij∈[0,1]可表示为

(5)

①当d∈[0,a)时,隶属函数uij=1,第i个雷达目标和第j个视频目标的统计距离满足隶属度函数公式(5),即uij=1,则可以确定目标i,j属于同一个目标。

2)雷达点与跟踪框多对一的情况

这类情况主要包括雷达航迹冗余问题以及目标分割问题。当目标距离雷达比较近或者目标比较大的情况下,雷达会将同一个目标判断为多个目标,即出现航迹冗余现象。在这种情况下,雷达点迹获得的目标距离和速度非常相近。而对于目标分割问题,两雷达点迹之间的相对距离一般较远,也存在相差较大的速度值,因此,可依据两级综合阈值的设置,对上述两种问题进行判断,再分别进行处理。

①雷达航迹冗余

当出现多个雷达点迹与一个跟踪框相关联的情况时,首先计算每一个雷达点迹和跟踪框的质心之间的距离隶属度,比较隶属度的大小,距离最小的点为真雷达点迹。之后计算所有点迹的平均速度,目标的跟踪信息结果用真雷达点迹的ID序号和平均速度表示。并且在多雷达点迹情况消失后,目标的ID和速度一直保持输出,直到目标在视频范围内消失不见。

②目标分割

当两个车辆目标相距较近,出现一个视频矩形框中有两个车辆目标的情况时,计算两雷达点迹到跟踪框质心的距离隶属度uij,然后由隶属度对视频矩形框的大小重新进行权重分配,用权重乘以原视频矩形框的大小确定新的跟踪框的长度与宽度。

3)未关联的目标

未关联目标中含有雷达杂波和视频杂波。因为本文雷达数据的处理结果较为理想,所以雷达杂波较少,未关联目标主要是视频杂波问题,是视频画面出现抖动而产生的。针对视频杂波问题,可以先行删除没有参考价值的视频跟踪框,目标信息的输出用雷达目标跟踪结果表示。跟踪框是以雷达点迹作为几何中心的矩形框,用画面的远近程度和视角来调整矩形框的大小;目标信息的输出用雷达点迹的ID序号与速度表示。需要注意的是,在后续视频无杂波时,目标ID序号可能会发生改变,为了避免这种情况的出现,雷达点迹ID序号要一直保留到目标彻底离开雷达检测范围。图7为改进的目标决策流程图。第一步就是对雷达和视频的测量数据进行关联。对于一对一的关联情况,由设定的统计距离隶属函数及1/2阈值进行判断,若成功则输出融合结果,若失效则进入综合模块;在此模块评判后,分类本帧所存在的问题,分别判决。对于多对一情况,则基于综合阈值判决雷达航迹冗余问题及目标分割问题,最后由目标判决准则输出判决结果,针对视频杂波问题则仅需要输出雷达数据结果即可。

图7 改进的目标决策流程

4 实验与结果分析

4.1 测试场景及数据

实际测试场景中,传感器离地面高度h=6.6 m,倾斜角度α=30°。实验测试使用的毫米波雷达最大作用距离为210 m,摄像机的有效视觉范围为100 m以内,故采用融合算法对目标进行有效跟踪的最大距离为100 m。

本文采集了三种不同的测试场景数据(见表1),测试场景对应的视频画面见图8。

表1 测试场景

4.2 实验结果

4.2.1 慢目标跟踪结果

测试场景1中,因为行人移动速度较慢,雷达无法监测这类目标。融合算法会把这种情况归为杂波问题处理,所以只输出视频数据的跟踪结果。对于非机动车目标,若速度较快,则可以被雷达探测到,进而判断该雷达点属于哪个非机动车,并输出其速度信息。图9表示处理前后随机两帧对比结果。

图9 视频杂波问题处理前后对比

图9(a)中,黄色表示雷达跟踪结果,仅标记两个速度较大的非机动车;蓝色框表示视频跟踪结果。处理后结果如图9(b)所示,所有目标均被追踪到,但缺少行人速度信息。另一帧处理结果如图9(d)所示。

4.2.2 雷达航迹冗余

针对出现的航迹冗余现象,即雷达将一个目标判断为多个目标的情况,根据目标判决准则对雷达航迹冗余问题进行决策处理,对比结果如图10所示,可见融合后有效解决了这种情况。

图10 多雷达点问题处理前后对比

4.2.3 目标分割

在测试时,如果车辆的阴影相互遮挡,则会出现误判,将两个车辆目标识别成一个。针对这类问题,对目标分割问题进行决策处理,图11为算法处理前后对比图。

在图11中,(a)表示融合前数据,视频跟踪框75框选了2个车辆目标,其中显示了两个雷达数据;处理后目标框75分割成(b)图显示的中目标96和目标97。另一帧数据对同样情况下的目标进行了分割。

4.2.4 视频多杂波问题

针对视频杂波问题,可将没有参考价值的视频处理结果删除,仅输出雷达目标跟踪结果。可见处理前后对比结果如图12所示,可见处理后视频画面中的大量杂波被删除,有效目标均被跟踪。

针对三种场景,分别用雷达、视频、传统融合算法和改进后的融合跟踪算法进行测试,统计各场景中的交通目标数据。在测试数据段内,N为交通目标总数,n为成功跟踪的目标数,η是跟踪率,则

(5)

式中:N可以通过撞线检测法获得。算法跟踪准确率如表2所示。

表2 跟踪结果统计

表2统计了采用单雷达传感器、视频传感器、传统模糊集数据融合算法[16]以及改进后的融合算法对目标的跟踪率。由表2可以看出,在三种场景中,融合跟踪率均明显优于单传感器雷达跟踪率和视频跟踪率。在测试场景1中,雷达跟踪率较低,视频跟踪准确率较高,融合跟踪准确率最好。测试场景2中,雷达对速度较快的稀疏车辆目标监测结果更准确,视频跟踪率低于雷达跟踪率,但融合跟踪率高于单传感器跟踪率,且改进后的融合算法跟踪率相比于传统融合跟踪率有所提升。测试场景3中,由于目标遮挡较为严重,视频和雷达跟踪率相比场景1和场景2下降,融合算法跟踪率虽然也有所下降,但相比雷达和视频单传感器算法,其效果最好,而且改进后的融合算法跟踪率高于传统模糊集数据融合算法。由以上实验结果可知,从跟踪效果上看,相比于传统融合算法,改进后的融合算法在跟踪率上提升了2.9%;与雷达和视频单传感器跟踪算法相比,改进后的融合算法具有更高的精确度和更强的可靠性。

5 结 论

本文针对毫米波雷达和视频的数据融合问题,首先对雷达和视频采集数据进行时空匹配,基于决策层模糊集理论给出了一种雷达和视频多传感器融合算法。利用Z型隶属函数优化算法,优化后的算法可以实现雷达数据的可视化,同时算法还考虑到了慢目标跟踪问题、视频杂波和雷达航迹冗余等问题。通过设计系统框架和采集到的真实数据,验证了跟踪算法的有效性。测试结果表明,多传感器融合算法比单传感器具有更好的稳定性和更好的跟踪效果。