基于异步事件流的空间点目标跟踪方法

王瑞琳, 王 立, 贺盈波, 李 林

北京控制工程研究所, 北京 100094

0 引 言

随着人类太空活动的不断增加,围绕地球的人造空间物体数量急剧上升.这些人造空间物体虽然给人类提供了极大的便利,但同时也对地球附近的空间活动产生了显著影响[1-3].因此,对地球周围空间环境的感知与探测,即空间态势感知,变得尤为重要[4].然而,这些目标由于距离较远、尺寸较小,在单帧图像中通常表现为点状或者条状[5],覆盖的像素数量极为有限.这使得在复杂的背景中准确检测和跟踪这些空间点目标变得极具挑战性[6].目前,在空间态势感知任务中,常用的是基于帧的视觉传感器,例如CCD[7]、CMOS[8]等.这类视觉传感器在采集图像数据时,往往会产生大量的数据和较高的传输功耗.因此,针对快速移动的空间点目标,传统的视觉传感器在检测和跟踪方面面临着显著的挑战.

为了解决运动目标观测的问题,研究人员开发了一种基于神经形态学的新型视觉传感器,即事件相机[9-10].这种传感器的设计灵感来源于生物学原理,与传统视觉传感器的固定速率输出图像数据的方式不同,事件相机根据单个像素上相对亮度的变化来异步输出信息,这些信息被称为“事件”.当相对亮度的变化超过预设的阈值时,事件相机会以微秒级时间分辨率记录事件的时间戳,并输出异步事件流[11].这种视觉传感器的优势在于,它能够连续地捕捉空间点目标的运动,有效地克服了传统视觉传感器在复杂背景中难以准确检测和跟踪空间点目标的问题[12].

由于事件相机输出的是事件流数据,这种数据格式与传统的图像数据有本质的不同,导致无法直接应用现有的图像处理算法.因此,开发专门针对事件流数据的处理算法变得迫在眉睫.GOMEZ等[13]提出了一个用于跟踪目标的分层神经形态系统,该系统使用两个地址事件表示(address event representation,AER)处理层以级联方式工作,用于检测不同的目标并跟踪它们的交叉轨迹.ZONG等[14]使用移动最小二乘(moving least squares,MLS)表面拟合方法和局部平面拟合方法来处理事件流数据,以便跟踪其中的目标.SANER等[15]通过结合事件相机和传统相机进行目标跟踪,其中传统相机用于在图像帧中跟踪目标,事件相机用于捕捉连续帧之间的变化信息.LINARES等[16]提出了一个适用于事件流数据的FPGA框架,可以滤除不相关的噪声并跟踪具有不同运动状态和尺寸的多个目标.LAGORCE等[17]利用多个不同视觉特征跟踪目标,并使用多个不同的核函数组合来跟踪传入的事件数据的特征.

凭借其卓越的性能,基于事件的方法在空间目标跟踪和检测任务中逐渐受到重视.CHEUNG等[18]使用地面望远镜和事件相机获取空间目标的数据,并提出了一种概率多假设跟踪器的方法来获取空间目标的运动轨迹.尽管提出的方法可以有效跟踪空间点目标,但它需要频繁地更新估计,这可能导致错误的轨迹.CHIN等[19]使用事件相机进行恒星跟踪,提出了新的旋转平均和光束法平差公式,并使用贝叶斯滤波进行后处理,实现了小于1°的均方根误差.然而该方法依赖于点云配准,无法应用于资源受限的平台.COHEN等[20]提出了一种新的空间目标成像方法,使用两个不同的事件相机实现空间态势感知.空间目标数据是由地面上的多个事件相机和传统CCD传感器收集的,可以成功地检测和识别低地球轨道和地球同步轨道上的空间目标.BAGCHI等[21]提出一种基于事件的恒星跟踪方法,使用多分辨率霍夫变换按照时间顺序整合事件数据,并生成准确的相对旋转,以获取整个星场的事件数据.AFSHAR等[22]使用一系列事件相机构建了一个光学空间目标成像数据集,包括有标签和无标签的数据,并提出了一种基于事件特征的检测和跟踪方法.该方法由级联事件滤波器组成,可以高速处理事件数据.SALVATORE等[23]提出了一个混合帧图像和事件数据的检测框架,使用Darknet图像特征提取器与PointNet点云特征提取器结合提取事件数据特征,利用动态视觉技术来检测地球同步轨道上的空间目标,提高背景中暗弱目标的检测性能.RALPH等[24]提出了一种基于异步跟踪的空间目标的快速迭代提取算法,作为事件驱动的空间态势感知任务的跟踪方法,有效解决了事件相机的异步和高时间分辨率问题.然而,在复杂背景下,该方法无法保证长期跟踪的性能.此外,目前大多数处理事件流数据的方法倾向于将事件数据转换成图像帧格式,进而应用传统的图像处理技术[25].这类方法没有直接处理异步事件流数据,从而未能充分发挥事件相机的独特优势.

针对上述提到的问题,本文提出了一种基于异步事件流的空间点目标跟踪算法.利用单层脉冲神经元的时空近邻特性滤除原始事件流数据中的噪声事件,并得到候选目标.采用最近邻轨迹关联方法对所有候选目标进行跟踪,得到其运动轨迹.根据空间目标和虚警目标的特征,构建了特征权重滤除方法,通过特征权重滤除虚警目标,得到空间目标的运动轨迹.

1 空间点目标跟踪方法

基于异步事件流的空间点目标跟踪方法,主要由单层脉冲神经元、最近邻轨迹关联和特征权重虚警滤除3个部分组成.空间点目标的原始事件流数据经过本文方法的处理后,可以直接获得其运动轨迹,具体如图1所示.

图1 基于异步事件流的空间点目标跟踪方法示意图Fig.1 Schematic diagram of a space point object tracking method based on asynchronous event stream

1.1 时空相关性单层脉冲神经元去噪方法

与传统的基于帧的视觉传感器相比,事件相机在观测目标和获取数据的过程中,实际上模拟了生物视网膜的工作机制.事件相机输出的事件流数据与生物神经元产生的脉冲信号极为相似.因此,基于模拟生物神经元的脉冲神经元模型非常适合于处理这种事件流数据.

目前,常用的脉冲神经元模型包括H-H模型[26]、积分点火模型[27]、脉冲响应模型[28]以及Izhikevich模型[29].在这些脉冲神经元模型中,积分点火模型因其适用于数学分析的特点以及较低的计算复杂度而受到青睐,尤其适用于涉及多脉冲神经元的计算任务.因此,相比于其他脉冲神经元模型,积分点火模型更适合处理事件流数据.

在使用事件相机检测和跟踪空间点目标时,每个时刻产生的空间点目标事件流数据通常仅包括单个或少数几个像素,在特征上与事件流数据中的背景活动噪声和热噪声极为相似[30],从而大大的增加了准确检测空间点目标的难度.为了解决这一问题,本文提出了一种具有时空相关性的单层脉冲神经元去噪方法,能够有效地滤除原始事件流数据中的噪声,并能够准确地检测出空间点目标.

本文提出的时空相关性单层脉冲神经元去噪方法具体流程如图2所示.首先,将事件相机获取的原始事件流数据作为输入.该事件流数据ei可以用数学形式表示为

图2 时空相关性单层脉冲神经元去噪方法示意图Fig.2 Schematic diagram of a single-layer spiking neuron

ei={xi,yi,ti}

(1)

式中,i为事件索引,xi和yi为事件相机上像素的空间位置,ti为事件的时间戳.

接着,为最新输入的事件数据构建一个时空邻域D,并将该事件数据输入到一个脉冲神经元中

(2)

式中:L为每个输入事件的空间邻域的大小,为7×7像素大小的正方形区域;Δt为输入事件之间的时间阈值,为10 ms.

如果后续输入的事件数据出现在该时空邻域内,则认为是由同一目标生成的事件数据,并将事件数据输入到相应的脉冲神经元中.如果后续输入的事件数据没有出现在任何时空邻域内,则认为该事件与之前的事件没有时空相关性,将其输入到一个新的脉冲神经元中,并构建一个新的时空邻域:

(3)

最后,相应的脉冲神经元的膜电位会随着事件数据的输入而逐渐增加,直到达到激活阈值.为了更贴近真实生物神经元的特性,为每个神经元添加了一个漏电流项,使得脉冲神经元的膜电位能够随着时间逐渐下降,从而减少噪声事件的影响.当某个脉冲神经元的膜电位达到激活阈值时,则认为检测到了一个运动目标,将该神经元中积累的所有事件数据输出,并将膜电位重置为静息电位.反之,如果某个脉冲神经元膜电位降至0,则认为其中的事件数据全部为噪声,进而将这些事件数据移除.以上过程可以用数学形式表示为

(4)

(5)

其中,Pth是脉冲神经元的激活阈值,具体为10.

1.2 最近邻轨迹关联方法

在从事件流数据中成功检测出候选目标后,接下来的步骤是对这些目标进行持续的跟踪.为此,本文采用了最近邻运动轨迹关联方法来跟踪这些检测到的候选目标.相较于其他的关联方法,该方法进行运动轨迹关联时,不仅快速高效,而且具有较低的计算复杂度[31].

对已经检测到的候选目标进行运动轨迹估计,从而确定一个预测邻域,也就是所谓的跟踪门.将原始事件流数据与这个预测邻域进行对比.如果事件数据出现在预测邻域内,那么将这些事件数据视为该候选目标的后续事件.

第一步,估计和预测候选目标的运动轨迹,得到候选目标Oi的下一个事件出现的预测像素空间位置xp和yp.

候选对象的预测邻域Dp定义为

Dp={x,y|x∈[xp,xp+Δx],y∈[yp,yp+Δy]}

(6)

其中,Δx和Δy表示候选目标中最后两个事件数据的像素空间位置变化.

第二步,将后续输入的事件数据与候选目标Oi的预测邻域Dp进行比较.如果预测邻域中只有一个事件出现,则该事件为候选目标的后续事件;如果预测邻域中有多个事件出现,则选择与预测事件最接近的事件作为候选目标的后续事件

(7)

其中,ej表示新输入的事件.

第三步,如果只通过最近邻方法将后续的事件数据进行关联,一些噪声可能被误认为是目标并被错误关联.针对这种情况,本文认为在短时间内,目标像素的空间位置的变化不会发生突变.因此,通过将预测邻域中事件的像素空间位置的变化与候选目标平均像素空间位置变化进行比较,判断预测邻域中的事件是否属于候选目标

(8)

1.3 特征权重虚警滤除

根据空间点目标的特点,本文设计了一种特征权重虚警滤除的方法.通过特征权重区分具有不同特征的目标,并保留空间点目标.

根据所有目标中空间点目标的特征,提出了运动特征和事件数据量特征.运动特征反映了目标是否是连续运动的目标,以及目标的运动方向和速度是否有突变,而事件数据量特征反映了目标运动轨迹中包含的事件数据的数量.

首先,计算每一个目标的运动变化信息

ΔX={Δx1,Δx2,…,Δxn-1}

(9)

ΔY={Δy1,Δy2,…,Δyn-1}

(10)

式中,ΔX和ΔY分别表示所有x方向运动变化和y方向运动变化的集合,Δx1=x2-x1,Δy1=y2-y1等,n表示运轨迹中事件的数量.

计算目标的运动特征

(11)

式中,F1表示目标的运动特征.F1的值越大,表示目标在某个方向上进行连续移动,并且移动的距离较长.相反,如果F1的值越小,表示目标在某个位置上几乎没有移动.

计算目标的事件数据量特征

F2=n

(12)

式中,F2表示物体事件数据量特征.F2的值越大,表示目标运动轨迹中包含的事件数据越多;相反,如果F2的值越小,表示目标运动轨迹中包含的事件数据越少.

下一步,将这两个特征根据权重相加并进行归一化

(13)

其中,m1、w1、m2和w2分别是运动特征和事件数据量特征的归一化系数和权重,具体分别为1 000(经过实验统计得到运动特征的值主要集中在1 000左右)、0.5、2 000(经过实验统计事件数据量特征的值主要集中在2 000左右)和0.5.在本文中,两个特征的权重均取值0.5,这是基于两个特征具有相同的重要性.在最终的判断过程中,这两个特征平等地决定每个候选目标是否是空间点目标.

最后,判断每个候选目标的特征是否符合空间点目标的特征,滤除其中的虚警目标:

(14)

其中,Fth是特征权重阈值.

2 实验结果与分析

为了验证所提出的方法的有效性和合理性,分别使用CeleX-V事件相机测量数据和公共空间目标事件数据集(EBSSA数据集)[22]进行验证.

2.1 实验数据

所使用的事件相机为CeleX-V视觉传感器,该传感器的空间分辨率达到了1 280 pixel×800 pixel,时域的最大输出采样频率为160MHz,动态范围为120 dB.该事件相机使用串行MIPI接口作为读出接口,支持最高达2.4 Gb/s的传输速率[32].本文将该事件相机对着星模拟器进行拍摄,获取了一个2等星亮度的运动目标的事件流数据,用于实验验证.

EBSSA数据集是西悉尼大学通过望远镜和事件相机结合获取的空间目标的数据,其中包含具有单个空间目标以及多个空间目标的事件流数据.选取其中2个单目标事件流数据和2个多目标事件流数据,用于实验验证.

2.2 CeleX-V事件相机测量数据的结果

在使用事件相机获取的空间点目标事件流数据中,存在大量的噪声,主要包括随机噪声和热噪声.这些噪声可能导致实际目标被淹没,从而影响空间点目标的准确检测和跟踪.本文使用时间相关单层脉冲神经元去噪方法滤除事件数据中的噪声,并从中提取出候选目标.在识别出候选目标后,通过最近邻运动轨迹关联来确定每个候选目标的运动轨迹.此外,本文还使用特征权重虚警滤除方法,以确保仅保留实际的空间点目标及其运动轨迹.

CeleX-V事件相机获取的空间点目标原始事件流数据和最终跟踪结果分别如图3和图4所示.从图3中能够看出原始事件流数据中包含着大量的噪声,这些噪声极大的影响了空间点目标的检测和跟踪.从图4中可以直观地看出,经过基于异步事件流的空间点目标跟踪方法的处理,原始事件流数据中的噪声已经基本上被全部滤除,保留下来了空间点目标的运动轨迹,有利于后续对空间点目标的识别和监视.

图3 空间点目标原始事件流数据三维示意图Fig.3 Three-dimensional illustration of raw event stream data for space point object

图4 空间点目标三维运动轨迹Fig.4 Three-dimensional motion trajectory of space point object

表1为经过基于异步事件流的空间点目标跟踪方法处理后,空间点目标事件流数据的总事件数据量、目标事件数据量和其他事件数据量的对比.从表1中可以看出,通过基于异步事件流的空间点目标跟踪方法的处理,原始事件流数据中的大部分噪声和虚警目标已经被过滤掉.具体数据为其他事件数量从8 430 712减少到717,减少了99.99%.然而,其中的空间点目标事件数量从1 540减少到1 430,只减少了7.14%,但在总事件数据量中的比例却从0.02%增加到了66.60%,这说明经过基于异步事件流的空间点目标跟踪方法的处理之后有效地保留了原始事件流数据中的空间点目标的事件.然而,最终结果中仍存在着少量的噪声在目标的运动轨迹周围,但几乎不影响空间点目标的检测和跟踪,能够从图4中明显地看出空间点目标的运动轨迹.

表1 事件数据数量及变化对比Tab.1 Comparison of event data quantity and changes

2.3 EBSSA事件数据集中数据的结果

AFSHAR等[22]提出了一种基于事件流相对密度的测量方法,包括灵敏度、特异度和信息量

(15)

(16)

信息量=灵敏度+特异度-1

(17)

具体的过程为:对于任意累积的帧,如果局部事件密度高于全局事件密度,则将该累积的帧视为正例,否则视为负例;在每个累积帧中,出现在标记目标周围10 pixel半径范围内的事件被视为真,否则被视为假;将所有得到的真正例、真负例、假正例和假负例求取平均.

本文通过灵敏度、特异度和信息量这3个关键评价指标,对基于异步事件流的空间点目标跟踪方法进行了评估,与文献[22]中提出的几种方法进行了比较,结果如表2所示.在表2中,与其他方法相比,基于异步事件流的空间点目标跟踪方法在灵敏度、特异度和信息量这3个指标上均展现出一定的优势,灵敏度为0.892,特异度为0.926,信息量为0.818.特别值得注意的是,灵敏度和信息量在所有对比的方法中最高.这一结果表明,基于异步事件流的空间点目标跟踪方法能够有效地从原始事件流数据中提取出目标生成的事件,并有效地滤除噪声和虚警目标,从而实现准确的目标检测和跟踪.

表2 不同空间目标跟踪方法的结果对比Tab.2 Comparison of results for different space object tracking methods

图5～8展示了基于异步事件流的空间点目标跟踪方法在EBSSA数据集中部分空间目标事件流数据上的运动轨迹检测结果(在该事件数据集中,实际空间目标运动轨迹周围10像素内的事件均被认为是由目标生成的事件,因此并不是真正的点目标).通过与该数据集中标记的实际空间目标的运动轨迹进行比较,本文提出的方法可以有效地检测到单个对象或多个对象的运动轨迹.同时,由于原始事件流数据中存在大量噪声且信噪比较低,还可以有效地过滤掉事件流数据中的噪声,并保留由实际目标生成的事件.

图5 空间目标SL-16R/B运动轨迹的人工标记与最终结果Fig.5 Artificial annotation and final result of the motion trajectory of space object SL-16R/B

图6 空间目标SL-8R/B运动轨迹人工标记与最终结果Fig.6 Artificial annotation and final result of the motion trajectory of space object SL-8R/B

图7 空间目标COSMOS运动轨迹人工标记与最终结果Fig.7 Artificial annotation and final result of the motion trajectory of space object COSMOS

图8 空间目标ABS-6运动轨迹人工标记与最终结果Fig.8 Artificial annotation and final result of the motion trajectory of space object ABS-6

3 讨论及分析

在天基空间目标光学观测系统中,绝大多数被观测的目标是移动的空间点目标,因此,快速有效地检测出这些空间点目标显得尤为关键.事件相机凭借其输出的事件流数据具有异步稀疏的特性,特别适合于观测快速移动的目标.然而,空间点目标与其他移动的目标不同,它们在图像平面上仅占据极少数像素,几乎不具备可辨识的特征信息.因此,在基于事件的空间点目标检测中,主要挑战在于如何从大量噪声中准确识别出移动的空间点目标.

为解决这一问题,本文利用了移动空间点目标的时空特征和脉冲神经元的生物特性.与噪声相比,连续移动的空间点目标产生的事件更加有序和集中.这些目标会在一段时间内持续出现,其运动轨迹规律且稳定,不会发生突变,而噪声则恰恰相反.基于这些特点,可以有效地区分空间点目标和噪声.

此外,与其他基于事件的空间点目标检测方法不同,本文提出的基于异步事件流的空间点目标跟踪方法不是将事件累积成帧,而是直接处理获取的事件流数据.这样充分利用了事件数据的异步稀疏特性,使得能够在目标出现时迅速做出响应.同时,直接处理异步事件数据能够有效节省存储空间和计算资源,能够满足未来天基的应用需求.

与传统的基于帧的视觉传感器不同,事件相机获取的事件流数据能够高效地表征移动目标.在未来的空间态势感知任务中,事件相机可以为空间目标的检测和跟踪提供重要支持,能够对视野内移动的空间目标进行及时且准确的识别和判断,从而为空间安全和活动提供强有力的支持.

4 结 论

本文提出了一种新颖的基于异步事件流的空间点目标跟踪方法,并通过实际应用事件相机采集的空间点目标事件流数据和EBSSA数据集中的部分事件流数据进行了验证.结果表明,该方法能够有效地从原始空间点目标事件流数据中探测和跟踪空间点目标,同时具有较强的抗噪声能力.为了全面评估和验证跟踪结果的有效性,本文采用了灵敏度、特异度和信息量3个关键评价指标.在EBSSA数据集上,这3个指标分别达到了0.892、0.926和0.818.特别是灵敏度和信息量这两个指标均超过了文中提到的几种方法.这一结果表明,基于异步事件流的空间点目标跟踪方法在探测和跟踪运动的空间点目标方面具有更高的准确性.