基于时频域特征融合的IR-UWB穿墙雷达人体行为识别方法

杨德贵, 许道峰

(中南大学自动化学院, 湖南 长沙 410083)

0 引 言

在现今的信息技术时代,信息获取在各领域都是至关重要的一环,而人体的行为活动在人的日常生活及工作中都具有十分重要的意义,对人体行为识别的研究,可以应用于人机交互、反恐维稳及医疗监护等领域。常见的人体行为识别方法主要是基于光学传感系统进行的,但基于光学传感器的方法对环境要求较高,例如对光照条件的依赖性、目标与传感器间的无遮挡性等;其次,基于光学传感获取的数据还存在存储需求大、数据敏感、数据窃失等问题[1-2]。随着雷达探测技术的发展,基于雷达数据分析的方法也在目标识别中发挥出重要作用[3-4]。但由于穿墙雷达使用较低频段的电磁波作为探测信号,这会导致微多普勒的低分辨性能。冲激脉冲(impulse radio, IR)超宽带(ultra wideband, IR-UWB)穿墙雷达具有穿透性能好、距离分辨率高、设计成熟、设备轻量化、成本低等优点,在人体目标探测识别领域具有重大优势[5-6]。针对雷达目标识别中的小样本问题,孙晶明[7]、晏媛[8]等基于元学习和迁移学习,提出了改进的小样本学习方法,提高了雷达小样本目标的识别效率和准确率。

研究人体行为识别,首先要对人体行为进行建模,常用方法包括基于人体骨架建模以及基于传感器建模[9]。Dorp等[10]基于Thalmann模型对人体步态进行仿真分析,结合雷达获取的人体实际步态微多普勒特征,建立了更贴近实际情形的人体运动步态回波数学模型。Van等[11]对Thalmann模型进行了优化改进,通过最小二乘法进一步减小了实测数据和仿真模型的差异。Chen等[12]对人体运动时产生的多普勒和微多普勒进行了详细的深入研究,导出了人体运动时的微多普勒特征。Zhu等[13]使用IR-UWB雷达分别在穿墙和非穿墙条件下测试了行走和静止两种行为,并公布其数据集。

综上所述,常见人体行为识别方法存在着环境依赖性高、特征分辨力低等问题,针对上述问题,本文基于IR-UWB穿墙雷达系统,分别于时域和频域进行分析及特征提取,并通过支持向量机(support vector machine, SVM)算法实现对穿墙雷达的人体行为识别。首先,基于IR-UWB穿墙雷达获取人体行为回波数据,并通过行为分离、杂波抑制、距离补偿等方法对数据进行处理并构建人体行为回波数据集。基于该数据集,对人体行为回波数据的时域和频域图像进行分析,提取出适用于IR-UWB穿墙雷达的人体行为特征,并通过SVM分类算法对人体行为进行识别分类,最后对实验结果进行分析。

1 IR-UWB穿墙雷达人体行为回波模型

UWB雷达的一般定义为信号频谱相对带宽大于25%的雷达,主要特点为具有较大的带宽以及较高的距离分辨率。在UWB穿墙雷达中,由于高频信号的传输损耗要比低频信号的传输损耗大得多,因此穿墙雷达的工作频率一般在5 GHz及以下频段。在信号体制方面,常见的UWB信号体制包括线性调频连续波信号、线性调频步进频信号,以及IR信号。

本文实验所用雷达的信号体制为IR信号。对于IR-UWB雷达,一般使用高斯脉冲对IR信号进行分析,其表达式如下所示:

(1)

式中:α为脉冲成形因子,影响脉冲的宽度和幅度,α越大,脉冲幅度越小,脉冲宽度越宽。

对于UWB穿墙雷达,当其发射一个脉冲信号时,信号首先穿过墙体障碍,照射到人体目标后产生反射再次穿过墙体障碍后被接收机捕获。在此期间,天线直耦波,墙体的直接反射,目标背景的杂波反射,自由空间的电磁噪声,目标一次反射后照射到其他反射体的多次反射等也将一并进入接收机。用雷达方程计算接收信号能量:

(2)

式中:Ptarget为接收信号总能量;Pavg为发射机平均功率;G为天线增益;λ为发射信号波长;σ为雷达散射截面积(radar cross section, RCS);R为目标径向距离;L为损耗。

由于雷达回波中包含人体目标回波、杂波和噪声,其中杂波和噪声会对人体行为识别产生不利影响,因此需要对雷达回波进行杂波抑制。同时,由雷达方程可知,雷达回波能量在自由空间中会随着距离呈现快速的衰减,这会导致中远距离上的目标会淹没在杂波和噪声背景当中,因此对于杂波抑制后的雷达回波数据,还需要进行距离补偿处理。

对于人体行为模型,可以用圆柱体和椭球体来代替人体的主要躯干和肢体,以估计其RCS值。根据雷达回波散射点叠加原理,可以将人体行为回波看成其各部位的雷达回波的叠加和,即人体行为雷达散射模型如下:

(3)

式中:S(ω,k)为雷达回波;ω为采样频率;k为脉冲数;N为散射点数量;σn(k)为第k次脉冲中第n个散射点的RCS值;j为虚数单位;rn(k)为第n个散射点的距离;m(ω,k)为除目标回波外的其他杂波及噪声。

基于人体行为雷达回波模型的分析,人体目标的时域距离像中蕴含着丰富的行为特征,因此可以基于IR-UWB雷达的高分辨距离像,提取人体目标的时域、空域特征,从不同特征域的角度对人体行为进行特征提取。

2 基于SVM的人体行为识别算法

基于上述人体行为回波模型分析,提出基于SVM的人体行为识别算法,该算法流程如图1所示,主要包括回波预处理、特征提取以及训练模型3个部分。

图1 人体行为识别算法流程图Fig.1 Human behavior recognition algorithm flow chart

2.1 人体行为回波数据预处理

2.1.1 杂波抑制

在介质穿透下的人体行为识别研究中,可以假设目标运动幅度较大,而背景的变化较小,因此可以通过高通滤波的方法来对背景杂波进行滤除。常用的杂波抑制算法包括:脉冲对消法、积累平均背景相消法和指数加权法。其都是基于历史背景模板进行杂波滤除的,不同之处在于背景模板yt的估计,即:

st=rt-yt

(4)

式中:st为当前时刻滤波后的结果;rt为当前时刻的回波数据。

指数加权法是对积累平均背景相消法的改进,具体体现在对于当前时刻背景模板的估计中,分别对当前时刻的回波和上一时刻的历史背景模板赋予固定的权重比,即:

yt=αyt-1+(1-α)rt, 0≤α<1

(5)

式中:α为指数加权因子,决定了历史背景模板和当前时刻回波所占的权重比。由式(5)可以看出,随着回波时刻t的增加,离当前时刻越远的历史背景所带来的影响将越小。特别地,当指数加权因子α=0时,指数加权法就退化成为脉冲对消法。

杂波抑制算法效果对比如图2所示。图2(a)为奔跑行为原始数据距离像,由于直耦波的幅值极高,目标回波几乎被直耦波淹没,仅在距离较近的范围内(红框)存在微弱的目标回波。在采用上述的杂波抑制方法处理后,可以看到近处的目标点已被突显出来,但远处的目标点信息依然非常模糊,如图2(b)所示,因此需要对抑制后的结果进行距离补偿。

图2 杂波抑制效果对比图Fig.2 Comparison of clutter suppression effect

2.1.2 距离补偿

本文采用基于能量的自适应增益方法,进一步提高回波数据的信噪比,其基本思想是基于不同距离区间上信号的能量对信号进行增益[5]。具体方法是,给定区间范围d和最大增益值gmax,计算滑窗范围内信号的能量,并与gmax进行比较,即:

(6)

z(i)=s(i)·g(i)

式中:i为第i次滑窗处理过程;s(i)为第i次滑窗部分的原始雷达回波;z(i)为进行距离补偿后的回波数据,将滑窗以非重叠方式将信号遍历一遍,即可完成信号的增益补偿。

距离补偿结果如图3所示,可以看出目标的运动信息已较为清晰,但近处还有少许的直耦波残留分量,因此对其进行进一步抑制,抑制处理结果如图4所示。

图3 距离补偿Fig.3 Distance compensation

图4 直耦波抑制Fig.4 Direct coupling wave suppression

2.2 人体行为特征提取

常规识别方法采用微多普勒特征作为识别依据,通过STFT算法对回波数据进行处理,在傅里叶变换的基础上给信号加窗函数,提取出信号的时频特性,即:

(7)

式中:w(t)为窗函数。窗函数的选择需要考虑频率分辨率的问题,一般地,高斯窗函数可以获得最低的时间频率积,即:

(8)

人体行为微多普勒特征如图5、图6所示,可以看出,人体行为的微多普勒特征存在分辨率低的问题,且对于起立、坐下、起身和跌倒等相似行为,其多普勒特征相近,无法进行有效区分。

图5 人体行为时间-频率特征Fig.5 Time-frequency characteristics of human behavior

图6 人体行为距离-频率特征Fig.6 Range-frequency characteristics of human behavior

基于IR-UWB雷达的高距离分辨率特性,可以从时域距离像中提取目标行为的时域和空域特征,与频域特征形成互补。基于目标的高分辨距离像,可以提取出目标的速度值,以及能量分布特征。

对于给定的雷达回波数据X=[x1,x2,…,xn],其中xi∈Rm为第i道回波,m,n分别为雷达快时间和慢时间维度的度量,通过以下方法对目标范围进行定位:

(9)

式中:k=1,2,…,N为滑窗次序;l为滑窗大小;N为总滑窗次数;[P0,P1]为目标在回波数据中的滑窗范围;T为能量阈值;Ek为滑窗范围能量值。

通过滑窗求取该范围内的能量值Ek,如果该值大于能量阈值T,则认为该范围内存在目标,因此目标所在区域的雷达回波数据为

(10)

在目标区域范围内,提取目标行为的前、中、末段能量作为时域空间能量分布特征,即:

(11)

图7为不同行为的时域能量分布,由图中可以看出,起立坐下和起身跌倒相似行为得到了较好的区分,而对于行走奔跑等相似行为,可以通过计算其速度值来区分。根据选取的回波道数n,基于雷达脉冲重复频率(pulse repetition frequency, PRF)估计目标在该范围内的平均速度:

(12)

式中:τ为雷达接收机的快时间间隔;c为光速。

图7 人体行为时域能量分布Fig.7 Time domain energy distribution of human behavior

2.3 SVM多分类模型

经典SVM最初是基于二分类任务而设计的。对于给定的训练样本xi∈Rn(i=1,2,…,l),其中n为样本的特征数量,以及对应的类标签yi∈{1,-1},基本的二分类SVM要解决以下的优化问题[28]:

s.t.yi(wTφ(xi)+b)≥1-ξi

(13)

式中:C>0为正则化参数,是权衡寻找最大间隔超平面与保证数据点偏差量最小的度量,对于线性可分的情况,C的大小只会影响训练的中间过程,不影响最终结果;ξ为松弛变量,ξi≥0(i=1,2,…,l);φ(xi)函数将样本xi映射到高维空间。

这是一个凸优化问题,且权向量w可能具有较高的维数,因此通常引入拉格朗日对偶变量,通过拉格朗日函数将约束条件融合到目标函数中去,随后求解其对偶问题。上述优化问题的对偶问题为

(14)

(15)

式中:1=[1,…,1]T,K(xi,xj)为核函数,本文算法使用的核函数为径向基核函数(radial basis function, RBF),其超参数较少,且可以处理类与特征间的非线性关系,其表达式如下:

(16)

为了使SVM扩展到多分类任务上,可以采用训练构建多个分类器,随后对所有分类器进行组合的方法。在此基础上,有“一对多”和“一对一”两种方式,在分类准确度方面两种方法基本相等,而“一对一”方法的训练时间更短[29],因此本文采用“一对一”方式实现SVM多分类。

在“一对一”方法中,总共构建k(k-1)/2个分类器,其中每个分类器分别使用样本中的两类数据进行训练。即对于第m类和第n类样本,解决下列优化问题:

(17)

决策函数为

(sgn((wmn)Tφ(x)+bmn)+1)

(18)

3 实测数据实验分析

3.1 预处理效果分析

由第1节的回波模型分析可知,回波数据中包含人体目标回波、杂波和噪声。其中,杂波会极大地提高数据的整体幅值水平,而过高的幅值会导致目标的回波数据被掩盖,不仅会给目标定位带来困难,而且同一行为的数据特征可能会因为杂波的不确定性而变得不具有相似性。同时,回波数据中的噪声会给数据带来一些随机扰动,体现为提高数据样本的方差,这也加剧了背景杂波所带来的不利影响。

下面以起立和坐下两种行为为例,对比分析预处理效果对数据特征的影响。图8为原始数据的特征分布情况,图9为预处理后的数据特征分布情况,其中红线部分代表起立行为,蓝线部分代表坐下行为,每条线分别代表不同的数据样本,每个行为随机挑选出10个样本作为分析对象。

图8 原始数据特征分布Fig.8 Original data feature distribution

图9 预处理后特征分布Fig.9 Feature distribution after pretreatment

由图8可以看出,原始数据中同一行为的同一特征间较为分散,且不同行为的同一特征存在较大混叠,这会导致不同行为的可分性变差;而由图9可以看出,经过预处理后,数据样本的特征分布更为密集,且不同行为的同一特征间的混叠情况也得到了改善。值得注意的是,原始数据特征幅值和预处理后的特征幅值的量级差距达到了109。由此说明了图中得出的结论与第1节的回波模型分析相吻合。

3.2 数据集构建

本文实验使用IR-UWB穿墙雷达对墙后人体进行探测来采集人体行为回波数据,所用雷达设备系统参数如表1所示。实验场景包括室外开放场地及室内场景,如图10所示,图中为数据采集准备过程。参与人体行为数据采集实验的人体目标共有3名,分别进行行走、奔跑、坐下、起立、跌倒、起身等6种不同的人体行为,每组实验分别重复100次。在本文实验中,分别对3名不同实验对象进行了相同行为动作的数据采集,其中将2名实验对象的数据作为训练集,其余1名实验对象的数据作为测试集。

表1 IR-UWB穿墙雷达系统参数Table 1 Parameters of IR-UWB through wall radar system

图10 人体行为实验数据采集Fig.10 Human behavior experiment data acquisition

对于雷达获取的人体行为回波数据,首先通过第2.1节所述方法得到高分辨距离像,并对独立的人体行为进行分割,作为单个行为动作的数据。本次实验共采集了584道不同人体行为的回波数据,但因篇幅有限,每种行为仅展示12幅图像,表2分别展示了不同行为类别单次动作的距离像。在得到单次行为动作的回波数据后,基于第2.2节中所述方法,提取人体行为数据特征,构建SVM数据集。

表2 不同行为单次动作的时域图像Table 2 Time domain image of a single action for different behaviors

3.3 实验结果与分析

本次人体行为实验共采集了584道数据,其中挑选300道数据作为训练集,剩余284道数据作为测试集,使用SVM算法对6种不同的人体行为进行识别。表3为人体行为识别混淆矩阵。

表3 人体行为识别混淆矩阵Table 3 Human behavior recognition confusion matrix

基于以上混淆矩阵,分别计算识别精确率(positive predictive value, PPV)和召回率(true positive rate, TPR),即:

(19)

式中:TP为正确正样本数;FP为错误正样本数;FN为错误负样本数。

PPV衡量的是预测值为正样本中的识别准确率,TPR衡量的是真实正样本的识别准确率,但PPV和TPR有时会出现矛盾的情况,因此需要综合考虑上述指标,即计算F值:

(20)

上述3个指标数值越接近100%,代表识别结果越好,计算结果如表4所示。

表4 人体行为识别结果分析Table 4 Analysis of human behavior recognition results %

在本文实验的6种人体行为中,行走和奔跑、起立和坐下、起身和跌倒各位为相似的一组人体行为,其中起立是指人从静坐状态站起来的行为,起身是指人从跌倒状态站起来的行为。由表4可以看出,3项指标均达到95%,表明算法可以较好地对6种不同的人体行为进行识别,即使对于行为类型相近的人体行为,本文算法能够很好地将其区分,识别率均超过95%。

在现有的IR-UWB穿墙人体行为识别方法中,利用的特征包括微多普勒[15-16,24,27]、时频图[14,17-18,26]、时间-距离信息[30-31]等,可以分为频域特征和时域特征,本文算法将两种特征结合起来,弥补了单域特征的不足,提高了人体行为识别的准确率,表5给出了分别用单频域和单时域特征方法得到的识别结果,图11为不同方法的识别效果对比。

表5 单域特征识别结果Table 5 Single domain feature recognition results %

图11 识别准确率对比Fig.11 Recognition accuracy comparison

由表5可以看出,单时域特征的识别方法准确率较低,仅有77%的平均识别准确率,单频域的识别方法准确率较高,达到了94%的识别准确率,而本文算法的平均识别准确率为98%。图11直观展示了3种不同方法得到的识别准确率指标,可以看出,本文算法能够有效弥补单一特征域的不足,提高人体行为识别准确率。

4 结 论

本文基于SVM算法,提出了一种适用于IR-UWB雷达的人体行为识别方法。对于获取的人体行为回波数据,首先采用杂波抑制和距离补偿算法对图像进行滤波,得到高信噪比的时域距离像,基于该距离像和滑窗能量搜寻的方法定位出目标所在区域,并获取不同距离区间的能量分布情况,然后对目标所在区域进行时频变换,分别获取频域范围的时变特征和空变特征,最后基于SVM算法对6种不同的人体行为进行识别。实验结果表明,对于行为类型不相近的动作,本文算法能够很好对其进行区分,识别准确率接近100%,对于行为类型相近的动作,本文算法的识别准确率也能达到95%以上。