基于77G毫米波雷达的手势识别

刘子铭 李军 张法桐 陈涛

（1.哈尔滨工程大学信息与通信工程学院 黑龙江省哈尔滨市 150001 2.中国人民解放军91977 部队 北京市 102249）

手势识别目前广泛运用于人机交互中，在智能驾驶、VR、手语识别、远程控制等项目中有着广泛应用。手势因为具有生动、形象、直观等特点，具有较强的视觉特点，最初常应用于基于视觉的识别技术，但是视觉识别技术受光线、天气、应用场地背景等因素影响较大，且以视频或图像等形式进行识别可能会导致用户隐私泄露；此外还有基于穿戴式数据传感器、基于超声波、基于Wi‐Fi 等非宽带无线通信信号与基于雷达的几种手势识别方案，其中穿戴式数据传感器需要与人体接触，且操作复杂、穿戴不易，不适用于狭小空间与日常生活；超声波方法受传播速度和衍射影响明显，而非宽带无线通信信号在进行手势识别时背景噪声难以去除，分辨率低，与上述方法相比，使用雷达进行手势识别具有非接触，不受光照、天气、场地等因素影响，可以保护使用者个人隐私，可全时段使用，且具有一定的穿透性，分辨率通过参数设计可调整，可适用于多种场合。

在基于雷达的手势识别方法中，目前最常应用的是调频连续波（Frequency modulated continuous wave，FMCW）雷达，相较于其他可用于进行手势识别的雷达，如脉冲超宽带雷达等，FMCW 雷达具有带宽较大，距离分辨率大，易处理干扰等优点。

随着硬件技术近些年的提升，FMCW 雷达的成本降低，在商业中得到大规模应用。FMCW 雷达因为其抗干扰能力强，且有着优秀的距离速度分辨率等特点，被广泛应用于车载手势识别系统中。2019年Soli 团队开发出基于57‐64GHz 的毫米波级别雷达实现的手势识别系统，所需要的发射功率仅为15dBmW。近年，WEY 品牌发售的车型摩卡，将毫米波雷达与摄像头、固态激光雷达结合，可通过手势召唤的方式就能直接操控摩卡，可实现唤醒、前进和制动功能。2018年王俊等人提出了一种基于距离‐多普勒(Range‐Doppler，RD)域的特征的基础手势识别；2019年王勇等人提出了一种多特征多通道神经网络的手势识别方法；2020年夏朝阳等人在多通道神经网络的基础上对微动手势进行探究，提出了一种手势识别方法。

目前基于FMCW 毫米波雷达的手势识别方法研究侧重于对手势信号的分类识别技术的深化，且数据采集多在暗室中进行，实验环境比较理想。此外，对于雷达信号参数设计、信号预处理、雷达信号特征提取等方面尚未深入开发。本文提出一种基于77GHz 毫米波雷达的手势识别方法，通过对雷达参数设置的优化提升信号分辨率，在复杂环境下通过去除静态杂波处理与恒虚警率(Constant false alarm rate, CFAR)检测对目标信号进行提取，从距离‐时间特征、速度‐时间特征、距离‐速度特征方面进行手势信号特征提取，通过卷积神经网络进行手势识别。

1 雷达参数设计方法

1.1 雷达参数设计方法

本文基于德州仪器公司推出的IWR1642 BOOST 毫米波雷达芯片与DCA1000EVM 高速数据采集卡进行数据采集。IWR1642 毫米波雷达芯片的发射信号为调频连续波，覆盖频段为77‐81 GHz，最大带宽为4 GHz，包括两个发射天线与四个接收天线。本文提出的方案采用一个发射天线与一个接收天线。

雷达单个线性调频(Chirp)信号调频周期表示为图1。

图1：Chirp 信号调频方式

图1 是对IWR 1642 雷达线性调频方式的表示，可以得到对于单个回波关键参数，如调频起始频率f0，调频斜率K，发射天线开始时间TTX‐start，空闲时间Tidle，调频时间Tramp，整体线性调频周期Tc，ADC 有效开始时间TADC‐start。

在测量手势运动时，我们需要实现多个Chirp 信号的累计采样才可以计算得到目标的特征，所以还有一些采样参数需要设计，如ADC 采样点数NADC，ADC 采样率FADC，帧周期Tf，一帧内发射回波信号数NChirp等。

此外，还有一些手势特征提取时需要注意的重要参数，距离分辨率dres，最大可测量速度vmax，速度分辨率vres等指标，这几种指标可由雷达信号参数表示为：

其中，c 为光速，λ 为调频中心对应波长，B 为有效调频带宽，即采样时间内的带宽，可表示为：

在设置参数前，首先应对识别手势运动所需要的距离、速度分辨率等物理量进行预估，但是这些参数之间往往相互矛盾，最大可测量速度若过大则会导致速度分辨率下降，而对于手势信号的特征提取，重点在于距离分辨率与速度分辨率。通过分析公式，若要实现距离分辨率足够优秀则要取信号带宽尽量大，速度分辨率的主要性能取决于帧周期，应满足能够采集到的微小的手势动作。除两种分辨率外，采样时间也是重要参数之一，若采样时间过短，手势信号特征捕捉不全，若采样时间过长，会采集到目标信号之外的冗余信息。

理想情况下，我们需要发射FMCW 信号，且两个Chirp 直接无间歇时间，ADC 采样可以覆盖雷达工作全频段，但是在实际测量时，我们应考虑到硬件的处理能力，在信号调频时，ADC 需要有启动时间与结束时间，不能覆盖全频段，为了接近理想条件，Chirp 参数设置见表1，采样参数设置见表2。

表1：Chirp 参数设置

表2：采样参数设置

雷达发射信号有效带宽为3411.25 MHz，距离分辨率为4.40 cm、最大可测量速度为6.09 m/s、速度分辨率分别为0.095 m/s。考虑到雷达接收到的回波能量与目标物体距离的四次方成反比，手势运动的RCS 相对较小，为了保证手势运动的回波能量足够大，可以检测到，结合计算得到的参数，在采集手势时，运动的手势位置尽量在雷达附近，手势运动速度在最大可测量速度与速度分辨率之间。

1.2 雷达信号预处理方法

FMCW 毫米波雷达的信号发射与接收回波的工作原理框图如图2所示。

图2：FMCW 雷达工作原理框图

FMCW 雷达的信号由频率综合器生成，线性调频（Chirp）信号为正弦信号，且频率随着时间线性增加，发射天线发射生成的Chirp 信号，则在一个Chirp 信号中，信号可表示为：

发射信号接触目标并反射后的回波被接收天线接收，雷达的接收信号可表示为：

其中，τ 为信号时延，受探测目标初始距离d0与目标径向速度vr影响，可表示为：

雷达接收信号经过混频器，在经过低通滤波器滤去低频信号得到的中频信号可表示为：

中频信号的频率中包含速度信息与距离信息两种变量，当手势运动速度过大时，会影响对距离特征的计算，且无法通过单次快速傅里叶变换(Fast Fourier Transform, FFT)进行求解。结合上小节中设置的信号参数ADC 采样时间为T，单Chirp 信号内采样点数即ADC 采样点数NADC，发射的Chirp 数量NChirp，连续时间t 可以由两种采样时间离散化，表示为一帧内的第n2个Chirp 信号中的第n1个采样点，即为：

可将式（9）变换为：

其中n1=0,1,2,...,NADC‐1，表示单Chirp 信号内的采样点序列，n2=0,1,2,...,NChirp‐1，表示Chirp 序列。

式（11）中的频率部分与相位部分依旧包含两个变量，但是，对其进行一维FFT 处理，相位部分可呈现为复包络的形式，故对其进行二维FFT，即可得到目标的多普勒频率，即，从而求得速度，提取速度‐时间特征。

2 数据集构建方法

雷达采集到的二进制数据进行处理，如对数据进行重新排列，首先根据不同接收天线的进行排列，再根据对不同帧中的数据进行筛选，将同一帧中的数据按照Chirp 信号进行排列，得到若干矩阵，在对矩阵的行列数据进行处理，图3 为一帧雷达数据示意图。

图3：雷达数据矩阵

本文中雷达采用“一发一收”的工作模式，故所得到的数据矩阵中第一列为首个Chirp 信号的回波数据，数据个数为ADC 采样点数，所以数据矩阵共NADC行，矩阵的列数与每帧中发射的Chirp数量相同。

在处理数据时，进行逐帧处理，对同一Chirp 内的256 个数据进行加窗处理与FFT 处理，也称作距离维FFT。手势识别过程中噪声主要来源为静止物体，如房屋内的家具、车内饰、周围摆放的物件等，故进行静态杂波滤除，方法为对数据矩阵中的一列数据进行累加，取均值，再将该列数据减去这个均值。若检测物体为静止物体，其相位信息相同，累加求取平均值后依旧很大，减去均值后则会变小；而运动目标则会因为多普勒效应而不同，相位累计过程中会出现正负抵消的情况下，累计值后求取的均值较小，减取均值后不影响原数值大小。

滤除后得到的矩阵对针对一帧内的128 个Chirp 进行FFT 处理，也称为速度维FFT，求取幅值后进行速度维与距离维的CFAR 检测，均采用CA‐CFAR，对目标物体进行检测识别。得到一帧内的距离与速度特征。逐帧处理，将每一帧得到的数据进行拼接，形成距离‐时间特征，速度‐时间特征与速度‐距离特征。

3 实验与结果分析

本次实验的实验环境为普通教室，并在周围摆放了一些静态物品作为干扰，采集到的数据通过以太网传输到上位机中，进行数据处理分析，特征提取，针对特征进行神经网络训练，实现手势识别。

3.1 手势设计与构建数据集

试验选用雷达水平方向视场角为±60°，但是俯仰角度极小，所以手势主要选择在水平范围内运动的，经过筛选，选择了6 种运动手势，推、拉、挥手、转圈、打叉、对号，为了判别是否存在运动手势，又加入静止手势，共计7 种手势进行判别。实验选用5 名工作人员，位于距离雷达70cm 的位置，手势运动距离雷达在0‐70cm内，在躯干不发生明显移动的情况下，进行手势动作，每人每个动作采集40 组数据。经过数据处理形成距离‐时间特征图、速度‐时间特征图、距离‐速度图三种手势特征图，如图4所示，距离‐时间特征表现为相对雷达运动趋势，随着图像的上升或下降表现接近或远离雷达；速度‐时间图中线位置对应速度为0，上方表示目标相对雷达径向速度为正，即靠近雷达，下方则相反；距离‐速度图纵轴对应距离，横轴对应速度，反映了速度在不同距离上的分布，中线左侧表示速度为负，右侧为正。

图4：手势特征图

3.2 多手势不同特征对比

将数据集按照不同特征进行分类，每种特征图1000 张图片，取80%作为训练集，20%作为测试集，使用独立搭建的卷积神经网络进行训练，网络包括2 个卷积层、2 个池化层、1 个全连接层与一个输出层，网络整体简单清晰，训练时间短，单个特征图像进行训练时间约为5 分钟。3 种特征的识别率可见表3，图5 为3 种特征识别的损失率。

表3：三种特征识别率

图5：三种特征的损失函数

比较三种手势特征的识别率，速度‐时间特征的识别率最高、距离‐速度特征的识别率其次，距离‐时间的识别率最差。三种特征的识别率均大于95%，可高效准确的进行手势识别，且通过三种特征的损失函数可以证明此模型并未出现过拟合情况，对于未经训练的测试集也有很好的泛化性。

4 结论

本文提出了一种基于FMCW 毫米波雷达的手势识别技术，说明了雷达主要参数设计、雷达信号预处理以及手势特征表示的方法，并通过采集7 中手势的数据集进行验证，对于测试集识别率分别为95.15%、99.38%、98.65%；对于未训练的测试对象识别率分别为96.25%、100%、97.50%，此方法在识别手势准确同时，具有较强泛化性。