基于CNN-LSTM神经网络的热释电红外传感器人员识别*

徐晓冰， 焦宇浩， 李奇越， 吴 刚， 左涛涛

(合肥工业大学 电气与自动化工程学院，安徽 合肥 230009)

0 引 言

近年来，随着互联网应用的推广，智能系统成为新的研究热点。如何获取人体运动所蕴含的丰富信息，成为智能系统中的关键一环。热释电红外(pyroelectric infrared, PIR)传感器是一种新型的低成本、低功耗、不涉及人体隐私[1]的被动式红外探测器，能够检测8～14 μm的红外信号，且具有较高的灵敏度，而人体辐射出的红外线峰值波长约为9.35 μm，因此，PIR传感器能很好地探测运动人体。通过分析传感器的输出信号，PIR系统可以实现对人员的识别。近年来，这一领域受到了更多科研人员的关注，成为一种兴起的生物特征识别技术[2]。文献[3]分析概括了热释电传感器信号与运动人体辐射源特点、热释电传感器特性之间的关系。文献[4]探讨了在智能家居环境中使用PIR传感器的模拟信号，并通过提取相关特征，使用算法来进行身份辨认、速度和方向估计以及侵入者检测。文献[5]提出一种采用单只PIR传感器并结合多种机器学习算法实现了走廊上人体运动方向与距离的估计。文献[6]通过对人体感应的时域信号进行频谱分析，结合主成分分析(PCA)法对数据降维，实现对不同个体不同速度的数据的聚类，验证了PIR传感器用于人体运动特征分类的可用性。

文献[7]提出了一种PIR传感器平台，用于在室外环境中区分人类和动物的入侵，并排除由风吹的植被引起的假警报。提出了一种基于线性调频小波的特征提取方法，结合支持向量机(support vector machine,SVM)进行聚类，达到了较高平均准确率。文献[8]使用4只分布在不同高度的PIR传感器，运用多种方法提取时域信号特征，结合SVM进行聚类识别；并在每只传感器实现初步分类识别的基础上采用DS-Fusion方法融合各传感器的识别结果达到较高的识别率。从以上相关研究中可以看出，目前的分类器的数据集样本量较小，其结果缺乏一般性；传感器的结构设计和布局存在较复杂、缺乏合理性等缺点。

本文针对上述不足设计了一种无线分布式PIR传感器系统，通过对传感器节点的设计，能够对一定范围内的移动人体红外信号进行实时数据采集，并提出了一种识别人员的新方法，对传感器的时域信号进行频域分析，提取能够区分不同人员的特征，经过Concat多特征融合后，输入深度学习卷积神经网络(convolutional neural network,CNN)—长短期记忆(long short-term memory,LSTM)神经网络进行特征学习和分类识别，实现对人员的身份识别。实验证明，该方案总体达到了良好的识别效果。

1 系统设计

人员识别系统由PIR传感器节点、ZigBee自组网络、上位机组成。图1展示了人员识别系统总体设计框图。首先，为了采集人体红外信号，设计了一种PIR传感器节点，该节点通过对PIR传感器的布置结合菲涅尔透镜和视场调制掩模对传感器视场的调制，实现对人体红外信号的准确完整获取；之后，对传感器输出的模拟信号进行滤波放大，再通过单片机的AD采样转换为数字信号；然后，利用ZigBee无线网络将人体红外信号传输至计算机，对采集到的时域人体红外信号进行特征提取和特征融合，利用深度学习神经网络进行特征学习，实现对不同人员的分类识别。

图1 人员识别系统总体框图

2 传感器节点与布置

2.1 传感器节点

传感器节点主要由2个PIR传感器单元、MCU数据采集单元、无线数据传输单元构成。为了测量运动人体的特征，设计了一种传感器节点模型，如图2所示。该传感器节点由2只PIR传感器组成，每只信号传感器被相应的片状菲涅尔透镜覆盖。菲涅尔透镜不仅可以将人体的红外热集中到传感器上，而且可以增加角度和探测距离。2只PIR传感器分别安装在距离地面不同高度的同一铅垂线上，分别采集运动人体不同部位的特征。在菲涅尔透镜上增加了信号调制掩模，用于进一步调制PIR传感器的探测角度，来探测人体不同部位的热辐射变化。

图2 传感器节点模型

根据PIR传感器的工作原理，人体的运动会使得PIR传感器接收到热辐射变化，从而产生信号波形。信号波形数据体现为随时间变化的电压信号。热释电敏感元件的电压变化经过调理电路的滤波和放大，由MCU完成数据采集，MCU(STM32F103C8T6)主要完成数据的采集和传输。STM32的模数转换器(analog digital converter,ADC)的采样频率为100 Hz，每组数据共采样600个点。STM32将采集到的数据通过串行接口传输给ZigBee网络的终端节点的MCU(CC2530)，之后，通过ZigBee协议网络完成数据的无线传输，ZigBee终端节点发送给协调器节点，协调器节点通过通用串行总线(universal serial bus,USB)与上位机PC连接，在上位机中对数据进行预处理和计算，再经深度学习神经网络实现对人员的分类识别。

2.2 传感器布置

传感器模块的2个PIR传感器单元分别放置在0.8,1.3 m的墙壁上。不同高度的传感器用于获取人体的不同部位的特征。具体来说，0.8 m对应的是人的下半身的运动，1.3 m对应的是人的上半身的运动。2个传感器单元在垂直方向位于同一条铅垂线上。实验场景是一个3 m×3 m的区域。实验场景及节点布置示意如图3所示。

图3 实验场景及节点布置示意

3 算法描述

提出的算法分为2个模块：特征提取与融合模块和深度学习分类模块。首先对2只PIR传感器的原始时域信号通过快速傅里叶变换(fast Fourier transform,FFT)算法提取信号特征。然后，将2只传感器的信号特征融合得到一个完整的特征用以表征不同人员的特性。最后，将这一特征送入深度学习神经网络中进行学习训练，最终得到分类识别的结果。

3.1 特征提取与融合

不同的人员的体温、运动时的步频和速度等特性、体型面积有着一定的差异，信号的频谱则可以反映出不同人员在运动时的速度、频率信息，以及在运动中引起的热辐射的信息的区别，因此，采用FFT作为信号特征提取的算法，将计算得到的频谱作为信号的特征。特征融合采用系列特征融合(Concat)的方法，即将特征向量进行连接[9]。第一路信号的FFT频谱特征向量为X1=[x11,x12,…,x1m]，第二路信号的FFT频谱特征向量为X2=[x21,x22,…,x2m]，则输出特征向量为：Y=Concat(X1,X2)={X1,X2}=[x11,x12,…,x1m,x21,x22,…,x2m]。

3.2 深度学习分类识别

LSTM通过门控状态来控制传输状态[10，11]，忽略不重要的信息，保留较长序列数据中的重要信息，它非常适合基于序列的数据进行分类、处理和预测。图4显示了LSTM的内部结构。

第七次：1958年“中华人民共和国粮食部军用粮定额支票”（面粉、大米、粗粮、马料各“伍拾斤”“壹佰斤”“壹仟斤”“伍仟斤”版）。

图4 LSTM的内部结构

该神经元结构主要在神经元内加入了输入门it、遗忘门ft以及输出门ot，信息流的输入和输出通过输入门和输出门控制，遗忘门用于控制前一时刻的状态，该神经元通过3种门之间协作实现了长期记忆[12]，LSTM结构中的参数为

(1)

式中ct为t时刻的细胞状态，ht为LSTM神经元的输出，bf,bi,bo,bc为偏置。Wxf,Whf,Wcf,Wxi,Whi,Wci,Wxo,Who,Wco,Wxc,Whc为权重值。

采用CNN-LSTM神经网络对特征进行学习并完成分类识别。其结构如图5所示。网络的输入为1×1 200维的特征向量Y，输出为人员分类识别的归一化概率，将人员分类为最大概率对应的类别。卷积、池化和LSTM可以提取数据的特征。神经元初始化方式为随机初始化。优化器(optimizer)选择RMSprop算法，学习率设为0.001；损失函数(loss fuction)使用多类交叉熵(categorical_crossentropy)损失函数。

图5 CNN-LSTM神经网络的结构

4 实验与结果

4.1 实验方案

关于实验场景的布置，已在本文第2.2节中详细阐述。检测节点位于行走路径中线上。实验对象为7名22～24岁的健康青年学生，分别以正常速度沿路线a行走，行走路径为A0→A1，每名实验对象行走200次，这样总共得到1 400个样本。各实验对象的特征属性如表1所示。

表1 各实验对象的特征属性

4.2 实验分析

在进行特征提取前，先进行归一化以减小光线、室温等因素对传感器输出电压的干扰。实验对象1和对象2的时域波形及归一化后的波形如图6所示。

图6 实验对象1和2的时域波形及归一化后的波形

图7 FFT算法的特征提取的结果

为加快神经网络学习的速度，并使聚类有更好的效果，特征向量先进行归一化，再输入CNN-LSTM神经网络中进行学习，并最终输出分类的结果。

数据集共有7名实验对象，每名实验对象200组数据，随机挑选每名实验对象的40组数据作为测试集，即测试集共280组数据，其余数据作为训练集，共1 120组数据。分别将训练集和测试集数据标签化，将训练集输入神经网络中进行训练，并用测试集测试模型训练效果。

实验基于Pycharm和Keras，实验环境为Windows 7，NVIDIA GeForce RTX 2070 SUPER。神经网络学习训练的过程将epochs参数设置为1 200，即训练1 200轮，其中模型的准确率(Accuracy)和模型的损失(Loss)如图8所示。从图中可以看出，模型的准确率整体呈增长趋势，模型的损失整体呈减小趋势，最终准确率和损失都趋于平稳，即模型收敛。说明CNN-LSTM模型在该类人员识别任务中具有较好的适用性。经过测试集验证，在测试集上达到了99.29 %的准确率。

图8 模型的准确率和模型的损失

表2为不同方法识别准确率及训练时间的对比结果。在本系统采集的数据集上，分别采用传统的LSTM网络以及文献[8]中运用的PCA+SVM方法进行训练并完成分类识别。从表中可以看出CNN与LSTM相结合使得收敛的速度大幅加快，并使计算量显著减少，这对于网络的整体结构有明显改善。而SVM的分类方法虽识别准确率良好，但尽管运用PCA进行数据降维，其训练时间和识别速度与本文方法相比仍较长，难以达到快速识别的目的。

表2 不同方法的性能对比

5 结 论

提出了一种将深度学习CNN-LSTM神经网络与PIR传感器信号相结合用于人员识别的新方法，实现了对不同人员99.29 %的身份识别率。与基于视频图像的方法相比，有着更小的计算开销和更低的成本。实验结果表明:将2只不同高度的PIR传感器的信号分别进行FFT运算获取到的频谱特征向量组能够很好地表征不同人员的特性，可以作为不同人员的特征进行分类识别。同时实验结果也表明了,深度学习CNN-LSTM神经网络在处理序列特征数据实现人员识别这一应用场景中,具有良好的效果。