基于屋顶二值红外传感器网络的人体定位和行为识别系统设计

高莲弟,陶 帅,季长清,王宝凤,汪祖民

(大连大学 信息工程学院，辽宁 大连 116622)

基于屋顶二值红外传感器网络的人体定位和行为识别系统设计

高莲弟,陶 帅,季长清,王宝凤,汪祖民

(大连大学 信息工程学院，辽宁 大连 116622)

为了解决个人隐私的保护、受光照条件和障碍物等因素的影响，设计了一种基于屋顶二值红外传感器网络的人体行为识别系统；系统采用STM32芯片和ZigBee协调器建立ZigBee网络；当实验者在安装在屋顶的20个互连的AMN31111红外传感器下面做出一系列行为时，传感器对其进行二值数据采集，ZigBee协调器将数据通过串口发送到PC机上实时动态显示，通过Keil5系统软件对采集的二值数据以txt文本格式存储；提出了像素值法对人体进行定位和BP神经网络算法在模拟的居家环境中对7种不同人物行为进行识别；实验结果表明：该系统实现了人体多种行为的识别，其识别率为84.7%，4名实验者得到平均识别精度相比固定在居家电器传感器设备要高4.7%左右，并且该系统采集精度高、性能稳定、可靠性高、成本低、功耗低，解决了一些目前人体行为识别监测系统存在的问题。

红外传感器；STM32；像素值；人体定位；BP神经网络；行为识别

0 引言

近年来，在人物行为分析研究领域中，为了满足用户在日常生活中不断增多的个性化需求，室内环境中人物定位与行为识别得到了广泛的研究与重视。然而，在居家生活中，不论老年人或年轻人，长时间在摄像头的监视下会产生不适感，个人的隐私得不到有效保护，而且其监测效果还受光照条件和障碍物的影响，因此传统的数字图像/视频处理[1]研究方法不适用于室内居家环境。而基于屋顶红外传感器的传感网络则具备隐私保护、无生活打扰等优势。并且将红外传感器安装在屋顶能够很好地检测到室内的所有区域，不会出现检测盲区。

为了减少噪音，本研究采用二值红外传感器对人物的行为进行分析,与可穿戴加速度传感器研究方法相比不但不需要用户的任何配合，而且具有数据量小，运算速度快以及不受光照条件影响等优势。

本论文基于无接触式传感网络的行为分析方法会减少对用户的打扰，并采用像素值法进行人体定位和BP神经网络分类方法进行人体行为识别，实验结果表明采用该方法的识别精确率较高。

1 系统总体设计

系统主要由20个红外传感器节点、ZigBee节点、ZigBee协调器、STM32处理器组成，其总体结构图如图1所示。

系统的控制器主要由STM32处理器、ZigBee协调器、LED指示灯、存储器组成，其中STM32处理器是系统的核心。其中STM32处理器主要实现与存储器、ZigBee协调器、PC机的数据传输，并对接收到的数据进行相应的预处理操作。

红外传感器的主要功能是对模拟室内环境人的数据进行感知和采集。通过组成的ZigBee网络将数据发送至ZigBee协调器。

经STM32处理器预处理后的数据通过串口发送到PC机中的Keil 5系统软件进行显示，将生成的多维二值0～1数据txt文本文档通过像素值定位法和BP神经网络分类法，实现对人的日常行为的定位和识别，并得出比较精准的设计指标即人体行为识别准确率。虚线处表示也可以根据位置关系粗略的估计人的日常行为。例如，我们可以根据实验者在冰箱附近的位置，大致估计出该实验者目前的行为是从冰箱中拿饮料或其他东西。

图1 系统总体结构图

2 系统硬件设计

2.1 红外传感器模块设计

被动热红外传感器又称为红外动作传感器，可检测到与周围环境温度不同人的动作引起的温度变化[2]。传感器模块使用了AMN3111感应探头。它包含16个镜头，用来采集照射至热红外感应探头表面4个象限的红外线。每个传感器模块在每一个时间帧获得一个二值响应。

传感器阵列具有以下特性：移动中的人会同时引起多个传感器模块处于活跃状态，信号输出1，LED指示灯变亮；相反，当人处于静止或者较小的轻微动作时，传感器模块均处于不活跃状态，信号输出0，LED指示灯不变亮[3]。红外传感器模块电路图如图2所示。

图2 红外传感器模块电路

在模拟的居家环境中，20个4*5传感器模块均匀的安装于高2.5米，长和宽为300 cm*375 cm的屋顶，监测范围覆盖房间的所有区域，相邻两个传感器模块之间的距离为75 cm，每个红外传感器的检测范围侧视图如图3所示，模拟居家环境中的传感器阵列分布图如图4所示。

图3 红外传感器检测范围的侧视图

图4 模拟居家环境中传感器阵列分布

2.2 协调器节点硬件设计

ZigBee是基于IEEE802.15.4标准，一般运行在2.4 GHZ的频段上的无线网络通信技术。 其特点是近距离、低速率、低功耗、安全性和可靠性较高。和传感器结合就能组建ZigBee无线传感器网络，实现一点对多点，两点间的通信。ZigBee 专用于短距离通信，有效覆盖范围在10～100 m 左右，通过适当调整发射功率，基本上可以满足一般的居家或办公环境的应用[4]。

ZigBee网络节点按功能分为三大类：协调器节点、路由器节点、终端节点。由于本系统组网相对简单，数据的传输量不大，因此采用只含协调器和终端节点的星型拓扑结构。终端节点不需要协调器发送命令，直接定时发送采集数据，以降低协调器的网络负荷。

协调器节点主要任务是建立ZigBee网络，实现无线采集终端节点的数据的收发和处理，并通过RS-232串口与PC机进行数据通信，将数据发送到PC机显示。

协调器节点主要由STM32 ZigBee无线收发模块、RS-232串口电路、PC机以及电源模块组成，其中STM32模块是协调器节点的核心部分，承担着接收和存储无线采集终端节点发送来数据的任务，并且能够对数据进行分析处理。为了使协调器节点能够实现STM32与PC之间的通信，采用RS-232通信接口，通过RS-232串口电路将采集的数据传给PC机。由于RS232规定的高低电平标准与STM32的TTL电平不一致，需要MAX3232芯片进行电平转换[4]。

3 系统软件设计

系统的软件设计主要包括STM32处理器程序、ZigBee协调器程序、红外传感器终端节点程序。其中红外传感器主要负责数据的发送，因此，本文不作详细介绍。

3.1 STM32控制器程序设计

STM32是控制器的核心[5]，通过ZigBee协调器将红外传感器采集到的二值数据发送给STM32处理器，实现系统的初始化(包括串口初始化、按键初始化、定时器初始化)、数据处理功能，根据具体情况调节合适的采样频率，将采集到的数据扫描并通过串口将处理的数据发送到PC机上。使用keil 5软件集成开发环境，可视化采集数据对数据进行相应的预处理操作。定时时间到了以后，就循环继续检测是否有数据传送。其流程图如图5所示。

图5 控制器流程图

3.2 协调器节点软件设计

协调器节点主要负责组建与维护一个ZigBee网络，汇聚采集的数据，分析处理数据并通过串口发送数据至PC机。其软件设计流程如图6所示。

协调器节点上电后，首先进行信道扫描，选择一个空闲的信道来创建一个网络，规定相应的网络参数。协调器启动后，时刻监听无线信号，如果收到终端节点加入网络申请，则根据请求信息做出是否允许加入网络的判断。如果允许加入，协调器就给终端节点分配一个网络地址作为网络中唯一的身份标识。如果监听到无线采集终端节点发送的红外传感器二值数据信息，协调器接收数据信息，通过RS-232串口电路发送到PC机显示。

图6 协调器节点流程图

4 实验与结果分析

在实验中，实验者(4名学生)对7种日常生活行为进行模拟：行走、看电视、躺在沙发上、玩电脑、从冰箱里拿饮料、扫地、整理桌子。

4.1 二值数据采集

红外传感器采集人体的行为数据，ZigBee协调器将数据通过串口发送到PC机上实时动态显示，通过Keil 5系统软件对采集的二值数据响应存储为txt文本格式的操作。为后续的人物定位和行为分析提供了基础。

4.2 基于像素值的人体定位

基于传感网络的安装方式以及分布特点，我们将其等同为分辨率较低(20个像素)、灰度级较小(二级灰度)的“顶视摄像机”，且将其所采集数据等同为像素及灰度级为0或1的顶视图像数据。为了提高像素的灰度级，每个像素点的二值灰度在连续时间内的平均值有效地使灰度级延伸到了[0,1]连续区间内。利用不同灰度的像素点的分布特征，可以对被监测用户进行准确的定位[6]。二值数据的优化方法如下：

表达式si,j(t),(i=1,…,4j=1,…,5)表示在时刻t位于位置(i,j)的传感器的活跃状态(0或1)。采样频率设置为H(Hz)，定义t>0时刻该像素点的像素值为Pi,j(t)

(1)

公式(1)表明，像素值等于在t时刻前后共一秒时间内的二值响应的均值。因此，二值灰度图像被扩展为[0,1]内连续灰度级的图像。从公式我们可以知道Pi,j(t)∈[0,1]。

假设在t时刻共有N(<=20)个活跃传感器，它们的位置由(i,j)表示，令它们的像素值为Pi,j(t),(i=1,…,4，j=1,…,5)，在室内只有一位实验者的前提下，利用加权平均法可估计出在t时刻实验者的位置，如公式(2)所示。

(2)

为了验证公式(2)所示定位的方法可行性，我们进行了相关的实验。4名实验者(每个实验者单独进行)在居家环境中被指定做出7种日常生活行为(行走、看电视、躺在沙发上、扫地、整理桌子、玩电脑、从冰箱里拿饮料)，共持续5分钟。传感网络采样频率设置为H=20 Hz，采集传感器活跃数据si,j(t)。实验者日常行为的部分灰度图像如图8所示。

在5分钟之内选取10张代表性的图像数据(t=1,…,t=10)。其中，灰度图像的亮暗程度表示其像素值大小，白色圆圈表示在t时刻估根据公式(2)算出的实验者的位置[7]。

从图7中可以粗略的得到实验者的移动轨迹，通过短时间内对二值活跃数据的累积，扩展了传感器活跃程度的表达范围。通过对活跃传感器位置信息的加权平均，提高了移动人物的空间分辨率。

图7 行为序列灰度图像

4.3 基于BP神经网络行为识别

BP网络是一种按误差逆向传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小[8]。

图8 日常生活行为重叠区域

图8为日常生活行为重叠的区域。在不同的时间，在相同的区域做不同的行为，使用BP神经网络分类时，我们对重叠区域(易混淆)的行为进行有效识别，比如行走和扫地，两者占有相似的区域，但考虑到两者的速度不同，可以大致区分两者的行为；躺在沙发上和坐在沙发上看电视两个不同行为也占有相似的区域，会考虑两者在行为开始时引起活跃传感器的个数，由灰度图像并通过实验可以得知后者少与前者。

同时，在实验时，模拟居家环境装有摄像头，记录实验者的真实行为，为BP神经网络算法的训练提供真实值，即作参考值计算识别精度。

在MATLAB神经网络工具箱环境中，读取存储的txt二值文本数据，对4组实验者采集的数据选取7类样本集，其中每一类样本集分别有300组数据样本作为训练集，100组数据样本作为测试集。确定合适的训练函数、训练步数、网络误差、网络的目标输出，对输入样本进行多次10折交叉验证，当误差达到预设的要求或训练达到预设的学习步数时，停止训练。最终，对每次预测的精确度取平均值即得到最终的行为识别率为87.4%。

文献[9]中，传感器放置在门、微波炉、洗衣机等固定位置上，用来监测人的日常行为，但是该系统不能提供用户当时的位置和运动轨迹。

基于屋顶红外传感器和文献[9]传感器固定在居家电器上的人体行为识别的精确度的对比图如图9所示。

图9 识别精度对比图

总体上讲，随着采样样本个数的增加，两者的识别精度都会随之提高，但红外传感器的识别精度比固定在居家电器传感器[10]的识别精度高4.7%左右。

5 结论

基于热释电红外传感器网络的人体行为识别系统，我们提出了基于二值行为数据的像素值定位法对人体进行定位。利用BP神经网络分类算法，对人体进行多行为的识别。通过实验我们可以得到这样的结论,采用该方法的行为识别准确精度比固定在居家电器传感器设备高4.7%左右。该系统保护了个人隐私，降低了对人们日常生活的打扰。采用二值法增加了采样率和减少了噪音和计算量，提高了运算速度。另外，红外传感器不像摄像机一样受光照条件和障碍物的约束，其检测范围覆盖了整个模拟居家环境，没有检测盲区的存在。同时基于红外传感器人体行为识别系统成本低，易于安装。

[1] Li G, Lin W, Zhang S, et al. A New Network-Based Algorithm for Human Group Activity Recognition in Videos[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2014,24(5):826-841.

[2] 孙 华, 李 扬. 热释电红外传感器原理及其应用[J]. 内江科技, 2010,(12):116-116.

[3] 石琳琦. 基于热释电红外传感器的测量技术[J]. 山东大学, 2013,(11):162 - 165.

[4] 王小强, 欧阳骏, 黄宁淋. ZigBee无线传感器网络设计与实现[M]. 北京：化工业出版社, 2012,5:3-8.

[5] 刘 军. 例说STM32[M]. 北京:北京航空航天大学出版社, 2014.

[6] Tao S, Kudo M, Nonaka H. Camera view usage of binary infrared sensors for activity recognition[A]. Proceeding of the 21st International Conference on Pattern Recognition(ICPR2012)[C].2012:1759-1762.

[7] Tao S, Kudo M, Nonaka H. Privacy-preserved behavior analysis and fall detection by an infrared ceiling sensor network[J]. Sensors, 2011, 12(12):16920-16936.

[8] 刘鲭洁, 陈桂明, 刘小方, 等. BP神经网络权重和阈值初始化方法研究[J]. 西南师范大学学报(自然科学版), 2010,35(6):137-141.[9] Sawai K, Yoshida M. Algorithm to detect abnormal states of elderly persons for home monitoring[J]. Systems & Computers in Japan, 2007,38(6):34-42.

[10] 苟 涛. 基于可穿戴式三轴加速度传感器的人体行为识别[J]. 自动化应用, 2015(12):61-62.

Design for Human Body Localization and Activities Recognition System Based on Binary Ceiling Infrared Sensor Network

Gao Liandi, Tao Shuai, Ji Changqing1, Wang Baofeng, Wang Zumin

(College of Information Engineering, Dalian University, Dalian 116622, China)

To preserve individual privacy and to avoid the effects of light condition and obstacles, this paper designed a human activities recognition system based on binary ceiling infrared sensor network. This system uses STM32 and ZigBee coordinator to build a ZigBee network. When a target does some activities under the interconnection of twenty AMN31111 infrared sensors, binary values will be collected by sensors. Then ZigBee coordinator will send this data to PC real time dynamics through serial port and these values will be stored in txt format by the software of Keil 5. We proposed the method of pixel value to estimate the locations of the target. In a home environment, we used BP neural network algorithm to recognize 7 different activities of a target. The experimental results showed that this system achieved a performance of a single target’s activities recognition rate of 84.7%. The average recognition rate obtained by 4 targets was about 4.7% higher than those sensor devices attached to home appliances. The system is with high precision, stable performance, high reliability, low cost and low power consumption. So it solves some current existing problems in human behavior recognition system.

infrared sensors; STM32; pixel value; human localization; BP neural network; activities recognition

2016-07-20；

2016-08-31。

国家自然科学基金项目(61501076)。

高莲弟(1990-)，女，山东临沂人，硕士研究生，主要从事智慧医疗与健康方向的研究。

汪祖民(1975-)，男，河南信阳人，教授，硕士研究生导师，主要从事智慧医疗与健康、机械故障诊断与预警、物联网方技术开发与应用的研究。

1671-4598(2017)01-0163-04DOI：10.16526/j.cnki.11-4762/tp

TP

A