融合热释电红外传感器与双目系统室内人体检测追踪方法的研究

石强，唐军

（贵州大学电气工程学院，贵州 贵阳 550025）

0 引言

室内人体检测和追踪方法的研究对于人机交互，智能监控，虚拟现实和行人重检测等领域有着重大的意义[1-3]。目前常用的人体检测和追踪方法有两种，一种是基于红外信息，另外一种是基于视频信息。文献[4]提出了在复杂背景下利用红外图像序列进行人体检测追踪的方法，虽然在实时性和准确性取得了一定成功，但是当人体遮挡较多的时候，导致成像异常的时候，将无法有效的检测和追踪人体。文献[5]提出了利用单目摄像头进行人体检测和追踪的方法，但是该方法的算法复杂度比较高，对一些场景缺乏分辨力，并且缺乏深度信息。文献[6]提出了利用融合热释电红外传感器和视频监控系统的人体检测和追踪方法，但是他的融合算法较为复杂，实时性并不高。综上所述，人体检测和追踪方法的主要缺陷是在于实时性和降低虚警率上，因此本文为了改进上述缺陷，融合热释电红外传感器和双目视觉系统，设计出一种实时性较好和虚警率较低的人体检测和追踪方法。

1 系统总体框架

系统主要由两个子系统组成，一个是由热释电传感器网络组成的人体检测和追踪部分，另外一个是双目视觉监控设备组成的人体检测追踪部分，PC机为显示终端。热释电传感器网络由带有菲涅尔透镜的热释电传感器，信号放大电路，信号处理电路，节点通信网络等组成。而双目视觉监控设备主要由双目摄像头和处理器构成。图1为系统总体设计框图。

图1 系统设计框图Fig.1 System configuration block diagram

2 人体检测追踪模型设计

2.1 热释电红外传感器人体检测追踪模式

采集节点主要由16个热释电红外传感器，信号处理电路，信号放大电路，电池保护充电电路，以及无线收发模块组成，其组成如图2所示：

图2 采集节点组成框图Fig.2 Block diagram of collection node

2.1.2 信号处理电路

采集节点通过供电模块提供+5V 电压，并通过TPS79301为采集节点的各个部分供电。当人体出现在检测区域时，PIR 传感器负责检测并采集目标人体的红外信号，之后被转变成电信号，然后通过两级放大电路将电压信号放大[4-5,7-9,12]。其电路图如图3所示：

图3 信号处理电路Fig.3 Signal processing circuit

2.1.3 AD转换电路

LTC1867 转换芯片及周围电阻、电容等构成了AD转换电路。单个采集节点需16 个数据通道用于信号的模数转换，但是LTC1867型号的 AD 芯片只有有8个通道，因此电路中使用两个 LTC1867 构成16个通道，同时为有效采集16个PIR 传感器输出的信号，需将 LTC1867 设置为单端输入模式，即LTC1867 的CH0至CH7通道均作为信号的输入通道，其电路图如图4所示[10]。

图4 AD转换电路Fig.4 AD converter circuit

2.1.4 控制电路的设计

牧儿和草儿都不言语，因为彼此的心早已有了默契。此时，他们沉默着，望着天，望着山，望着欢快吃草的羊儿，感受着阳光的抚摸，感受着这美好的一切，在心里产生对明天的美好向往。

节点的处理器采用Stm32F103VCT6，控制电路的主要功能包括对数据进行拆包和打包，以及控制无线模块NRF24L01进行工作[6,11,13-15]。控制电路如图5所示：

图5 控制电路Fig.5 Control circuit

2.1.5 无线模块的设计

采集节点上的NRF24L01具备发送数据功能，他的主要任务是将STM32微控制器输出的数据包按照特定协议发送给网关节点上的NRF24L01无线模块。NRF24L01的电路图如图6所示。

图6 无线模块Fig.6 Wireless module

2.2 热释电人体检测和追踪算法概述

采集节点通过 14 个 PIR 传感器模块实现人体红外信号的采集，如图7所示，其探测范围可达70°，且设计中采用将采集结点置于区域拐角处的设计方式，使得系统的有效探测范围增大，减少了虚警点，有助于提高跟踪精度。

图7 热释电红外采集节点构成图Fig.7 Structure of thermal emission infrared acquisition node

利用热释电红外传感器进行人体检测和追踪的首先要对区域分割，然后不同的区域8个传感器由于接收信号的强弱最终输出不同的0，1值，这些0，1组合完成对划分区域的编码。但是，一个采集节点是无法完成对人体的追踪定位的，所以本文使用了四个采集节点，然后组合四个采集节点获取的编码值实验定位。假定采集点1的坐标为（x1, y1）,采集点2的坐标（x2, y2），两者相距d,根据采集点1和采集点2的编码值可以求出两者相交的位置。

2.3 基于机器视觉人体检测和追踪模型

双目摄像头放置于距离地面250cm的房间正中央位置，人体目标的检测高度为50～190cm，对双目摄像头进行标定以后，采用基于Hough变换头顶圆特征的双目立体与匹配的算法进行人体检测和追踪。图8为本次实验平台所用的双目摄像头。

图8 双目摄像头Fig.8 Binocular camera

3 人体检测和追踪实时数据融合算法

3.1 算法整体介绍

单一的热释电红外传感器网络对人体检测和追踪由于受到噪声的影响，其结果可能存在很大的误差。因此本文采用基于Hough变换头顶圆特征的双目立体与匹配的算法在热释电红外传感器网络人体检测的算法基础上进行再检测和再追踪定位，最终使用深度学习的算法对两次结果进行融合修正，最终获得人体检测和追踪的结果。

算法信息流程图如图9所示：

图9 算法信息流程图Fig.9 Algorithm information flow chart.

3.2 融合算法

双目摄像头的人体检测和定位模式是以热释电红外传感器网络采集的定位数据为基础的，因此两者的数据相差并不大，为了降低人体检测和追踪的误差，本文采用基于新型支持度函数的人体检测和追踪的幂均方数据融合方式进行数据融合。首先对热释电传感器网络采集的人体定位位置（xr, yr）和双目摄像头系统采集的位置（xk,yk）进行一致性检测和三次指数平滑，从而获取人体在室内的位置最佳估计 xV，然后利用PC机对处理好的数据采用幂均方算子完成最终的数据融合，各传感器的最优权重Wi根据传感器数据之间的支持程度由支持度函数给出。假定两种人体检测和追踪模式的中的一种在时间人测得人体位置为，三次指数平滑递推公式为：

支持度函数sup(a,b)表示数据b对a的支持程度，也表示a和b的相似程度[12]。他必须满足3个条件：

1）sup(a,b)∈ [0, 1]

2）sup(a,b)=sup(b,a)

3）如果 |a-b|＜|x-y|，那么 sup(a,b)＞sup(x,y)

基于对支持度函数的分析，系统的支持度函数采用熊近军的新型支持度函数。

式中|a-b|代表两种采集方式的人体位置数据绝对值之差。

设定在t时刻，热释电传感器网络和双目摄像头采集的人体位置信息分别为Qi(t)和Qj(t)，代入 s u pnew( a , b ) ，可以获得两者之间的支持度 λ0。根据实验，设定λ0∈ (η , ψ ) ，一旦 λ0不在这个区间，则判定该值无效，因此在融合以前要进行一致性检查，若不一致，则需要剔除无效值。将 λ0代入幂均方算子,两种融合方式的权值 Wi= 1 + λ0，可以最终得到我们融合后的人体位置。

4 实验及结果

本文在实验室平台布置了四个图3所示的热释电红外传感器采集节点，在实验室的正中央距离地面H=250cm的地方布置了可360度旋转的的双目摄像头。实验平台如图10示：

实验员在不同的位置行走，然后采集融合算法得到的位置，单独的热释电红外传感器的位置，以及实际人体所处的位置，然后将采集的数据绘制成轨迹图。当实验员沿着房间对角线走时，采集的三种所得到的人体位置图如图11所示，图中红线代表人体实际所在位置，蓝线是代表利用单纯的热释电红外传感器方法获得人体位置，绿线代表的是利用本文方法获得的人体位置。

图10 实验平台Fig.10 Experimental platform

图11 实验结果图Fig.11 Experimental results

当人沿着房间随机行走时，得到的轨迹图如图12：

实验结果显示，单独的红外热释电传感器进行人体检测和追踪时，在距离传感器较近的位置，测定误差较小，当距离较大时，误差会影响到定位精度，而融合算法却大致接近真实位置，可以看出，融合了双目视觉和热释电传感器网络的算法对人体检测和追踪精度都有了一定的提升。

图12 实验结果图Fig.12 Experimental results

5 结论

本文在传统的热释电红外传感器人体检测和追踪的方法的基础上，引进融合了双目摄像头行人检测的方法，降低了传统热释电红外传感器人体检测和追踪在由遮挡物或者轨迹相近时存在的误差，通过搭建实验平台和仿真证明了该方法是行之有效的。虽然该方法也存在一些缺陷，比如该方法的成本较高，并且算法处理速度有待改进。但是对室内人体检测和追踪方法的研究有助于智能监控，以及人工智能的发展。

参考文献

[1] 沈航, 庞观士, 林诗美. 物联网工控平台现场级无线传感器网络节点的研究和设计[J]. 新型工业化, 2016, 6(10): 94-98.SHEN Hang, PANG Guan-shi, LIN Shi-mei.Study and Design on IOT Industrial Platform at the Field Level Wireless Sensor Network Nodes[J]. The Journal of New Industrialization, 2016, 6(10): 94-98.

[2] 刘维.基于双目立体视觉的物体深度信息提取系统研究[D]. 长沙: 中南大学, 2009: 38-49.LIUWei.Research on object depth information extraction system based on binocular stereo vision[D]. Changsha：Central South University,2009: 38-49.

[3] 罗桂娥.双目立体视觉深度感知与三维重建若干问题研究[D]. 长沙: 中南大学, 2012: 53-60.LUOGui-e. Research on the deep perception and three-dimensional reconstruction of binocular stereoscopic vision[D]. Changsha: Central South University,2012: 53-60.

[4] 尹宏鹏.基于计算机视觉的运动目标跟踪算法研究[D].重庆: 重庆大学, 2009: 37-50.YINHong-peng. Research on motion target tracking algorithm based on computer vision[D]. Chongqing: Chongqing University,2009: 37-50.

[5] 王晓满.监控系统的目标跟踪算法的研究[D].黑龙江: 哈尔滨理工大学, 2010: 22-29.WANGXiao-man. Research on the target tracking algorithm of the monitoring system[D]. Heilongjiang: Harbin Institute of Technology,2010:22-29.

[6] GANG L, ZENG R, LING L. Moving Target Detection in Video Monitoring System[C]//Intelligent Control and Automation, 2006. WCICA 2006. The Sixth World Congress on. IEEE, 2006: 9778-9781.

[7] HAO Q, HU F, LU J. Distributed multiple human tracking with wireless binary pyroelectric infrared (PIR) sensor networks[C]//Sensors. IEEE,2010: 946-950.

[8] LU J, GONG J, HAO Q, et al. Space encoding based compressive multiple human tracking with distributed binary pyroelectric infrared sensor networks[C]//Multisensor Fusion and Integration for Intelligent Systems. IEEE, 2012: 180-185.

[9] MOINI A, BURGESS N. Automatic thresholding for change detection in digital video[J]. Proceedings of SPIE -The International Society for Optical Engineering, 2000, 4067(1): 133-142.

[10] 高学彬，张志强，叶世伟，等. 无线传感器网络中的被动式红外传感器模型研究[J]. 计算机应用，2007, 27(5): 1086-1088.GAOXue-bin, ZHANGZhi-qiang,YEShi-wei. Research on passive infrared sensor models in wireless sensor networks [J]. Computer applications, 2007, 27(5): 1086-1088.

[11] ZHAO M, SUN D, HE H. Hair-color modeling and head detection[C]//Intelligent Control and Automation, 2008. Wcica 2008. World Congress on. IEEE, 2008: 7773-7776.

[12] 王杰贵, 罗景青. 基于多目标多特征信息融合数据关联的无源跟踪方法[J]. 电子学报, 2004,32(6): 1013-1016.WANG Jie-gui,LUO Jing-qing. Passive tracking based on dataassociation with information fusion of multi-feature andmulti-target[J]. Acta Electronica Sinica,2004,32(6): 1013-1016.

[13] LIU X, LEUNG H, VALIN P, et al. Multisensor joint tracking and identification using particle filter and Dempster-Shafer fusion[C]//International Conference on Information Fusion. IEEE, 2012: 902-909.

[14] 郭荣华, 李晓, 李耀炜, 等. 一种基于编队中心的目标跟踪算法[J]．新型工业化, 2015, 5(4): 40-47.GUO Rong-hua, LI Xiao, LI Yao-wei, et al.A Center-based Formation Target Tracking Algorithm [J]. The Journal of New Industrialization,2015, 5(4): 40-47.

[15] SAID Y, ATRI M, TOURKI R. Human detection based on integral Histograms of Oriented Gradients and SVM[C]//International Conference on Communications, Computing and Control Applications. IEEE, 2011: 1-5.