视频信息与定位信息融合技术研究

王冬海，张 宇，郭文刚，连礼泉

(中国电子科学研究院，北京 100041)

0 引 言

视频监控系统广泛应用在各类场所中，如商场、公共社区、学校和政府机构等。监控系统的目的就是在不同的区域里跟踪和识别感兴趣的目标对象。然而单一的视频监控并不能提供满意有效的服务，原因是难以查找和管理摄像头所产生的海量数据，很难识别视频信息中的目标对象，造成监控无效或效率低下。

视频信息和智能终端电子定位信息在城市安防等应用领域中被广泛采集、分析，但目前的应用均是孤立的，各自有独立的应用范围，仅仅利用传统的无线传感器定位跟踪[1,2]或视频定位跟踪[3]很难获得更高的精度和稳定的定位性能。为了达到目的，多种信息融合技术已经在一些领域得到应用。视频信息和智能终端电子定位信息这两种看似无关的信息，事实上存在的一定的联系，即依靠“人”来联系。视频信息主要是“人”的图像信息，智能终端电子定位信息是“人”的定位信息。有效地利用两种信息的联系，对两种信息进行融合利用，将能够进一步发挥两种信息的价值，实现视频监控目标与雷达探测目标一样具有识别、定位、轨迹跟踪为一体的“视频雷达”监控系统。下面以集成及应用创新的思路选择常用H.264视频格式数据和手机WI-FI定位信息进行研究分析。

1 融合技术原理

1.1 视频信息

在人类获取的信息中，视觉信息约占70%，听觉信息占20%，其他感官的获取量仅占10%，可见作为对外部世界进行提取、处理和反馈过程的视觉对于人类感知外界环境的重要性。随着计算机和网络技术的飞速发展，视频己经成为当今世界进行信息传播的主流载体之一。

1.2 定位信息

近年来，智能终端的使用和市场推广都呈现出高速增长的态势，智能终端的强大功能和相关应用服务日益丰富，使得智能终端对用户产生的黏性越来越大，电子信息发挥着巨大作用[4]。以手机为代表的智能终端已经成为不可离身的必备随身物品，智能终端的定位信息所带来的附加业务需求也越来越大。电子信息的特点是具有唯一的电子身份，如GSM IMEI(国际移动设备识别码)、WI-FI MAC地址或蓝牙ID等。获取手机终端发射的电子信息，通过一定的定位技术手段能够获取其定位信息。

1.3 “视频雷达”

基于信息融合[5]的思想，本研究将智能终端的电子定位信息，与视频图像信息进行融合，通过信息的位置属性与时间属性的融合匹配[6]，确定监控目标。

如图1所示，“视频雷达”即利用视频监控技术，结合定位信息的身份特征，将目标的位置标绘在电子地图上，并通过多部摄像头的监控，实现对目标的跟踪、特征提取等，从而能够将目标的地理定位信息与视频图像信息紧密结合，形成一条连续的目标移动轨迹，使得视频监控如雷达一样具有监视、定位及跟踪等功能，形成有特色集成产品，实现智能监控，服务于各行业。

图1 “视频雷达”示意图

2 设计与实现

2.1 融合架构

在无线定位算法和视频跟踪算法的基础上，本文研究确定了多传感器融合定位跟踪监控的总体结构，如图2所示。

图2 总体框架

通过无线传感器对目标所携带的移动终端提取相关特征(如WI-FI MAC或手机号码等)，采用无线定位算法对目标进行间接定位，获取定位信息(如经纬度等)；同时通过对摄像头获得图像信息进行处理分析，跟踪识别目标；最后，将两种传感器获取的信息通过融合算法，根据设定好的融合策略，做出最后的决策，确定目标的存在。

融合主要体现在决策层，也就是目标的位置预测估计。无线传感器和摄像头通过各自的定位模型得到目标的位置特征决策向量，运用无线定位算法和粒子滤波算法，解决传统粒子滤波的移动目标检测问题和摄像头的盲区，能够减少目标检测的虚警，提高了边界区域的定位跟踪精度。

2.2 系统构成

实验系统中利用数字摄像头采集监控区域的视频图像信息；通过无线传感器(如基站、无线接入点AP)采用定位算法获取电子信号的定位信息；视频存储服务器是以H.264编码标准存储视频数据；在数据处理服务器中将定位信息与视频信息融合处理，数据关联匹配及相应的图像处理；在人机交互部分，实现了综合应用业务的操作界面和监控图像显示。实验系统构成,如图3所示。

图3 系统构成示意图

3 关键技术

3.1 视频信息与地理信息的匹配技术

视频监控与地理信息的匹配，是将视频摄像头定位信息与视频影像集成，为视频监控提供空间位置与视频影像相融合的超媒体信息。该技术的基本思想是将地理位置、视频时间或帧之间建立映射关系，使得视频影像数据能够在地理信息系统(GIS)中以数据接口方式呈现在地图上，实现摄像头地理位置查找、影像播放同步显示和交互操作[7]。将视频监控系统与地理信息系统结合，既可以发挥视频监控系统实时图像可视化的优势，又可以充分发挥GIS管理空间数据的特点，让管理人员能够全面地了解监控对象的空间分布状况，使图像管理与数据管理融为一体。

视频监控与地理信息的匹配实验效果演示,如图4所示。图(a)是将城市地图或监控区域地图加载到系统中，监控摄像头分布标绘在地图上，红色标识即表示附近的监控区域；图(b)表示某一热点区域的三维模型，并显示了摄像头所在位置与实际环境之间关系；图(c)是在三维模型中直接获取摄像头的图像信息，实时查看该区域的视频图像。

图4 视频信息与地理信息的匹配演示图

视频监控与地理信息的匹配实现了对目标位置从宏观地图到微观实景图像的识别与跟踪，通过坐标匹配，将目标定位信息实时显示在二维地图上，形成目标航迹，时刻掌握目标定位信息；直接获取区域摄像头图像，能够从图像细节上获得目标图像信息，实现位置与视频的数据关联。

3.2 无线定位信息获取技术

随着现代通信技术的快速发展，许多服务和应用需要知道移动终端的准确位置，移动终端定位成为国内外研究的热点课题。无线传感器定位技术和方法比较相似，是通过检测位于已知位置的无线传感器(基站) 和标签(移动设备)之间无线电传播的特征参数实现，根据多个基站接收到移动设备的信号对移动设备的距离和方向做出估计。

利用AP对手机WIFI无线信号的强弱变化进行位置的确定[8]，这种方式获取目标的精确度较高。其定位方法主要分成两类：三角形算法和位置指纹识别算法。三角形算法利用待测目标到至少三个已知参考点之间的距离信息估计目标位置，而位置指纹识别则通过比较定位所需的信号特征指纹信息获取目标位置。本文采用位置指纹识别算法：

(1)训练阶段，其目标在于建立一个位置指纹识别数据库。首先，选择合理的参考点分布，确保能为定位阶段的准确位置估计提供足够的信息。接着依次在各个参考点上测量来自不同AP的接收信号强度(RSS)值，将相应的MAC地址与参考点的定位信息记录在数据库中，直至遍历关注区域内所有的参考点。由于受环境影响，无线信号强度并不稳定，为了克服RSS不稳定对定位的影响，通常在每个参考点上多次测量取平均。

(2)定位阶段，给定数据库后，依据一定的匹配算法将待测点上接收的RSS值与数据库中的已有数据进行比较，计算位置估计值。常用的匹配算法有K-近邻(KNN)算法、神经网络算法等，本文采用简单的NN算法。假定待测点接收的RSS观测值为s=[ss1,ss2,…ssn]，数据库中的已有记录为Si=[SS1,SS2,…SSNi,]，其中n代表待测点上检测到的不同AP数；i∈[1,NT]，NT为数据库中的记录数；Ni代表第i条记录中存储的不同AP数，则NN算法可以表示成下述形式

L=argmini∈[1,NT]]||s-Si||

式中，||s-Si||代表s和Si之间的欧式距离。

3.3 视频目标跟踪技术

视频中目标跟踪的主要任务是在连续的图像帧中，检测出运动目标并对其进行定位，从而确定其完整的运动轨迹。目标定位跟踪的技术研究有多种方法，如Jorge[9]等人提出了基于区域的跟踪方法，计算确定的目标区域与候选区域的相似性度量，进而寻找相似性度量最大的位置；Kass等人提出了Snake的主动轮廓模型，后来提出改进算法，用来检测目标的边缘和跟踪运动目标[10]。Paragios和Deriche[11]将短程线的活动轮廓和水平集理论相结合，实现了视频中多个目标的跟踪。岑峰等[12]将运动边缘信息结合到短程线主动轮廓模型中，实现了复杂环境下非刚性运动目标的跟踪；在系统是线性的、噪声是高斯噪声的条件下，卡尔曼滤波能给出解析的结果[13]。随着计算机计算能力的快速提高及并行处理的出现，基于蒙特卡罗[14]方法的粒子滤波理论受到了广泛的关注。

序贯重要采样法是一种通过蒙特卡罗模拟实现递推贝叶斯滤波器的技术。它的核心思想是利用一系列随机样本的加权和表示所需的后验概率密度，得到状态的估计值，这些样本即称为“粒子”。当样本点数增至无穷大，粒子的概率密度函数逐渐逼近状态的概率密度函数，粒子滤波估计即达到了最优贝叶斯估计的效果。

(1)

(2)

重要密度可以分解为

(3)

后验概率密度可表示为

(4)

将式(3)、(4)代入式(2)，可以得到权值更新公式

(5)

随着测量值的依次到来迭代求得相应的权值，最终以其加权和表征后验概率密度,得到状态的估计值。

运动目标跟踪流程图,如图5所示。

图5 运动目标检测跟踪流程

首先使用基于自适应混合高斯模型的帧间差方法提取运动区域，检测运动目标的存在，采用粒子滤波实现目标的运动估计，由预测位置确定初始的候选区域。然后根据先验信息来初始化例子的状态分布，根据系统采用的动态模型进行采样。在得到时刻t的观测情况下，确定似然函数来估计重要性权值。最后输出状态的估计，并估计有效粒子数目N，如果N小于阈值，则转到重采样，转到粒子更新，否则结束估计过程。

3.4 视频信息和定位信息的融合算法

为了能够将前面研究的无线定位、与视频跟踪的优势结合到一起，使视频监控达到预期的效果，本文提出了基于位置特征的特征级融合算法。

综合考虑两种融合定位模式。第一是目标从无线传感器定位区域进入视频定位区域；第二是目标从视频定位区域进入无线传感器定位区域。在摄像头覆盖的区域，系统优先选择视频跟踪模型，在摄像头无法覆盖的区域，选择无线定位跟踪模型，并将跟踪到的结果显示在视频GIS中，可以明确、清晰地显示在GIS中，解决了无线定位不能可视化、视频盲区无法显示的问题。

以第一种为例，即目标从无线传感器定位区域进入视频定位区域的算法流程，如图6所示。

图6 融合定位算法流程

(1)通过无线传感器检测到目标电子信号，并采用前面提到的无线定位算法对目标进行定位。(2)将电子定位信息形成的轨迹作为输入，将其特征与视频目标特征提取的位置轨迹特征进行匹配。(3)如果匹配成功，表示已经确定目标，用粒子滤波算法对目标跟踪。如果视频中没有目标，说明目标进入无线传感器定位区域，但未进入摄像头可视区域，流程回到无线定位，继续检测目标的位置轨迹信息。

4 实验结果分析

实验选取一个20 m×16 m面积的房间，并部署三个WIFI信号接收点，二个摄像头，对随机行走的目标进行轨迹跟踪，跟踪轨迹如图7所示。

图7 定位轨迹效果图

通过无线定位模型和视频定位模型的计算，可得到目标的运动轨迹，经过定位数据匹配和轨迹关联后，得到融合后的轨迹，如图7中黑色轨迹曲线。通过对比可以看到，经过本文融合算法后计算的轨迹比单独利用无线定位和视频定位的轨迹更接近于实际轨迹，验证了本文算法的优越性与可靠性。

在一段实验视频中，被监控目标携带手机在视频监控范围内自由移动，手机开通WIFI连接。无线传感器作为AP置于摄像头周围，用来获取目标手机的WIFI信号，并计算出相对位置信息，找到含有监控目标电子信息对应的视频，实现目标视频跟踪，实验结果如图8所示。

图8 实验效果图

图8(a)是在实验视频中的第一帧，图8(b)、(c)分别是第2秒和第4秒时刻截取的视频图像。从监控实验结果可以看到，结合无线传感器和摄像头，两者可在精度和目标检测可靠性上相互补偿，监控目标能够在系统中准确的被识别与跟踪，证实了所提到的技术方法的可行性。

5 结 语

主要研究了基于视频信息和定位信息的融合技术，即电子定位信息与视频图像信息融合在一个系统中，实现“雷达”跟踪、识别、定位，从而提高定位跟踪的准确性，减轻处理大量数据的负担。融合多种传感器提供的有用信息，提高识别的精度和稳定性。经过实验的测试，结果证实了所提到的理论和相关算法的可行性和有效性。

视频信息和定位信息的融合技术可以广泛地应用在军事、民用领域，应用前景广阔。军用上，视频信息和定位信息的融合技术可以应用在边防安全、战略和战术监视系统，进行目标跟踪、目标识别、态势评估和威胁估计等功能，能够保障军事上对敌方或潜在威胁的有效监控；在武警、公安应用方面，利用智能监控代替哨兵，能较好地承担警戒任务。在民用领域上，视频信息和定位信息的融合技术将在智慧城市和物联网的应用中发挥巨大作用:(1)犯罪监控、公共场所安全保障；(2)机器人视觉上的应用，能够提高机器人的识别效率，大大提高机器人的智能化；(3)在老人院或精神病院等对特殊人员的监控，保障其活动范围。对社会的发展、安全和安定具有重要的实用价值。

这是一个全新且很有发展前景的研究课题，目前还只是刚刚起步，仍存在海量分布视频信息提取、定位精度不高等诸多问题急需解决，因此迫切需要开展广泛深入的基础理论和技术的研究工作。展望未来，我们将继续研究如何经济地部署摄像头及无线传感器，覆盖某个区域以满足特定的参数。此外，也将继续研究视频监控网络，对视频信息和定位信息的融合原型系统的综合评估。相信随着技术的进步，“视频雷达”将发挥巨大的效益。

[1] MAO G,FIDAN B,ANDERSON B.Wireless Sensor Network Localization Techniques[J].Computer Networks,2007,51(10):2 529-2 553.

[2] WANG J,GHOSH R,DAS S.A Survey on Sensor Localization[J].Journal of Control Theory and Applications,2010,8(1):2-11.

[3] YILMA A,JAVED Z O,SHAH M.Object Tracking:A Survey[J].ACM Comput.Surv.2006,38(4):13.

[4] NI L M,DIAN Z,SOURYAL M R.RFID-based Localization and Tracking Technologies[J].IEEE Wireless Communications,2011,18(2):45-51.

[5] 韩崇昭，朱洪艳，段战胜，等.多源信息融合[M].北京：清华大学出版社，2006.

[6] ZHU J,TENG J,XUAN D,et al.Effective Visual Tracking with Electronic Localization by Directional Antennas[C]//IEEE NAECON,2011.

[7] 孔云峰.一个公路视频GIS的设计与实现[J].公路，2007(1)：118-121.

[8] 王静，张会清.基于信号强度的室内定位技术的研究[J].计算机测量与应用，2009 .17 (12)：2500-2504.

[9] JORGE BADENAS,BOBER M,PLA F.Motion and Intensity Based Segmentation and its Application to Traffic Monitoring[C]//In Proceeding,International Conference on Image Analysis and Proeessings,1997:502-509.

[10] DENZLER J,NIEMANN H.Combination of Simple Vision Models for Robust Real-Time Motion Tracking[J].European Trans Tele commun.1995,6(3):275-286.

[11] PARAGIOS N,DERICHE R.Geodesic Active Contours and Level Sets for the Detection and Tacking of Moving Objects[J].IEEE Trans Patten Analysis and Machine Intelligence,2000,22(3):266-280.

[12] 岑峰，戚飞虎.短程线主动轮廓跟踪算法的研究[J].计算机研究与发展，2003，40(2):283-288.

[13] WELCH G,BISHOP G.An Introduction to the Kalman Filter[R].University of North Carolina at Chapel Hill:Technical Report,2004.

[14] DOUCET A,GODSILL S,ANDRIEU C.On Sequential Monte Carlo Sampling Methods for Bayesian Filtering[J].Statistics and Computing,2000,10(3):197-208.