人体信息匹配识别系统的设计与实现

任志健，刘少江，万智萍

(中山大学新华学院，广东 广州 510520)

责任编辑:任健男

运动目标跟踪是图像监控领域的一个研究热点［1］。监控设备在运作过程中所获取的视频数据能提供许多重要信息，例如在监控区域内活动过的在逃罪犯，或者经过这一区域的走失孩童，他们的部分行踪信息都会保留在监控器的视频影像中。但由于监控器的操作人员并不了解有关人物的具体信息，在例行查看监控录像时往往会疏漏这些重要信息，而且加上视频数据量大、特定个体出现的概率小等问题，在查找这些信息时要耗费大量人力和时间。

Girisha R［2］针对目标追踪问题提出了一种结合对象分割输出与光流的算法，该算法通过对象分割结果来计算光流，并使用二维方差分析光流在目标轮廓区域的运动，利用光流特性实现了对人体的识别追踪，但存在可靠性评价因子的选择困难，以及预处理对光流计算结果造成影响等问题。Daehwan Kim［3］提出一种合并匹配算法，该算法结合了ICP算法通过三维扫描点的纹理色彩信息进行搜索最近点的特性和粒子滤波器的多模态处理能力，基于目标模型运动的历史信息，搜索出最适合的运动参数来实现人体运动跟踪，但存在粒子数匮乏以及初始化困难等问题。王传旭等人［4］提出了基于时空特征点的非监督姿态建模和行为识别的算法，算法采用EM的高斯混合模型对姿态类别进行建模，并结合了二元语法模型，实现了对人体的行为识别。

OpenCV［5］拥有强大的图像分析处理功能和便捷的算法调用功能，编写的OpenCV有关代码还可以正常运行在DSP系统和单片机系统中。

人体信息匹配识别系统在实现监控、录像功能的基础上，通过记录图像数据中被追踪对象的轮廓信息和行为信息，构建出人体信息匹配概率模型，并计算出运动个体处于监控区时间段的每张帧图像的匹配概率，得出综合概率最大值，从而找出符合一定相似要求的个体。测试表明，系统的操作便捷，对目标个体具有一定的识别能力。

1 人体信息匹配识别算法

1.1 算法概述

视频图像数据是监控设备获取的主要数据，人体信息匹配识别算法便是通过监控设备收集到的图像信息与某个被追踪对象之前的图像信息进行匹配，从而达到自动识别目的。由于不同人体之间都有各方面的特征差异，无法通过计算人体所有的特征差异来进行匹配。不同人体的轮廓和某些行为特征都有一定的差异，而且在计算这两方面的差异信息时只需处理灰度图像，降低了计算的复杂度。笔者结合被追踪者的轮廓信息和行为信息设计了人体信息匹配识别算法，利用该算法使每一个在监控区活动的个体与目标对象进行相似匹配。整个人体信息匹配识别算法包括背景分离、颜色聚类、人体信息匹配概率模型构建、综合概率最大值。整个算法的流程框图如图1所示。

图1 算法流程图

1.2 背景分离与颜色聚类

背景分离是把帧图像中的背景与运动个体分割出来［6］，把被追踪个体从得到的资料帧图像数据中分割出来较为简单，主要是把监控帧图像里的背景图层分割出，以便检测出运动目标。运用帧差法［7］，对图像序列相邻2帧或3帧间使用基于像素的时间差分，并通过闭值化来提取出图像中的运动前景图。图2为在实验室对系统进行测试时所得到的监控帧图像及其背景分离效果图。

图2 监控帧图像及背景分离效果图

提取出监控帧图像里的运动个体后，对其进行颜色聚类，通过改进的 k－means聚类［8－9］算法，使运动个体可以依据颜色进行区分。假设一个运动个体是具有n个像素点的簇X={x1，x2，…，xn}，选择k个点作为初始类聚中心，为集合 G={a1，a2，…，ak}。

1)设像素点xi(i=1，2，…，n)属于类j(j=1，2，…，k)，重量为m(xi)。建立有关xi的函数，函数表示像素点xi以aj作为中心构成的集合。

2)根据有关像素点xi的函数)和重量m(xi)计算中心点aj的位置为

3)重复步骤1)和步骤2)，直到收敛。

每一个质心位于中心点aj处的像素点，最接近该类的中心，用k－means聚类算法优化，得到每个类的平方差总和为

优化后的E值越小，颜色聚类效果越明显。再利用轮廓系数［10］进行聚类有效性分析，假设类与类之间的平均距离取最小值bi，同类内部样本之间的距离均值取ai，则每一类的轮廓系数为

簇X的总轮廓系数为

轮廓系数越高，最终的聚类性能越佳。

1.3 人体信息匹配概率模型构建

用被追踪目标的轮廓信息作为其中一种追踪线索，是因为每个个体的轮廓都具有一定的差异性，与个体的身高和体型有关。图像中所能得到的人体行为信息主要是人体的行走姿态信息，人体经历一个长时间的行走过程之后，挥手、抬腿等行为姿态特征在无意识下会形成一种习惯，具有一定的不变性。结合轮廓信息和行为信息构建了人体信息匹配概率模型，对目标对象进行相似匹配。由于对目标的匹配识别是依靠历史图像信息，与相邻时间段的跟踪算法不同，不需要对目标对象进行颜色建模。建立一个能把目标包围的面积最小的矩形，以矩形的中心为原点建立x轴和y轴，计算目标对象在x轴和y轴方向上的均值和方差，分别设为μx，μy和，用高斯密度函数g(xi;μ，Σ)［11］来描述任意一个像素点xi处于某个目标对象的概率

式中:Σ 为密度函数的共变异矩阵;μ =［μx，μy］T为目标对象的密度中心点。要用最佳的参数μ和Σ来描述像素点的概率分布，可利用最佳可能性估测法。假设每个像素点xi(i=1，2，…，n)属于某个目标对象是互相独立的事件，发生 X={x1，x2，…，xn}的概率为

对式(6)求取最大值，转化为求取 L(μ，Σ)最大值，即

对式(7)L(μ，Σ)中的参数μ微分后求得

令式(8)等于0，可以得到最佳的μ为

同理，求得最佳的Σ为

得到像素点属于某个目标对象的最佳概率函数后，再通过目标对象的行走姿态图像来构建人体信息匹配概率模型。设有一目标对象行走姿态的图像，通过背景分离后用面积最小的矩形将目标包围，以矩形为中心建立起x轴、y轴，得到其在坐标系上的位置信息。对于监控区出现的运动个体，经过背景分离和颜色类聚后，用相同的办法建立起位置坐标系，设任意运动个体O的坐标信息为{［xn，yn］T}，n=1，2，…，N，N表示属于O的像素点数，对于O中的任意一点像素点xi=［xn，yn］T，结合式(5)、式(9)、式(10)得到最佳的人体信息匹配概率模型为

图3为进行聚类和灰度处理后作为匹配模型的人体图像。

图3 匹配模型

1.4 综合概率最大值

设有被追踪目标的n张行走姿态图像。假设某运动个体从进入直到走出监控区这一时间段的帧图像都被记录下来，并利用算法进行计算直到每张帧图像运动个体的所有像素点找到最佳的匹配图像，设立阈值T，当匹配概率超过T值时，默认找到对应的达到相似要求的姿态图像。假设最终计算有n′张帧图像有对应的匹配图像，为了提高匹配精度，按照设定的阈值来选择是否有必要把帧图像传送至界面显示来进行提示。

2 系统设计

2.1 硬件设计

硬件设计包括了下位机的监控设备以及上位机的nRF2401 2.4 GHz无线收发模块、F230 TV－OUT 模块和PC。下位机监控设备采用图像数据无线远程传输的方案，由旋转云台、USB摄像头、供电电源、ARM11 S3C6410处理器、nRF2401 2.4 GHz无线收发模块组成。ARM11 S3C6410处理器控制云台和摄像头的工作状态，并利用H.264图像编码压缩功能，把压缩后的图像数据传送到上位机的nRF2401 2.4 GHz无线收发模块，再通过nRF2401 2.4 GHz无线接收模块把数据传送到F230 TVOUT模块，利用F230 TV－OUT模块的视频解码功能，把解压后的数据发送到PC机，再通过OpenCV软件的处理，就可以使视频图像在操控界面上显示。整体硬件架构如图4所示。

图4 硬件架构图

监控设备的微控制器选用三星S3C6410处理器，S3C6410处理器具有功率低、体积小的优点，它有Camera Interface接口，外接 Camera，支持 ITU－R BT.601/656 8 bit标准输入和Zoom In功能，最大图像像素达4 096×4 096。内置视频编解码器，支持MPEG－4 Simple Profile，H.264/AVC Baseline Profile，H.263 P3 和 VC－1Main Profile编解码功能，有USB OTG2.0接口，保证摄像头采集到的视频数据能高速传输，与nRF2401 2.4 GHz无线发射模块通过四线RS－232串口相接，实现压缩后的数据能通过发射模块达到上位机。

nRF2401 2.4 GHz发射模块工作于 2.4 ～2.5 GHz ISM频段，带有集成增强型8051内核、9路10 bit ADC、UART异步串口、SPI串口和PWM输出;芯片耗能低，收发可靠，其外形尺寸小。通过加载3 dBi增益天线使它达到300 m内的1 Mbit/s传输速率，保证了经过H.264压缩后的数字图像可以实现稳定、高速传输。

F230 TV－OUT模块为飞思通科技公司开发的H.264视频解码模块，内部集成数字H.264编解码和ISE220 TV－OUT功能，可以支持同时显示4路发射监控摄像端监控画面。F230 TV－OUT模块有专用的RF模块接口，与nRF2401 2.4 GHz模块组合，可以构成一个视频数据无线移动接收终端，从而保证PC机能得到稳定、高质量的图像数据。

2.2 软件设计

人体信息匹配识别系统利用OpenCV来进行图像处理，可以实现包括对图像的聚类分块、对运动个体的标记等功能。OpenCV的部分执行程序代码如下:

3 实验结果及对比分析

先提供图3左边对象的行走姿态图像，然后在监控区域内让该对象进行行走测试，并在监控过程中让对象做出与姿态图像相似的动作，系统获取了此刻的匹配图像并在界面左下角进行显示，如图5所示。

图5 系统匹配结果(截图)

为了确定系统的匹配识别精确性与哪些因素有关以及是否有变化规律，分别从目标的行走姿态图像数量以及阈值T的设定入手计算匹配精度。笔者在有20人的监控区内让系统进行识别目标的实验，其中匹配精度是由目标被系统确认为匹配人体所需要的实验次数以及被系统列为匹配人体的个体数目决定。实验得到了如表1的数据结果。

表1 数据结果

从表1可以看出，所提供目标的图像数量越多，匹配的准确性就越大，阈值的设定在一定范围内越高，匹配的要求精度越高，准确性也就越大。把文献［4］的行为姿态识别算法与本文的算法进行对比验证，比较两种算法在行为姿态上与原目标的匹配精度，用VC++6.0把本文算法和文献［4］算法进行编程实现，实验在有Core i5－650 CPU(主频3.2 GHz)和4 Gbyte内存的计算机下进行，在有20人的监控区进行了实验，随着提供的人体行走姿态图像的增多，两个算法的匹配精度和完成匹配的时间的对比分析图如图6所示。从图中的曲线走向可以看出，该系统的匹配识别算法更具有实效性，而且随着行走姿态图像的增多，本文算法的匹配准确性更加明显。

图6 对比分析图

4 小结

针对利用监控录像来查找目标对象的行踪线索存在数据量大、容易疏漏以及发现不及时等问题，设计了人体信息匹配识别系统，通过目标人体轮廓信息和行为信息来对监控区运动个体进行匹配，找出相似人体，方便查找和确认，节省了人力和时间。实验表明，人体信息匹配识别系统对目标具有一定的识别性。人体信息匹配识别系统由于自身匹配原理的局限性，当遇到目标的行走姿态图像不足，以及以非行走的方式经过监控区，或者借助其他物体导致轮廓变化时，系统都无法对其进行匹配识别，还有待进一步完善其匹配原理，使系统能够在变化的条件下仍能发挥出匹配识别效果。

［1］张良，郑世宝，杨华.一种特征融合的带宽自适应Mean Shift跟踪算法［J］.电视技术，2012，36(5):118－121.

［2］GIRISHA R，MURALI S.Tracking humans using novel optical flow algorithm for surveillance videos［EB/OL］.［2012－10－20］.http://dl.acm.org/citation.cfm?id=1980429.

［3］KIM D W，KIM D J.A novel fitting algorithm using the ICP and the particle filters for robust 3D human body motion tracking［C］//Proc.the 1st ACM Workshop on Vision Networks for Behavior Analysis.［S.l.］:IEEE Press，2008:69－76.

［4］王传旭，刘云，厉万庆.基于时空特征点的非监督姿态建模和行为识别的算法研究［J］.电子学报，2011，39(8):1752－1756.

［5］PULLI K，BAKSHEEV A，KORNYAKOV K.Real time computer vision with OpenCV［J］.Queue－Processors，2012，10(4):1－17.

［6］孙涛，陈瑞平.视频监控系统中一种运动目标的检测方法［J］.电视技术，2012，36(7):127－129.

［7］YIN Hongpeng，YI C，YANG S X.Fast－moving target tracking based on mean shift and frame－difference methods［J］.Journal of Systems Engineering and Electronics，2011，22(4):587－592.

［8］KANUNGO T，MOUNT D M，NETANYAHU N S.A local search approximation algorithm for k－means clustering［C］//Proc.the Eighteenth Annual Symposium on Computational Geometry.［S.l.］:IEEE Press，2002:1－18.

［9］TEBOULLE M.A unified continuous optimization framework for centerbased clustering methods［J］.The Journal of Machine Learning Research，2007(8):65－102.

［10］RADOVANOVI M，NANOPOULOS A，IVANOVI M.Hubs in space:popular nearest neighbors in high－dimensional data［J］.The Journal of Machine Learning Research，2010(11):2487－2531.

［11］VERT R，VERT J P.Consistency and convergence rates of one－class SVMs and related algorithm［J］.The Journal of Machine Learning Research，2006，7(12):817－854.