基于立体视觉的客流监控预警系统设计与实现*

冯化纲

（公安部第三研究所 上海 201204）

1 引言

近年来，我国人员密集场所发生了一系列的重大安全事故，造成了巨大经济损失和人员伤亡［1～2］。国内外目前在客流聚集风险监测技术应用方面只是单独考虑影响客流风险的某个侧面，主要以肉眼观察和现场疏导这两个方面为主［3］，实现对客流聚集的自动化监测和实时预警势在必行。

视觉是人类和其他生物认知和感知世界的重要途径。现代科学表明，人类所感知的客观世界的信息，80%以上是通过视觉获得。人类视觉系统主要由双眼和脑部神经组成。双眼获得周围环境的信息通过神经组织传递给大脑神经组织，大脑神经组织根据先验知识或者经验，对得到的信息进行分析、计算以及推理，因此可以理解和识别周围的空间环境。图像包含非常丰富的信息，基于图像的客流检测技术已成为当今客流统计研究中一个十分活跃的新领域，该技术分为两大类：一是基于单目视觉［4～5］，二是基于立体视觉［6～10］。单目视觉易受场景中光线变化、阴影等因素的干扰；而立体视觉则可以较好地解决单目视觉存在的问题。

双目立体视觉（Binocular Stereo Vision）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉在很多领域均具有应用价值，目前广泛应用于机器人视觉、自主导航、客流监控、涉危涉爆等场合。本文将双目立体视觉与客流监控相结合，根据现有的客流监控系统存在的问题进行了改进，设计并实现了基于双目立体视觉技术的客流监控预警系统。

2 双目立体视觉原理

自然界的物体都具有三维信息。三维空间的物体可以很方便地判断每个物体之间的距离等相互关系。但是在我们获得的图像中，物体的三维信息被压缩成了二维，这就造成了物体深度信息的丢失。三维重建就是将二维空间的图像还原到三维空间、建立起真实场景的过程。而其中最关键的就是还原物体的深度信息。

人眼之所可以在看到物体的同时还可以判断物体离自己的距离，是因为人的两只眼睛从不同的角度看同一个物体，得到两幅图像，大脑根据两幅图像之间的差异进行处理就可得到物体离自己的距离。双目立体视觉就是用两台摄像机模仿人眼获得左右视图，不同角度下同一个物体在左右视图中的位置会有差异，叫做视差。根据视差利用三角关系就可以进行得到物体离摄像机的距离，这个距离就是物体的深度信息［11～13］。双目立体视觉的原理图如图所示，其中图1为原理图，图2为简单示意图。其中，Ol、Or分别表示同一高度平行放置的两个摄像机的光心，摄像机的光心之间的距离叫做基线距离，记为T。fl、fr表示左右两个摄像机的焦距，在实验条件下fl=fr=f。P表示世界坐标系的中一个点，落在像平面上的点分别是Pl（xl，yl）和Pr（xr，yr），两个像点的横坐标的差xl-xr表示左右视图的视差，记为d。利用原理中的三角关系，可得到空间中点P到摄像机之间的距离Z，如式（1）所示：

图1 双目立体视觉原理图

图2 双目立体视觉简单示意图

上述参量中，f、T都可以通过摄像机的标定或者测量直接得到，但是视差d需要通过立体匹配计算得到。

3 系统总体设计

本项目采用3D图像识别技术，它是一种比较新的尖端技术，3D图像传感器可以识别三个维度的立体数据，通过3D传感器可以对传感器下方的人体轮廓进行立体扫描，首先检测到人的三维立体轮廓数据，类似驼峰形状的立体发射面，再通过对3D数据的分析计算，由此可以判断出通过的人数。系统根据历史客流数据和当前客流信息，并结合其它数据，对不同时段和不同区域客流数据进行汇总、挖掘、对比与分析，实现实时预警功能。

人员密集场所由于人员超出正常的客流量，而造成的各类事故越来越多。单元（以下指各类人员密集场所）、区域（以下指某一大区域人员密集场所）内进行准确的客流统计显得很重要。本解决方案采取客流统计及大数据挖掘技术输出单元、区域人数的超员报警、区域内特殊单元的预警提示功能。给各级别安全智能部门提供实时的预警提示功能，增加安全预警的手段。

单元/区域内内安装一个或多个监控终端，每个终端用于监控单元/区域内的人员进出情况，并实时将人员通行情况存入数据库中，后台系统通过调用应用数据接口估算各个单元/区域的人数汇总，并通过图表（柱状图、折线图等）显示当天实时客流量监控，或通过图表（柱状图、折线图等）显示历史客流量统计。

4 系统硬件设计

客流统计算法运行在客流监控终端产品中的高性能数字信号处理器（DSP）［14～16］上，进行实时图像分析。嵌入式客流分析终端中的DSP处理器，实时采集视频图像，并检测运动目标的特征点（Feature Points），然后通过头肩信息、圆心距等特征对特征点进行空域上的聚类（Cluster）和时域上的匹配，从而检测并识别行人目标。通过对行人目标的实时双向跟踪，可以实现准确的计数和方向的判定。这些分析功能在终端产品内部完成，不需要占用网络带宽，不影响网络性能。

客流监控终端产品方案框图见图3，左边两个摄像头模组组成双目摄像头，摄像头数据经过视频解码后送到高端DSP处理器，高端DSP处理器同时外接DDRFLASH和RTC等，终端产品对外接口有以太网接口、WIFI接口和电源接口。

图3 终端产品方案框图

5 系统软件设计

客流监控预警后台软件对客流监控终端的数据进行全面的分析。可根据历史客流数据和当前客流信息，并结合其他数据，对不同时段和不同区域客流数据进行汇总、挖掘、对比与分析，实现实时预警功能。同时能够输出多种类型图表，为管理人员提高管理效率和进行管理决策提供诸多有价值的信息。

客流监控预警后台软件实现如下基本功能，其功能结构框图如图4所示。

图4 预警后台软件基本功能

1）实时客流量实时监控

后台管理系统可通过图表（柱状图、折线图等）显示当天实时客流量监控。

2）客流量实时预警

当出现超员情况时，后台管理系统可通过颜色变化显示预警等级，并显示当前实时客流量。当严重超员和危险超员时还可以通过声音预警。

3）历史客流量查看

后台管理系统可通过图表（柱状图、折线图等）显示历史客流量统计。

4）系统设置

主要包括预警信息设置、单元/区域管理、终端设备管理、用户管理等功能。

客流监控预警后台总体架构如图5所示，主要包括终端设备层、数据中心、接口层、应用层软件几部分。客流监控预警后台软件采用B/S架构。

图5 预警后台软件总体架构图

终端设备层：由多个单元/区域组成，每个单元/区域内安装一个或多个监控终端，用于该进出口实时客流量统计。

数据中心：由应用服务器、数据库服务器、防火墙、交换机等硬件设备组成。服务器上有数据库、发布的接口应用程序等。

接口层：用于接收终端设备上传的实时客流量统计，并进行客流预警计算。且为客流监控预警后台软件提供实时/历史客流量数据。

应用层：为面向用户的窗口，为用户提供客流量实时监控、客流量实时预警、历史客流量查询、系统管理等几个功能。

6 实验结果与分析

在该实验中，客流监控终端产品安装在人员密集场所出入口的正上方，距离地面2.5m高的位置，垂直于地面，自上而下对进出人员的头肩轮廓成像，实现客流统计。系统客流统计实现过程如图6所示。

图6 客流统计实现过程

所有出入口的客流统计数据都传输到后台软件，这样系统就可以实现对人员密集场所客流密度的实时监控和预警。实验中使用的镜头焦距为6mm，所拍摄图像的分辨率为720×576。终端产品中的DSP同时使用A、B通道采集两路视频，DSP嵌入式程序对两路视频解码芯片的配置是完全相同的。因此，两路视频图像基本是同步采集的。

一般的人体高度处于1.2m～2m之间，而终端产品双目摄像机距离地面的高度为2.5m，所以人体目标的深度值处于0.5m～1.3m之间。本系统结合运动目标的深度信息，判断其深度值是否在设定的范围内，从而能够有效地判断是否有人体通过。

在整个测试过程中，本文统计的是在15min内经过检测区域的人数，本次实验从5个不同的时刻开始，从而统计了5个15min内经过的人数，从而计算客流统计的准确率，其结果分析如表1所示。

表1 实验结果数据

通过上表可以看出，利用本文设计的方法进行客流统计的平均准确率可以达到96.5%。

7 结语

主要探讨了基于立体视觉技术的客流监控预警系统的设计方案和实现方法。该系统采用3D图像识别技术，用于实时客流统计和监控预警。研究表明：该方案有效排除了一些非人员因素的干扰，解决了并排问题，大大提高了客流统计和监控预警的准确度；实现了人员高度过滤技术，可以自定义设置需要过滤计数的人员高度；采用非接触式统计，装置安装隐蔽性好，不影响进出人员的感受。