基于光流法的视频分析技术在地铁客流监测中的应用

陈 亮

（北京全路通信信号研究设计院有限公司,北京 100073）

1概述

目前，各城市地铁均设有视频监控系统（CCTV），能够监视站厅公共区、站台候车区、站内扶梯、闸机等重要区域。但随着车站建筑规模的不断扩大，监视区域需求增加，CCTV建设规模也越来越大，站内图像达到几十路甚至上百路，给车站值班员带来繁重的监控工作量，很难及时发现前端异常状况，大大降低了视频监控系统的时效性和可用性。

为了能实时分析、跟踪、判别监控对象，使系统在关键事件发生时能智能提示并有效上报，为轨道交通运营管理部门及时决策、正确行动提供支持，在地铁客流监测领域采用视频分析技术十分迫切和重要，从而提高运营人员效率，提升运营服务水平，最大程度发挥CCTV的实时性和智能性。

2 视频分析技术应用现状

结合各城市轨道交通运营现状、车站客流及物理环境等实际情况，目前比较迫切需要实现的视频分析技术应用包含5种：客流监测与统计、人员逆向检测、遗留物品/非法滞留检测、扶梯运行监测、翻越扶梯监测。

2.1 客流监测与统计

客流监测是指通过计算背景画面中客流密度，结合相应的交通参数（如速度、时间等），自动判断指定区域内拥挤状况，并及时触发报警。

运用客流监测技术，运营人员可实时掌握客流集散区人流密度。当密度超限时，能够及时触发相应区域监控画面，运营部门可根据实际情况立即采取应急措施，疏散客流，保障城市轨道交通站点客流高效安全集散，降低事故的发生率和严重性，提高站点营运效率。

客流统计是指统计穿越指定区域目标（人）的数量，为各职能部门提供直观的实时客流状态，为换乘车站（站区）及时采取与客流状态对应的客流疏导措施提供判定标准。

2.2 人员逆向检测

人员逆向检测是指当系统检测到目标在单向通行区域，反方向行走时自动产生报警。由于在单向通行区域人员流动相对有序，突然有目标逆向行走容易引起摩擦或碰撞，特别是在客流高峰情况下有多个目标逆向通行时，影响其他乘客正常出行，因此需要车站值班员重点监控，有报警发生时，通知相关运营人员及时出面制止，保证正常的出行秩序。

2.3 滞留检测

滞留检测是指当一个物体在敏感区域停留时间过长或超过预定时间长度，系统就会产生报警。在人流频繁的地区，经常会出现乘客遗忘包裹行李，或恶意丢弃包裹、摆摊、乞讨等行为。对遗忘的行李和包裹及时发现，能够给乘客带来尽可能小的损失，也能及时发现非法滞留或恶意丢弃行为并给予阻止。

2.4 扶梯运行监测

扶梯运行监测是指当自动扶梯出现运行故障（如急停、逆行）时系统能够自动告警。扶梯是轨道交通车站客流相对集中的区域之一，在换乘车站或交通枢纽站点，这一现象更为突出（如西直门站、北京站），上下车客流较多，自动扶梯经常处于满载状态，一旦扶梯故障，就会引发拥挤、踩踏事故，影响乘客出行安全。因此，及时发现设备运行异常状况，能够协助工作人员采取有效疏散措施，尽可能避免恶性事件发生。

2.5 翻越扶梯监测

翻越扶梯监测指当系统监测到有目标非法跨越扶梯正常运行区域时，自动触发告警信息。提醒工作人员及时出面制止，以免发生危险。

3 视频分析技术研究现状

目前，视频分析技术在国内外相关的研究较多，主要的技术方法包括：根据图像灰度变化进行监测的帧间差分法和背景差分法、根据图像纹理变化的局部特征法、根据人肤色进行监测方法及基于运动物体监测的光流法等。

3.1 帧间差分法

帧间差分法是在对图像序列间隔较短的图像进行差分运算。由于间隔时间短，可认为光照变化的影响较小，因此，帧间差分法对光照变化有着较强的鲁棒性，并且具有简单、运算量小的特点，易于工程实现。

3.2 背景差分法

背景差分法是指用当前的图像帧减去背景图像，获取的差分图像直接就是前景图像。与帧间差分法相比，背景差分法可以精确地提取前景物的轮廓，对于背景不变的环境尤为适用。

3.3 局部特征法

局部特征法通过纹理特征和几何形状监测人体的各个部位，从而监测出行人的方法。有以下几种特征分类：1）SIFT特征；2）HOG特征；3）LBP特征；4）HARR特征。

3.4 肤色监测方法

肤色监测方法是在图像中选取对应于人体皮肤像素的过程，现已应用于人脸识别与监测、表情识别、手势识别及人体监测等方面。肤色监测方法分成两种基本类型：基于统计的方法和基于物理的方法。

3.5 光流法

生物学家Gibson在1950年提出图像的变化是由带有灰度的像素点运动引起的，以此提出光流的概念。光流可以看成是物体对应的像素在图像平面运动时的瞬时速度场。

基于光流法的视频分析，根据一定的约束条件估算出图像中像素点速度，由于图像上的点与物体表面的点一一对应，因此可以较为准确地表征运动物体的实际运动。

3.6 方法比较

通过对视频分析方法进行分析和对比，现有方法都各有优缺点。

1）帧间差分法的优点是光照鲁棒性较好，能够适应各种动态环境，缺点是提取的图像通常有空洞和边缘缺省，无法提取出目标的完整区域。另外，当运动目标速度缓慢时，则可能监测不到，而运动目标速度过快时，将把部分背景也监测为运动目标。

2）背景差分法对于动态场景的变化（如光照和外来干扰等）特别敏感，且分割精度易受噪声影响。

3）局部特征法从样本中学习到行人很多固有特性，能解决人体形状和外貌各式各样的难点及人体的不同运动方式。但实际视频分析监测过程中，对于解决客流分析不具优势。

4）由于肤色过滤迅速，且不受拍摄、人体姿势的影响，肤色监测法已成为客流监测的基本监测方法之一。但由于自然界中有大量物质与人体肤色相近，且人类肤色本身存在很大差异，该方法会产生一些误检。

5）光流法是机器视觉中运动图像分析的重要方法，可以比较精确地反应对象的平移运动。在地铁客流监测应用中，通过对图像帧的光流进行计算，可获知乘客客流的运动信息，继而根据运动信息实现对客流情况进行运动分割和跟踪、异常监测告警等。但光流法计算量较大，应用于实时监测系统中有一定的软硬件配置要求；由于对于特定应用场景（如地铁客流）监测效果较好，因此应用比较广泛。

4 光流法在地铁客流监测中的应用研究

4.1 光流法简介

光流的计算是利用图像序列中像素强度数据的时域变化和相关性确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。

计算出的光流场与实际运动场有着密切的映射关系，但光流场并不总是完全对应。

1）遮挡问题。当物体运动且在摄像头平面的投影存在遮挡时，由于图像没有物体信息，无法在计算的光流信息中反映实际物体运行的状态。

2）均匀球体的圆周运动。在光源固定的情况下，具有均匀反射特性的圆球在相机前旋转，虽然球面各处有亮度变化，但这个变化不会随着球的转动而转动，图像的灰度不会发生变化。因此，其运动场不为0，但其光流为0。

3）光照的变化。当外部光照条件发生变化时，即使物体不动，也能根据前两帧的图像观察到光流的存在。

尽管有上述问题的存在，光流法依然是最精确反应物体运动状态的方法之一，并广泛应用于各种运动客流估算的场合。

4.2 光流计算方法

光流的计算要求解光流，需要在光流方程的基础上引入新的假设，常见方法有Horn-Schunck方法、Lucas-Kanade（L-K）方法等。

Horn-Schunck方法的基本假设是光流的变化是平滑连续的，但实际上在运动物体的边界处这一假设并不成立。因此，Horn-Schunck方法求解的光流场的精度往往不够理想。

Lucas和Kanade提出了L-K光流计算算法，其假设如下：在一个小的空间邻域Ω上运动矢量保持恒定，即在该区域内所有的像素具有相同的光流速度；光照恒定，在相邻帧比较期间，物体表面像素的灰度值在监测期间保持恒定不变。

根据上述假设，在空间邻域Ω中可建立如下方程：

可获得一个超定方程组：

或表示为：

L-K方法也是一种密集光流计算，一般认为L-K方法在计算光流的正确性及运算方面均高于Horn-Schunck方法。

4.3 实验结果

利用开放源代码的计算机视觉类库（OpenCV），开发工具OpenCV由英特尔公司位于俄罗斯的研究实验室所开发，是一套由一些C函数和C++类开发所组成的库，用来实现一些常用的图像处理及计算机视觉算法），在OpenCV中，提供L-K光流计算函数，可以简单地调用库函数即可实现对光流的计算。

图1为光流法计算和显示的效果图。（a）、（b）是视频流中的连续两帧图像，（c）是L-K方法求出光流场后作出的光流场图。

4.4 光流法在客流监测的应用

城市轨道交通由于其运量大、速度快、准时准点，已逐渐发展成为城市的主导公共交通方式。但正是由于城市轨道交通对客流的巨大吸引力，往往导致站点在高峰期客流压力过大，对地铁的运营安全、运营效率和服务水平造成重要影响。因此，需要对客流状态进行监测，其中站厅走廊通行服务水平的监测是其中的一项重要内容。

4.4.1 客流状态监测

城市轨道交通领域的客流监测研究人员（邵巍跃）提出了行人通道通行服务水平分级方法，如表1所示。

表1 地铁站厅行人通道通行服务水平分级说明

通过计算前后帧图像间的光流，可十分方便地获取当前运动个体的密度和速度，进而对通行的服务水平进行评级。

4.4.2 异常运动监测

选取南京地铁某站的楼梯作为监测场景，图2（a）为该楼梯的场景图，为了防止阴影引起的光流对监测造成干扰，通过掩码对原图的无关部分进行掩码屏蔽。

图3为视频流经掩码后计算的光流图，其中（a）、（c）、（e）是不同客流条件下的场景图 ；（b）、（d）、（f）为在该时刻计算的光流场。

从图3可以看出，客流密度与光流场占有效背景的面积比值一致，因此基本可以根据光流场的密度推断客流密度。当大于0的光流场密度占整个扶梯或楼梯有效面积80％以上时，认为有大客流发生。

需要注意的是，当客流特别大发生拥堵时，行人行进困难，此时楼梯上光流场的面积有时也较小，和客流较小时一样。为有效区分这两种情况，将异常客流和较小客流的光流场做对比分析，发现有如下特征：客流异常时光流面积忽大忽小，光流位置的变换与光流的方向不一致；客流较小时的光流面积随着位置的变换逐渐变换，光流位置的变换与光流的方向一致。根据上述特征，可对异常客流进行监测，并及时报警提醒工作人员注意。

5 结论

光流包含物体运动的众多信息，如根据对光流场的像素进行聚集，获取运动物体的轮廓信息；在提取物体运动的同时，观察物体内部的相对运动和局部形变等；根据运动信息的变化情况观察异常运动。通过对比分析可知，光流法在地铁客流监测领域的应用中，对客流状态的监测和判断有其独到的优势。

此外，光流法虽能在不知场景任何信息的条件下监测出独立运动的行人，但是大多数的光流计算方法需要多次迭代运算，计算复杂、耗时，难以满足实时监测的要求。如何进一步提高其运算速度、实时性及其抗噪性是目前的研究热点，也是需要后续跟进的重点。

[1] Park S C，Park MK，Kang M G.Super-resolution image reconstruction：A technical overview[J].IEEE Signal Processing Magazine，2003，20（3）：21-36.

[2]徐庆贺.监控视频流分析的关键技术研究及应用[D].上海：上海交通大学，2008.

[3] Lipton A J，Fujiyoshi H，Patil R S.Moving target classification and tracking from real-time video[C].Proceedings of Applications of Computer Vision，1998.

[4] Lucas B D，Kanade T.An iterative image registration technique with an application to stereo vision[C].Proc.DARPA IU Workshop，1981.

[5] Lucas B D.Generalized Image Matching by the Method of Differences[D].PhD Dissertation：Carnegie-Mellon University，1984.

[6] Lucas B D，Kanade T.An investigation of smoothness constraints for the estimation of displacement vector fields from image sequences[C].DARPA Image Understanding Workshop，1981.

[7] Intel Corporation.Open Source Computer Vision Library Reference Manual [S].2001.

[8]邵巍跃.城市轨道交通站内AFC设备通行能力研究及应用[D].南京：东南大学，2012.