基于视觉识别的自动扶梯多维感知系统设计*

饶美婉 黎子然

(广州地铁设计研究院股份有限公司， 510010， 广州∥第一作者， 正高级工程师)

自动扶梯是城市轨道交通车站内直接面向乘客的客运设备，确保自动扶梯的安全对乘客生命安全及车站运营秩序非常重要。据调研，近年来城市轨道交通车站内自动扶梯各种事故频发，自动扶梯设备故障、乘客不规范乘搭是引起自动扶梯客伤的主要原因，其中乘客不规范乘搭的占比达85%。

随着视觉识别技术的快速发展，本文提出了基于视觉识别的自动扶梯多维感知系统。该系统通过监控手段与自动扶梯的运行模式联动，可约束乘客的不规范乘搭行为，避免扶梯自身故障导致乘客受伤的情况，进而可降低客伤事件的发生率，提升自动扶梯的通行能力和服务水平。

1 自动扶梯设置多维感知系统的必要性

自动扶梯在城市轨道交通领域内的使用量逐年增长。以广州市为例，广州地铁在建的10条新线所安装的自动扶梯数量将达到3 000台，加上目前已运营线路中的约2 000台自动扶梯，2023年广州地铁线网的自动扶梯总数将接近5 000台。这对城市轨道交通运营单位的管理能力提出了新的要求，靠传统的人为监控方式来管理自动扶梯将变得非常困难。同时，随着车站埋深加大，扶梯提升高度也会增高，自动扶梯提升高度的增大也会大大增加自动扶梯发生安全事故的概率。

造成自动扶梯安全事故的主要原因包括两类[1]：一是乘搭人员的不规范乘搭行为，如未站好扶稳、携带大行李乘搭、头和手伸出扶手带的外部区域、在扶手带上攀爬玩耍等；二是自动扶梯自身故障，包括楼层板缺失、梯级撞梳齿、梯级塌陷、运动部件缝隙过大等。根据2017—2019年广州地铁线网的统计数据，自动扶梯上未站稳扶好跌倒、携带大行李和乘客玩耍等原因导致的客伤约占全线网客伤总数的58%。这些客伤的共同点为均属于第一类的乘客不规范乘搭行为，其根本原因是乘搭人员没有遵守自动扶梯的乘搭规范。

目前，针对自动扶梯部件故障导致的事故，一般通过设置自动扶梯安全开关[2]来避免事故的进一步恶化，但这类措施均属于事后补救措施。如何在事前能做出预警，对自动扶梯部件健康运行状态进行监测[3]，目前也有技术手段可以实现，本文不再展开论述。

针对乘客不规范乘搭自动扶梯导致的客伤事件，现阶段采用的应对措施是在自动扶梯上方安装摄像头，对梯路的运行情况进行监视，但摄像头监视的作用更多体现在发生事故后的视频取证。近年来关于乘客乘搭自动扶梯不规范行为的监测，国内外的专家和管理人员也在开展相关研究，如通过图像判断是否有小孩单独进入扶梯的研究[4]或研究视觉识别聚焦在客流统计等方面，其研究内容仍比较单一。

本文提出基于视觉识别的自动扶梯多维感知系统方案，重点论述采用视觉识别系统来监测自动扶梯上乘客的各类不规范乘搭行为，同时根据监测结果智能联动自动扶梯的运行模式，以减少客伤的发生。

2 基于视觉识别的自动扶梯多维感知系统设计方案

2.1 系统架构

基于视觉识别的自动扶梯多维感知系统包括2大部分：视觉识别子系统和自动扶梯智能联动运行子系统。

如图1所示，视觉识别子系统具有4层架构：①基础设施层，为基础硬件设备，包括摄像头和服务器，摄像头的检测范围包括上、下部楼层板及倾斜段梯路；②数据采集层，采集原始数据，并对数据进行预处理；③算法引擎层，包括人头检测模型、人体骨骼点检测模型、物体检测模型、人体跟踪模型、扶梯及楼层板分割模型和骨骼检测模型；④应用层，接收算法引擎层的输出结果。

自动扶梯智能运行子系统包括控制系统、接口装置、语音播报装置等。根据图1中应用层输出的结果，自动扶梯智能运行系统可实现扶梯的智能联动，改变自动扶梯的运行模式，并可针对不同的危险状况给出相应的响应模式。

图1 视觉识别子系统的软件结构Fig.1 Software architecture of visual recognition subsystem

2.2 视觉识别算法

视觉识别算法分为3部分，分别为人群密度提取算法、人体动作异常检测算法、行人检测与跟踪算法。

2.2.1 人群密度提取算法

该算法的整体框架如图2所示，运用纹理分析方法描述人群的密度特征，采用基于小波变换和灰度共生矩阵的特征提取方法，运用支持向量机进行人群密度分类。

图2 人群密度提取算法整体框架示意图

2.2.2 人体动作异常检测算法

当人员进入检测区域时，摄像头获得目标后对此目标进行位置定位，并对目标姿态进行一定的计算。根据计算结果来判定目标是否有不规范搭乘动作，当判断出有人员不规范搭乘动作时，报警器发出报警。其算法流程图如图3所示。

2.2.3 行人检测与跟踪算法

行人检测算法分为3部分：①获取运动目标区域；②建立行人检测模板；③行人检测计数。由于监控设备安装在自动扶梯的上方，算法将人的头部和肩部作为识别特征。该算法的检测计数流程如图4所示，工作原理如下：首先获取头部与肩部组合特征明显的行人图像，构成行人图像样本集；然后对图像进行灰度化及二值化，构成头部与肩部响应较高的概率模板；然后用行人检测模板对检测行人区域进行匹配计算，若匹配度大于阈值，则判断为行人。阈值通过训练视频序列学习得到，同时更新模板库。

图3 行人不规范搭乘行为算法流程图

图4 检测计数流程图Fig.4 Flowchart of detection and counting

行人目标跟踪算法以目标检测为基础，可用于更深层次的运动分析。利用检测得到的目标信息提取对应特征后，采用目标匹配技术来实现目标跟踪。通过目标跟踪结果可以预测下一时刻目标的具体位置。结合预测信息后，新的目标检测结果更为准确。

2.3 自动扶梯智能联动运行子系统

自动扶梯智能运行子系统根据视频控制装置得到的不同视觉分析结果，制定不同的危险情况，进而采取不同的响应模式，以改变扶梯的运行状态。

2.3.1 模式一(自动扶梯语音播报提醒)

当视频控制系统监测到有乘客在自动扶梯上、下梯头处滞留，或乘客的头/手伸出扶手带时，自动扶梯智能运行系统将触发自动扶梯语音播报装置，向乘客播报警示提醒；当监测到仅有物品滞留在自动扶梯上、下梯头时，系统也将自动触发语音播报装置，播报警示提醒，同时将自动扶梯的运行速度降至0.13 m/s。

2.3.2 模式二(自动扶梯智能调整速度)

自动扶梯智能运行系统将结合视频控制系统监测到的自动扶梯人流密度情况对自动扶梯的运行速度进行调整。当自动扶梯上的人流密度为中高密度或高密度时，该系统将自动扶梯的运行速度设为0.65 m/s；当人流密度为低密度或中低密度时，该系统将自动扶梯的运行速度设为0.50 m/s；当监测到自动扶梯上无乘客且无乘客进入自动扶梯时，自动扶梯将采用节能速度运行。

2.3.3 模式三(自动扶梯停止运行)

乘客的头/手伸出扶手带外且靠近危险位置(如墙壁、楼板夹角或有固定障碍物时)、有乘客爬上扶手带、乘客在自动扶梯上跌倒、自动扶梯上下水平盖板意外打开、自动扶梯梯级意外脱离运行轨迹等情况均为高度危险事件。当视频控制系统监测到这些事件发生时，自动扶梯智能运行系统将发出停梯指令，以避免事故进一步扩大。

3 试点应用情况

基于视觉识别的自动扶梯多维感知系统在广州地铁21号线苏元站的2组4台自动扶梯进行了应用试点。如图5～11所示，其包含以下功能的测试：人流统计、扶梯上有人/无人检测、楼层板上人/物滞留、携带大件物品乘梯、乘客头/手伸出扶手带、乘客摔倒、乘客逆行等。经过8个多月的运营验证，上述功能的监测准确率均超过90%。同时，自动扶梯多维感知系统已通过国家电梯质量监督检验中心的第三方认证。

图5 客流统计及有人/无人检测Fig.5 Passenger flow counting and present/absent detection

图6 楼层板物体滞留检测Fig.6 Detection of item-retention on floor

图7 大件物品(婴儿车)检测Fig.7 Large object (strollers) detection

图8 楼层板人流拥堵检测Fig.8 Detection of pedestrian congestion on floor

图9 乘客头/手伸出扶手带检测Fig.9 Detection of passenger′s head/hand extending out of handrail

图10 乘客摔倒检测Fig.10 Detection of passenger falling

图11 乘客逆行检测Fig.11 Detection of passenger reverse-riding

4 结语

本文提出的基于视觉识别的自动扶梯多维感知系统实现了乘客乘搭自动扶梯行为的在线实时监测及自动扶梯部件运行情况的在线实时监控，并与自动扶梯控制子系统联动，采取预防、提醒、警报、变速、停梯等措施，以提升自动扶梯的安全防护能力。

城市轨道交通车站客流量大、人流密度高，对视觉识别的准确度要求较高。此外，对自动扶梯部件(梯级、盖板等)的状态检测亦是自动扶梯运行管理的难点。随着智能化技术的发展，软件的机器学习能力将进一步提升，可利用检测得到的目标信息，不断更新学习的模板库，进一步优化判断条件，以提高自动扶梯多维感知系统判断乘客不规范乘搭行为的准确度。