电梯轿厢内乘客异常行为检测探究

江苏省特种设备安全监督检验研究院 南京 210036

0 引言

电梯轿厢内部作为暴力和恐慌事件的多发地，电梯内部多安装摄像头监控轿厢内的画面，但工作人员需要时刻紧盯与摄像头相连接的显示器画面，才能保证在暴力和恐慌事件发生的第一时间发出警报，这种方式由于使用人工监控，存在多种不足。电梯研究人员在电梯系统中使用乘客异常行为检测系统，自动监控电梯轿厢内是否发生暴力或恐慌事件，该系统判定乘客行为异常后会立即发出警报，提醒工作人员赶到电梯处制止暴力或恐慌事件的发生。

1 研究背景

电梯轿厢在一段时间内都是暴力或恐慌事件的多发之地，很多安保措施较差的地区电梯经常发生抢劫、殴打等暴力事件，对周围居民的生活带来严重困扰。电梯轿厢内部的空间比较小，如果在电梯轿厢内部发生暴力事件，受害人很难反抗，电梯乘客的生命安全受到威胁，因而电梯轿厢内部才会设置异常行为检测系统，电梯轿厢内乘客异常行为检测系统可以检测出暴力或恐慌事件[1]。

诸如此类的事件还有很多，如电梯轿厢内发生冲突后厮打、年纪较大的老人乘坐电梯时突发疾病、又例如多人乘坐电梯时突发故障，电梯紧急坠落，乘客感到恐慌而电梯系统对其没有做到及时预警，导致反应与抢救时间长导致电梯乘客身心出现问题。电梯轿厢内安装乘客异常行为检测系统是保证电梯内部乘客身心安全的基础，当乘客人身安全受到威胁时，该系统会立即对工作人员发出警报，工作人员会立即通知安保人员赶往现场，有效防止电梯乘客被不法分子侵害。除此之外，在电梯突发安全事故时其乘客异常行为检测系统还能对电梯异常运行发出预警，有利于电梯维修人员在第一时间抢救电梯轿厢内部的被困乘客。

5G时代的到来使电梯5G物联网系统的实现变成了可能，电梯轿厢内乘客异常行为检测在使用物联网系统检测轿厢内部单人、双人以及多人的行为异常之外还可以应用5G技术，提高该检测系统反馈的效率，有利于提高电梯轿厢内乘客的安全保护，防止乘客乘坐电梯时遭遇暴力或者恐慌事件。

2 国内外研究现状

2.1 国内研究现状

国内电梯轿厢内乘客异常行为检测系统当前主要使用帧差法、减背景法以及光流法三种，除使用视频录制设备收集电梯轿厢内部的图像之外还需要与物联网系统相互连接，电梯内部的监控设备、视频录制设备等都属于物联网系统中的传感器，乘客异常行为检测系统通过物联网的传感器收集电梯轿厢内部的图像，然后再对电梯轿厢内部的图像进行分析，最后根据分析结果判断乘客行为是否存在异常。

帧差法是通过对相邻两帧的画面进行对比，然后对相邻两帧的图像做差分，得到帧差法的差分图像，再对差分图像进行二值化处理，最后运用形态学的处理方法使其与连通域相连接，即可判断该图像是否存在乘客行为异常情况，如果通过帧差法确定乘客行为出现异常应该立即发出警报，提醒工作人员进行处理。减背景法需要先对电梯轿厢内部的背景进行建模，然后根据差分图像分析电梯轿厢内部乘客行为是否存在异常，最后再将异常行为检测系统与报警系统相互连接。光流法则是根据图像上的像素点的变化判断乘客行为是否异常，电梯轿厢内部乘客运动时，其像素点在时间和空间上都会发生对应变化，然后计算光流法灰度图像上的像素点的瞬时速度变化信息，即可判断出乘客行为是否异常。如果电梯轿厢内乘客出现暴力或恐慌行为，其灰度图像上的瞬时速度变化会非常快，乘客异常行为检测系统可以直接捕捉到这一信息，并且对电梯监控人员发出警报，保证电梯工作人员第一时间处理电梯轿厢内发生的暴力或恐慌事件[2]。

2.2 国外研究现状

国外对电梯轿厢内乘客异常行为检测系统中智能监控技术和行为识别技术研究较多，智能监控技术可以使电梯系统更加智能化和自动化，当突发暴力或恐慌事件之后电梯系统可以根据乘客异常行为检测结果发出不同级别的警报。智能监控技术可以将乘客正常行为和异常行为区分开，有效降低了该检测系统误判的几率，提高了该检测系统的工作质量和效率。美国与欧洲等国家与地区都有很多智能监控方面的研究项目，并将该技术应用到公共场所中监控人类行为是否异常，如地铁、火车站、机场等[3]。中东一些国家的智能监控技术同样非常发达，这些国家的智能监控系统甚至可以从行动路径和运动方向等方面分析出一个人的行为是否异常。

行为识别技术是智能监控的核心，只有先识别出图像中的人类行为，才能对其行为是否异常进行判断。该技术通过模拟人类的动作，然后判断图像中的运动特征是否符合人类运动轨迹，最后判断出该人类的动作是否符合正常人类的规范，根据人类动作轨迹的数据库可以对比判断哪些行为存在异常[4]。

3 异常行为检测样本选择

3.1 运动目标提取方法

运动目标的提取方法有帧差法、减背景法和光流法三种，其中减背景法和光流法的技术难度较高，本文对减背景法和光流法具体分析。

1）减背景法

减背景法的核心为建模，首先对相邻两帧的图像进行对比得到差分图像，然后再对其进行二值化处理，最后使用减背景法的建模分析电梯轿厢内乘客行为是否存在异常[5]。

减背景法中静态建模将图像中各像素点的均值作为背景的数据模型，可以得到

将式（1）代入光照对图像的影响可得

式中：Bn为减背景法图像中N帧图像的平均值，N为图像帧数，F为减背景法中图像，Fn为第N帧中减背景法中的图像。

式（2）中N值越大，其背景模型的值就越贴近真实，静态建模使用图像的像素平均值作为数据基础。该方法检测电梯轿厢内乘客行为是否异常的速度比较快、实时性比较高，有利于电梯工作人员快速对暴力或恐慌事件做好应对措施[6]。

减背景法中动态建模将图像的所有像素点都作为数据模型，但是每一帧的所有像素点模型可以构成一个像素组。如果像素点与像素组相互重合，则可以将该像素点看作成该图像中的背景。反之，则可以认为该像素点处于运动前置阶段，该像素点所在位置的乘客处于待运动状态，然后再对运动状态的乘客检测其行为是否存在异常[7]。

动态建模方法中利用单高斯模型将像素点的颜色分布表示为η（Xt，μt，Σt）得

当时间为t时其颜色值可以用It表示，可得

式中：t为时刻；Σt为当时间为t时刻高斯分布的平均值；Xt为当时间为t时像素点的颜色值[8]；α为学习率，当像素点与像素组不重合时α=0，当像素点与像素组不重合时α的值与像素组相同；μt+1为某一像素点的颜色值；Σt+1为某一像素点的协方差矩阵；若像素点有颜色，则μt、dt、It等值均为三维向量；当红绿蓝三个颜色的协方差相同时，可以将Σt的值看作σ2。

式中：σi为高斯函数的标准差，K一般取3～5。

2）光流法

使用光流法对电梯轿厢内乘客异常行为检测算法有两种，模板匹配法和状态空间法。模板匹配法先对电梯轿厢内部的图像进行建模，然后根据不同帧数下图像的变化情况就可以判断那些像素点是人物模型，最后即可根据像素点的变化情况判断乘客行为是否异常。模板匹配法将乘客异常行为检测分为三个阶段，第一个阶段需要建立电梯轿厢内的静态特征模板，第二阶段根据图像序列与静态特征模板之间的对比结果识别人类的行为，第三个阶段判断识别出来的行为是否异常，该方法计算比较简单，但是没有在计算中将行为动态特征考虑进去，所以检测的乘客异常行为结果容易出现误差。状态空间法则是将根据空间中乘客行为的像素点作为检测节点，再将检测节点分成动态乘客行为和静态电梯轿厢背景，即可检测出乘客异常行为。但是该方法如果检测节点较多容易出现故障，所以使用状态空间法作为光流法检测算法一般使用动态贝叶斯网络或隐马尔科夫模型[9]。

光流法通过检测电梯轿厢内的稠密光流和稀疏光流即可判断出物体的运动情况，一般光流法需要对灰度图像中像素点的分布情况进行分析，然后再计算出像素点的瞬时速度变化情况，即可判断出乘客行为是否异常[10]。

光流法中如果将图像中的像素点用（x，y）表示；该像素点在t时间的亮度用（x，y，t）表示；该像素点的光流在水平方向的速度分量可以用u（x，y）表示；该像素点在垂直方向的速度分量可以用v（x，y）表示。最后可以得到公式

如果将像素点经过的时间设为△t，则可以将该像素点的亮度用I（x+△x，y+△y，t+△t），可以得到泰勒展开公式

当该像素点经过的时间△t为最短时，可以得到

根据光流图各像素点的光流值可以计算出某一帧图像的动能，动能简化计算公式

急速加热和快速质谱气固相反应分析仪系统如图 1，样品在急速加热装置内实现快速升温反应过程，在反应的同时通过飞行时间质谱分析仪获得实时的气体产物组分与浓度数据，通过热电偶实时高速采集样品的升温数据，急速加热装置在电路系统控制下实现不同的升温速率和反应终温要求。

3.2 运动目标提取

在电梯轿厢内部设置物联网传感器摄像头，即可根据光线的不同采集到不同的图像信息，再根据电梯轿厢的背景图像完成建模提取出运动目标。运动目标提取图如图1所示。

图 1 运动目标提取图片

3.3 运动目标人数估计

运动目标人数估计过程在运动目标提取与乘客异常行为检测之间，本文采用像素统计方法估计运动目标人数，计算出前一帧像素个数与单人运动像素个数的比值并取整即可得到运用目标估计人数。运动目标人数估计结果如图2所示。

图 2 运动目标人数估计结果

根据图2所示，单人所占像素个数为15 000左右，而本图中前一帧画面中运动人数像素个数总数为28 000左右，所以可以判断该画面中运动人数估计为2人。

4 电梯轿厢内乘客异常行为检测

4.1 单人乘客异常行为检测

1) 单人摔倒检测

本文使用投影子窗检测方法对电梯轿厢内单人乘客异常行为进行检测，该检测方法与单人运动检测的方法相比较更加精准，避免了单人乘客异常行为检测系统误将静止不动的乘客判断为摔倒。

2) 单人异常行为检测

电梯轿厢内单人异常行为检测通过对乘客的轮廓投影线的长宽比进行计算，即可得到乘客是否摔倒在电梯内。

单人摔倒检测中投影子窗口的选取图像如图3所示。

图 3 单人异常行为检测投影子窗口的选取图

单人摔倒检测中乘客站立状态的投影图像如图4所示。

图 4 单人异常行为检测乘客站立状态投影图像

根据图4即可先计算出乘客站立状态的轮廓长宽比，当乘客摔倒时其轮廓的长宽比会有明显变化。乘客摔倒状态的投影如图5所示。

图 5 单人异常行为检测乘客摔倒状态投影图像

乘客摔倒之后其轮廓的长宽比由0～1之间变成2以上，根据投影子窗检测法可以判断乘客行为是否异常。

3) 检测结果与分析

该检测方法检测单人乘客异常行为的几率准确度在90%以上，检测速度可以达到27帧/s。当乘客摔倒过程中进行异常行为检测容易出现误差，静态背景的帧数提取会直接影响检测结果的准确度。

4.2 双人乘客异常行为检测

1) 暴力行为检测

电梯轿厢内双人乘客异常行为检测使用的是光流法，该双人异常行为检测主要检测电梯内部是否发生暴力行为，所以可以对其角点的光流值和动能进行计算，即可得到双人乘客行为异常检测结果。

2) 双人暴力行为检测

双人暴力行为检测可以使用隐马尔可夫模型提取电梯轿厢内乘客的三维特征，并根据隐马尔可夫模型计算出双人乘客异常行为的似然概率。本文在电梯轿厢内双人乘客异常行为检测中使用的是角点动能模型法，该方法适合在检测双人乘客异常行为。双人暴力行为检测流程如图6所示。

图 6 双人异常行为检测流程图

双人暴力行为检测需要根据灰度图像中像素点的运动情况判断出乘客行为的瞬时速度变化情况，最后根据光流法中动能简化计算公式即可计算出该灰度图像中动能变化情况，根据动能函数可以得到图像如图7所示。当动能函数变化较大时，可以判断电梯轿厢内发生双人暴力事件。

图 7 动能函数变化情况

3) 检测结果与分析

双人暴力行为检测准确率可以达到90%，检测速度可以达到25帧/s。如果人数过多会导致光流法的行为异常检测结果存在误差，乘客异常行为检测方法在人数上具有局限性。

4.3 电梯轿厢内多人乘客异常行为检测

1)密集多人异常行为检测

当电梯轿厢内乘客数量比较多时，为了防止出现恐慌事件，需要对其进行多人乘客异常行为检测。多人恐慌行为检测流程如图8所示。

图 8 多人恐慌行为检测流程图

2)多人恐慌行为检测

电梯轿厢内多人恐慌行为检测可以使用光流法计算出多人乘客二值图像中的动能变化情况，再将其行为特征分为时间和空间两个维度，最后建立多人恐慌行为模型，即可判断电梯轿厢内是否存在多人恐慌行为。多人恐慌行为检测特征提取如图9所示。

图 9 多人恐慌行为检测特征提取图

根据图9可知，图像中正常情况下非零像素点数量少、分布散乱，当发生多人恐慌行为时，非零像素点数量多、分布范围密大。然后对其运动能量图做直方处理，可以得到水平和竖直两个方向的投影直方图，如图10所示。

图 10 多人恐慌行为检测直方图

3）检测结果与分析

如果电梯轿厢内多人恐慌行为检测的能量分布函数值大于多人正常状态下的最大能量分布值，则可以判断发生多人恐慌行为。反之，则电梯轿厢内未发生多人恐慌行为。该方法检测多人恐慌行为的准确率可以得到95%，检测速度可以得到每25帧/s。

5 结语

电梯轿厢内乘客异常行为检测应该具体分为单人摔倒检测、双人暴力检测以及多人恐慌检测三种，对不同人数的检测需要使用不同的方法，才能保证检测结构的准确率。在选择检测方法中，需要保证检测速度达到一定数量值，否则不能在第一时间对乘客异常行为作出预警。