基于双光监测的智慧电梯异常事件与故障预警技术研究*

周前飞 庆光蔚

南京市特种设备安全监督检验研究院 南京 210000

0 引言

目前，基于物联网的电梯远程视频监控系统实现了视频图像的远距离传输、存储与监视等功能，但智能化程度低、实时性差，不具备扒门、挡门、困人、蹦跳、超载等电梯异常事件及制动器、控制柜等关键部件故障自动检测报警功能，普遍存在视频资源利用率低、视频资源共享率低、视频大数据关联分析率低，视频图像应用效能不足等问题，难以满足电梯动态监管和精准监管要求。随着5G、人工智能等新技术的发展，基于AI、边缘计算、雾计算、云计算的嵌入式视频物联网(Internet of Video Things)技术为电梯智慧监管提供了新手段[1]。

岳彬等[2]提出一种基于智能视觉物联网的油库人员行为识别与监测系统，首先建立智能视觉物联网监测系统架构，满足信号采集、传输、处理与反馈需求，然后提出一种视频语义分析模型，将人体行为识别与人脸识别进行协同分析，实现对油库作业人员行为的分析与监测；陈智雄[3]提出了一种智慧管廊中基于视频的异常事件预警系统设计与实现方案，该方案采用了FFmpeg（Fast Forward MPEG）、边缘计算、深度学习和物体检测技术，将监控摄像头视频数据进行接入和物体检测，根据设置规则对检测结果进行过滤，降低了误报的概率，实现了异常事件智能预警；Singla D等[4]提出一种神经形态视觉传感器(Neuromorphic vision sensors)，像素以异步方式触发，从而提供更高的传输速率，时间分辨率和动态范围，以及低延迟和功率；Nikita A等[5]提出一种以边缘为中心的物联网中对摄像机的并发访问方法，设计一种适用于高效编码视频监控系统(H.265/HEVC)的运动估计协处理器；Perala S S N等[6]提出一种试图平衡物联网环境下相机的内容生成率方法，例如在本地存储、网络利用和计算约束下的视频监控人脸识别，同时实现最高可能的准确性；Yang S W等[7]通过协同使用视频物联网中的边缘设备、中间网关、服务器或云计算平台来高效处理连续视频流，阐述了可视化雾计算框架的需求，并对可视化雾计算框架的实例化提出了有前景的研究方向。

红外热成像技术是一种非接触式的检测/监测方法，不受强电磁干扰，不对电气、电路设备造成损伤，可用于电气设备故障或者运动部件的磨损严重情况检测。黄四彬[8]采用红外热成像仪对电梯制动器的制动器电气回路进行红外热成像分析，发现电梯的制动器抱闸线圈的温度相对于相同型号和相同工况下温度明显过高，对电梯抱闸回路的各个因素进行分析，以避免因电梯制动器失效引发的危险；郑强[9]结合多年来电梯故障诊断经验，介绍红外热成像技术在电梯故障诊断中的常见应用，并重点分析一起电梯电脑板故障的原因，确定电脑板中的故障器件；郑祥盘[10]阐述了基于红外热成像技术的电梯电气控制系统检测一般方法，并对电梯电气系统元件故障红外热成像缺陷诊断的分析判断方法作了研究。

红外热成像技术在电梯设备检测中的应用还处于较为初级阶段，在监测方面应用几乎为空白，对红外图像的分析诊断多依赖人工，而红外检测/监测人员较少且无法满足对海量红外图像的分析工作，再加上部分检测/监测人员的专业知识水平和监测经验积累不足，因此对缺陷的分析判断能力较差，这大大制约了设备状态监测智能化水平的提升。

当前电梯设备红外图像分析存在人为因素影响大、图像分析效率低等缺点，单纯的红外检测技术已经不能满足电梯设备检测/监测需求，将红外技术与图像处理技术、深度学习方法的结合成为了突破口。因此，本文设计了基于AI+云边协同+5G的电梯视频物联网智能双光监测与故障预警系统，提出基于深度学习的电梯轿厢多目标复杂模式嵌入式在线识别方法、基于红外图谱分析的制动器和控制柜故障预警方法，对电梯运行状态进行可视化监测和故障分析预警，降低不安全乘梯行为和关键部件故障引起的电梯安全隐患，实现报警联动与可视化应急指挥，避免电梯困人时自救不当引发的次生伤害，提高电梯运行安全性。

1 系统设计思想与技术路线

本文研发一套融合物联网、AI、边缘计算、云计算、5G技术的电梯视频物联网智能双光监测与故障预警系统，实现视频监控、困人故障识别、报警联动、可视化救援、电动车进电梯识别、不安全乘梯行为识别、开关门状态识别、制动器和控制柜故障预警、视频检索、统计分析、态势分析等多维功能，系统设计思想与技术路线如图1所示。

图1 系统设计思想与技术路线

通过电梯可见光/红外监测视频分析网关设计与研发，实现对电梯领域大量前端已安装可见光摄像机及新装红外热像仪的图像采集、联网传输、智能分析与自动报警，实现跨网络(有线网、5G无线网)的信息采集和远程管理系统，尽量减少对已投资的前端视频系统的干扰或重构，同时减少对后端(云平台)的存储和访问压力，可以通过软件分析算法模型的升级和快速分发不断适应各种智能分析应用要求的变化。

研究电梯场景异常事件识别与故障预警算法，并将算法移植到边缘计算设备的嵌入式系统中，实现嵌入式视频分析功能。建立电动车、人、制动器、轿门等目标的图像数据库，构建基于深度学习的电梯场景视频语义分析模型，用于视频中复杂事件的检测和分析，主要研究内容包括电梯困人故障识别、电动车进电梯识别、不安全乘梯行为识别、电梯开关门状态识别、制动器故障识别、控制柜故障识别等，并采取相关处置措施，及时排除事故隐患，减少困人故障自救不当引起的次生伤害，将故障信息和楼层信息传输到后端云平台，并反馈给使用单位和维保单位，督促其加强电梯使用安全管理，及时进行设备维护保养，将设备安全隐患消除在萌芽状态。

将本项目研究的算法、方法工具化和云化，并基于中台理念将数据、AI算法、基础业务能力进行中台化封装，以实现功能的有效整合和汇聚，建设面向实际应用的电梯视频物联网智能双光监测与故障预警系统，作为NJ智慧电梯平台的视频AI模块。其中，数据中台功能是构建原始视频数据库、人体数据库、电动车数据库、以及制动器、控制柜红外热像数据库等图像数据库；业务中台对所有视频智能分析网关设备进行统一配置、策略统一分发，能对各个网关运行状态实时监控，能接收并存储报警信息，并提供触发报警场景的图片和短视频，为事后取证提供依据，包含视频检索、数据挖掘、可视化分析等算法，实现视频大数据的云端处理；AI中台具有AI智能算法调度功能，包括系统加载具体哪种类型的AI智能算法、前端感知设备植入具体哪种类型的AI智能算法、远程设置算法模型参数等。

2 关键技术

2.1 电梯可见光/红外监测视频分析网关

如图2所示，通过设计边缘智能分析网关，实现电梯领域大量前端已安装摄像机及新装红外热像仪视频数据采集，同时加载深度学习AI识别算法，通过边缘计算进行AI智能分析，从视频、图片中提取人员、物（轿门、电动车、制动器、控制柜）、行为（扒门、蹦跳等）、特征（如控制柜的异常发热点）等结构化数据，识别电梯场景下的各种异常事件或故障信息进行在线实时报警，并将检测结果（文本形式结构化数据）、图片以及小视频经5G通信网络传输至后端云平台，极大程度上减小了后端云平台的传输、访问、处理和存储负担，有效降低网络延迟与视频数据的传输量，为视频大数据的大规模联网传输奠定了基础。涉及智能视频分析网关的硬件配置、算法的嵌入式移植、Agent(代理)程序设计、智能化联网方法等内容。

图2 电梯可见光/红外监测视频分析网关硬件配置

在网关上设计一个Agent(代理)程序，对网关的分析能力及分析策略进行远程管理和调度，与后端云平台通信进行分析模型的远程更新、分析策略和参数统一配置、视频源与分析运算调度、分析结果和监控数据存储管理和上传等；具有视频质量检测功能，将摄像机不在线、网络不通、信号丢失、黑屏等异常情况实时记录。为适应已安装摄像头的各种前端网络情况，根据国标GB/T 28181—2016《公共安全视频监控联网系统信息传输、交换、控制技术要求》、Onvif（开放型网络视频接口）协议以及设备SDK（软件开发工具包）开发接口和协议，采用单设备接入和智能化网络接入等多种接入手段，实现跨网络(有线网、5G无线网、Wi fi等)的信息采集。基于边缘计算、AI技术实现终端设备视频数据的嵌入式在线智能分析，结合5G Mmtc高带宽、低延时、大规模低功耗联网特性，通过全新的智能化联网设计，在嵌入式在线数据处理、智能化缓存和高效传输之间取得平衡，解决视频大数据的大规模联网传输难题。

2.2 电梯场景异常事件识别与故障预警算法研究

研究与电梯安全直接相关的异常乘梯行为和故障状态智能识别算法，实现电梯困人故障识别、电动车进电梯识别、不安全乘梯行为识别、电梯开关门状态识别、制动器和控制柜故障识别等，并进行自动报警、语音提示等相关处置措施，主要包括几个方面内容：

1）乘客不安全乘梯行为及困人故障监测与识别研究双流CNN网络、3D卷积、LSTM网络、SSD、YOLOv3、Faster R-CNN、R-FCN等深度神经卷积网络算法，利用电梯场景关键目标数据集对算法网络模型进行训练和测试，实现电梯困人故障、电动车进电梯行为以及乘客扒门、蹦跳、异常倒地（摔倒）、小朋友单独乘梯等不安全乘梯行为在线识别；通过人脸、人形的区域计数算法和绊线统计人流量算法，捕捉电梯载客流量、载客人数，识别电梯超载行为。

当识别出困人故障或人员异常倒地时，自动连通96333应急处置平台进行报警呼救，传输视频数据到96333平台，自动启动双向语音对讲，以便工作人员进行语音安抚和救援调度，提高应急处置与救援能力；当识别出乘客扒门行为时，进行语音劝阻，防止扒门引起的坠落事故发生，起到事故预防作用；当识别出超载和蹦跳行为时，进行语音劝阻，降低安全隐患；当识别出电动车进电梯或小朋友单独乘梯时，自动进行语音阻拦警告，并实时将检测结果反馈给后台，方便物业监督管理，加强电梯使用监管。

2）电梯开关门状态监测与故障识别 通过背景减法、形态学膨胀和腐蚀、阈值分割等图像处理方法，实时检测电梯开关门运行状态，考虑开关门过程时间因素，识别开关门失灵、物体或人长期挡门、门区逗留、非平层区域开门等故障。例如当识别出电梯非平层区域开门时，第一时间进行语音提醒和自动报警，防止人员从轿厢与井道之间间隙坠入井道；同时，提取楼层显示屏区域图像，通过支持向量机模型识别所在楼层信息，将故障信息和楼层信息传输到后端云平台，并反馈给使用单位和维保单位，督促其加强电梯使用安全管理，及时进行设备维护保养，将设备安全隐患消除在初始状态。

3）制动器红外监测与故障预警 采用数值模拟的方法对曳引式电梯制动热机耦合过程进行分析，建立不同类型制动摩擦导致的闸瓦温度变化理论计算模型；采用红外热成像技术对制动器摩擦部件、电磁线圈进行发热量方面的监测，提取带闸运行、制动力不足（制动闸瓦磨损导致抱闸间隙变大、制动摩擦面表面油污等因素引起）、制动器卡阻等故障的红外热图特征，建立不同结构形式电梯制动器的典型故障特征图谱，采用特征图谱聚类法对带闸运行、制动力不足、制动器卡阻等故障进行预警。

4）电梯控制柜红外监测与故障预警 利用红外热像仪对机房控制柜进行监测，研究相对温差判断法、同类比较判断法和图像特征判断法等故障诊断方法，对控制柜接线端子接触不良、继电器触点粘连、变频器过压故障、电路板元器件故障等电气设备缺陷和异常情况进行识别和预警，例如通过监测门锁回路接线端子发热量对层门或轿门异物卡阻、门锁继电器粘连等故障进行识别等，实现电梯门控制系统故障的检测、诊断和预判。

2.3 电梯视频物联网智能双光监测与故障预警系统设计与构建

考虑开放性、扩展性和兼容性原则，采用基础设施层、平台层、应用层、交互层的分层架构模式，设计高可靠性的电梯视频物联网智能双光监测与故障预警系统，实现困人故障识别、报警联动、可视化应急指挥救援、电动车进电梯识别、不安全乘梯行为识别、开关门状态识别、制动器和控制柜故障预警，以及视频检索、统计分析、态势分析等多维功能，系统总体架构如图3所示。

图3 电梯可见光/红外监测视频分析网关硬件配置

1）基础设施层 基础设施层是系统的物理层，包括用于轿厢监控的可见光摄像机、用于制动器、控制柜监测的红外热像仪等终端感知设备，边缘计算智能视频分析网关、云计算设备、5G通信网络、安全设备、存储设备及其虚拟化、资源池、云服务器等基础设施，以及数据机房、应急处置指挥控制中心等配套设施。

2）平台层 将数据、AI算法、基础业务能力进行中台化封装，为应用层和交互层等提供服务。数据中台包括数据源、数据引擎、数据存储、数据服务、数据运维监控等模块。业务中台为系统的基础业务智能管理中心，包括网关管理、用户管理、权限管理、日志管理、报警联动、电视墙控制、视频点播、视频预览、录像回放、视频检索、统计分析、态势分析等功能模块。AI中台包括算法仓库和调度引擎等功能模块，打造视频智能解析、乘客行为识别、电梯故障预警等业务。

3）应用层 应用层依托平台层，作为系统应用功能的统一入口，为电梯安全监管部门、应急处置中心、检验机构、使用和维保单位，提供基于视频、图片和人体、电动车、轿门、制动器、控制柜结构化数据及模型数据的视频智能应用服务，开发电梯困人故障识别、电动车进电梯识别、不安全乘梯行为识别、开关门状态识别、制动器故障识别、控制柜故障识别、可视化应急救援指挥调度等功能模块。

4）交互层 开发与电梯使用单位、维保作业人员、检验检测人员、应急处置人员、安全监管人员进行交互的智能终端，包括PC网络平台终端、大屏展示终端、应急处置指挥控制终端，用于展示电梯的运行状态、监测预警和可视化应急指挥。

基于J2EE开发平台和开源框架springMVC，配置Apache Tomcat服务器，选用Echarts，GIS等开源工具，利用Java开发语言完成电梯视频物联网智能双光监测与故障预警系统研发。研究视频大数据统计分析与检索方法，基于 AI 智能化分析技术，从视频资源中提取人、车、物、行为等结构化数据，通过大数据平台关联分析处理，形成可视化结果进行呈现。云平台检索视频录像信息时，向视频云存储子系统管理服务器发送文字检索指令，管理服务器查询本地数据库后直接将检索信息发送到云平台。支持对接入的大量视频数据资源进行存储和管理，对音视频录像进行分类并设计高效存储格式，主要分为：实时视频数据云存储、异常行为和设备故障视频云存储、重要数据云存储。

3 结语

本文提出了基于AI+云边协同+5G的电梯高可靠性视频物联网智能双光监测方法，基于边缘计算、AI技术实现终端可见光、红外视频数据的嵌入式在线智能分析，结合5G Mmtc高带宽、低延时、大规模低功耗联网特性，通过全新的智能化联网设计，在嵌入式在线数据处理、智能化缓存和高效传输之间取得平衡，解决视频大数据的大规模联网传输难题。提出了基于深度学习的电梯轿厢多目标复杂模式嵌入式在线识别方法，包含人、电动车、轿门等多种目标的复杂模式类型，在线识别出电梯轿厢场景下的各种不安全行为和故障状态，包括电动车进电梯、扒门、超载、蹦跳、摔倒（异常倒地）、小朋友单独乘梯等不安全乘梯行为识别，电梯困人、轿厢开关门失灵、长期挡门、门区逗留、非平层区域开门等异常事件识别，实现报警联动和可视化应急救援指挥。提出了基于红外图谱分析的制动器和控制柜故障预警方法，分析曳引式电梯制动热机耦合过程，建立不同结构形式电梯制动器的典型故障特征图谱，采用特征图谱聚类法对带闸运行、制动力不足、制动器卡阻等故障进行预警；采用相对温差判断法、同类比较判断法和图像特征判断法，对控制柜接线端子接触不良、继电器触点粘连、变频器过压故障、电路板元器件故障等电气设备缺陷和异常情况进行识别和预警。设计了电梯视频物联网智能双光监测与故障预警系统，可以在线识别不安全乘梯行为和困人故障进行自动报警，并采取相关处置措施，减少困人故障自救不当引起的次生伤害，同时将故障信息反馈给使用单位和维保单位，督促其加强电梯使用安全管理，及时进行设备维护保养，将设备安全隐患消除在初始状态，可以全面提升本区域电梯安全防范处置能力、使用与维保管理质量，为高层次、全局性的分析决策提供数据支撑。