智能视频分析技术在智慧工地安全监管中的应用研究

吕基平，熊政华，邹容芳，文章英，肖 玲

(1.中建五局第三建设有限公司，湖南 长沙 410004；2.中国建筑第五工程局有限公司，湖南 长沙 410004；3.湖南大学，湖南 长沙 410082)

0 引言

目前我国建筑施工安全形势依旧严峻，建筑施工安全事故发生率居高不下，事故起数和死亡人数仍偏多[1]。为探究造成建筑业安全形势严峻的原因，实地调研建筑施工现场安全管理情况，发现传统人工安全管理存在以下问题：工地安全管理涉及面广、关注点多，传统安全管理方式无法实现安全覆盖或及时发现；建筑工地目标多、分布散、维度多、受人力物力限制，难以解决监管覆盖面和及时性问题；监管模式时效性差、取证困难，难以形成有效震慑。施工企业很难通过传统管理方式进行科学、有效、集中式的管理[2]。

图1 AI视频分析系统设计思路

图2 平台管理架构

利用传统安防视频监控技术解决工地安全管理问题存在如下弊端：①工地项目部监控中心需要派专人值守，随时多角度查看监控，才有可能提前发现安全隐患并通知处理；②监控中心值守人员难以做到24h不间断检查监视器；③大部分视频监控影像仅作为事后追溯取证使用，无法主动识别预警人的不安全行为，物的不安全状态，只能在异常事件发生后再查看录像，但损失已经无法挽回；④发现隐患-整改隐患-审核完成，主要靠口头传达和自觉完成，缺乏线上闭环流程，过程不可追溯；⑤不能及时发现摄像头被遮挡、移位或损坏等问题，导致监控有盲区时，无法及时发现安全隐患或偷盗行为。这些问题需借助智慧工地和人工智能等技术解决[3]。

为此，利用先进的视频分析和人工智能技术、通过智慧工地AI视频分析系统和技术平台，基于智能视频分析和深度学习神经网络，实时分析现场采集的视频，变被动监督为主动监控，真正做到事前预警、事中常态检测、事后规范管理，将工地安全生产做到全天候精细化智能管理，为当前工地安全管理提供一体化解决方案。该解决方案在传统视频监控基础上，提供面向工地的智能视频分析算法，自动分析视频中的违规、危险行为，并实时进行有效的反馈。智能视频分析可实时精准查验和监管现场安全施工情况和施工动态，降低人员管理成本、提高工作效率。基于人工智能视频分析在智慧工地中的研究与应用，将AI技术结合施工场景，为现场工作管理人员赋能。

1 “端-边-云”协同智慧工地AI视频分析系统

智慧工地充分利用移动互联、物联网、人工智能AI、地理信息系统、大数据等信息技术，对施工现场的人、机、法、料、环要素进行集中化、智能化管理，以可控化、数据化及可视化的智能系统对施工现场进行全方位、立体化的实时监管[4]。

1.1 设计思路

通过安装在施工现场的监控装置，构建智能监控和防范体系。前端视觉感知设备可实现视频数据采集，并通过有线、无线等方式将数据传输到AI平台，智慧工地平台利用智能视频分析技术自动检测人、环境中的不安全行为，并将检测信息同步项目信息、工人数据，最终实现业务协同、数据联动。AI视频识别与分析系统设计思路如图1所示。

该平台管理架构如图2所示，包含AI视频业务核心功能、分析服务和数据展现。分析服务包括数据采集、存储、挖掘等。AI视频业务核心功能与现场各子系统对接，获取相关子系统中的视频数据进行分析，实现对穿戴管理、行为管理、区域管理、人员管理、安防、环境等AI算法的视频智能分析检测。数据展现通过大屏、PC端、移动端、管理报表、决策报告等形式进行呈现。

图3 系统的端-边-云架构

图4 智能视频分析系统的整体解决方案

1.2 整体架构

该系统的端-边-云架构如图3所示。端侧通过多角度、多类型摄像头设备采集视频，边侧通过边缘计算和AI算法降低视频处理延迟问题，节约云资源费用，为AI技术落地应用提供可能。云端可结合施工业务场景，整合资源，提供高品质服务。

该系统整体解决方案如图4所示。AI视频分析深度学习算法可部署在边缘侧设备上，作为AI视频识别一体机接到交换机或网络硬盘录像机上。利用现有数据网络将计算分析结果连同抓拍图像打包成结构化报警信息，推送至集控站主站端智能分析视频云服务平台，运行在云端服务器的AI视频分析算法中，可进行二次深度分析和深层数据挖掘。整个系统利用事件管理平台实时记录违规事件，包含创建事件、事件描述、抓拍图片、抓拍人员、抓拍摄像头、处理状态等信息。

智能视频分析检测出的事件包含以下反馈方式：在施工现场通过智慧工地控制模组对不安全事件进行本地实时广播、指示灯闪亮等警示；对不安全事件及相关事件抓取的图片等信息，通过移动通信网络推送给相应岗位管理人员、项目负责人及企业职能部门、公司领导移动端，以便及时处理。项目工地大屏、智慧安全监管云平台、用户移动端APP可展示违规日期、类型、地点、人员维度等违规事件；企业监管人员可定期抽查系统记录的违规行为，同步推送监管项目处理意见，进行应急指挥，督促企业落实隐患整改，提升管理效率。

2 AI深度视频分析系统

2.1 智能视频分析系统的实施部署方式

智能视频分析系统可采用云端部署和边缘侧部署模式，如图5所示。云端部署架构为处于网络边缘的设备端摄像头，直接通过互联网将视频传输到网络中心的云服务器中。云服务器获得视频后存储视频，并进行推理分析，再在云端整合利用推理结果。这种部署方式适用于对实时性要求不高的应用，如安全帽、反光衣监测等。但智能视频分析的云端部署面临占用带宽大、传输延迟高、网络不可靠和隐私保护难等问题。

图5 云端智能视频分析部署架构

针对建筑工地安全监控、设备设施监控、突发事件处理等对实时性要求高的情况，采用边缘侧AI部署方式，将计算任务从网络中心的云服务器下沉到与视频源物理接近的、拥有一定计算能力的边缘智能设备上，就近提供端服务，满足实时业务、智能应用等需求。智能视频分析的边缘侧部署识别分析响应快，能完成如危险区域人员闯入、高空施工人员未佩戴安全绳等对实时性要求高的分析检测任务[5]。

另外，相比云端视频分析部署模式，端边部署模式对视频源和网络边缘的连接相对简单可控，能保证足够的传输带宽和稳定性；在边缘端直接处理视频数据，也可有效避免云端隐私泄漏。利用深度学习模型裁剪、量化加速等方式实现深度学习模型的压缩与加速，解决深度学习模型轻量化和小型化，实现计算、存储和通信边缘融合与AI算法加载。

2.2 基于AI边缘计算的视频智能分析装置

在硬件方面，充分采用边缘计算技术，采用寒武纪、英伟达等学习芯片，构建建筑工地视频场景专用智能视频分析装置，并以以太网形式接入网络视频录像机或交换机，满足多路全高清视频信号实时分析需求。构建嵌入式现场专用计算单元，实现就地分布式计算，减小通信延时和服务器计算压力，具有低延时、低功耗、低成本的优势，实现视频信号的高速接入和实时分析。

AI边缘计算盒子在性能上可满足1～4个场景、4～16路1 080P视频源，支持每秒5～60帧算法视频获取，处理能力可根据场景数量、视频源数量、采集帧数进行相应配置，以满足视频处理的实时性要求。单个AI边缘计算盒子根据配置不同，成本在1万～2万元。

2.3 AI深度学习视频分析算法及模型加速

在场景识别算法方面，基于深度卷积神经网络 (deep convolutional neural networks，Deep CNN) ，采用YoLov5单阶段目标检测算法架构，该算法均值权重文件更小，训练时间和推理速度短。

基于深度学习的计算机视觉模型，通常由百万甚至上亿的参数组成, 虽然分析准确度很高, 但深度学习模型对计算和内存资源要求较高，难以在存储空间、计算资源有限的边缘端设备上运行[6]。通过TensorRT加速工具部署加速YoLov5模型，有效降低参数冗余，减少存储占用和计算复杂度，使之能加载到边缘端设备，在提升边缘端设备处理速度时降低能耗。通过TensorRT加速后的YoLov5模型可实现近20倍加速，达到45帧每秒的运算速度，满足实时性要求且准确率高。

3 智能视频分析在智慧工地中的应用分析

针对工地场景下人的不安全行为、工地环境安全问题，实现作业人员安全监测、设备安全监测与预警、环境监测、安全监控等智能视频分析[7]。

3.1 智能视频分析算法功能应用

1)无感考勤与陌生人检测 无感考勤系统不用配置专门的考勤设备，采用广角摄像头可全面覆盖进出场通道，远距离抓取面部信息，实现无感打卡通行，解决传统考勤排长队的情况，提升用户考勤体验，有效提高考勤效率[3]。无感考勤系统以人脸识别技术为基础，采用深度学习技术[8]，收集整理海量人脸数据，设计定制模型，计算出快速精准的人脸检测、人脸识别算法，将算法装载到高性能边缘设备中，实现多人员无感快速识别考勤功能。在算法上采用深度卷积神经网络、分布式人脸训练、场景自适应等手段，在人员密集场所及高峰期时间，工人均可被有效识别并记录通行实况。自动捕捉员工动态画面比对人脸库，并将比对失败的标注为陌生人，方便管理人员及时关注陌生入侵情况。

通过在工地部署人脸识别摄像头，可及时掌握任何人进出工地的时间、地点、当场抓图等信息，方便查询行动轨迹。利用智能视频分析行为重识技术，可通过分析人体特征识别身份，克服在施工作业区等复杂场景下人脸识别的困难。

2)安全晨会检测 工程施工前，施工现场要求每天早上在固定时间及地点召开班前晨会，以加强工地日常安全管理。现有晨会管理模式为人工打卡，由项目工程小组负责人负责召集晨会，在晨会时拍照、拍视频，然后微信上传给相关管理人员。实际的安全晨会召开率仅38%左右。安全晨会可自动检测识别安全宣讲台区域，并通过队形和人数判断检测区域内是否有开会行为，若检测到晨会，算法触发前端摄像头自动抓取晨会开始和结束时的视频截图并存档，通过手机APP实时上报给安全管理人员。

3)安全帽、反光衣、安全绳佩戴检测 基于工地视频监控实时检测技术，预警在岗工人是否按照要求做好安全防范措施。在项目出入口、作业面等区域能检测施工人员是否佩戴安全帽、穿戴反光衣、高空作业是否系安全绳等行为，若检测到不安全行为，则立即报警，通知安全管理人员进行处理。

4)危险区域人员闯入与人员徘徊检测 对塔式起重机、围栏等易发生事故的危险场所进行检测，当有人员闯入时，视频分析系统会自动实时报警，并联动现场语音提示。检测系统不仅监控实时工作情况，还可及时检测工地危险区域闯入情况，在事故发生前采取有效措施，降低事故发生率，有效提高工程质量监控。对视频监控区域内出现的目标进行定位与跟踪，并记录跟踪目标的出现时间或次数。

5)作业面人数统计、人员聚集检测 可自定义多个区域或圈定工作面，实现对设定监控区域的劳动人员与现场人员的数量统计。检测工地周边或场地内聚集人数是否超过设定值，可在不同检测区域设定不同聚集人数阈值，当监控区域人数超过阈值时进行报警。

6)人员攀爬、跌倒、抽烟、打电话检测 当图像中有人跌倒时将抓拍图像并报警，可识别各种跌倒姿势与跌倒方向(横向和纵向等)。可设置物理围栏或虚拟围栏，检测非法攀越围墙行为，一旦检测到有人企图从围墙进入施工区，系统立刻报警、抓拍。对部分施工现场或高空作业区可设置打电话检测的方式，防止作业人员打电话时分心造成事故。

7)烟雾、烟火检测 在施工现场的加工区、材料堆放区等易发生火灾的隐患区域安装烟火预警系统，一旦出现烟雾及火焰，系统自动预警，相关项目部人员能迅速响应。采用基于人工智能的视频分析和深度学习技术，对监控区域内的烟和火进行识别、实时分析报警。不需要布置传统传感设备，就可大面积直接对视频监控区域初期形成的烟雾和火焰及时进行准确识别，无误报、无漏报。同时将报警信息快照和报警视频存入数据库，将报警信息及时推送给相关管理人员。该系统可协助管理人员，对监控区域进行实时分析并及时报警。

8)临边防护缺失检测 当高处作业无临边防护时，存在人员坠落的安全隐患，临边防护缺失检测系统可对无临边防护的高空作业面进行预警和广播提醒，并将报警截图和视频保存到数据库，可根据时段对报警记录、报警截图、视频进行查询。

3.2 工程案例

长沙机场改扩建综合交通枢纽工程项目总建筑面积为28.5万m2，由轨道交通、综合交通枢纽工程、市政配套构成。项目难点主要为施工分布广、体量大、工期紧、平面管理难度大、机械设备多、超大超深基坑施工、总包管理难度大、多方协同、信息传递难。为解决以上难点，借助此次建设项目，展开智能视频分析技术，为项目高品质建设赋能，并借长沙机场改扩建综合交通枢纽工程开展数字建造的应用示范，打造样板工程。目前已实现晨会交底、安全帽检测、反光衣检测、安全绳检测、跨越危险区域识别等人的不安全行为检测，以及火焰识别、烟雾识别、临洞识别等环境和物的不安全状态检测。运行结果表明，该系统场景的平均检测精度达90%，平均误发率<10%。

4 结语

本文对建筑施工现场安全管理效率低、工作量大及传统安防视频监控技术存在的诸多弊端，提出“端-边-云”协同智慧工地场景视频智能分析系统的整体解决方案，通过智慧工地边缘智能视频分析装置精确识别检测，减小深度学习算法对服务器、云端计算的依赖，实现视频监控内容的智能识别和自动推送，极大提高视频监控质量和效率，也可通过云平台二次深度分析服务器进行复杂视频分析及深度数据挖掘。该系统针对工地场景下人的不安全行为、工地环境安全问题，可实现作业人员安全监测、环境安全监测与预警。该系统在长沙机场改扩建工程综合交通枢纽工程项目中进行应用试点，并取得较好效果。智能视频分析技术在智慧工地的研究与应用，将AI技术深入结合施工场景，改变原有人工视频监控模式，推动传统被动型建筑工地视频监控业务的智能化转型。