航道起吊机械施工安全感知系统研究

赵德懿，王 龙，杨 樱

(1.扬州市港航事业发展中心，江苏 扬州 225009；2.江苏长天智远交通科技有限公司，江苏 南京 210036)

1 项目背景

2019年，江苏省政府办公厅发布了《关于加快推进第五代移动通信网络建设发展若干政策措施的通知》，明确指出江苏省各相关部门要大力推进基于5G网络的信息服务在精密制造、工程机械、生物医药、社会服务、新能源、交通物流、教育教学、健康医疗、广播电视、文化娱乐、智慧城市、应急指挥等领域的广泛应用，以网络建设支撑信息化向纵深推进，以信息化应用带动网络建设，形成建设与应用双向驱动的发展格局。江苏省5G产业联盟要整合电信、广电网络、互联网等各类信息服务行业资源，推动与社会生产生活密切相关的5G信息服务模式创新，扩大5G应用范围，提高信息服务质量。积极争取国家级预商用试点城市落户江苏省，加快商用部署步伐，在车联网、工业互联网、物联网、智能电网、融合媒体等领域取得突破，5G在交通行业的应用探索提上了日程。

2020年，交通运输部办公厅发布了《进一步推进公路水运工程平安工地建设的通知》，提出要加强施工安全风险分级管控，不断提升工程本质安全水平；同年，江苏省交通运输厅也印发了《江苏省公路水运工程平安工地建设管理办法》，为平安工地建设工作提出了具体要求。因此，为保证公路航道工程施工安全，结合京杭运河施桥船闸至长江口门段航道整治工程实际需求，针对项目建设过程中起吊作业的关键节点，利用5G[1]、边缘计算[2]、AI视频智能分析技术[3]开展航道工程安全风险感知技术研究具有重要的意义。

在现代化的工程建设和项目施工过程中，起重机械发挥的作用越来越大，是减轻作业人员劳动强度和提高生产效率的重要手段。但是，起重吊装机械频繁使用也带来了作业伤害事故的增加，起重吊装事故的发生主要包括人的因素和吊物的因素两个方面。其中，人的因素主要表现在管理不善和使用者心存侥幸，物的因素主要表现在设备、吊具的安装使用未达到要求，带有隐患进行施工作业，从而埋下安全隐患。目前起吊施工作业风险影响因素主要有：(1)对吊装作业场所自然环境风险认知不足；(2)起重作业的吊物重量不明或超重；(3)被吊物体上方或下方有人，造成高空坠落或坠落伤人[4]。

分析航道吊装作业的过程和产生事故的因素[5]，在吊装过程中产生安全事故的主要因素可以归纳为起吊方案、起吊前设备检查、起吊人员认证、起吊过程监控等方向，其中起吊过程监控包括起吊环境监测、安全区域禁入监测、人员安全装备检测等。根据吊装作业的过程中安全风险发生的频率来看，安装过程中的风险隐患主要可以分为以下几个等级[6]。

(1)吊装方案问题。吊装方案中直接明确了吊装的时间、地点、机械、对象和吊装的方式，直接决定了吊装过程中的根本要素。

(2)吊装过程管理。过程管理主要包括吊装前吊机设备的检查，吊钩绑扎情况检查，吊装过程中吊物、施工人员、起吊方法的检查，以及过程中的监控管理，包括人员装备情况、危险区域管理，在安全监管过程中也处于重要地位。

(3)吊装人员管理。人员管理主要包括人员资质和人员穿着装备，人员必须经过吊装施工的培训和安全交底，符合施工操作的要求，熟悉施工方案；同时，其他调度辅助操作人员应在吊装过程中处于危险区域以外，并正确佩戴安全防护装备。

(4)吊装环境管理。吊装环境管理包括起吊过程中施工空间范围内的环境感知、施工过程中部分关键节点的感知。

根据吊装安全技术规程[7]：严禁在风力6级和6级以上进行吊装作业；不得在风力5级和5级以上时进行大型、中型工件吊装。起重机吊重物时，机身位置要正确、平稳，支腿位置要合适、牢固；钢丝绳应垂直起吊，不准斜吊，也不准在起吊过程中扳动或调整支腿；如要找平机身时，应将重物放下后进行处理。

针对以上因素，本课题开展了吊装作业安全风险感知系统研究，通过现在各种信息化手段实现对航道工程中起吊安全作业的安全风险感知，实现预警和报警，提高生产安全监管水平。

吊装作业安全风险感知系统主要应用机器视觉(AI识别)技术[8]，采用现场边缘计算机对吊装作业现场视频监控、环境参数、吊机姿态、吊物质量等参数进行实时采集、分析和预警，通过声光预警提醒施工作业人员快速妥善处理潜在风险。采用现场边缘计算机实时获取现场监控视频，对监控视频进行预处理，追踪识别目标吊物基本特征，同时通过倾角传感器识别起重机械实时姿态，生成吊机起重三维动态模型。

2 吊装作业安全风险感知系统组成

系统组成包括前端视频监控系统、AI识别系统、边缘计算设备、5G CPE网络接入设备、风速风向环境感知设备、倾角传感器、载质量传感器、告警语音播放模块等，系统的具体组成，如图1所示。系统通过前端视频监控设备、环境感知设备、姿态感知设备和质量监控设备，通过部署在前端的边缘计算设备，实现对前端吊物和下方危险区域的自动跟踪；通过风险识别算法对视频中的危险区域进行识别。在视频图像中自动框出危险区域，同时对区域内闯入的人员物体进行判断，发送到后端监控系统，并通过前端吊机旁的声光报警系统提醒现场施工人员注意安全施工。

图1 起吊机械施工安全感知系统组成

起吊机械施工安全感知系统的主要运行流程，如图2所示，通过摄像机实时监控前端吊机施工过程中的实时视频图像，通过视频监测算法获取目标的特征。在吊机的吊装过程中，摄像机会随着吊钩和吊臂移动，摄像机的图像就会发生变化，视角和监控重点范围都会变化。为了保证监控的重点能够始终聚焦在吊物下方，因而通过算法对特征进行捕捉，通过对结果的比对控制摄像机进行同步移动和缩放，实现在吊装过程中对摄像机云台的自动控制，保证摄像机获取的实时视频能够监控起吊施工过程中吊物下方的危险区域。同时结合吊机上的安全感知设备，获取吊装作业的环境因素，包括高度、旋转角度、速度、吊物质量和吊物尺寸等参数，建立风险预警模型和算法，计算出吊物下方的危险区域。在视频图像上划出风险区域电子围栏，通过视频感知技术对进入区域的人员和其他移动物体进行检测，如果区域内有人员和其他物体闯入，进行实时报警，并通过声光报警提示现场施工和起吊人员警惕，同时发送报警信息给后台工地监控人员，上传实时视频资源。

图2 起吊机械施工安全感知系统流程

3 功能算法实现

具体算法流程，如图3所示，在吊装设备上安装高清网络摄像机采集吊装作业现场影像，现场部署NVR设备实现对视频监控录像的存储，通过5G网络视频实现视频远程预览、云台控制和历史的回放，通过机器学习算法识别物体，控制摄像机跟踪捕捉。同时通过前端质量感知和环境感知设备获取的参数，判别吊重机械是否超载荷，吊臂、倾角、姿态是否存在风险。通过深度学习的算法计算风险区域，并在视频中划定风险区域。通过视频入侵检测算法对入侵人员和物体进行判别，生成警报信息并通过5G网络上传至综合管理平台，现场声光报警实现预警，提醒作业人员安全施工。

传统监控视频中人、车、物检测大多数依赖于运动信息，基于一种背景差分或帧间差分的模式进行检测，这种检测方式计算复杂度比较低，极易受光线和成像的影响，当视频中有较为剧烈的光影变化，如云强光干扰、阴雨天气等情况时，往往会检测出大量虚假目标，从而导致误报或漏报。对于户外场景中光影、遮挡等情况会导致大量的误报或漏报，为了解决这些问题，实现目标物体的精准监测，采用一种基于模式的识别方法，通过人为构造图像特征，然后通过全局目标检测方式进行人、车、物等目标物体的检测，基于HOG图像特征算子和 Adaboost瀑布流检测的模式，考虑目标物体的通用特征，例如人体的形状、车辆的形状和物体纹理特征等，比单纯基于动态目标检测方法更准确。但是，该方法对场景具有较高的依赖性，依然存在一定程度的误报或漏报。正是由于这些原因，许多基于视频识别的预警应用效果一般，演示效果很好，但在实际中环境变幻多端，导致误报率和漏报率远远超出预期和设计指标，因而一直没能广泛普及。

图3 算法流程

基于5G边缘计算的航道工程吊装作业安全风险感知系统，采用深度学习和人工智能技术对视频中的人、车、物等动态目标检测和识别。深度学习[9]是人工神经网络研究的一个重要突破，由于其卓越的表现性能与良好的识别效果，目前广泛用于人工智能领域。基于深度自学习的一种结构框架，通过组合底层特征[10]形成更加抽象的高层表示，以此进行分析与类比，它能更好地发现数据特性与内在关联。本质上深度学习模拟了人脑神经元在识别物体时从抽象到具体的一系列过程。正是由于此过程的完美模拟使得深度学习能够表现出惊人的性能与分析能力。图4展现了具体识别时深度学习从抽象到具体的流程图，它是从图像的像素开始，经过抽象学习得到边缘与纹理信息，再得到局部区域统计信息，最后得出每种图像的具体区别信息，这与人脑描述事物的构建步骤是一致的。

图4 具体识别时深度学习从抽象到具体的流程

基于深度学习的机器视觉识别算法可以直接进行端到端的检测[11]，能够充分地学习目标物体特性。算法框架可以分为3步：第1步是构建图像的深度神经网络(Image Deep Network)，并构建区域建议网络(Regional Proposal Network)；第2步是以此为基础结合训练样本进行深度检测神经网络的训练；第3步是进行目标检测。与传统的目标检测算法不同，基于深度学习的目标检测能够同时输出目标的位置与目标的名称。这也是一种端到端的识别方式，大大省去了人工交互的步骤，同时减少了人工干预带来的误差。

伴随着物联网的蓬勃发展，越来越多的设备成为物联网的一部分，产生的数据也越来越多。这些设备产生的海量数据，对传统云计算模型中的数据传输带宽和数据处理能力提出了更高的要求。虽然将所有的数据传输到云端进行处理是一种高效的数据处理方式，但是越来越多的边缘端设备产生的实时数据需要被及时处理，基于云计算模式的数据处理性能正逐渐到达瓶颈，更多要求实时处理的数据无法被及时处理。另一方面，云计算存在数据隐私泄露的问题，数据传输到云端过程中容易被黑客截取。最后一方面是云端数据中心的能耗问题。随着使用云计算服务用户的增加，相关应用程序也越来越多，数据中心需要更高的能耗，然而一些大规模的数据中心能耗无法满足需求。综上所述，云计算服务随着大数据的增多，劣势逐渐显露，应运而生的则是边缘计算技术。

边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端，而云端计算仍然可以访问边缘计算的历史数据。

本文采用边缘计算技术，在前端完成算法的匹配和监测，通过5G网络将结果发送到后端接收。本系统在实际的部署过程中，采用5GCPE设备实现前端设备与后台的对接，通过阿里云构建后台服务和平台的WEB服务，具体算法实现，如图5所示。

图5 算法实现

4 边缘计算机选型

边缘计算机采用DJTXF08处理，DJTXF08采用英伟达NVIDIA® Jetson TX2工业级处理器，拥有深度学习性能，可加速高达1.3TFLOPS 算力，满足复杂环境下深度学习模型训练，性能稳定且功耗低，适合车载应用。DJTXF08设计有 9～36 V 宽范围DC-in和IGN控制，多种I/O功能如GbE/PoE、USB3.0、隔离CAN、串行COM、DI/DO、12V/5V DC-out，专用于人工智能物联网边缘网关，与雷达、超声波、LiDAR、MIPI摄像头等外围传感器接口来完成ADAS/ADS系统，具体性能参数要求，如表1所示。

表1 边缘计算机性能参数

5 智能感知传感器

环境感知包括风速风向传感器、角度传感器、质量传感器，具体性能参数，如表2所示。实现吊装作业现场环境数据采集、吊车姿态采集和吊物质量采集；风速风向数据采集基于机械式风速风向传感器，当吊装作业环境风速超过安全预警门限时提醒现场作业人员尽快停止作业，同时根据风速、风向对吊装作业潜在危险区域进行划分和调整；倾角传感器对吊装作业时吊车的姿态进行采集，根据吊车姿态动态调整视频监控画面抓拍区域。

表2 风速风向、角度、质量传感器性能参数

6 实验结果

依托京杭运河施桥船闸至长江口门段航道整治工程航道施工项目(JHYH-SG-HD1标段)开展试点应用，搭建了系统运行环境，部署了边缘计算设备，并对算法进行了现场测试验证。经过验证和实地应用，证明方案设计合理，研发算法能够达到预期的效果，为航道吊装工程施工提供了有效的监管和智能化预警手段，降低了航道吊装施工的风险，具体实验结果，如图6、7、8所示。

图6 实施效果1

图7 实施效果2

图8 实施效果3