基于视频分析的自动化龙门吊大车集中监护系统

李约翰

随着港口向智慧化、智能化发展，龙门吊自动化控制作为智慧港口的重要组成部分越来越受到港口企业的重视。宁波梅东集装箱码头有限公司（以下简称“梅东公司”）在龙门吊自动化控制及安全生产方面研发多项新技术，其中，基于视频分析的自动化龙门吊大车集中监护系统利用龙门吊远程控制系统的高清摄像机和视频分析技术，实现在大车前进、后退及吊具下放过程中对人员和车辆的识别，联动龙门吊可编程逻辑控制器（programmable logic controller，PLC）控制龙门吊减速或停机，联动大车监控台实现安全隐患提示功能，从而保障龙门吊作业安全。

1 基于视频分析的自动化龙门吊大车集中监护系统关键技术

基于视频分析的自动化龙门吊大车集中监护系统的核心技术是视频识别技术，其中包括深度学习和特征识别技术：深度学习技术对识别目标进行样本收集、分析和算法生成，主要功能是正向识别人员和车辆目标;特征识别技术主要对深度学习算法导致的误报进行反向识别，将人员和车辆以外的目标以及与人员、车辆相似度较高的目标排除在外。

1.1 深度学习技术

深度学习技术起源于人工神经网络研究，通过组合低层特征形成更加抽象的高层特征或类别，从而从大量的输入数据中学习有效特征表示，并把这些特征用于分类、回归和信息检索。深度学习实际上是一种模仿人脑的学习，含多隐层的多层感知器就是一种深度学习结构，通过组合低层特征形成更加抽象的高层类别或特征，以发现数据的分布式特征表示。

基于视频分析的自动化龙门吊大车集中监护系统应用YOLO和RCNN深度学习技术。首先，采用选择性搜索方法在视频画面中选取上千个可能出现物体的位置;然后，将分割出来的图像修正为大小统一的区块，放入卷积神经网络中提取特征，并将提取出来的特征放入支持向量机中分类;最后，对区块的边框做回归分析，找到合适的位置。YOLO技术区别于RCNN技术的最主要特征是：前者同时训练并同时输出位置和类别信息，其将图片分为S譙个格子，每个格子检测其内物体，而当物体中心在某个格子内时，这个格子就负责检测这个物体。YOLO与RCNN深度学习算法的结合应用可有效提高人员和车辆的识别率。

1.2 特征识别技术

特征识别技术采用提升的密集轨迹算法，根据目标的形状、纹理、亮度等特征，反向识别深度学习算法中出现的非人员和非车辆目标：当深度学习算法认为目标为人员或车辆，而密集轨迹算法识别出目标具有非人员和非车辆特征时，目标不触发报警，从而有效降低目标误报率。

2 基于视频分析的自动化龙门吊大车集中监护系统结构及工作流程

为了配合码头自动化作业，梅东公司部署龙门吊远程控制系统，使龙门吊司机能够在中控室通过观察龙门吊上摄像机拍摄的视频画面远程操控设备作业。梅东公司原龙门吊远程控制系统使用毫米波雷达系统作为防撞预警检测技术手段，存在一定检测盲区，并且人体检测效果不佳。为此，增加基于视频分析技术的人员和车辆检测功能：当检测到人员或车辆时，系统发出警报信号，联动龙门吊PLC执行大车急停、减速动作或吊具停止动作，大车安全监护台显示警示视频画面并发出警报，由安全监控人员确认是否存在安全隐患并处理警情，从而提高龙门吊运行安全性。

2.1 系统结构

基于视频分析的自动化龙门吊大车集中监护系统由龙门吊远程控制系统摄像机、视频分析仪、大车集中监护台等组成（见图1）。龙门吊远程控制系统应用高清网络摄像机，其中：门腿摄像机有4个，小车架吊具云台摄像机有1个。视频分析仪由工控机、人员和车辆视频识别系统组成，其中：工控机采用Linux系统，配置视频分析显卡;人员和车辆视频识别系统专门针对龙门吊运行环境进行优化，适应龙门吊远程控制系统摄像机的画面视角，对码头区域内人员和车辆具有较高的识别率及较低的误报率。大车集中监护台可集中监控龙门吊大车门腿摄像机和小车架摄像机，配有专门的安全监护人员，当监测到危险警情时，可控制单台或全部龙门吊急停，从而有效降低安全事故发生率。

2.2 系统工作流程

基于视频分析的自动化龙门吊大车集中监护系统工作流程如图2所示：PLC发送当前龙门吊运行状态（包括大车向左、向右运动和吊具下放等）信息至PVAC防撞分析仪;PVAC防撞分析仪接收PLC发送的龙门吊运行状态信息，采集并分析对应的摄像机（包括大车向右运动2个门腿摄像机、大车向左运动2个门腿摄像机和1个小车架摄像机）视频（见图3）。

PVAC防撞分析仪采用人工智能视频识别分析算法对视频流进行分析，并将警报信息分别发送给PLC和大车監控台视频软件，其中：减速警报发送至PLC和大车监控台，紧停警报发送至PRCS大车监控台。若门腿摄像机在10～20 m区域内识别到人员或车辆，向PLC发送大车减速警报信息;若门腿摄像机在0～10 m区域内识别到人员或车辆，向PLC发送紧停警报信息;若小车架摄像机在吊具下方检测区域内检测到人员，向PLC发送吊具停止下放的紧停警报信息（见图4）。

PLC收到减速警报信息后，发送减速指令至龙门吊，降低大车运行速度。大车集中监护系统的大车监控视频软件收到龙门吊减速警报信息后，警报视频画面显示黄色边框，并触发音响警报（提示“前方有人”“前方有车”等）。大车监控人员观察报警摄像机视频画面：若确有警情，处理警情后按消警按钮;若大车监控人员确认为误报警，按误报警按钮（见图5）。大车集中监护系统的大车监控视频软件收到龙门吊紧停警报信息后，对应的警报视频画面显示红色边框，同时驱动网络音响发出紧停警报提示音（提示“前方有人”“前方有车”“ 下方有人”等）。大车监控人员观察紧停报警摄像机视频画面：若确有警情，按紧停按钮，使大车停止运行或吊具停止下放，处理紧停警情后，按视频软件上的消警按钮;若大车监控人员确认为误报警，按误报警按钮（见图6）。

PVAC防撞分析仪收到消警信息后，消除发送的警报，继续检测摄像机拍摄的视频画面;PVAC防撞分析仪收到误报警信息后，对当前视频画面内误报警目标不再重复报警。PVAC防撞分析仪向PLC发送心跳检测信息，PLC将心跳检测信息发送至数据视图，由数据视图显示防撞系统工作状态（见图7）。PVAC防撞系统全程监控并记录每次报警事件及处理情况，记录人员和车辆报警事件的时间、龙门吊编号、视频截图等，并保存报警录像供追溯查询。

3 基于视频分析的自动化龙门吊大车集中监护系统功能实现

自动化龙门吊大车集中监护系统视频分析仪的主要功能是采集并分析实时视频画面，检测龙门吊运行方向的门腿摄像机前方20 m区域内是否有人员或车辆，以及小车架下方区域内是否有人员，具体功能实现过程如下：（1）当检测到龙门吊运行方向的门腿摄像机前方0～10 m区域内有人员或车辆时，向龙门吊PLC和大车集中监护台发送急停指令，使龙门吊停止运行，同时大车集中监护台相关视频画面显示急停警报信息，提示安全监控人员有警情发生;（2）当检测到龙门吊运行方向的门腿摄像机前方10～20 m区域内有人员或车辆时，向龙门吊PLC和大车集中监护台发送减速指令，使龙门吊降低运行速度，同时大车集中监护台相关视频画面显示减速警报信息，提示安全监控人员有警情发生;（3）当龙门吊吊具下放时，检测小车架摄像机视频画面的安全区域内是否有人员，若检测到人员，吊具停止下放。自动化龙门吊大车集中监护系统中大车监护台的功能是对运行中的龙门吊实施监护，当检测到不安全因素时，安全监控人员可按急停按钮，使龙门吊停止运行。

4 结束语

基于视频分析的自动化龙门吊大车集中监护系统利用多种视频分析算法，大大提高算法识别率，满足码头生产应用要求。梅东公司在应用基于视频分析的自动化龙门吊大车集中监护系统的基础上，结合毫米波检测技术以及大车集中监护台安全监控人员的实时监护，为龙门吊安全、高效作业提供有力保障。

（编辑：曹莉琼 收稿日期：2021-04-09）