基于深度学习的多目标检测方法在智慧工地中的应用研究

黄涛，刘春芽，郑凤飞

（兰州朗青交通科技有限公司，甘肃 兰州 730030）

随着国民经济的不断发展，中西部开发战略的崛起，公路施工工地数量呈现出逐年递增的趋势，与此同时，传统工地管理的缺陷逐渐暴露，主要存在监管难度大、人员管理复杂、安全事故频发、缺乏安全预警等问题，很难对工地中人、车、料、物进行实时跟踪与识别，导致相关监管单位协同监管困难、施工效率低下、项目缺乏可追溯性以及存在严重的安全隐患。近些年，随着深度学习的飞速发展，多目标检测方法已成为计算机视觉的热门研究领域，多目标检测技术相对于单目标检测技术而言，虽然复杂度高，但其可以更好地获取多目标的深度特征，且应用更为广泛，该技术的发展为公路施工工地的管理带来新的改革[1-3]。本文基于深度学习框架，采用多特征联合的方法对智慧工地进行多目标识别与监测，并提出构建公路施工场地数据集的方法，实现对施工工地人、车、料、物等目标的检测识别，实时把握工地作业的整体运行，同时对施工工地状态进行预测，为管控人员提供准确的态势分析，从而提高施工工地的智能化监管水平。

1 智慧工地多目标检测总体框架设计

1.1 智慧工地多目标检测系统框架

智慧工地多目标检测系统主要由工地数据获取、边缘网管检测、平台侧识别与分析3 部分组成，具体如图1 所示。工地数据获取包含摄像机获取的视频流和抓拍获取的图像数据；边缘网管检测主要是基于深度学习的图像目标检测技术，包含特征提取、区域提取、感兴趣区域识别、分类与回归以及检测与定位五大部分，通过输入已标注的工地场景数据对模型进行训练分析，结合损失函数得出最佳模型，对未知场景进行分析；平台侧识别与分析是利用生成的模型对智慧工地中的人、材料、车牌、安全帽、危险区域等进行识别，并利用统计学模型对工地目标数据变化进行统计、分析及可视化展示，达到对工地异常情况的智能提醒和通知的目的。

图1 智慧工地多目标检测与分析框架示意图

1.2 智慧工地多目标检测功能特点

智慧工地多目标检测系统检测功能主要包含车辆检测与识别、人脸检测、安全帽佩戴识别、危险区域检测、设备工作状态监测、烟火识别、预警信息提示、数据可视化展示等，具体如下。

1.2.1 车辆检测与识别

车辆检测与识别系统是自动从监控视频或抓拍系统中提取出车辆信息，主要包含车牌号码、车牌颜色、车量类型等信息，将上述车辆信息通过云端进行存储与上传至工地管理系统，同时统计工地出入口、施工区域的车流量信息，将车型进行归类，实时记录车流量。

1.2.2 人脸检测

智慧工地人脸检测的目的是实现工地现场施工人员管理，为统计出施工人员数量、履约情况等提供有效手段。公路建设工地环境受天气、光照、烟尘等影响因素，环境较为复杂，需要在复杂环境下实现精确人脸识别。该系统基于Faster R-CNN 深度学习算法，结合特征融合和多尺度训练等策略改进模型，实现工地人员人脸识别。将识别出的人脸信息与后台预设人员库进行比对，精确匹配工地出工人员信息，统计现场人员数量。

1.2.3 安全帽佩戴识别

安全帽佩戴的主要作用是工地施工人员或者监管人员在受到高空坠落物体冲击时，可以有效地消除或减轻其对人体的伤害，但许多工人因安全帽缺乏舒适感而选择不佩戴，这将危及工人的生命安全，因此安全帽佩戴识别系统可以对未佩戴安全帽人员进行及时的抓拍，并发出预警提示。该系统基于Faster R-CNN深度学习算法，结合金字塔多尺度方法的特征提取，获得不同尺度的特征图，以此实现对是否佩戴安全帽的检测。

1.2.4 危险区域检测

由于公路施工场地属于劳动密集型产业，存在施工地点分散、农民工安全意识低等问题，因此，在事故发生之前采取有效措施，减少事故发生，有助于工地智能化管理。危险区域检测系统对工地作业危险场景进行检测识别，同时检测危险区域是否有工作人员。当检测到危险区域有人进入时，将抓拍信息和报警信息进行可视化，以此保护工作人员的人身安全，降低工地损失。

1.2.5 设备工作状态监测

前端感知设备统一接入边缘网管检测平台，通过反馈信号接入与解析，实现前端设备实时状态采集。边缘网管检测平台将解析后的结果数据传输至云端平台侧，供平台侧展示与预警，便于及时掌握前端感知设备运行情况，确保所采集数据的时效性和准确性。

1.2.6 烟火识别

公路施工工地现场临建设施多，防火标准低；施工现场易燃、可燃材料多；动火作业多、露天作业多、立体交叉作业多、违章作业多。防火关乎施工人员生命安全和现场材料安全，是工地管理的重要环节。本系统利用前端摄像机拍摄的视频流数据和图片数据，标注ROI，利用Faster R-CNN 深度学习算法进行烟火识别，并将识别出的预警信息进行预警。

1.2.7 预警信息提示

通过分析摄像机的视频流和抓拍获取的图像数据，获取出车辆、人员、安全帽佩戴、危险区域等信息，将这些信息在智慧工地平台进行实时展示，并根据正确指标进行预警，超出指标范围则向工地发出预警信息。同时，通过深度学习模型对智慧工地道路交通状态进行预测，预测系统可以根据输入的拥堵指标、预测间隔等数据，与实际工地车辆流量限制进行对比分析，从而预测出工地交通状态。

2 数据集构建

在深度学习领域中，数据集的特点很大程度上决定了模型的鲁棒性、稳定性等特征。虽然目前有很多关于包含道路、行车、车辆等目标的数据集，但是缺乏关于工地的数据集，因此数据集的构建是本文的关键一步，数据集的构建主要包含数据标注与数据划分两部分。

2.1 数据标注

数据标注是为待标注数据中不同的目标增加不同标签。本文数据集主要是根据摄像头和抓拍系统采集的实际工地数据，采用LabelImage 工具人工框选出每一帧视频图像或抓拍图像中的车辆、行人、物料、安全帽、危险区域等目标，并对每一类目标赋不同的值进行区分，完成数据集的标注工作。

2.2 数据划分

工地数据划分是把标注好的数据按照训练集、验证集进行划分，将未标注的数据作为测试集。其中训练集是为了训练模型获取模型内部参数，从而更好地进行分类与跟踪；验证集是用于检验训练过程中模型的状态，并输出参数评价指标；测试集是为了评价模型的泛化能力，同时也是对未标注数据集进行自主标注的过程。本文按8∶1∶1 的比例进行训练集、验证集、测试集的划分，该比例获取的模型，其鲁棒性更强。

3 基于深度学习的多目标检测

3.1 多目标检测算法

近年来，随着深度学习的广泛应用，多目标检测算法得到的飞速发展[4-5]。现如今，通用的多目标算法主要包含Faster R-CNN、Yolo、SSD 三类，其中Yolo算法主要应用于图像的小目标检测与分类，主要采用单级检测器策略提高计算效率；SSD 也采用单级检测器策略，对输入图像进行分析，输出目标的边界框位置及概率[6]。但是，单级检测器往往不如两级检测器准确，但其速度明显更快。因此本文选择基于Faster R-CNN 的多目标检测算法，其检测结果较另两者更加准确。

3.2 基于Faster R-CNN 的多目标检测框架

3.2.1 候选区域检测网络

Region Proposal（候选区域）是根据输入图像信息，通过图像的边缘、颜色等特征信息，预先确定图像中目标的位置信息，从而保证模型在选取较少窗口的情况下，仍然具有较高的召回率。该方法比传统的滑动窗口方法获取的质量更高。其中，边框回归（Bouding Box Regression）算法是利用线性回归算法对候选区域进行纠正，验证了提取窗口与目标窗口的吻合度。

3.2.2 基于Faster R-CNN 的多目标检测流程

Faster R-CNN 算法框架主要包含候选框提取模块和检测模块两部分。首先将候选区域网络整合到CNN中，利用卷积神经网络生成候选区域，提高候选区域选取速率；然后设计共享卷积层，保证整个过程中只有一次特征提取，提高网络识别速度；最后设计检测网络，将提取的区域候选特征输入到池化层，获取候选区域特征，并结合全连接层完成分类回归任务。

Faster R-CNN 算法如图2 所示。在智慧工地中，首先根据上文标注的工地选取较为合适的预训练模型；然后通过数据训练不断优化网络参数，使其模型误差达到最小，从而得到智慧工地检测的最优模型；最后将待检测数据放入模型中，输出分类结果主要包含智慧工地中的目标种类、名称及召回率。

图2 Faster R-CNN 算法网络框架图

4 结束语

本文主要研究基于深度学习的智慧工地多目标检测方法，通过对智慧工地场景的分析，提出智慧工地多目标检测整体框架，并提出工地数据集制作的方法，结合Faster R-CNN 网络阐述了多目标检测的基本流程，从而完成智慧工地多目标检测系统。该系统的研究实现了对公路施工场地的全面感知，从而解决了传统监管模式的效率低、数据获取不及时、存在安全隐患等问题。相信随着数字浪潮的不断发展及在各界的共同努力下，智慧工地系统会更加完善，为社会可持续发展作出贡献。