远程广域网多技术融合的高速公路施工智能监控系统

陈 垦,王世法,谭屈山,何富勇,王 俊,雷 达,焦育威,杨 岚,杨 洋,李 伟,曹 堃,胡思源

(1.东南大学 信息科学与工程学院, 南京 210009;2.四川数字交通科技股份有限公司, 成都 610041;3.四川成绵苍巴高速公路有限责任公司, 四川 绵阳 621099)

0 引言

由于建筑项目的多样性及其对终端客户的重要性,建筑行业被认为是国民经济基础的重要组成部分[1]。电子设备可以在协助监测健康风险主体应用方面发挥关键作用。在建筑工地,使用常规方法很难跟踪工人的状态。为了减少与健康有关的事故和其他类型的事故,可以对工作人员和高速公路施工现场的建筑结构进行实时监测。传感器节点的数量和位置会受到电源和布线的限制,这会提高数据收集的成本和复杂性,部署和维护的成本也可能上升。采用物联网(internet of things,IoT)[2]并利用智能节点开发可适应和有效的基础设施用于数据收集和分析是当前趋势,包含传感设备的物理设备连接到互联网,允许数据在不同平台之间交换,将系统实现技术与采集过程的特定阶段分离以增加模块化。

本文的主要贡献包括:① 提出了一种高速公路施工现场智能监控系统,包括工人安全系统和结构完整性系统。通过与物联网平台进行信息交互,最终展示给用户。② 提出一种基于轻量级网络的低分辨率人脸检测算法(light-weight object detection,LOD),用于检测施工人员是否佩戴安全帽。LOD算法应用深度可分离卷积取代标准卷积,引入感受野模块,使用LOD-NMS算法和Mish激活函数,针对亚洲人的头部特征比例设置合适的先验框,实现了精度和速度的平衡。③ 将所提算法在真实与公开数据集上结合起来训练,进行对比,验证了数据集扩充后模型的平均预测精度有所提升。

1 相关工作

Fernández-Steeger等[3]介绍了无线传感器网络在地面改善区的部署方案。Yang等[4]提出一种使用摄像机跟踪建筑工地多名工人的方案。Zhao等[5]提出一种在施工现场定位预制构件(prefabricated components,PC)并在安装过程中监测其结构状态的系统。Nawaz等[6]基于无线传感器网络监测地下箱中三块连续墙板在开挖和施工过程中的变形情况。Xia等[7]提出一种多用途的施工区域监测系统。Laurini等[8]提出一种在施工现场使用RFID(radio frequency identification)标签和电磁射频支持的基于无线传感器网络的智能传感器节点集成方法。Ragnoli等[9]提出一种基于LoRa的落石监测无线传感器网络。

Viola-Jones[10]算法是能够实时处理且效果较好的人脸检测算法。 Howard等[11]使用深度可分离卷积来构建轻量级深度神经网络。Szegedy等[12]提出Inception的网络结构。Bodla等[13]提出Soft-NMS(soft-non max suppression)算法,通过高斯函数接收2个目标检测候选框的交并比IoU(intersection over union),并做出不同程度的惩罚。

2 高速公路施工现场智能监控架构

系统硬件结构如图1所示,经过LoRa传输以后,物联网服务对网关所接收到的数据包进行管理。

所提系统的LoRa节点包括:① 用于结构的惯性测量单元(inertial measurement unit,IMU)节点,其实现了GPS(global positioning system)单元,便于定位,可以作为工人的跟踪器;② 基于RFID的门访问控制节点。结构节点每隔60 min通过LoRa 物理层向网关发送报文。跟踪器节点是一个DraginoLGT-92设备,是一种基于LoRa技术的开源GPS跟踪器,用于紧凑和低重量格式的数据传输。

为了监控高速公路施工现场的入口,基于超高频RFID标签开发了一个自主系统。每个工人的头盔上都贴有合适的标签,当经过大门下方时,系统会检测到工人,并将人员信息添加到现场人员列表中。

所提LOD模型与Cayenne互联网平台进行信息交互,实时监控工人是否佩戴安全帽,以保障工人的生命安全。

图1 系统硬件结构

无线传感器网络的结构节点安装在脚手架杆和正在进行维护施工操作的房屋结构上,如图2所示。

图2 无线传感器网络的结构节点

3 高速公路施工现场智能监控系统

3.1 结构节点

结构节点是由协调微控制器、运动和环境传感器、UART(universal asynchronous receiver-transmitter)到USB(universal serial bus)接口、GPS调制解调器、连接到5 V太阳能电池板的电池管理系统以及供电和配电网络组成的电子系统。微控制器为STM32L,由于其低功率工作模式可达几微安,特别适合电池供电的应用,因此也适用于基于采集的无线传感器网络。结构节点块方案如图3所示。

图3 结构节点块方案

Bq21040单电池充电集成电路通过太阳能收集或直接从USB连接为电池充电。与传感器节点相关的电路由低降差稳压器以3.3 V供电。半导体的运动传感器,电源为3.3 V,通过I2C连接到微控制器。传感器可以基于电源模式在不同的分辨率设置下工作。在正常模式下,分辨率为4 mg/位±2 g刻度。设备上安装Ublox MAX-7Q GPS调制解调器获取经纬度定位状态,并通过UART与单片机相接。Semtech SX1276 LoRa模块为使用扩频通信的长程技术的收发器。串行外设接口用于将该单元连接到微控制器,电源为3.3 V,该模块-148 dBm的高灵敏度允许在低链路强度应用中进行通信。ISM柔性天线2JF0115P用于LoRa通信。温度和湿度以及气压也由结构节点通过I2C总线上的BME680进行测量。温度测量是0～65 ℃±1 ℃,湿度测量精度为±3%相对湿度(relative humidity,RH),每年典型漂移0.5% RH;气压测量精度为±0.12 hPa,每年典型漂移±1 hPa。使用补偿阀确保箱内气压与箱外气压在同一水平。

3.2 轻量级目标检测模型

因为施工现场工人长期处于移动状态,且施工现场环境复杂,所以图片的分辨率往往不高。因此,提出一种基于轻量级网络的低分辨率人脸检测算法(light-weight object detection,LOD),其应用深度可分离卷积取代标准卷积,引入感受野模块,使用LOD-NMS算法、Mish激活函数,针对亚洲人的头部特征比例设置合适的先验框,在小分辨率图片输入情况下,实现了精度和速度的平衡。本文中所使用的LOD算法是在SSD(single shot MultiBox detector)算法[14]的基础上进行轻量化改进得到的。采用基于深度可分离卷积和轻量级人脸检测算法,网络结构如图4所示。

轻量级网络结构包含6组卷积块,每组卷积块均包含不同数量的卷积和一个注意力模块。引入 RFB(receptive field block)模块是为了增大特征的感受野;引入 CBAM 注意力模块[13]可以有效利用网络中的通道和空间上的注意力,将检测分支由原始的6个降为4个,并根据亚洲人人脸的具体情况设计先验框的形状和大小,大幅减少先验框的数量。

输入的特征图的大小为H×W×M,卷积核尺寸为DK×DK×M×N,标准卷积的计算量和参数量如式(1)、式(2)所示。

NDWS=H×W×M×DK×DK×N

(1)

PDWS=M×DK×DK×N

(2)

式(1)—(2)中:H为图片高度;W为图片宽度;M为输入通道数;DK为卷积核尺寸;N为卷积核数量;NDWS为标准卷积的计算量;PDWS为标准卷积的参数量。

深度卷积和点卷积组合而成深度可分离卷积,其对常规卷积做了一个细微的改动,可以使参数数量下降。相当于用较小的精度损失换取内存使用量的减少,并降低计算量,从而使得标准卷积神经网络能够在大部分计算设备上运行。

图4 LOD算法框架

如图4所示,LOD算法首先使用深度卷积,逐个通道提取特征信息,经过深度卷积后,得到的特征图的数量与输入层通道数相同。分通道计算后,考虑不同通道之间的信息,需要进行点卷积来重新组合特征图。点卷积的卷积核的尺寸为1×1×M,M表示输入层的通道数,输出特征图和卷积核的数量是相同的。这一步骤进行的卷积运算会把前一步生成的特征图在深度方向上作加权组合处理,生成新的特征图。深度可分离卷积的计算量和参数量如式(3)、式(4)所示:

NDWS=H×W×M×DK×DK×N+

H×W×M×N

(3)

PDWS=M×DK×DK+M×N

(4)

使用深度可分离卷积之后的计算量与标准卷积的计算量的比值如式(5)所示。

(5)

式中:NDWS为深度可分离卷积计算量;NSTD表示标准卷积的计算量。

从式(5)可以发现,相同的输入的情况下,使用深度可分离卷积所需的参数量和计算量更少,同时能得到相同数量的特征图输出,因此深度卷积计算效率远远优于普通卷积。

SSD通过设置不同尺度和形状的先验框,根据先验框的偏移量得到物体位置,因此先验框的数量会影响模型大小和计算量。先验框用于标识人脸,通过调整先验框的长宽比例减少检测分支和先验框数量。

RFB模块通过设计一个新的结构来提升感受野,并将其嵌入到SSD网络中,模拟人类视觉的感受野来增强网络的特征提取能力。

Mish激活函数是一种自正则的非单调神经激活函数,其函数表达式及导数表达式如式(6)、式(7)所示。

f(x)=x×tanh[ln(1+ex)]

(6)

(7)

式中:ω(x)=4(x+1)+4e2x+e3x+ex(4x+6),δ(x)=2ex+e2x+2。相比ReLU函数,Mish 函数更加平滑,更有助于提高模型的泛化能力和模型收敛的速度,同时更好地传播信息。其次,通过式(6)可以看出,Mish函数无上限有下限,不会出现梯度消失的问题,在训练过程也不会使函数值封顶从而导致饱和。

NMS(multi-person pose estimation)算法直接将大于阈值的人脸框删除,但是可能会导致检测不够准确。而LOD-NMS不是直接将其删除,而是利用一个权重函数,对相邻区域内(IoU超过阈值)的检测框的分数进行调整,并做出不同程度的惩罚,结合惩罚的力度大小对目标物的置信度进行修改。这使得LOD-NMS可以取得更好的识别效果。

算法1LOD-NMS算法

输入:B= {b1,…,bN},S= {s1,…,sN};B为初始检测框列表;

S包含相应的检测分数;

Nt为阈值

输出:D,S.

begin

1.D← {};

2.whileB≠∅do

3.m← argmaxS;

4.M←bm;

5.D←D∪M;

6.B←B-M;

7. forbi∈Bdo

8.ifIoU(M,bi)≥Ntthen

9.si←si*f(IoU(M,bi));

10.end

11.end

12.end

13.returnD,S;

end

LOD-NMS算法基本思想为:集合D用于保存经过LOD-NMS抑制建议的框,初始化为空集;然后,遍历整个集合,当B不为空时,按照建议框得分从高到低进行排序,集合M是按照得分高低排列的建议框;依次取出去掉最高得分建议框的所有框,并分别计算这些框与M的IoU;如果IoU(M,bi) 得分大于阈值Nt,使用权重函数f(IoU(M,bi)) 对得分进行衰减。如果有其他检测框与检测框M有重叠情况,该重叠框的分数会衰减,重叠度越高,分数衰减越严重。根据判定条件IoU(M,bi)≥Nt,将得分较小的si去掉。最后,返回LOD-NMS算法得到的建议框及该建议框的得分。

算法复杂性分析:在算法1中,已知初始检测框列表数量为n,则算法的整体时间复杂度为O(n2)。

3.3 目标检测实验结果与分析

3.3.1数据集

1) WIDER FACE数据集,包括32 203张图片,标注393 703张人脸。根据事件场景的类型将数据集分为61个类别,对于每类事件,随机选择40%、10%、50%的比例划分到训练集、测试集和验证集。

2) 在高速公路施工现场收集的1 030张工人施工时的人脸照片,此数据集在本文中命名为WORKER FACE。

3.3.2实验设置

实验软硬件环境包括:操作系统为Ubuntu 16.04,CPU为Intel(R) Core(TM) i7-13700K CPU@3.40 GHz,GPU为NVIDIA RTX 3090,24 GB。深度学习框架选择Pytorch,在网络训练过程中使用随机梯度下降优化,动量设置为0.9,权重衰减为0.000 5。学习速率从0.001开始,经过5个轮次后上升到0.01。

3.3.3评价标准

人脸检测任务中的精确率和召回率通过混淆矩阵计算得到,其中TP表示工人佩戴安全帽被检测正确,检测框的置信度大于设定的阈值;FP表示背景被当作工人佩戴安全帽检测出来,属于误检;FN表示工人佩戴安全帽被检测为背景,检测框的置信度小于设定的阈值,属于漏检;TN表示背景被检测正确,一般不做考虑。

是否佩戴安全帽检测的评价标准主要采用平均精度(averageprecision,AP)来评价。 精确率(precision)是被判断为正例的样本中,其真实值也为正例的概率;召回(recall)是真实值为正例的样本中,预测正确的概率,如式(8)、式(9)所示:

precision=TP/(TP+FP)

(8)

recall=TP/(TP+FN)

(9)

3.3.4消融实验

为了验证RFB模块、CBAM模块、Mish激活函数和LOD-NMS对LOD模型性能的影响,在WIDER FACE数据集上设计消融实验。实验结果如图5所示。

Baseline表示最基础的人脸识别模型,也就是只调整了检测分支和先验框个数之后的模型。验证集根据边缘框的检测情况划分为 easy,medium和hard 3个难度等级。在easy子集中,Baseline取得不错的预测性能,在新的模块不断加入之后,模型的平均精度越来越高,进一步验证了每一个模块的重要性。当RFB模块加入后,平均精度涨幅较大,说明RFB模块对模型性能的影响较大。随着预测难度等级的不断上升,模型的平均精度表现逐步变差,但是即使在hard子集中模型也能达到0.46左右的平均精度,这是非常理想的性能,即在高速公路的施工现场,完全能够识别出工人是否佩戴安全帽,以保障他们的生命安全。

同时在WIDER FACE数据集上和主流算法性能进行对比,实验结果如表1所示。

观察得知,相比于模型规模相近的LFFD、SSD-Mobilenetv1[15]和RetinaFace[16],LOD的模型准确率更高。在easy子集中,LOD模型的表现非常好,平均精度达到80%以上。在medium子集上,LEFT[17]与LOD模型相差无几,但LOD模型略微低于LEFT模型,这是因为LOD模型采用的骨干网络比LEFT模型小一些,对内存的消耗也更小。在hard子集上,LOD模型展示出了性能优势,平均精度高于其他3个模型,进而证明LOD模型在实际高速公路施工现场中的可行性更强。真实数据集与公开数据集结合训练,LOD模型预测结果如图6所示。

将WIDER FACE结合WORKER FACE数据集进行训练,LOD模型取得了最佳的预测性能。因为WORKER FACE数据集中包含很多工人戴着安全帽的人像图,用其对模型提前预训练,使得LOD模型平均精度从0.478(WIDER FACE数据集)提升到0.493(WIDER FACE+WORKER FACE数据集)。

图6 不同数据集结合的训练预测性能曲线

3.4 高速公路施工现场远程监控平台

使用Cayenne web服务实现了一个远程监控web平台,使高速公路施工现场管理人员能够观察工人和机器的运行状态以及结构元件参数。结构节点报告GPS位置,倾斜角度是根据沿着3个空间轴的加速度测量数据计算得到的,如式(10)所示。

(10)

图7显示了4 d由结构节点的加速度计感应到的倾斜变化数据,相对于安装在脚手架管道上的一个元件,脚手架管道已经改变了它的位置,沿着超过90°的轴旋转。

使用本文中所提系统,高速公路施工管理人员可以将真实场景传感器数据集成到BIM(building information modeling)系统中,以获得优化的投影操作、安全性增强和现场的总体改进。作业人员使用倾斜数据来监测脚手架设备和关键施工点的结构健康状况。高速公路施工现场分为三片区域,便于出入管理和控制。每个区域都相对于一个定义良好的区域,RFID访问监控节点位于各自的入口大门。图8为RFID访问监视仪表板主界面,扇区由不同颜色标识。

图8 RFID节点监控仪表板

4 结论

提出了一个远程广域网多技术融合的高速公路施工智能监控架构及系统,通过部署不同传感器节点和电子设备,实现在真实独立场景中对工作人员、工具、重型机械的自主监测和智能跟踪。站点人员可以通过在线仪表板访问数据,进行管理操作。此外,提出了LOD模型,用于检测施工现场的工人是否佩戴安全帽,其结果与Cayenne互联网平台进行信息交互,实时监控工人是否佩戴安全帽,保障工人的生命安全。