基于卷积神经网络的预制叠合板多目标智能化检测方法

姚刚 ,廖港 ,杨阳 ,李青泽 ,魏伏佳

（1.重庆大学 山地城镇建设与新技术教育部重点实验室；土木工程学院，重庆 400045；2.中机中联工程有限公司，重庆 400050）

近年来，装配式建筑发展迅速，2016 年中国新开工装配式建筑面积1.1×109m2，2020 年增长至6.3×109m2[1]，年平均增长率55.4%。预制构件作为装配式建筑的基本部件，其生产过程中的质量控制对提高装配式建筑质量具有重要意义[2-4]。预制叠合板作为目前使用广泛的预制构件，构造简单，施工便捷，被广泛应用于各类装配式住宅体系[5-7]。

装配式建筑施工过程中，尺寸不合格的预制叠合板需返厂，不仅造成材料浪费、成本增加，还直接影响现场安装进度[8]。目前，预制构件厂进行预制叠合板尺寸检测主要采用人工钢尺抽查的方法，人工投入量大，检测速度及精度低，存在漏检的现象。因此，发展非接触式预制叠合板智能化检测方法，对于加快速度、提高精度及降低成本具有重要的现实意义。在非接触式检测上，已有部分学者使用激光扫描技术来检测构件尺寸[9-11]，并通过实际项目建立检测与评估系统[12]。激光扫描由于需要后期处理数据并生成影像图，检测结果反馈较慢，且对于移动目标检测效果不佳，在工业化的流水线生产中应用受限。

基于计算机视觉，有学者通过Canny 边缘检测算子开展成品预制构件的尺寸检测研究[13]，实现大尺度构件的尺寸检测，但是，在实际操作中需要人工设定阈值，泛化能力较低，且对于边缘较为模糊的小尺度构件检测精度受限。随着人工智能技术的发展，智能化检测方法在土木工程领域获得广泛应用[14-15]。其中，卷积神经网络通过大量的训练数据提取待检测目标的深层次特征，并采用多尺度特征融合的结构以适应不同尺度的检测目标，具备强大的特征提取能力及泛化能力[16]。有学者借助卷积神经网络算法，通过优化VGG16 识别网络研究建筑物门窗等构件的分类问题[17]，通过DeepLabv3+语义分割算法实现像素级别的混凝土构件表观裂缝检测[18-20]与气泡缺陷检测[21]。目前，智能化检测的研究大多针对使用阶段的构件，进行健康监测及损伤检查[22]，针对生产过程中的预制构件进行尺寸检测的研究较少。

笔者基于卷积神经网络算法，研究生产流水线上预制构件的数量及尺寸检测。以预制叠合板为例，进行混凝土底板数量和尺寸、预埋件数量和坐标，以及弯折方向不合格的外伸钢筋检测研究，并以固定磁盒作为基准参照物进行尺寸检测误差分析，实现非接触式预制叠合板多目标智能化检测，降低预制构件厂的人工成本，提高检测精度，加快检测速度。

1 预制叠合板多目标检测系统

1.1 多目标检测系统原理

目标检测技术发展较迅速，其主要目的是在图像中精确标定被检测物体的类别及位置[23]。而多目标检测技术主要是针对图像中存在多个待检测目标的情况，需要提取不同目标的外观、尺寸等特征，将其严格地与背景或其他目标分离开来。相较于单一目标检测，多目标检测存在不同目标间互相干扰、遮挡等问题，检测过程中的参数规模大，对硬件要求高[24]。

借助智能化检测的手段，通过图像实现对生产线上所有预制叠合板的多目标检测，提高构件生产合格率。多目标检测内容包括：预制叠合板底板、预埋线盒及不合格外伸钢筋3 类。通过设计预制叠合板多目标检测系统，并引入基准参照物，进行预制叠合板尺寸检测误差分析，实现在生产过程中检测混凝土底板数量和尺寸，预埋线盒数量和坐标，以及外伸钢筋的弯折方向，实现多目标智能化检测。预制叠合板多目标检测系统原理如图1 所示。

图1 预制叠合板多目标检测系统原理Fig.1 Principle of multi-target detection system for prefabricated laminated board

1.2 基于卷积神经网络的目标检测算法

基于卷积神经网络的目标检测算法相比人工构造特征的传统目标检测算法，可以自动提取特征，具有泛化能力强、鲁棒性强的优点。常见的基于卷积神经网络的目标检测算法有两类，基于候选区域与基于回归的目标检测算法[25]。基于候选区域的目标检测算法通过在图像样本中生成待检测候选区域，随后对待检测区域中的目标进行特征提取并加以识别，以R-CNN(Region with CNN features)[26]、SPP-Net(Spatial Pyramid Pooling)[27]等系列为代表，目标检测精度较高，但需计算候选区域，检测速度较慢。基于回归的目标检测算法通过直接对图像进行全局处理，避免候选区域的计算过程，检测速度大大提升，以YOLO(You Only Look Once)[28]、SSD(Single Shot Multibox Detector)[29]等系列为代表，在对检测速度有要求的领域（如实时监测）获得广泛应用。

其中，YOLO 系列作为兼顾检测速度与精度的目标检测算法，可以实现轻量化、多尺度的目标检测。YOLOv5 作为该系列最新的目标检测算法模型，与上一版本相比，大幅提高了检测速度，在基准数据集下图像推理速度最快达到140fps（每秒处理140 帧图像）[30]，可以满足预制构件厂流水生产线上对预制叠合板检测速度的要求。因此，基于YOLOv5 算法，建立预制叠合板多目标检测系统，图2 所示为其网络模型结构。

图2 YOLOv5 网络模型结构Fig.2 YOLOv5 network model structure

神经网络的输入图像经过Input、Backbone、Neck、Prediction 4 个模块后得到预测锚框，锚框标示出待检测目标（预制叠合板底板、预埋PVC 线盒及外伸钢筋）的类别及位置。

Input 模块主要对输入的图像进行预处理，本研究中原始图像像素为5 472×3 648，预处理阶段通过letterbox 方法对输入图像自适应添加最少的黑边，并将尺寸缩放为640×640，大幅减少计算量，提高检测速度。

Backbone 模块通过Focus 结构进行切片操作，将640×640×3 的输入图像转换为320×320×12的特征图，并经过卷积操作得到320×320×64 的特征图。随后通过CSP 结构对权重参数的梯度变化情况进行传递。Neck 模块部分通过上采样的方式，融合传输不同层次特征图的信息，并通过构造特征金字塔自上而下地提取强语义特征，将其传送至Prediction 模块。Prediction 模块作为算法网络的输出端，采用LGIoU作为预测锚框的损失函数，其数学表达式为

式中：AC为预测锚框与真实锚框的最小外包面积，I为预测锚框与真实锚框的交集，U为预测锚框与真实锚框的并集，如图3 所示。

图3 交并比Fig.3 Intersection of union

LGIoU损失函数通过增强神经网络对于不同锚框相交尺度的判断方式，解决预测锚框与真实锚框不重合的优化问题，提高损失函数的收敛性能，提升模型的检测速度。

神经网络的训练过程中，当预测锚框与真实锚框的交并比大于规定阈值（通常取0.5）时，认为该检测结果是正样本，反之为负样本。训练结束后，通过统计检测结果的正、负样本数量，通过混淆矩阵计算精度与召回率，并将其作为判断训练效果的主要依据，混淆矩阵如表1 所示。

表1 混淆矩阵Table 1 Confusion matrix

精度P为判断检测准确率的依据，其数学表达式为

式中：TP 检测结果为正样本，同时，其真实的标签也为正样本，检测正确；FP 检测结果为正样本，但是真实的标签为负样本，出现检测错误。

召回率R为判断查全率的依据，其数学表达式为

式中：FN 真实标签为正样本，但是检测结果为负样本，表示出现漏检。

在实际检测过程中，往往同时包含多类检测目标，因此，常采用平均精度PA作为全部检测目标在数据集上检测精度的判断依据，其数学表达式为

式中：C代表测试集中的样本类别数；Pj为第j类目标检测过程中平均精确度，使用精度-召回率曲线的面积进行计算，等式右侧为其积分表达形式。

1.3 图像采集系统设计

预制叠合板的出厂尺寸检查形式为人工钢尺抽查，内容包括混凝土底板尺寸、预埋件位置及外伸钢筋弯折方向。经抽样检查不合格的预制叠合板需销毁，并重新下料生产，造成人力物力的浪费。

借助卷积神经网络算法，通过图像实现对预制叠合板的非接触式尺寸检测，避免传统的接触式钢尺检测对生产流水线的影响。研究过程中，针对预制构件厂生产流水线的实际条件，设计图像采集系统。图像采集系统如图4 所示，由支架、云台、工业相机、光源及图像检测终端组成。传送系统通过电动机驱动的滚轮运输模台，模台携带预制叠合板通过支架下方，两台LED 光源设备提供稳定的环境光照亮预制叠合板的细部构造。三维云台具备角度、俯仰的姿态调整功能，为工业相机提供灵活、稳定的拍摄条件。工业相机对通过的预制叠合板进行图像采集，并将图像传送至检测终端。

图像采集系统设计过程中，为保证获取所需图像的全部特征信息，需计算工业相机拍摄高度。工业相机焦距f计算公式为

式中：焦距f为16 mm；D为工业相机至预制叠合板的距离；L、W为预制叠合板实际长度和宽度，最大为3 500、2 800 mm；l、w为工业相机感光元件的长度和宽度，分别为12.8、9.6 mm。为保证叠合板全部处于拍摄范围内，考虑预制叠合板放置方向的最不利情况，即预制叠合板长度方向沿感光元件的宽度方向放置，并在两侧各预留500 mm 余量，预制叠合板距地面高度h为500 mm。由此计算工业相机拍摄高度H

经调焦及拍摄测试，确定工业相机拍摄高度H为8 000 mm。采集得到518 张预制叠合板图像，单张图像分辨率5 472×3 648，采集图片时，尽量保证每块叠合板位于图片中央位置，使得成像清晰无暗角。部分图像如图5 所示，图5（a）为单张图片包含一块叠合板，图5（b）为单张图像同时包含两块叠合板。研究过程中，通过增加图片中目标数量，可以增强神经网络在复杂环境下的检测效果。

2 基于卷积神经网络的多目标识别

2.1 图像样本数据集建立

为了增强神经网络的泛化能力，防止出现训练过拟合的现象，考虑对原始图像进行样本扩充。研究过程中通过Opencv 组件对图像进行旋转、水平翻转、噪声扰动和颜色转换，以提高神经网络对不同方向、不同光线下预制叠合板图像的适应性，如图6所示。518 张预制叠合板图像经过样本扩充，得到总数为2 072 张图像的数据集，其中共包括预制叠合板3 156 块，预埋PVC 线盒6 284 个。

图6 图像数据集样本扩充Fig.6 Sample expansion of image date set

由于外伸钢筋在竖向平面内进行弯折，若产生过大平面外弯折，则视为不合格外伸钢筋。为统一外伸钢筋平面外弯折的评价标准，通过BIM 系列软件Autodesk Revit 对预制叠合板进行建模，并使用Revit 软件的图像渲染引擎模拟拍摄时的几何投影关系，如图7（a）、（b）所示。边缘处的外伸钢筋在拍摄投影过程中会由于拍摄偏角产生平面外的弯折，且钢筋位置越偏离画面中央，平面外弯折程度越明显。预制叠合板长边尺寸为L，故在标注过程中，取模拟图像中距离画面中央L/2 处外伸钢筋的弯折程度为合格标准。在示例中L最大为3 500 mm，取L/2=1 750 mm 处的外伸钢筋为合格标准，大于该弯折程度的，判断为不合格外伸钢筋，需对其进行标注，如图7（c）所示。

图7 外伸钢筋BIM 模拟Fig.7 BIM simulation of overhanging steel bars

使用标注软件labelme 对待检测目标进行标注，包括预制叠合板底板、预埋PVC 线盒及不合格外伸钢筋，如图8 所示。为保证后期预埋PVC 线盒定位精确，图8 中针对预埋PVC 线盒中部的八角盒部分进行标注。

图8 待检测目标标注Fig.8 The label of the target to be detected

2.2 训练过程及结果分析

为了保证训练过程中数据分布的一致性，避免因数据划分引入偏差而对最终结果产生影响，将2 072张原始图片按照70%与30%的比例随机划分为训练集与测试集。其中训练集用于训练神经网络各层的权重参数，测试集用于测试训练结果的准确性。采用Ubuntu 操作系统，Intel(R) Xeon(R) Gold 6142 @ 2.60 GHz CPU，Tesla V100-FHHL-16 G 显卡进行训练。通过预训练进行超参数调整，以加快模型训练速度，最终选择训练批次大小为32，学习率0.001，最大迭代次数7 000 次。

使用TensorBoard 获得迭代训练日志，绘制训练过程中损失函数曲线如图9（a）所示，平均精度曲线如图9（b）所示。

图9 训练损失函数及精度曲线Fig.9 Loss function and average precision curve

迭代到1 000 次后，损失函数开始呈现收敛趋势，迭代至7 000 次时，损失函数曲线已不再明显波动，损失函数值稳定在0.13 左右。预制叠合板底板平均精度稳定在99.10%，预埋线盒平均精度稳定在98.00%，弯折方向不合格的外伸钢筋平均精度稳定在87.20%。随着权重参数的迭代，损失函数与平均精度不再变化，保存神经网络训练过程中实际最优的权重参数。

使用最优权重参数对测试集图像进行测试，单张图像检测时间少于40 ms，且可以实现30 fps 的视频检测，满足预制构件厂生产流水线检测的速度需求。图像检测结果如图10 所示，预制叠合板混凝土底板及预埋PVC 线盒检测效果好，锚框可以精确地表示混凝土底板及预埋PVC 线盒的数量及位置，且在一张图像同时包含两块叠合板的情况下，也可以顺利完成检测。测试集上多目标检测平均精度为94.10%，召回率为96.40%。其中，预制叠合板底板平均精度达到99.60%，预埋线盒平均精度97.20%，弯折方向不合格的外伸钢筋平均精度83.20%。测试集的结果表明，通过训练后的神经网络对预制叠合板检测具有速度快，精度高的优势。

图10 多目标检测结果Fig.10 Multi-target detection results

3 预制叠合板尺寸检测结果分析

3.1 基准参照物选取

固定磁盒在预制构件的生产过程中被用于固定模具，其型号尺寸统一，通用性强，是预制构件生产过程中的必要组件，如图11 所示。以固定磁盒作为基准参照物，计算预制叠合板的混凝土底板尺寸和预埋PVC 线盒的坐标信息，并进行尺寸检测误差分析。

图11 SX-1000B 固定磁盒Fig.11 SX-1000B fixed magnetic box

使用Camera Measure 作为测量工具，从不同的图像中选取100 个靠近画面中央且无遮挡的固定磁盒，测量其长边尺寸，如图12 所示。

图12 Camera Measure 测量过程Fig.12 Camera Measure measurement process

对测量结果绘制箱型图，如图13 所示，固定磁盒在图片中的最小测量值为226.042 px，最大值为226.992 px，平均值为226.487 px。实际长度与像素长度的转换系数D计算公式为

图13 固定磁盒测量结果Fig.13 Fixed magnetic box measurement results

式中：lr为固定磁盒标准长边的实际长度；lm为固定磁盒在图像中的平均像素长度。根据固定磁盒型号，其实际长度lr为200 mm，像素长度lm为226.487px。则转换系数D为0.883。通过选取固定磁盒作为基准参照物，实现图片尺寸到实际尺寸的检测误差分析。

3.2 尺寸检测误差分析

利用Opencv 模块加载预制叠合板检测网络，对图像进一步处理得到各检测目标的锚框尺寸及中心点坐标，信息提取过程如图14 所示。

图14 检测锚框信息提取过程Fig.14 Anchor frame information extraction process

将检测数据通过转换系数D进行尺寸检测数据分析，得到最终的混凝土底板尺寸和预埋PVC 线盒的坐标信息，并计算误差。其中，预制叠合板底板尺寸检测误差ρd考虑长宽方向相对误差

式中：L、W为长度及宽度方向的尺寸，ΔL;ΔW为长度及宽度方向的绝对误差值。设定预制叠合板底板最左上角顶点为坐标原点，图像水平为x轴，竖向为y轴，预埋PVC 线盒坐标检测误差ρh为实际坐标至检测坐标的距离

式中：Δx、Δy为预埋线盒坐标的绝对误差值。随机选取100 块预制叠合板底板，测量其实际尺寸，并按照式（8）计算混凝土底板尺寸检测误差ρd，结果如图15（a）所示。选取的叠合板中包含预埋PVC 线盒186 个，通过测量其实际坐标，按照式（9）计算预埋线盒坐标检测误差ρh，如图15（b）所示。

图15 叠合板检测误差结果Fig.15 Inspection error result of laminated board

通过预制叠合板混凝土底板尺寸及预埋线盒坐标检测误差分析，混凝土底板尺寸检测平均误差0.53%，最大误差0.68%；预埋PVC 线盒坐标检测平均误差11.90 mm，最大误差15.61 mm。

4 结论

结合预制构件厂的实际生产需求，通过YOLOv5 目标检测算法，实现了基于卷积神经网络的预制叠合板多目标智能化检测。

1）在预制叠合板生产线上建立了预制构件多目标检测系统，可以在混凝土初凝前发现不合格预制叠合板构件，并及时进行处理，提高构件的合格率，避免二次生产造成的材料、人力浪费。

2）通过拍摄图像实现了多目标同时检测，单张图像即可完成混凝土底板数量及尺寸检测，预埋线盒数量及坐标检测，弯折方向不合格的外伸钢筋检测。检测速度快，单张图像检测时间少于40 ms，可以满足生产流水线实时检测需求。

3）以固定磁盒作为基准参照物进行检测误差分析，可以在降低训练数据集参数规模的工况下保持较高的识别精度。

4）混凝土底板、预埋PVC 线盒、外伸钢筋等3种目标的识别精度上，对混凝土底板识别最精准。其中底板数量检测平均精度99.60%，尺寸检测平均误差0.53%；预埋PVC 线盒数量检测平均精度97.20%，坐标检测平均误差11.90 mm；弯折方向不合格的外伸钢筋检测平均精度83.20%。