基于智能技术的配电柜接线快速检测方法
2022-08-26丁家皓李柏岩刘晓强涂文奇郑佳明
丁家皓,李柏岩,刘晓强,涂文奇,郑佳明
(东华大学 计算机科学与技术学院,上海 201620)
0 引言
近年来,随着制造业的蓬勃发展,我国正从制造业大国向制造业强国转变。随着工业制造业规模的扩大,机器设备不断增多,相应的强、弱电配电柜的使用量也与日俱增。配电柜在配电控制系统中起着至关重要的作用,是整个配电设备安全运行的重要保障[1],因此配电柜在全部接线完成,通电之前,必须进行接线连通检测,以确保所有线路都被已正确连接,防止烧毁设备。通常,配电柜的组成元器件主要包括断路器、PLC控制器、电源、继电器、接线端子等,负责将电能分配到各个负荷部位、通常还具有调控以及信息传递等功能[2]。在配电柜配置过程中,各组件之间不正确连接可能导致系统范围的故障,接线正确性是电路设备整体能否正常运行的先决条件。
传统模式下的配电柜的生产从设计、制造、安装到质检的各个环节较为独立,设计人员在最初设计配电柜结构时只考虑原理的正确性而忽略了在制造和安装中布局的合理性[3],随着德国EPLAN Platform软件的问世和广泛使用,这种状况发生了的改变。该软件为设计人员提供了虚拟样机与物理实物的数字孪生模型,通过“基于网络的布线优化”功能,可以在虚拟样机进行器件布局,并自动优化接线关系[4],得到接线表和接线图,将配电柜的生产过程带入了一个数字化、一体化设计的生产模式中。
EPLAN Platform将设计、制造和安装的过程联系了起来,从制造过程角度优化了生产时间,提高了自动化,甚至可以直接导出配电柜的接线表和接线图。但配电柜的接线检测工作依旧是依赖于人工、工作量大、自动化程度低、容易出错的工作。如图1所示,检测员根据接线图,在配电柜面板上查找接线点,用检测笔依次测量线路的通断情况。这不仅对检测员的经验和精神集中度有极高要求,也无疑耗费了大量的人力和时间,增加了企业成本。显然,采用新的技术手段,提高接线质量检测工作流程的自动化程度,减轻人工检测的工作难度和工作量,对配电柜生产企业尤为迫切。
图1 基于接线图的接线检测示意图
近年来,随着计算机新技术的不断涌现,以工业4.0所代表的智能制造技术发展迅速[5- 6],使用信息化、智能化技术改造传统制造业成为一种趋势[7],例如,朱雨贺[8]将YOLOv3(you only look once)应用于制造业的分拣工作中,并实现了深度学习下的自动分拣系统。王林[9]等以CNN(convolutional neural networks)为框架设计行人检测系统,有效检测了在各个状态和姿势下的行人;冯硕[10]等结合嵌入式系统和CNN结构设计实现了一套奇异果自动采摘系统,优化了繁重的采摘工作;梁赟[11]通对深度学习中定位与识别的研究,实现了生产线产品的检测。这些工作都为生产现场的自动化和智能化改造提供了值得借鉴经验。
本文通过分析传统人工检测配电柜接线工作流程,采用一系列计算机智能化技术,优化了传统配线接线工作,主要贡献如下:
1)设计并实现了接线检测辅助系统,针对接线检测的需求,提供人机交互绘制面板布局图的界面,并结合接线表,为检测员标示每对接线对在配电柜中的位置,优化了配线接线的质量检查工作的效率和可靠性。
2)收集且标注了配电柜图像,构建了配电柜常用器件数据集,借助卷积神经网络识别机柜图,辅助绘制面板布局图。利用目标检测网络YOLOX检测配电柜图,对配电柜中的常用器件进行识别和定位。
1 智能接线检测辅助系统
1.1 系统简介
智能接线检测辅助系统的总体结构如图2所示,分为服务器、移动检测终端(上位机)和检测仪三部分。接线检测管理软件系统服务器端运行在服务器上,其主要模块包括系统管理、用户管理、产品管理、检测实例管理、检测终端管理、检测过程管理、检测结果分析等。检测终端是每个检测员在工作现场使用的辅助设备,它提示当前要检测的线对、并在屏幕上指示检测点在配电柜面板上的位置。服务器与检测终端之间采用TCP/IP协议C/S架构通过Wi-Fi连接。检测仪是一个微型移动设备,它有两只带有作为导电触头的探针的检测笔,用于连接要检测的接线。工作时,检测员将检测终端贴挂在配电柜面板旁,查看当前要检测的接线对及其接线柱的位置,然后把测量仪探针与接线柱接触好,按“检测”按钮,检测仪将测量结果(线路通断情况)通过Wi-Fi传回上位机传回上位机,然后进入下一个接线对的检测。
图2 系统总体结构图
1.2 系统应用流程
智能辅助检测系统在实际工作中的应用流程如图3所示,总体可分成3部分,由技术人员、管理人员和检测人员分别完成不同的工作并相互协助完成整个检测流程:
图3 系统工作流程图
1)技术人员:首先,由技术人员设计配电柜的总体布局,得到接线表和接线图,并配置完成配电柜,得到配电柜实物图。其中,接线表中包含了对应配电柜中所有的接线对信息,包括源端与目标端器件的标号与标签、线缆标签、线色等信息;技术人员在完成所有工作后,将接线表、接线图和配电柜实物图交由管理人员,进入下一步工作。
2)管理人员:然后,由管理人员针对配电柜新建其对应的产品,并进入维护产品阶段,导入接线表及配电柜实物图,如缺少相关文件则联系相关技术人员完成配电柜的配置并提供相关文件。管理人员通过系统中人机交互绘制界面,完成在配电柜面板实物图层之上各个器件的绘制工作,系统记录各个器件的坐标位置等信息得到面板布局图,为检测人员的检测通过做好准备工作。
3)检测人员:最后,检测人员检测面板布局图是否绘制完毕并创建产品对应的检测实例,如缺少面板布局图则联系管理人员进行产品面板布局图的维护。系统通过接线对信息中的器件名与面板布局图中绘制的器件名相对应,在检测时,通过在配电柜实物图上标识并高亮显示当前接线对源端与目标端对应器件的位置,起到了帮助检测人员快速定位目标器件的辅助检测效果。
1.3 面板布局图的绘制
面对配电柜接线正确性的检测问题,传统的检测方式需要质量检测人员在配电柜读取接线表和接线图,得到各个器件之间的连接关系,并且在配电柜繁多的器件中寻找当前接线对的对应器件,使用万用表的表笔连通器件接线柱,并观察万用表数据变化来确定器件连通情况,然后手工记录每一条接线对的连通情况并撰写检测结果报告。因此这种检测方式不但需要质量检测人员拥有相当的专业知识,同时复杂且繁重的工作,加上手工的记录方式,对于检测人员的工作态度和精神集中程度都有很高的要求,同时,对于量产的同一配电柜,检测员每检测一个配电柜,就要重复读取接线表和接线图并找寻器件的工作,如此情况下,导致检测工作的效率低下且对检测员读取接线图寻找器件的成果的利用率低。
所以为了减少检测员查找接线对和接线柱的时间,本系统引入了面板布局图。面板布局图是一种根据配电柜实际器件布局,在实物图图层之上绘制矩形框的示意图,其中,矩形框用于标识器件的位置和名称,便于用户确定接线对关联器件位置,系统通过数据库记录矩形框,保存了器件的位置和名称,因此只需要一次接线表和接线图的解读,就可以用于所有该种配电柜的检测,提高了读图成果的利用率,同时在检测阶段为检测员显示当前器件位置,帮助检测员快速定位了目标。建立面板布局图有两种方式:基于实物图利用人机交互界面绘制或基于机器学习中的标检测技术辅助绘制。
1.3.1 人机交互绘制
本系统建立了人机交互界面,采用计算机辅助绘图的方式,人机交互绘制面板布局图,实现了矩形框的绘制、矩形框拖拽和移动、锁定矩形框、调整图片显示比例、自定义颜色名称等功能。系统对用户导入的接线表中源端与目标端名称抽取去重,获得配电柜中各个器件对应的器件名称,并显示在器件列表中。用户可在器件列表中选择器件并在配电柜实物图中用鼠标绘制出对应区域的半透明框图,面板布局图绘制效果如图4所示,面板布局图分为实物图图层及矩形框图层,实物图层为用户导入的配电柜实物图,矩形框图层为用户在系统人机交互界面中绘制的半透明框图,系统记录了其名称及坐标信息。最终经绘制得到的面板布局图将被拆分为配电柜实物图和器件矩形框信息的方式,分别存入数据库,并在检测阶段读取,为检测员指示当前检测器件位置。
图4 面板布局图绘制示意图
1.3.2 目标检测辅助面板图生成
虽然人机交互绘制面板图的方式非常灵活,适应性好,但是对绘制人员来说,定位符号所对应器件并进行绘制的过程仍耗费过多时间,且要求绘制人员熟悉设备和器件布局。
近年来,计算机视觉领域,目标检测、语义分割、图片分类等人工智能技术发展迅速,并被广泛应用运用于各个领域[12- 15],取得了很好的效果。所以,本文在人机交互绘制面板布局图的基础上,进一步采用计算机视觉领域目标检测算法对配电柜中的常用器件进行分类定位,并与接线表中各个器件名称所对应的符号进行匹配,帮助绘制人员快速定位当前器件名称在配电柜中对应的所有器件,辅助面板图布局图的绘制。
针对此项需求,本系统采用YOLOX目标检测算法[16]对配电柜实物图中的常用器件进行识别定位,获取器件的类别和坐标信息,并为用户在配电柜图片相应器件位置处进行标注,优化了面板图绘制过程,进一步提高了配线接线的质量检查工作的效率。
2 器件检测模型的实现
2.1 数据集说明
训练器件检测的机器学习模型,需要一个包含足够多器件实物图像的数据集。本文中用于建模的图片有自拍配电柜面板图片、来自配电柜厂家及网上收集的图片,其中包括了各个厂商的产品图片,如西门子、霍尼韦尔、艾默生等品牌的产品,筛选后的得到图片共1 714张。
训练数据集中选择标注的常用器件类型共11种,分别是断路器、接触器、继电器、接线端子、断熔器底座、温控器、插座、PLC模块、变频器、电源和互感器。标注采用开源工具LabelImg,主要针对图像中的器件,标注其位置和类别,保存为xml格式文件。
2.2 基于YOLOX的器件检测模型
YOLO[17]系列算法是目前目标检测算法中比较主流的算法之一,并且YOLOv3网络更是在工程领域中得到广泛运用[18-19]。YOLOX是旷视科技公司在2021年提出超越YOLO系列的算法,其在YOLOv3~v5的基础上改进,无论是在检测速度还是在检测精度上都优于YOLOv3~v5[20]。故本文选择YOLOX预训练模型建模。
2.2.1 YOLOX网络结构
YOLOX整体可分为三部分——CSPDarknet、FPN和YOLO Head,如图5所示。
图5 YOLOX-X网络结构
1)主干部分CSPDarknet:CSPDarknet负责特征提取,沿用了YOLOv5——BackBone网络的基本结构,在输入端对图像采用Mosaic数据增强策略和Focus网络结构,丰富了图像的背景和通道。并在每次卷积后,YOLOX选择进行归一化处理并修改激活函数为SiLU函数。SiLU函数具有无上界有下界、平滑、非单调的特性,计算公式如式(1)所示:
f(x)=x*sigmoid(x)
(1)
YOLOX采用多维度检测方法,共提取3种不同维度的特征层,分别为x1=80*80*256、x2=40*40*512、x3=20*20*1024,3种维度分别用于检测图像中不同大小的目标物体,维度越大,对于小物体的敏感度越高。其中在x3维度的特征提取过程中加入SPP[21](patial Pyramid Pooling空间金字塔池化)结构,有效地避免了因图像裁剪和变形导致特征提取偏差的问题。
2)FPN特征金字塔:FPN负责对主干网络的3个维度的特征进行特征融合,如图5所示,在YOLOv5——Neck结构的基础上对高层特征进行下采样并与低层特征再进行一次堆叠,使得高层特征和低层特征能互相利用,起到了进一步加强特征的作用,并将3个维度特征分别传递到YOLO Head,即网络的分类器部分中,用以检测不同大小的目标。
3)YOLOHead解耦头:以往的YOLO算法版本中,分类器部分都选择将分类与回归同时进行,即在一个1×1卷积里实现。但是,由于分类是对于物体特征差异的比较,而回归则是提取的物体轮廓处特征,所以分类和回归的过程可能会互相影响而产生冲突,不利于模型检测,所以与以往的YOLO算法不同,YOLOX采用了解耦头,将物体预测框和类别的预测分别实现。
2.2.2 YOLOX的特殊处理
1)无先验框(anchor free):YOLOv3~v5都采用了先验框,而YOLOX认为先验框的预设在一定程度上限制了模型的预测效果,因为不同数据集目标可能出现的位置也会不同,并且设定好的先验框对于不规则目标的检测反倒带来了干扰,模型默认的先验框也一定不适合当前需解决问题的数据集,人为分析获取最优先验框无疑增加了模型训练的难度和复杂度,降低了灵活性,同时随着Anchor Free策略的发展,其预测精度已不亚于Anchor Base[22-23],所以YOLOX选择使用AnchorFree策略。
2)SimOTA正样本匹配:SimOTA能动态得为每个真实框分配正样本数量,即各个不同的目标对应的正样本数量不同,相比以往的正样本分配策略速度更快,参数更少,分配更合理。其核心思想是为每一个真实框计算一个cost代价矩阵,矩阵包含了每个真实框与预测框重合程度和种类预测准确度,以及真实框中心点和特征点的距离的接近程度。计算真实框与预测框重合程度前10的IOU总和并取整得到k,cost最低的k个点即为该真实框的正样本。
3 器件检测模型训练与运用
3.1 建模环境与评价指标
本文模型在Python 3.7、Tensorflow2.2.0的环境下运行,训练的服务器GPU为NVIDIA TeslaGPU_V100_32 GB,内存为32 G。
mAP为目标检测准确率的评价指标,通过精确率和召回率共同计算而来。其中,精确率指真阳性在预测为正类中的占比,计算公式如式(2)所示;召回率指真阳性在实际为正类中的占比,计算公式如式(3)所示:
(2)
(3)
式中,TP代表预测为正类并且实际为正类目标,FP代表预测为正类但实际为负类的目标。FN代表预测为负类但实际为正类的目标。
以召回率为X轴,精确率为Y轴建立直角坐标系,召回率和精确率相交点的集合即称为P-R线,P-R线与召回率X轴所围成图形的面积即AP,而模型所有类别AP的平均值即mAP。
3.2 模型训练及结果分析
模型使用YOLOX-X预训练,将数据集以9∶1∶1的比例划分为训练集、验证集和测试集。训练时,先对模型主干部分(CSPDarknet)进行冻结,冻结阶段模型训练参数如表1所示,此时模型特征提取网络部分参数不变,仅对FPN结构参数微调。在100轮迭代后,解冻模型主干网络,解冻阶段模型训练参数如表1所示,训练迭代轮数不固定,通过观察验证集损失变化情况动态停止网络,此时模型的主干不再冻结,网络所有参数都会发生改变。
表1 模型训练参数表
训练集及验证集损失函数变化趋势如图6所示。图中train loss为训练集损失,val loss为验证集损失,同时为了便于观察损失变化趋势,对训练集损失及验证集损失折线进行平滑处理,得到smooth train loss和smooth train loss曲线。如图6所示,模型在经过400轮迭代后,train loss和val loss都趋于平稳,因此在此处停止模型训练,保存模型权重,并参照本章3.1节所介绍的AP和mAP的计算方法,根据测试集的预测结果计算mAP。
图6 训练集、验证集loss变化图
模型对各器件预测AP值结果如表2 所示。可以看到,模型的平均AP值以及达到了95.49%,且各个器件的AP值都保持在了90%以上,实验结果显示YOLOX网络对各个器件都有较高的识别率,可以满足工程需求。
表2 各类别预测数据及对应符号
3.3 基于器件识别的面板图绘制
将训练好的YOLOX检测模型运用到面板布局图的绘制,在基于实物图的人机交互绘制阶段,在维护产品流程中,将配电柜实物图通过训练好的器件识别模型进行器件识别,得配电柜中器件的位置和名称信息,并导入人机交互绘制面板布局图阶段,将从接线表中提取出的器件名中的器件符号与模型中识别的器件名称相匹配,器件符号与器件名称的对应关系如表2所示,系统提取器件符号并将模型中所检测出的所有对应器件在图片中的位置使用标注框高亮出来,用户根据器件序号选择对应的标注框,确认后该标注框变更为绘制框。例如,选择器件名为KM1的器件,其中符号KM对应的器件为接触器,数字1对应该器件的序号,系统读取模型中接触器的坐标信息,并在配电柜图中以标注框的形式框标注出所有未绘制的接触器在图中所处的位置,用户选择序号为1的接触器所对应的标注框,点击该标注框,确认操作后,该标注框变更为绘制框并添加器件名称KM1,优化了面板布局图绘制过程。
4 结束语
本文针对配电柜接线检测问题,实现了一种智能接线检测辅助系统,并提出了一种用虚实结合的分层面板接线布局图来引导检测人员快速定位检测点的方法,根据配电柜实际器件布局,在实物图图层之上绘制矩形框用于记录器件的位置和名称,并在检测阶段为检测员在配电柜实物图上进行标示,大大减轻了检测员的工作强度,加快了检测速度。同时提出了两种方式针对面板布局图的绘制:
1)采用计算机与人工相结合的方式绘制面板布局图。以Qt为开发框架,C++为编程语言,建立了人机交互面板布局图绘制界面,采用计算机辅助绘图的方式,由人工通过计算机可视化交互界面绘制面板布局图,为用户提供一个可以自主绘制面板布局图系统。
2)借助目标检测网络识别配电柜实物图中的常用器件生成面板布局图。收集并标注了配电柜常用器件数据集,通过YOLOX目标检测算法检测配电柜实物图中的常用器件,进行识别和定位,得到器件在配电柜中的坐标位置,并在绘制阶段为用户标注出当前器件所在位置,为用户提供了一个可直接在标注框中寻找对应器件的接口,优化了绘制过程的复杂程度和时间损耗。
当然,由于市场上配电柜器件的样式众多,目前系统对于非常用器件的识别能力有限,需收集更多的配电柜面板图片,丰富数据集,训练能力更强的模型。