基于红外和可见光图像融合的铺丝缺陷检测方法

康硕，柯臻铮，王璇，朱伟东

1.浙江大学 机械工程学院，杭州 310027 2.浙江大学 先进技术研究院，杭州 310027

纤维自动铺放(Automatic Fiber Placement，AFP)在航空航天数字化装配领域有广泛应用，其中表面缺陷在线检测能帮助提升铺放质量，检测效果间接影响铺放件的成品质量。通常每根丝束宽6.35 mm，出丝口可根据需求调整出丝根数，由于铺放工艺的影响，在铺放过程中可能会出现多种缺陷，根据缺陷的形成原因和特点可将其分为间隙(Gap)、重叠(Overlap)、缺丝(Miss)、架桥(Bridge)、气泡(Bubble)、脱粘(Loose)、撅起(Wandering)、丝束褶皱(Wrinkle)、丝束扭转(Twist)和异物(Foreign)10种。表面缺陷检测手段最初为人工检测，即在铺放过程中由技术人员实时监督，后来为提升铺放效率各铺放研究团队相继研发了在线检测系统。比较成熟的在线检测系统可分为激光仪器检测、红外热成像仪检测、可见光视觉检测和多源传感器检测。激光检测系统为最常见且有效的检测系统，检测精度、效率和稳定性相对较高，但成熟的激光检测系统非常复杂，后期维护困难。红外检测是一种低成本的检测手段，利用铺丝过程中对预浸料丝束的加热作为热激励源，间隙、重叠和异物等区域由于热传递速率不同出现温差，在热像图中十分明显。红外检测能很好地对某些缺陷区域进行定位回归，但对某些不易产生温度差的缺陷检测效果并不好，如很多情况下薄膜异物在热传递过程中热损失很小，所以薄膜异物区域与周围的温度差不明显，在热像图中很难区分，但薄膜异物由于反射可见光，在可见光图像中非常明显。

波音公司2009年首先提出在AFP系统中应用红外热感应相机进行缺陷检测的概念并申请了专利，但其方法不包含整体数据分析细节。随后Denkena等开发了用于AFP工作过程路径中的热成像监控系统，以便在每帧上利用计算机视觉技术检测异物、间隙等缺陷，而后将红外相机应用到纤维自动铺放的在线检测过程中，利用图像处理知识对热成像进行分析，并结合热像仪采集到的温度场信息对丝束缺陷进行检测，这一系统能有效检测出间隙、重叠、丝束扭转、架桥和异物等缺陷。Gregory和Juarez利用新丝束铺放在底板上时不同厚度材料热传导速度不同的原理，先通过热成像仪获取丝束表面信息，然后利用信息重建和视频分析计算机视觉等多种技术同时对缺陷进行评估和定位，证明了红外热像仪在自动铺丝过程中对间隙、重叠、异物、丝束扭转和缺丝5种缺陷检测的可行性。黄松岭等将有源红外热像检测法成功应用于复合材料分层和胶接缺陷检测。文立伟等利用机器视觉与UMAC (Universal Motion and Automation Controller)构建缺陷检测闭环控制系统，发现采用单CCD(Charge Coupled Device)相机视觉系统能对间隙和重叠达到很好的检测效果。Zambal等通过端到端的深度学习模型，利用半监督学习方法扩充数据集进行训练实现了对间隙和重叠缺陷的区域分割，对于尺寸为200像素×800像素的图像检测时间为15.10 ms，证明了深度学习在AFP缺陷检测中的可行性。路浩和陈原使用基于锚框的YOLOv2算法对预浸料丝束的间隙、异物和重叠3种缺陷进行识别，检出率达94%。Chen等提出了一种基于红外视觉的智能检测系统，能实现复合材料缺陷识别和测量，并通过实验验证了系统的可行性。Sacco等提出了基于深度学习的缺陷轮廓分割算法，利用单可见光图像实现了对间隙、重叠、缺丝、丝束扭转和丝束褶皱5种缺陷的检测，其中对丝束扭转和间隙的检出率能达75%以上。蔡志强等提出了一种灰度和差影分割相结合的缺陷检测算法，对气泡和异物两种缺陷具有良好的检测效果。

在计算机视觉领域，基于深度学习的视觉算法因其精度高、效率高的优势正逐步被应用于工业生产中，其中目标检测算法可分为基于锚框算法和无锚框算法两种。基于锚框算法的基本思想是先预设几个锚框，网络预测的值是锚框的偏移量，只有锚框和目标框接近时才认为目标的回归过程是线性的，才能通过神经网络较好地回归。由此也可看出这种方法适合目标长宽比分布比较均匀的数据检测。无锚框检测网络的思想是抛弃锚框的设定，网络一个分支预测目标的热量图，根据热量图可判断目标区域是否含有目标并确定目标的大致区域，其他分支则分别预测偏移量和长、宽。该网络没有对锚框的依赖，对目标框分布方差较大的数据集具有更好的普适性，避免了人为设置锚框不合适导致的检测效果变差。

由于丝束具有明显的方向性，丝束的很多缺陷如缺丝、间隙等都是狭长缺陷，而气泡、异物等缺陷是均匀缺陷，所以丝束缺陷属于不均匀缺陷。本文针对缺陷尺寸分布不均匀的特点提出使用无锚框的检测网络，依据不同光谱易于检测的缺陷种类不同的特点，提出红外与可见光图像特征融合检测的手段，以无锚框深度学习框架为基础，以期提升检测效果，使算法满足实时检测的速度和精度需求。

1 检测网络整体设计与改进

1.1 红外与可见光成像分析

红外热图像能表现目标的温度差细节，因此在红外图像中目标的轮廓是否明显主要取决于是否存在较大的温差。即使在目标轮廓明显的图像中，红外热像图也无法呈现目标区域丰富的纹理特征，针对不同缺陷的特点，红外与可见光的检测效果不同，具体见图1中异物和架桥缺等陷的对比。

图1 红外与可见光下铺丝缺陷对比Fig.1 Comparison of fiber placement defects under infrared and visible light

因此提出红外与可见光图像融合检测手段，希望能将两种光谱下的信息融合，从而达到更高的准确率。在实施项目前于FLIR行人与车辆开源数据集上进行初步实验测试，重新配准并标注了FLIR红外和可见光行人与车辆检测数据集中的500张图像，基于CSP(Cross Stage Partial)-CenterNet网络分别使用红外图像、可见光图像、红外+可见光图像进行训练，其测试全类平均正确率(mean Average Precision，mAP)分别为65.5%、65.0%、68.0%。由于该数据集密集小目标较多，因此检测mAP较低，但也可由检测结果得出结论，即红外与可见光图像融合检测确实能提高检测效果。

1.2 特征融合网络

使用的网络主干为CSP-DarkNet网络，该网络在YOLOv4中被提出，将CSP模块整合到DarkNet网络中后，不仅能使主干网络整体参数量大幅降低、提高检测速度，且检测效果也得到了改善，该网络结构如图2所示。

目前可见光与红外图像联合检测网络主要有输入前融合和输入后融合两种。输入前融合是指在图像输入特征提取网络前进行通道拼接，先将两张图像拼接为2通道或6通道的图像，而后再输入特征提取网络。由于输入的通道数不等于3，因此不能直接使用由ImageNet三通道图像预训练的特征提取网络，通常需要改变第1层卷积数量，这也将导致训练结果变差。这种网络结构的数学表达式为

out=(,)

(1)

式中：out为特征提取网络第个输出层；为特征提取网络；为FPN(Feature Pyramid Networks)结构中使用的特征提取网络特征层编号，由上至下分别为=1,2,3；为输入可见光图像；为输入红外图像。网络结构如图3所示。

图2 CSP-DarkNet主干结构Fig.2 Backbone structure of CSP-DarkNet

图3 红外与可见光图像联合检测网络Fig.3 Detection network with fusion of infrared and visible images

输入后融合指保持输入图像为3通道，分别输入两个特征提取网络，将特征提取网络中间层信息融合。由于输入后融合能保证输入通道数量为3，因此可直接使用预训练网络，从而保证了网络的准确性。可先将红外和可见光图像分别送入主干，然后将中间某层进行叠加，这将实现两种图像的中间层信息交流，其数学表达式为

(2)

在图4的融合策略中，红外图像的特征提取网络主干输出out后的所有特征提取层都没有利用到，因此之后的红外特征信息提取工作由可见光图像的特征提取网络完成，这将导致两种图像的特征信息过度耦合，在后续的分类检测中效果变差。为使两个特征提取网络解耦合的同时还能进行信息交流，使用解耦合的融合网络。该网络首先将多尺度的特征层进行通道拼接，而不是进行相加操作，然后将拼接的新特征层输入FPN,网络架构如图5所示，数学表达式为

图4 中间层融合检测网络Fig.4 Detection network with fusion of middle layer

(3)

图5 解耦合的特征融合检测网络Fig.5 Decoupled detection network with feature fusion

1.3 改进FPN结构

由于在不同尺度的特征图上检测网络每个网格对应的感受野不同，所以其对应的易检目标尺寸不同，为更好地检测小目标，提出FPN检测网络，其原理为先将深层网络的小尺寸特征图进行反卷积或上采样，扩大为大尺度的特征图，然后与浅层对应尺度特征图相加，生成的新特征图既保留了深层网络的抽象语义特征，从而有利于目标的分类;且保留了浅层网络的细节语义信息，从而有利于目标回归，其原理见图6。

由图6可看出由浅层的out到out之间需经过多层卷积，从而使out学习更深层次的语义信息便于分类，但这也使out丢失了浅层的细节语

图6 FPN原理Fig.6 Theory of FPN

义信息，而out的每个特征网格的感受野非常大，主要用来预测大目标，细节语义信息对于目标回归至关重要，因此out丢失浅层网络的回归信息会造成回归结果变差。针对这个缺陷改进FPN结构，使深层特征图能利用到浅层网络的语义信息，其数学表达式可表示为

(4)

式中：out′为与第个特征提取网络输出层对应尺度的反卷积层；out为输出中间层；′为transition操作，先进行通道拼接，然后通过1×1的卷积进行通道融合和降维；Dec为反卷积或上采样操作；Mp为最大池化或下采样操作，网络架构原理如图7所示。

分别使用原FPN结构和改进FPN结构以相同的CSP-DarkNet作为特征提取主干，YOLOv3作为检测框架，在Pascal VOC开源目标检测数据集上进行测试。经过测试使用原FPN结构的网络在VOC数据集上的mAP达82.72%，使用改进FPN结构后mAP达84.83%，提高了2.11%，每类目标的详细平均正确率(Average Precision, AP)如图8所示，可见改进FPN结构能提升目标检测的水平。

图7 改进FPN结构Fig.7 Structure of improved FPN

图8 原FPN结构和改进FPN结构在Pascal VOC数据集上的测试结果Fig.8 Test results on Pascal VOC dataset between original FPN structure and improved FPN structure

2 实验与数据分析

2.1 数据获取和预处理

搭建红外与可见光联合检测实验台(如图9所示)用于采集深度学习训练所需的缺陷数据。实验台由加热灯、可调节相机支架、热红外相机和可见光灰度相机构成。

采用的红外相机为Xenics Gobi+640，镜头焦距为10 mm，由于红外相机镜头在小焦距下畸变十分严重，需对红外相机进行标定，方便后续畸变矫正，采用的标定方法为张氏标定法。

红外相机接收的是波长为8～14 μm的光线，因此无法清晰获取普通标定板的黑白方格，所以角点提取是红外相机标定的一大难点。对标定板进行特殊处理，以玻璃为底板、氧化铝陶瓷为基

图9 数据采集实验台Fig.9 Data acquisition experimental platform

板，对黑方格添加黑色橡胶涂层用于吸热。在获取标定图像时，先用红外加热灯对标定板进行均匀加热，然后在红外相机下拍照，最后可根据图像

标定求解相机内参，矫正畸变，标定图像和矫正效果如图10所示。

图像矫正后，由于两个相机的位置和视角不同，成像存在差异，借助标定时的标定图像进行配准，利用两个相机成像图中位置对应的4个点求出图像变换的仿射矩阵，当相机相对位置不发生改变时，后续所有成像都可通过该仿射矩阵进行配准，配准效果如图11所示。

图10 红外相机畸变矫正Fig.10 Distortion correction of infrared camera

图11 红外图像与可见光图像配准Fig.11 Registration between infrared images and visible images

2.2 数据分析

在自动铺丝在线检测领域，间隙和重叠两种缺陷是研究的重点，前人的研究已达到较好的检测效果，因此主要针对其他研究较少的6种缺陷进行检测，分别为架桥、气泡、异物、缺丝、丝束扭转、丝束褶皱。由于撅起、架桥和脱粘的本质都是丝束脱离下层，所以将3种缺陷归为架桥缺陷检测。使用的数据集分布如表1所示。

首先，分别使用改进FPN结构和原FPN结构以红外与可见光融合网络框架测试YOLOv3(anchor-based网络)，从而证实改进FPN结构的有效性。然后，在CSP-CenterNet(anchor-free网络)上分别测试了单可见光检测、单红外检测和红外与可见光联合检测效果，进而证明红外与可见光联合检测的有效性。最后，在CSP-CenterNet上使用改进FPN结构测试红外与可见光联合检测效果，得出最终测试效果。

表1 数据分布Table 1 Data distribution

在CSP-CenterNet网络中，使用单可见光测试的最好结果为78.12% mAP，单红外测试最好结果为82.45% mAP，未应用改进FPN结构时可见光与红外联合检测测试结果为84.42% mAP，应用改进FPN结构后测试结果为85.44% mAP。由此可见红外与可见光联合检测比单一的任一种光源检测效果都好，比单可见光提升6.30% mAP，比单红外光提升1.97% mAP，且在此基础上应用改进FPN结构后，能再提高1.02% mAP。图12中pFPN指本文提出的FPN结构，可看出增加FPN后，除丝束扭转缺陷的准确率()-召回率()曲线效果略差，其他5种缺陷的效果均优于不使用改进FPN结构的网络。从缺丝和丝束扭转缺陷的-曲线对比可看出无锚框网络效果均明显优于基于锚框的网络，同时从表2的不同缺陷召回率和准确率对比数据中可看出，基于锚框网络检测缺丝和丝束扭转两种狭长形缺陷的召回率和准确率比无锚框网络低，使用无锚框网络检测的结果中，缺丝缺陷检测的准确率和召回率分别比使用锚框的网络提高了33%和21%，丝束扭转缺陷分别提高了5%和6%，而对于其他长宽比较均匀的4种缺陷，两种网络测试结果的召回率和准确率平均提升比例3%，甚至锚框网络中异物缺陷的召回率和准确率略高于无锚框网络。这是因为缺丝和丝束扭转的长宽比较大，属于狭长形缺陷，基于锚框网络难以通过锚框线性回归缺陷位置，这也印证了本文的观点，即针对狭长形缺陷，无锚框的网络结构将更有优势。

图12 6种缺陷在不同网络中的P-R测试曲线Fig.12 P-R test curves of 6 kinds of defects in different networks

根据图12的-曲线可求出每种缺陷的检测准确率和召回率，最终得出平均准确率，YOLOv3的准确率为76.5%，CSP-CenterNet的准确率为79.5%，应用改进FPN结构后CSP-CenterNet的准确率为82.5%；同样可计算召回率，分别为84.0%、88.2%和88.0%，从而可得出结论，即使用CSP-CenterNet检测的准确率和召回率均有明显提升，使用改进FPN结构后CSP-CenterNet能在保证召回率不下降的前提下将准确率提升3.0%，见表2。

表2 6种缺陷在不同网络中的准确率(P)和召回率(R)测试结果Table 2 Precision (P) and recall (R) test results of 6 kinds of defects in different networks

图13展示了检测网络的检测效果对比，以第1行的检测图像为例，在红外图像中左上角的薄膜异物由于在热传递过程中热量损失小，薄膜与周围区域几乎没有温度差，导致其细节不明显，单红外光检测未将其检测出，但薄膜下覆盖的丝束扭转缺陷被红外图像成功检测出；在可见光图像中薄膜异物十分明显，但薄膜反射光源导致薄膜下覆盖的扭转缺陷无法被检测出，在融合检测图像中虽然异物的回归框不是很好，但成功将两种缺陷都检测出来，图13中使用白色椭圆将检测存在差异的缺陷圈出。红外与可见光联合检测的结果能融合两种单光谱检测结果，从而达到更高的精度。本算法在大型龙门铺丝机上进行在线检测测试，如图14所示。本算法的检测速度在RTX2080显卡上能达到60 FPS，每张图像的视野可达15 cm×15 cm，因此可满足纤维铺放速度0.9 m/s的实时检测。

图13 缺陷检测结果(联合检测的图像进行通道叠加处理显示)Fig.13 Result of defects test (images of fusion detection being displayed by concatenating channels)

图14 大型龙门铺丝机丝束缺陷在线检测Fig.14 Online detection of defects on large gantry fiber placement equipment

3 结 论

提出了一种基于深度学习的可见光与红外联合检测手段用于碳纤维复合材料在线缺陷检测，以无锚框检测网络为基础，创新性地改进了检测的深度学习融合框架，采用中间层融合策略实现了红外与可见光图像信息交流，以CSP-DarkNet为特征提取主干，增加改进FPN结构进行多尺度预测。实验结果显示本算法的缺陷检测性能可达85.44% mAP，其中召回率可达88.0%，能满足生产中对缺陷检测精度的需求。

实验中，检测系统能及时发现铺放缺陷。然而本文只对算法进行了准确度上的优化，能满足的最大铺放速度为0.9 m/s，当超过这个速度时会出现丢帧和漏检，因此后续需在保证准确度的同时进行速度优化，以满足更高速的铺放需求。