基于预浸纱自动铺放缺陷的分割算法

蔡志强， 肖 军， 文立伟， 王东立， 吴瑶平

(南京航空航天大学 材料科学与技术学院，南京 210016)

基于预浸纱自动铺放缺陷的分割算法

蔡志强， 肖 军， 文立伟， 王东立， 吴瑶平

(南京航空航天大学 材料科学与技术学院，南京 210016)

为保证预浸纱自动铺放成型制件的性能，基于图像处理技术，根据预浸纱表面图像沿纤维方向灰度均匀的特性，提出了一种结合灰度补偿和差影分割的缺陷分割算法。利用图像灰度补偿矩阵对图像进行灰度补偿，依据图像的灰度误差服从正态分布的特点剔除图像矩阵中的极大误差点，并建立标准背景图像，以允许差值系数K作为判据进行差影分割。结果表明：该算法对气泡、异物两种典型铺放缺陷分割效果好、速度快，为实现自动铺放缺陷在线监测提供了良好的理论基础。

自动铺丝；缺陷检测；灰度补偿；质心分割；差影算法

自动铺丝技术是以解决高强度、耐腐蚀、轻质的复合材料机身和进气道等大曲率、复杂构件制造的关键技术，该项技术综合了纤维缠绕和自动铺带技术的优点，在国防、航空航天等高技术领域得到了广泛应用[1-3]。随着复合材料自动铺放技术对产品质量要求的不断提高，自动铺丝成型的构件要求预浸纱能够均匀、无间隙无褶皱地以轨迹规划路径铺覆在模具表面，保证制件上各点性能具有一致性。然而，复合材料制品在铺丝成型过程中受到多种工艺参数的影响，不可避免会产生成型缺陷，这些缺陷经跨层次蔓延生长可导致构件的失效，严重影响了成型制件的性能[4-8],因而对自动铺丝过程铺放表面图像进行实时监测识别成为了目前急需解决的关键问题之一，也是研究的重点。

在自动铺放缺陷检测方面，国内外学者的研究主要集中在纤维状态的检测，如纤维取向及未铺放纤维的扭转、劈裂等。Schmitt等[9]设计了一款基于LabVIEW与FPGA的图像采集处理系统，对图像处理流程进行优化，并分析了分辨率、曝光时间等参数对测量精度的影响。波音公司将在线检测系统应用于铺丝缝隙、重叠等铺丝状态的检测[10-12]，该系统通过对CCD相机采集的预浸纱图像滤波，借助庞大的缺陷数据库，运用模板匹配方法对预浸纱图像进行精确分类。

然而，在此方面的研究国内尚处于起步阶段，对铺放过程中出现的褶皱(气泡)、异物等缺陷检测鲜有研究。武汉理工大学刘辉等[13]设计了一套基于USB摄像头与PC机构成的视频采集系统，采用中值滤波等预处理后获得高信噪比图像，采用亚像素边缘算法对预浸纱边缘进行精确分割定位，经过动态Hough算法可有效获取纤维的铺放角度，误差约为±0.2°。武汉理工大学季晓丽等[14]在前人研究基础上继续开发了采用“CMOS相机+视觉控制器”的方式进行图像序列采集，基于MFC和OpenCV开发了预浸纱铺放间隙检测系统，该系统仅对首层预浸纱的检测效果较好(首层预浸纱与模具边缘的图像灰度对比度大，易于实现检测)。本工作针对复合材料自动铺放表面气泡、异物缺陷检测问题，研究满足高效、可靠的缺陷分割方法，为后续精确识别提供理论基础。

1 自动铺放表面缺陷图像分析

在自动铺放过程中，由于铺放速度、压力等铺放参数时刻变化，模具表面会不可避免地出现预浸纱搭接、间隙、气泡、异物残骸等缺陷。理想条件下，缺陷图像在纹理清晰的预浸纱图像中会表现出与周围环境极大的灰度差异性，易于实现缺陷分割。然而，在实际铺放过程中，由于预浸纱表面树脂强烈的反光性及自然光照造成的预浸纱图像灰度分布不均等因素的干扰，极大地影响了缺陷的识别精度，而精确、完整的缺陷分割是保证缺陷识别精度的重要前提；因此，在图像分割过程中需要考虑这些不确定因素的影响。

目标图像的分割方法包括阈值分割、差影算法等。传统的阈值分割方法是通过设定目标与背景的阈值来实现目标分割的，如固定阈值、Otsu阈值法等。从算法效率上讲，固定阈值分割效率高、耗时最短，具有很强的实用性。然而对于受照明条件、噪声影响较大的预浸纱表面图像，固定阈值分割效果往往较差。Otsu阈值分割(又称最大类间方差法)是在灰度直方图的基础上采用最小二乘法原理推导出来的，具有统计意义上的最佳阈值。由于预浸纱表面图像灰度分布极不均匀，往往会出现预浸纱表面图像某些位置的灰度与缺陷灰度处于同一灰度级，极易出现对图像的欠分割、过分割现象，严重影响后续缺陷类型的识别判断。陈文等[15]采用基于二维直方图质心分割算法对预浸纱图像进行分割并通过设计定向滤波器对图像作定向滤波处理，获得相对清晰的方向纹理；由于自动铺放过程各因素变化极为复杂，很难保证模具表面光照条件分布均匀，同Otsu算法一样，该算法很难精准地分割出预浸纱图像中的缺陷。

差影分割算法[16]要求预先提供一幅作为参照的标准图像模板，将待检图像与标准图像进行减法运算即可得到仅包含缺陷的差影图像。该方法运算量小，常用于背景图像稳定，灰度均匀性好、噪声干扰性小、实时检测的情况。由于铺放表面预浸纱灰度极不均匀且存在严重的树脂反光问题，给图像分割过程造成了极大的困难。

通过研究发现，预浸纱表面图像灰度分布并不是杂乱无章的，图像灰度分布沿纤维方向具有灰度基本一致的特点(如图1)。基于此特点，结合上述分割算法的不足，本工作提出了一种基于图像差影的分割算法，其基本思想如下：首先对图像进行灰度补偿使其整体灰度处于同一灰度级，剔除掉每行较大误差灰度点，利用图像沿纤维方向灰度均匀的特性，以每行平均灰度值作为图像矩阵标准列向量，通过“复制”建立标准背景图像，以差值系数K作为分割判据，对待检图像进行分割处理。同时，考虑到铺放过程中存在的不确定因素会影响缺陷分割效果，对分割后的二值图像进行中值滤波，消除噪点，获得高质量的缺陷分割图像。

2 图像分割算法原理

2.1 图像灰度补偿原理

由于模具表面局部曲率变化较大及表面树脂反光程度不同，CCD高速相机采集到的预浸纱表面图像往往呈现出图像灰度不均匀的现象。然而，通过观察采集的预浸纱表面图像后发现，图像各像素点在纤维方向上具有很大的灰度相似性。依据这一规律对图像在纤维方向上的灰度分布进行分析，求取图像的纵向投影，获得图像在纤维方向上的平均灰度分布曲线。由于实际采集到的图像沿纤维方向灰度参差不齐，无法直接对图像进行差影分割，需要对其进行灰度补偿预处理。依据理想灰度分布曲线对实际平均灰度分布曲线进行灰度补偿修正，将其调整到同一灰度级，如图2所示。

对于一幅预浸纱表面图像IM×N，可以看作大小为M×N的矩阵，则图像纵向投影均值为：

(1)

式中：f(j)表示图像矩阵每列的平均灰度值；g(i,j)表示图像I在(i,j)处的灰度值；M表示图像矩阵的列数。假设统计得到图像的平均灰度分布曲线y=f(j)，如图2。设理想灰度曲线y=G，图像宽度方向上第j点的平均灰度值f(j)=a，则图像矩阵第j列灰度修正系数为：

k(j)=G/f(j) (j=1,2,...N)

(2)

式中：k(j)为宽度方向第j点的灰度修正系数；k(j)>1。

由公式(2)可得到图像在宽度方向上所有的修正系数k(j) ，以k(j)作为模板矩阵对图像进行灰度补偿修正，将图像灰度调整到理想灰度级上，修正过程如下：

g2(i,j)=g(i,j)k(j)

(3)

式中：g2(i,j)为灰度补偿修正后的图像。

d=|g1-g2|

(4)

d′=k|g1-g2|

(5)

式中：g1，g2为图像某行背景、缺陷相邻两像素；d，d′为灰度补偿前、后灰度差值。

由式(2)和图2知，k>1，带入公式(4)，(5)，有d′>d。由此可知，图像灰度补偿不仅提高了预浸纱铺放表面图像缺陷边缘的灰度对比度，还降低了光照及相机成像过程中对图像造成的灰度不均匀性。

2.2 标准背景图像的生成

(6)

图3是对一幅预浸纱铺放表面图像第i行进行统计获得的灰度差概率分布曲线。该分布符合误差的集中性、对称性和单峰性，预浸纱表面图像第i行灰度误差值基本服从μ=0的正态分布N(0,σ2)。因此，可以认为预浸纱表面图像灰度误差值在统计概率上不会超过极限误差δ(i,j)=±3σ[17]。

图3 预浸纱第i行灰度差概率分布曲线Fig.3 Probability distribution curve of pixel-value difference in line i of prepreg image matrix

当铺放表面存在缺陷时，缺陷处灰度值与该纤维 方向灰度差值一般会高于极限误差。因而，通过

极限误差3σ对粗大误差进行剔除并生成标准背景图像，过程如下：

(a) 根据采集到的图像计算每行的灰度均值：

(7)

依据式(7)计算整幅图像I的M行灰度均值；

(b) 运用式(6)，(7)及贝塞尔公式计算图像每行的灰度标准差σi:

(8)

(9)

(假设第i行满足3σ准则有k个点)

则标准背景图像列向量为：

(10)

(d) 对标准背景图像列向量gM×1进行N列 “复制”，即得到与待检测图像矩阵大小相一致的标准背景图像，其矩阵变换过程如下图4:

图4 矩阵变换过程Fig.4 Process of matrix transformation

2.3 差影分割

在获得标准预浸纱表面图像后，对待分割图像进行差影分割处理，该算法是把同一景物在不同时间拍摄的图像相减，利用差影图像提供的图像间的差影信息以达到动态监测及目标识别的目的[18]。输入待测图像Y(i,j)和标准图像X(i,j)，则输出图像为C(i,j)，该原理如下：

C(i,j)=Y(i,j)-X(i,j)，Δ=|C(i,j)|

(11)

式中：Δ表示图像灰度差的绝对值；i，j分别为图像矩阵的行和列。

由于预浸纱表面图像灰度会在较小的范围内波动，因此需要对输出图像矩阵元素设置允许差值系数K；如果Δ

2.4 滤波处理

自动铺放图像采集过程中存在各种噪声影响，预浸纱图像在分割过程中会出现将噪点误分割为缺陷的现象，导致特征提取的精度降低，影响后续的缺陷类型识别，因而需要对其进行滤波处理。由于预浸纱铺放表面图像具有较强的纹理性，纤维方向需要更多的滤波处理以达到消除噪点的效果，所以在提高气泡、异物等非纹理性缺陷信息强度的同时，需要降低图像中纤维方向冗余信息的强度，因而对其进行邻域处理及定向中值滤波。

3 结果与分析

本实验的计算机配置为：CPU Intel Core 2；内存2GB；操作系统Windows XP；软件环境Matlab R2009a。实验图像格式BMP；灰度级256。测试图像包括气泡、异物两种典型预浸纱表面缺陷类型，如图5。

图5(a)，(b)是在铺放过程中采集到的两种典型预浸纱铺放缺陷图像。采用本工作的算法分别对图5中两种类型的缺陷进行灰度补偿及未滤波直接差影处理，结果见图6；并将质心分割算法、Otsu阈值分割结果与本算法进行对比，结果见表1。

图5(a)中，存在两个较明显的气泡缺陷，预先对图像进行灰度校正处理，由灰度投影平均值曲线图6(a-1)知：原图5 (a)中左侧图像灰度级比右侧高，即左侧光照强度相对较高。经纵向灰度补偿校正后的图像(如图6(a-2) )沿着纤维方向具有相同灰度级。为获得良好分割效果，根据经验设定允许差值系数K=22；直接进行差影分割而未进行滤波处理的图像中存在很多噪点，同时出现了轻微的误分割现象，如图6(a-3)。

对图5 (b)中异物缺陷图像作纵向投影处理获得如图6 (b-1)灰度投影图，观察发现，在图像像素宽度方向100到150出现灰度值突变的现象，这个灰度突变的位置就是缺陷在图像宽度方向的位置。在对灰度补偿后的图像(图6(b-2))进行差影分割后获得图像(图6(b-3))，在分割出异物缺陷的同时，沿预浸纱方向存在很多噪点。对上述两种缺陷图 像进行定向滤波处理后获得表1中结果，并与其他两种算法进行对比。

图5 典型铺放缺陷(380×250) (a)气泡缺陷(红圈标记处为气泡缺陷)；(b) 异物残骸(黄色胶带纸)Fig.5 Typical defects of AFP (a) bubble；(b) foreign object debris(FOD)

图6 缺陷图像处理结果 (a-1)气泡图像：纵向灰度投影图；(a-2)灰度补偿后气泡图像；(a-3)差影分割气泡图像 (未滤波)；(b-1)异物图像：纵向灰度投影图；(b-2)灰度补偿后异物图像；(b-3)差影分割异物图像(未滤波)Fig.6 Image processing results of defects (a-1) bubbles: vertical gray-level projection；(a-2) bubble image after gray compensation； (a-3) subtracted image of bubbles(unfiltered)；(b-1) FOD: vertical gray-level projection； (b-2) FOD image after gray compensation； (b-3) subtracted image of FOD (unfiltered)

MasscentroidpartitioningalgorithmOtsualgorithmProposedalgorithmBubbleTime/ms957237FODTime/ms896335

为减少将噪声误分割为缺陷的情况，本实验通过定向中值滤波处理，抑制纤维方向噪点信息强度，实现了精确分割缺陷的目的(本算法，见表1)。由图可知，噪点经中值滤波处理后被完全滤除，气泡缺陷被精准地分割出来。质心分割算法在分割这类灰度直方图呈单峰性的预浸纱表面图像时具有明显优势，但往往由于预浸纱表面铺放不平整的原因导致光照不均匀、表面树脂反光程度不同，进而造成在质心分割过程中，出现误分割的情况(见表1)。究其原因，是由于质心分割方法是基于灰度直方图的基础上采用质心定义推导出来的，具有统计意义上的分割，而往往在该类型缺陷图像中非缺陷区图像灰度与缺陷区有相似灰度级；因此，表面微小变化很容易被分割出来，出现误分割的现象。同样地，Otsu分割算法也存在相同问题，这种具有统计意义的阈值分割方法并不能对预浸纱图像面状缺陷进行良好的分割。本工作的算法在分割过程中充分考虑到预浸纱表面图像灰度在纤维方向上基本相似的特性，在保证精准分割缺陷的同时获得了较好的分割效果。

对两种类型缺陷，表1分割结果验证了本工作算法的适应性和有效性，分割结果较为准确、完整，对噪声干扰不敏感，同时耗时最短，为后续图像缺陷类型识别提供了良好的基础。由于在铺放过程中，图像表面光照强度及均匀性很难保证，因而检测精度很大程度地受到图像采集精度的影响，所以如何获取高质量预浸纱表面缺陷图像也是需要深入探究的问题。

4 结 论

(1)基于传统差影算法，结合预浸纱铺放表面图像特点，提出了一种基于预浸纱表面图像的改进差影分割算法，极大地提高了图像分割的精度，然而在不断变化的图像采集环境下，很难保证图像采集的稳定性，如何保证图像采集的稳定性还需进一步探讨。

(2)在实际预浸纱铺放过程中，针对光照不均及树脂反光程度不同等因素的影响，采用光照补偿算法可有效将图像纤维方向的灰度补偿至相同灰度级，为后续缺陷分割、缺陷类型识别提供了良好的前提条件。

(3)通过对比分割实验结果表明，本工作所提出的分割算法具有高精度、强抗干扰能力等特点，为后续进一步图像缺陷识别提供良好的基础。即便如此，该分割算法仍然存在边界分割误差的情况，所以如何进一步提高边界精度，降低分割误差是下一步需要解决的问题。

[1] 肖军，李勇，李建龙．自动铺放技术在大型飞机复合材料构件制造中的应用[J]．航空制造技术，2008(1)：50-53．

(XIAOJ，LIY，LIJL．Applicationofautomaticlayingtechnologyinthemanufactureoflargeaircraftcompositecomponents[J]．AeronauticalManufacturingTechnology， 2008(1)：50-53．)

[2] 张建宝，肖军，文立伟，等．自动铺带技术研究进展[J]．材料工程，2010(7)：87-91．

(ZHANGJB，XIAOJ，WENLW，etal．Research progress of automated tape-laying technology[J]．Journal of Materials Engineering，2010(7)：87-91．)

[3] Maass D．Progress in automated ply inspection of AFP layups[J]．Reinforced Plastics，2015，59(5)：242-245．

[4] 严飙，文立伟．自动铺缠预浸带热压接研究[J]．材料工程，2014(5)：7-11．

(YAN B，WEN L W．Hot-press bounding for prepreg in automatic placement and tape wingding[J]．Journal of Materials Engineering，2014(5)：7-11．)

[5] SHIRINZADEH B，CASSIDY G，OETOMO D，etal．Trajectory generation for open-contoured structures in robotic fiber placement[J]．Robotics and Computer-Integrated Manufacturing，2007，23(4)：380-394．

[6] 方宜武，王显峰，顾善群，等．自动铺丝过程中预浸料的侧向弯曲[J]．材料工程，2015,43(4):47-52.

(FANG Y W，WANG X F，GU S Q，etal．Lateral bending of prepreg during automated fiber placement[J]．Journal of Materials Engineering，2015,43 (4)：47-52．)

[7] 林胜．自动铺带机/铺丝机(ATL/AFP)——现代大型飞机制造的关键设备(上)[J]．世界制造技术与装备市场，2009 (4)：84-89．

(LIN S．ATL/AFP—the key machine for manufacturing of modern large airplane(I)[J]．World Manufacturing Engineering & Market，2009 (4)：84-89．)

[8] 杜善义．先进复合材料与航空航天[J]．复合材料学报, 2007，24(1)：1-12．

(DU S Y．Advanced composite materials and aerospace engineering[J]．Acta Materiae Compositae Sinica，2007，24(1)：1-12．)

[9] SCHMITT R，FURTJES T．Real-time machine vision system for an automated quality monitoring in mass production of multiaxial non-crimp fabrics[J]．IFAC-Papers Online，2015，48(3)：2393-2398．

[10] ENGELBART R W，HANNEBAUM R．Verification of tow cut for automatic fiber placement：US8377239[P]．2013-02-19．

[11] ENGELBART R W．System and method for identifying defect in a composite structure：US7171033 B2[P]．2007-1-30．

[12] ENGELBART R W．System and methods enabling automated return to and/or repair of defects with a material placement machine：US20050203657[P]．2005-9-15．

[13] 刘辉．基于机器视觉的纤维铺放角度及间距检测系统研究[D]．武汉：武汉理工大学，2008．

(LIU H.The research of image detection system of fiber tape laying based on machine vision[D].Wuhan：Wuhan University of Technology，2008．)

[14] 季晓丽．基于计算机视觉纤维带铺放间隙检测系统研究[D]．武汉：武汉理工大学，2010．

(JI X L．The research of image detection system of fiber tape laying based on computer vision[D]．Wuhan：Wuhan University of Technology，2010．)

[15] 陈文，曹力，肖军，等．基于视觉的复合材料自动铺放表面纹理实时检测方法[J]．科学技术与工程，2011，11(18)：4143-4149．

(CHEN W，CAO L，XIAO J，etal．A vision-based real-time detection method of texture in automatic composite fiber placement[J]．Science Technology and Engineering，2011，11(18)：4143-4149．)

[16] 彭向前，陈幼平，谢经明，等．浮法玻璃缺陷在线检测识别方法研究[J]．玻璃与搪瓷，2010，38(1)：1-6．

(PENG X Q，CHEN Y P，XIE J M，etal．Research on online defect inspection and recognition for float glass fabrication[J]．Glass & Enamel，2010，38(1)：1-6．)

[17] 姚景风.测得值服从正态分布时极限误差的确定[J]．上海机械学院学报，1990(1)：105-110．

(YAO J F．The computation of limiting error for measured values possessing normal distribution [J]．Journal of University of Shanghai for Science and Technology，1990(1)：105-110．)

[18] 何斌，马天予．Visual C++数字图像处理[M]．北京：人民邮电出版社，2002．

(责任编辑：徐永祥)

Algorithm of Defect Segmentation for AFP Based on Prepregs

CAI Zhiqiang， XIAO Jun， WEN Liwei， WANG Dongli， WU Yaoping

(College of Materials Science and Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016, China)

In order to ensure the performance of the automated fiber placement forming parts, according to the homogeneity of the image of the prepreg surface along the fiber direction, a defect segmentation algorithm which was the combination of gray compensation and substraction algorithm based on image processing technology was proposed. The gray compensation matrix of image was used to compensate the gray image, and the maximum error point of the image matrix was eliminated according to the characteristics that the gray error obeys the normal distribution. The standard image was established, using the allowed deviation coefficient K as a criterion for substraction segmentation. Experiments show that the algorithm has good effect, fast speed in segmenting two kinds of typical laying defect of bubbles or foreign objects, and provides a good theoretical basis to realize automatic laying defect online monitoring.

automated fiber placement；defect detection；gray compensation；segmentation of mass centroid；subtraction algorithm

2016-09-08；

2016-11-15

国家“973”计划(2014CB046501)；江苏省高校优势学科建设工程资助项目

肖 军(1959—)，男，硕士，教授，主要从事先进复合材料及其自动化制造技术与应用， (E-mail) nuaaccmexj@126.com。

10.11868/j.issn.1005-5053.2016.000157

TB332

A

1005-5053(2017)02-0021-07