基于机器视觉的碳纤维编织过程纤维状态检测系统

刘小龙，孟 婥，张玉井，孙以泽

(东华大学 机械工程学院，上海 201620)

碳纤维编织是由编织锭子放线、纤维倾斜交织，最终汇聚在芯模上形成预制件的过程[1]。编织过程极易发生摩擦导致纤维异常：如锭子放线过程中碳纤维与编织锭子上的导纱轮处产生摩擦，形成纤维缠绕状态；纤维长时间磨损导致断纤；碳纤维单丝断裂缠绕在纤维筒上形成纤维环状态。若无法及时发现编织过程中纤维异常状态，将严重干扰正常的编织生产。Maidl等[2]的研究表明异常状态的出现导致编织生产率降低并增加了错误原因分析和错误纠正时间的额外成本。Ebel等[3]的研究表明编织缺陷的出现，如纤维断裂和纤维环，可导致机器停机时间高达总生产时间的26%，极大降低了编织机的生产效率。因此，生产时需及时去除异常纤维以保证编织效率。

综上，大都研究都不适用于编织工艺，而视觉检测提升了生产效率，相对人工有更高的检测精度。因此，本文针对断纤、纤维缠绕及纤维环状态分别用NCC匹配算法、基于图像分割的二次定位和几何特征检测算法及积分投影算法进行检测，以期利用视觉检测技术实现编织过程的纤维检测，从而提高检测效率及编织质量。

1 纤维状态检测系统硬件组成

纤维状态检测系统的任务是检测编织过程中有无纤维异常状态，该系统主要包括相机、镜头、光源、传感器等，系统构成如图1所示。其中，相机芯片为CMOS类型且分辨率为1 440像素×1 080像素，光源为2个环形白色LED光源。相机1采集纤维环状态和导纱轮1的纤维缠绕图像，相机2采集断纤状态和导纱轮2的纤维缠绕图像。

图1 系统构成Fig.1 System Components

2 检测算法流程

检测系统算法流程分为预处理阶段和状态识别阶段。系统整体检测流程为：相机采集到当前位置图像，经过预处理阶段和状态识别阶段检测纤维状态，当检测到纤维异常状态时进行处理。预处理阶段包括划分感兴趣区域和直方图均衡化、中值滤波对图像进行处理，预处理完成后针对产生断纤、纤维缠绕及纤维环的位置分别采用NCC匹配算法、基于图像分割的二次定位和几何特征检测算法及积分投影算法进行检测。算法流程如图2所示。

图2 检测系统算法流程Fig.2 Detection system algorithm flow

2.1 断纤状态检测算法

断纤是编织过程中常见的一种异常现象，正常编织时由于张力的存在，导纱轮2在锭子的上部，当断纤时张力为0，导纱轮2下坠到锭子底部，从而确定此纤维已经断裂。纤维状态特征如图3所示。因此可通过导纱轮位置的变化作为特征间接表征断纤，导纱轮2区域特征为白色，断纤后的区域灰度变化明显，采用NCC匹配算法可检测断纤状态。

图3 纤维状态特征Fig.3 Fiber state characteristics.

2.1.1 基于NCC匹配算法的断纤检测

图像匹配算法可以对不同时间采集到的多幅图像进行不同程度的几何变换，以达到各图像中相同的区域在几何上对准，该方法分为基于区域和基于特征两大类[12]。本文选用的NCC匹配算法是基于区域的图像配准[13]，即利用像素点的灰度信息来确定待配准图像之间的几何变换关系。NCC匹配算法需要模板图像和待配准图像，若模板图像T大小为m×m，待配准图像S大小为n×n,则匹配过程如下：

①模板图在待配准图像上进行连续平移操作，每一次平移所覆盖的子图区域记为P(i,j)，其中(i,j)为区域的左上角坐标位置；

②根据归一化相关函数计算区域P与输入的待配准图像间的相关系数值；

③对待配准图像进行自上而下、自左而右的遍历搜索。归一化相关系数N(x,y)的计算通常分为去均值(见式(1))和不去均值(见式(2))2种，通过式(1)或(2)可计算区域P与输入的待配准图像间的归一化相关系数值，相关系数最大位置即为最佳匹配位置。本文采用式(1)进行计算。

(1)

(2)

式(1)和式(2)中：S是搜索图像；T是模板图像；z1和z2分别代表图像匹配窗口内的像素平均值；归一化相关系数N(x,y)的取值范围为[-1,1],其值越大代表2幅图像的相关性越大；N(x,y)=-1时，图像之间完全不同；N(x,y)=1时，图像之间完全相同。

2.1.2 检测过程分析

模板图I、待配准图像J、归一化相关系数最大时的匹配位置坐标(xmax,ymax)及归一化相关系数值N如图4所示。

图4 匹配数据Fig.4 Match data

由图4可知，根据NCC算法计算得到纤维正常与断纤2种状态下锭子位置的归一化相关系数N，当归一化相关系数N较大时，该位置的纤维为正常状态；当归一化相关系数N较小时，该位置的纤维为断纤状态。通过多次分析正常纤维状态图像的归一化相关系数，得到该值波动结果如图5所示。

图5 波动范围Fig.5 Fluctuation range

由图5可知，统计分析得到的归一化相关系数取值在区间[0.8,1]的范围内波动，实验设定当归一化系数N>0.8时，为纤维正常状态。

2.2 纤维缠绕状态检测算法

正常纤维在胶料的作用下会形成一致性较强的束，如图6(a)所示，但随着编织过程进行，纤维与锭子上的导纱轮不断摩擦且在放线过程中纤维张力交替变化，使得纤维的集束性变差导致纤维产生如图6(b)所示的纤维分离现象，当纤维产生一定程度的分离时会导致如图6(c)所示的单丝断裂现象，断裂的单丝会缠绕在导纱轮上，纤维缠绕会加速正常纤维的磨损，从而加速纤维断裂、影响编织成型效果。

图6 纤维缠绕的形成过程Fig.6 The formation process of filament winding.(a)Normal fiber ；(b)Fiber separation；(c)Monofilament separation and fracture

针对导纱轮上纤维缠绕的检测，采用粗、精定位共计二次定位确定导纱轮区域。二次定位过程如图7所示，纤维缠绕检测过程如图8所示，具体为：

①在采集图像上利用感兴趣区域对锭子上存在导纱轮的区域进行粗定位，得到如图8纤维缠绕检测过程所示的粗定位区域；

②得到步骤①中的区域后，利用阈值分割、形态学运算和特征提取的方式进行精定位，提取得到如图8所示精定位的导纱轮区域；

③填充干扰区域。

图7 定位过程Fig.7 Positioning process

图8 纤维缠绕检测过程Fig.8 Filament winding detection process

通过上述步骤得到待识别的区域，后对待识别区域进行二值化操作，计算得到该区域中黑色像素区域面积在整体区域的面积占比如表1所示。

表1 黑色区域面积占比Tab.1 The proportion of black area

由表1可知，可以根据黑色区域面积占比判别纤维正常区域和纤维缠绕区域。对导纱轮的纤维缠绕设定面积占比高于15%时，当前区域有纤维缠绕，需要进行处理。

2.3 纤维环状态检测算法

编织过程中纤维环的形成会使纤维张力反复变化，从而造成纤维进一步磨损，导致纤维偏离正常位置，从而造成编织缺陷。在采集的图像上得到感兴趣区域如图9所示，可见纤维环的存在使该区域的灰度变化明显。

图9 感兴趣区域Fig.9 Area of interest

积分投影法得到纤维区域后进行投影，对感兴趣区域中的像素按行、列分别累加求和再求均值，即

(3)

(4)

式(3)和式(4)中：(x,y)为位置坐标；Q(x,y)代表位置像素；r为行数；c为列数；H(x)和V(y)分别代表第x行的平均像素和第y列的平均像素。

图10 积分投影曲线Fig.10 Integral projection curve.(a)Horizontal projection；(b)Vertical projection

由式(3)(4)得如图10所示的水平投影曲线和垂直投影曲线。由图10可知，纤维正常和纤维环状态在水平投影方向灰度变化区别较小，较难确定是否含有纤维环，在垂直投影方向上260～280列的灰度变化明显，该波谷位置即为纤维环区域，由于无需确定纤维环具体位置，所以可根据垂直投影方向上的差值判别纤维正常区域和纤维缠绕区域，通过分析不同纤维环图像垂直方向上投影的差值，得到如图11所示的差值曲线。

图11 差值曲线Fig.11 Difference curve

由图11可知，A、B为高度差极值点，纤维环状态在垂直方向上投影的差值在60以上，因此设定高度差大于60则存在纤维环。

3 纤维状态检测实验

图像采集平台如图12所示。图12(a)中为环形编织机，白色框为固定相机的支架，图12(b)为左图框的放大图。

图12 图像采集平台Fig.12 Platform of image acquisition(a)Field installation；(b)Local location

为验证算法的可行性，对图像采集平台中采集到的图片利用前述算法进行纤维状态检测，同时在不同光照(图像最大阈值分别为210、230和255)、运动模糊、密度和为0.5和0.7的椒盐噪声图像的条件下进行对比实验，实验所用的计算机为Win10系统的ipc-610整机(研华科技)，编织机为环形编织机，其中实验中的识别时间不包含增加干扰所用时间。编织机运行参数根据控制系统界面自主设定，界面参考如图13所示。

图13 控制系统界面Fig.13 Control system interface

3.1 断纤状态检测实验

断纤的检测流程图如图14所示。

图14 检测流程Fig.14 Detection process

不同环境下的识别准确率及识别时间统计如表2所示。断纤检测结果如图15所示。

图15 不同环境下的检测结果Fig.15 Test results in different environments

表2 对比检测结果Tab.2 Compare test results

由表2可知，在实验的不同环境中得到的图像结果均显示，所用算法对于断纤状态的检测识别准确率均在94%以上，识别时间在0.5 s左右，识别精度较好。

3.2 纤维缠绕状态检测实验

纤维缠绕检测流程图如图16所示。

图16 检测流程Fig.16 Detection process

纤维缠绕检测实验结果如图17所示。不同环境下的识别准确率及识别时间如表3所示。根据表3可以发现算法识别准确率在94%以上，识别时间在0.4 s～0.5 s，检测结果和检测时间能满足基本的应用要求。

图17 不同环境下的检测结果Fig.17 Test results in different environments

表3 对比检测结果Tab.3 Compare test results

3.3 纤维环状态检测实验

纤维环状态检测流程图如图18所示。

图18 检测流程Fig.18 Detection process

纤维环检测结果如图19所示。不同环境下的识别准确率及识别时间如表4所示。

图19 不同环境下的检测结果Fig.19 Test results in different environments

表4 对比检测结果Tab.4 Compare test results

由表4可知，所用算法的平均识别准确率为93.50%，精度较高，识别时间较短。

根据前述对不同纤维状态检测的实验数据可知，纤维状态检测算法在不同环境下虽有所差异，但总体识别率较高。检测时间较短。断纤检测所用算法的平均识别准确率为95.75%，平均识别时间为0.54 s；纤维缠绕状态所用算法的平均识别准确率为95.25%，平均识别时间为0.47 s；纤维环状态所用算法的平均识别准确率为93.50%，平均识别时间为0.48 s。由此可知，算法可以克服一定的外在环境干扰，相对于人工检测，提高了对纤维状态的检测效率。同时结合算法，设计了如图20所示的纤维状态检测系统界面。

图20 检测系统软件界面Fig.20 Detection system software interface

4 结 论

通过利用机器视觉技术，设计了一种纤维状态检测系统，分别对3种编织过程纤维状态进行了实验研究，得出以下结论：

①针对编织过程中出现的断纤状态，将正常纤维状态作为匹配模板并将采集图像作为待匹配对象，利用NCC匹配算法得到不同状态间的相关系数以完成检测。实验表明，在不同环境下该算法的平均识别准确率为95.75%。

②针对编织过程中出现的纤维缠绕状态，采用基于图像分割的二次定位提取区域并计算区域二值化后的黑色区域面积占比进行检测。实验表明，在不同环境下该算法的平均识别准确率为95.25%，检测时间在0.5 s内。

③针对编织过程中出现的纤维环状态，经过滤波后进行积分投影实现了对该状态的检测。实验表明，在不同环境下该算法的平均识别准确率为93.50%。

基于机器视觉进行纤维状态检测为编织过程纤维状态的自动化检测提供了参考依据和方法。