基于机器视觉的筒子纱线头识别方法

金鹏翔 刘宜胜

摘要： 為了在纺织织造的整经工序中高效吸取筒子纱线头，克服人工和机器寻线工作效率低、装置复杂等问题，提出了一种基于机器视觉的筒子纱线头识别方法。首先，对采集的筒子纱图像进行畸变校正，根据透视投影和局部透视变换建立筒子纱校正模型，得到理想的筒子纱侧面展开图像；其次，采用4邻域连通规则对校正后的图像进行连通域标记，得到含曲线部分最多的连通域；最后，计算该连通域的曲折度，达到阈值的即为所需识别的线头。对含线头图像和不含线头图像进行识别，结果表明：局部透视变换的校正方法比重映射速度提升近30%，表现出较高的校正精度；曲折度阈值判别方法能有效滤除非线头图像，提高了线头图像的识别精度。使用机器视觉进行筒子纱线头识别能有效检测出每个筒子纱中的线头部分，减少生产线上的人工干预，为构建高效节能的智能化生产模式提供参考。

关键词： 机器视觉；筒子纱线头识别；校正模型；局部透视变换；连通域标记

中图分类号： TP 391

文献标志码： A

文章编号： 1673-3851 （2024） 01-0112-08

引文格式：金鹏翔，刘宜胜. 基于机器视觉的筒子纱线头识别方法［J］. 浙江理工大学学报（自然科学），2024，51（1）：112-119.

Reference Format： JIN Pengxiang， LIU Yisheng. An identification method of cheese yarn ends based on machine vision［J］. Journal of Zhejiang Sci-Tech University，2024，51（1）：112-119.

An identification method of cheese yarn ends based on machine vision

JIN Pengxiang， LIU Yisheng

（School of Mechanical Engineering， Zhejiang Sci-Tech University， Hangzhou 310018， China）

Abstract：  To efficiently extract cheese yarn ends in the warping process of textile weaving and solve the problems of low work efficiency of manual and machine thread hunting， and complex devices， a method for identifying cheese yarn ends based on machine vision was proposed. Firstly， distortion correction was performed on the collected cheese yarn images， and a cheese yarn correction model was established based on perspective projection and local perspective transformation to obtain an ideal cheese side expansion image. Secondly， the 4-neighbor connection rule was used to mark the connected domain of the corrected image， and the connected domain containing the most curve parts was taken out. Finally， the tortuosity of the connected domain was calculated， and the one reaching the threshold was the thread end to be identified. The results of identifying thread end-containing images and thread end-free images show that the local perspective transformation correction method is nearly 30% faster than heavy mapping， showing high correction accuracy; the tortuosity threshold discrimination method can effectively filter out non-thread end images and improve the recognition accuracy of thread end images. Using machine vision to identify the ends of the cheese yarn can effectively detect the thread end part of each cheese yarn， reduce manual intervention on the production line， and provide reference for building an efficient and energy-saving intelligent production model.

Key words： machine vision; identification of the ends of the cheese yarn; correction model; local perspective transformation; connected domains

0引言

智能制造是全球制造业发展的新趋势，整经作为纺织产业链中的一个劳动密集型加工工序，在劳动力成本日益增加的形势下迫切需要提升智能化水平［1］。筒子纱寻线是整经生产的重要准备环节，部分工厂还延续着传统的寻线方式，通过人工操作寻找整经筒子架上各个筒子纱的线头，将线头牵引至整经机车头后，再进行后续的纺纱工作。但该方式费时费力、人力成本高，因此筒子纱寻线环节急需智能化改造。目前国内外应用的自动化程度较高的寻线头方法通常依托于机械装置，利用吸嘴产生负压，通过特定装置使筒子纱旋转，通过无差别吸取，将筒子纱的线头吸入整经机中［2-5］。该方法相比传统的人工寻线提高了生产效率，但需要额外的检测传感器实时检测纱线的吸取情况，存在工作效率低、装置安装麻烦等缺点，长时间的工作还会提高机器的维护成本。

基于机器视觉的检测设备速度快、精度高，且可实现无接触测量、定位，具有避免污染等优点，被广泛应用于纺织领域。目前，机器视觉大多应用于单根纱线的处理。例如，Li等［6］通过机器视觉实现了纱线直径的灵活检测；Ji等［7］设计了一种基于机器视觉和张力观测器的纱线张力动态检测系统；周其洪等［8］将机器视觉应用于细纱接头机器人的纱线断头定位，利用优化的霍夫直线检测算法可以准确提取所需纱线的位置信息；屠佳佳等［9］用图像处理代替检测传感器的方式，将其应用于圆纬机自动上下料系统中，解决了纱线吸取状态的检测问题。由于纱线之间相似度高，没有能有效区分线头与其他纱线的图像分割方法，因此对筒子纱上的纱线进行图像处理的应用较少。若利用机器视觉可以准确找出线头，再针对性吸取线头，那么可以大幅提高工作效率，而且相较于利用机械装置进行广泛寻线，安装和维护更加方便。因此，设计一种应用于筒子纱上的线头識别方法非常必要。

为了提高整经工序中吸取线头的效率和精度，降低装置的安装和维护成本，本文提出了一种基于机器视觉的筒子纱线头识别方法。利用图像采集装置采集筒子纱图像，通过图像处理对筒子纱图像上的纱线进行分割，提取出线头区域图像。使用图像采集装置可代替筒子纱旋转吸线装置，针对性吸取线头可减少吸嘴的工作时间，为整经工序机械结构的轻量化设计与优化提供参考。

1线头识别装置及其工作流程

筒子架是整经过程中用于安置筒子的支架，按有无预备筒子可以分为复式和单式两种。单式筒子架更换筒子时需停机，将新筒子的线头与被摘断的纱尾连接；复式筒子架上备有预备筒子，工作筒子的线尾与预备筒子的线头打结相连，工作筒子的纱线用完后，预备筒子直接进入工作。不论单式还是复式筒子架，均存在大量的线头寻找及线头线尾对接工作。

为做好对接的准备工作，准确识别筒子纱上线头，本文设计了线头识别装置，其示意图如图1所示。由于所需识别的筒子纱位于筒子架上，选择筒子纱旋转的方式需额外设置抓取装置，且抓落筒子纱的过程中可能导致线头的移动，不利于后续线头吸取工作，因此选择固定筒子纱相机旋转的方式进行图像采集。在该装置中，相机与筒子纱的距离以及相机焦距固定，相机光轴始终指向筒子纱中心；为方便筒子纱图像采集，在与相机相对位置放置一黑色背景板。

在图像采集过程中，旋转轴带动相机和背景板转动，绕筒子纱拍摄侧面静态图像，对采集图像的筒子纱区域进行图像校正，通过线头识别方法提取纱线，并计算其曲折度判断是否满足线头条件，最后输出线头的具体位置。筒子纱线头识别的整体流程如图2所示。

2筒子纱图像校正

通过线头识别装置采集的筒子纱图像如图3所示，可以发现：筒子纱图像产生了畸变，越是远离图像中央畸变程度越大。因此，为能正确找到线头及线头的精确位置，首先对采集图像畸变校正。

图像的成像过程是将三维坐标变换到二维坐标的投影过程，常用的投影模型有正交投影和透视投影，本文采用透视投影理论描述成像过程。透视投影是从投影中心将物体投射到另一投影面的图形，所有的投影线通过无限小的光圈进入相机［10］，但实际成像时，相机采集的图像存在一定的非线性失真。采集筒子纱图像时，曲面上的失真更为严重，存在横向变形和轴向变形（沿纱筒方向），轴向的变形使水平直线发生弯曲，横向的变形使远离成像中心的直线缩短，从而加剧轴向的变形，影响对线头的特征提取，因此在寻线前需建立模型校正畸变。柱形图像的校正通常采用重映射的方式建立坐标对应关系，将每个坐标的像素映射到正确的坐标位置［11-12］，运用最近邻插值计算像素值，避免空白像素的产生［13］。但逐个像素进行坐标映射的方式效率很低，在处理像素值较大的图像时，算法运行时间过长，不利于进行图像处理。为提高校正速度，可使用区域分割逐个还原的方法［14-15］，将图像均分为数个子区域，对每个区域进行透视变换校正，但该方法没有获取每个坐标的真实位置，只适用于畸变程度较小的图像校正，无法正确还原畸变较大的图像，影响对图像特征的提取。为提高校正效率，同时保证一定的精度，本文根据透视投影和区域还原的方法提出了一种基于局部透视变换的筒子纱校正模型，可以更高效、准确地还原筒子纱的侧面展开图像。

2.1筒子纱畸变模型建立与校正

筒子纱的透视示意图如图4所示，其中：O为相机位置，相机绕筒子纱旋转的半径为h=OOW，筒子纱半径为r，XO1Y为相机成像面，XWYWZW为世界坐标系。图4中，筒子纱端面弧AC投影到成像面后，由直线畸变为曲线A′C′。为了校正畸变，首先需对相机进行标定，计算相机的内参和外参。取世界坐标系下点A（XW，YW，ZW），则与像素坐标系中对应的投影坐标（u，v）的关系可由以下方程变换得出：

u

v

1=M1M2XW

YW

ZW

1（1）

M1=fdX0u00

0fdYv00

0010（2）

其中：M1为相机的内部参数矩阵，（u0，v0）为图像坐标系中的坐标原点，f/dX和f/dY为相机在X、Y轴上的尺度因子；M2为相机的外部参数矩阵，由相机与世界坐标系的相对位置决定。

图5为筒子纱XOZ向坐标对应图，其中：A、C为投影线与柱体相切点，物距d=OD1，圆柱面的有效视野为2l=AC。本文中相机与世界坐标系只存在一个z轴方向的平移，平移量为：

OD=d+r2-l2（3）

因此，M2为：

M2=1000

0100

001d+r2-l2

0001（4）

为校正筒子纱轴向畸变，应先将筒子纱上的点投影到投影切面ZW=-r处，再进行坐标变换，便可得到校正后的理想筒子纱图像。即：

u

v

1=M1M2XW

YW

-r

1（5）

在柱体图像中，远离图像中央的横向部分会逐渐减小，为校正横向变形，需得到正确的横向坐标映射关系。如图5所示，A点为筒子纱与投影线相切点，A1为对应的投影切面处的投影点，切面处坐标为A点在空间坐标系中的XW，最后投影至图像坐标系的A′处。在投影过程中，A点与图像中心位置的距离应为弧AD1的长度。为校正图像，应计算A点在切面处的真实坐标，即弧AD1的长度。设点A与相机光轴的夹角为θ，则：

θ=arcsin|XW|r（6）

根据弧长公式得出：

AD1=r×arcsin|XW|r（7）

由式（7）可求出A点在投影切面與图像坐标系下的真实投影AR与AR′点。将式（7）代入式（5）中，得到筒子纱上任意一点与投影点的映射关系为：

u

v

1=fdX0u0du0+u0r2-l2

0fdYv0dv0+v0r2-l2

001d+r2-l2

r×arcsin|XW|r

YW

-r

1（8）

由式（8）可以求出校正后筒子纱图像中所有点的坐标，将像素映射到对应的真实坐标处可获得筒子纱无畸变的侧面展开图像。

2.2局部透视变换

由式（8）可求出图像中每个点的真实坐标值，但每个点都需进行一次矩阵计算，耗时较长，不适用于对图像像素要求高的线头识别中。为了提高图像校正的效率，根据区域分割的方法，本文提出一种局部透视变换校正的方法。透视变换是指单一平面内的所有点投影到另一个平面，只需做一次矩阵变换和投影的空间坐标变换，可以将侧视的图像校正为正视图，透视变换矩阵的参数由图像中4个点的坐标和相应的实际坐标得到［16］。

本文研究的筒子纱在图像上的呈现为空间曲面，根据微分思想，可将曲面看作无数个平面的组合，利用透视变换将每个平面校正为正视图，最后组合成完整的校正图像。为实现局部透视变换，需对筒子纱图像进行区域分割。首先采用OTSU算法对图像进行阈值分割，得到筒子纱轮廓图像，示例图像如图6所示，并选取轮廓图区域内的图像作为ROI区域（图像感兴趣区域），对区域内的图像进行校正。

由于圆柱的有效视野宽度小于圆柱直径，因此每个筒子纱至少需要采集3张图像才能遍历整个表面。为了提高图像质量，本文对筒子纱进行4次图像采集，采集的图像以90°进行图像剪裁，即|XW|≤2r/2范围的筒子纱图像。由于筒子纱图像边界处存在由纱线重叠产生的凹凸不平区域，对图像进行边界剪裁，降低了图像处理的困难程度。

由于筒子纱图像的左右边界未产生弯曲变形，因此可将截取后的筒子纱轮廓竖向分割为n等分，然后将均分产生的直线分割为n等分，获得了（n+1）×（n+1）个坐标点，以相邻的4个坐标点为角点组成一个子区域，组成如图7所示的n×n个区域的图像。通过坐标映射矩阵获得每个区域内角点的真实坐标，利用局部透视变换得到校正后的平面，直线的均等分割使校正后的区域拥有一致的轴向长度。由于横向畸变的存在，远离中央的区域校正后横向宽度越大。将校正后的各个平面进行拼接，最终得到如图8所示的筒子纱侧面展开图。

在插值方式均选择双线性插值的前提下，将校正方法应用于大小为2000×1400像素的图像时，本文提出的局部透视变换校正与常见的柱面重映射校正方法的运算时间见表1，从表1中可以看出，使用局部透视变换进行校正时，均分数n和校正时间成正比例增长，但相较于逐个像素进行映射的重映射校正速度均提升近30%。筒子纱图像的均分数n越小，校正时间越短，但过小的n会造成校正精度的下降，还原后的图像不满足线头识别的要求，过大的n又使校正时间过长。为了满足图像的精度要求并尽可能减少区域分割，本文经过多次实验，最终选取n=50作为区域分割数量。

3线头识别

3.1筒子纱曲线部分提取

筒子纱的纱线具有一定的弹性，不受外力作用的线头会自然地保持一定的弯曲状态，因此可以曲线为识别条件找出图像中的线头。首先提取每幅图像中最有可能为线头的部分，即含曲线最多的部分。

为能对目标纱线进行有效提取，使用限制对比度自适应直方图均衡化（Contrast limited adaptive histogram equalization， CLAHE）的方法增强图像。增强后的图像经过OTSU阈值分割如图9（a）所示。常见分割直线和曲线的方法为霍夫变换，但线头部分除了一定的弯曲外，还可能存在直线部分，简单的霍夫变换无法实现对线头的识别。因此，需要在避免线头直线部分的干扰下，根据曲线特征提取目标。

为能提取特征，首先对阈值分割后的图像采用像素标记法进行连通域标记，标记的目的是将每根纱线作为一个连通区域。由于本文图像内的元素相似度高，为减少误差，选择4邻域连通规则。连通区域的数量会影响线头识别速度，因此首先对图像中小面积区域进行滤除，这些区域是由纱线与纱线交叉重叠产生，不是本文识别目标。滤除后的示例图像如图9（b）所示，其剩余部分包含了线头所在的曲线部分及直线噪声。为滤除直线噪声，采用概率霍夫变换对直线进行检测，并将检测出的直线部分像素置0，得到如图9（c）所示的图像。提取图像中剩余像素最多的连通域，该连通域为图像中含曲线最多的区域，最终得到如图9（d）所示的曲线图像。

3.2曲折度计算

根据上述曲线提取流程，可对每张筒子纱图像进行提取。为能确定提取的区域是否为线头，需对该区域进行曲折度计算，为方便计算，首先对连通域进行骨架提取，提取示意图如图10所示。

本文使用斜率链码描述线头曲折度［17-18］，曲折度的计算过程示意图如图11所示。为计算曲线的曲折度，首先在曲线的周围放置等长的直线段，规定曲线的其中一个端点为起点，直线段一端放在原点，另一端与曲线重合并作为下一直线段的起点，遍历整个曲线后生成一条与原始曲线相似，由连续直线段组成的曲线，这个过程可视为一个相同半径的圆遍历曲线。然后对相邻直线段之间的斜率变化进行计算，并将斜率变化归一化到（-1，1）区间内，曲折度即为所有相邻直线段的斜率变化的绝对值之和：

τ=∑ni=1|ai|（9）

其中：n为斜率链码中的元素个数，|ai|为链码中元素的值。

3.3实验分析

为验证本文识别筒子纱线头方法的有效性，采用4000×3000像素的相机、5 mm焦距的镜头在物距d=220 mm的条件下对r=55 mm的筒子纱进行图像采集。

使用曲线提取方法对采集的16张筒子纱图像进行识别，含线头图像清晰地识别出线头所在的位置。为滤除非线头图像提取的纱线区域，需设定曲折度阈值。以15个像素点为直线段长度，分别计算提取区域的曲折度，计算结果如图12所示，其中：图12（a）为采集的线头图像的曲折度，图12（b）为非线头图像的曲折度。

如图12所示，线头的起始位置在边界，终止位置在图像中央，且呈现一定的弯曲；而非线头的起始和终止位置不定，这是因为除最外圈纱线外，其余纱线均被外层纱线截断，呈现不完整的通路。曲折度的值与视觉分析结果一致，非线头的曲折度普遍低于1，线头的曲折度在2附近浮动。图13为纱线识别后的曲折度折线图。经过多次实验并结合实际工况，将τ=1.2设为线头识别阈值，当识别图像的曲折度大于阈值1.2时，该曲线即为本文所需识别的线头。

4结语

为克服整经工艺过程的筒子纱寻线环节人工和机器寻线工作效率低、装置复杂等问题，本文提出一种低成本、非接触式的线头识别方法。利用机器视觉实现对线头的高效率、高精度识别和提取，结合透视投影理论，采用局部透视变换的方式校正筒子纱的侧面展开图像，比传统使用重映射进行校正的方法速度提升了近30%。基于线头的弯曲特征，使用霍夫变换与连通域相结合的方式进行曲线提取，解决了因线头包含直线部分而无法直接进行曲线提取的问题；对提取的区域进行曲折度计算，大于曲折度阈值的即为筒子纱线头。

本文提出的基于机器视觉的线头识别方法，可以更高效地实现筒子纱寻线，代替复杂的筒子纱旋转装置，减少吸嘴的工作范围及时间，有助于整经工序的节能降耗、机械结构轻量化。

参考文献：

［1］汪立鑫， 孟彩霞. 创新能力、劳动力成本与地区制造业智能化转型［J］. 科学学研究， 2023， 41（8）： 1376-1388.

［2］Hatta， Kiyoshi， Hori， Junya. Takeout of yarn end from spandex package with the aid of lashing end［J］. Seni Kikai Gakkai Shi/Journal of the Textile Machinery Society of Japan， 2002， 55（5）： 41-47.

［3］胡達. 一种适用于圆柱纱筒的寻线头装置： CN111573424A［P］. 2022-01-11.

［4］屠佳佳， 李长征， 戴宁， 等.机械式打结机纱线捕获状态检测方法［J］. 纺织学报， 2023， 44（5）： 205-212.

［5］张家春. 一种筒管纱找线头机： CN108773738A［P］. 2018-11-09.

［6］Li Z， Zhong P， Tang X， et al. A new method to evaluate yarn appearance qualities based on machine vision and image processing［J］. IEEE Access， 2020， 8： 30928-30937.

［7］Ji Y， Ma J， Zhou Z， et al. Dynamic yarn-tension detection using machine vision combined with a tension observer ［J］. Sensors， 2023， 23（8）： 3800.

［8］周其洪， 彭轶， 岑均豪， 等. 基于机器视觉的细纱接头机器人纱线断头定位方法［J］. 纺织学报， 2022， 43（5）： 163-169.

［9］屠佳佳， 戴宁. 基于图像处理的纱线检测识别系统［J］. 针织工业， 2023（6）： 33-37.

［10］Cheng X Q， Sun J H， Zhou F Q， et al. Shape from apparent contours for bent pipes with constant diameter under perspective projection［J］. Measurement， 2021， 182： 109787.

［11］张建新， 李琦. 基于机器视觉的筒子纱密度在线检测系统［J］. 纺织学报， 2020， 41（6）： 141-146.

［12］王伟， 何卫平， 郭改放， 等. 基于标定的任意半径柱面上2维条形码畸变校正［J］. 中国图象图形学报， 2014， 19（1）： 69-75.

［13］夏晓华， 李玉强， 邹易清， 等. 圆柱曲面透视投影失真的图像校正［J］. 光学精密工程， 2023， 31（11）： 1691-1699.

［14］黄书海， 殷建平， 祝恩， 等. 基于局部透视变换的圆柱体侧表面PDF417条码矫正方法［J］. 计算机工程与科学， 2012， 34（9）： 93-97.

［15］刘烽杰， 蔡明. 柱面QR码的识别及实现［J］. 计算机与现代化， 2015（2）： 110-112.

［16］代勤， 王延杰， 韩广良. 基于改进Hough变换和透视变换的透视图像矫正［J］. 液晶与显示， 2012， 27（4）： 552-556.

［17］Aguilar W， Alvarado-Gonzalez M， Garduo E， et al. Detection of rotational symmetry in curves represented by the slope chain code［J］. Pattern Recognition， 2020， 107： 107421.

［18］Bribiesca E. The spirals of the slope chain code［J］. Pattern Recognition， 2019， 95： 247-260.

（責任编辑：康锋）

收稿日期： 2023-10-16网络出版日期：2023-12-12网络出版日期

作者简介： 金鹏翔（1999—），男，浙江台州人，硕士研究生，主要从事机器视觉方面的研究。

通信作者： 刘宜胜，E-mail：lysleo@zstu.edu.cn