基于轮廓提取的缝纫机器人运动轨迹规划研究进展

吴柳波， 李新荣， 杜金丽

(1. 天津工业大学 机械工程学院， 天津 300387； 2. 天津市现代机电装备技术重点实验室， 天津 300387； 3. 天纺标检测认证股份有限公司， 天津 300193)

当前的服装生产过程中流水线基本依赖于工人手工操作[1]。服装行业实现全自动化、无人化生产，提升服装生产效率是今后发展的必然趋势，传统的工业机器人可通过示教与编写指令来完成点对点的指定工作，但面对服装柔性面料加工的生产系统，传统的工业机器人生产适应性很差，无法满足服装行业未来全自动化、无人化生产的需要,因此，利用计算机视觉技术对面料轮廓信息提取，将面料轮廓信息作为反馈来规划机器人的运动轨迹[2]，使用工业机器人代替人工操作，可提高服装行业的生产效率与产品质量。

目前,机器视觉的工业机器人技术大多运用于焊接与搬运码垛中[3-5]，基于此，将机器视觉中的轮廓提取技术与工业机器人进行集成，可得到基于轮廓提取的服装工业协作型缝纫机器人。工业协作型缝纫机器人配备具有静电吸附、负压吸附等吸盘的末端执行器来完成面料的抓取、转移，静电吸附、负压吸附吸盘具体可参考面向服装面料的静电吸附力建模方法等相关专利[6-8]。该末端执行器将转移的面料输送至全自动缝纫机处，使面料与缝纫机形成配合，完成成衣缝制作业。通过机器视觉对面料轮廓的提取，然后缝纫机器人转移面料至全自动缝纫机处进行缝纫，该协作型缝纫机器人通过缝纫机器人与全自动缝纫机的协同配合完成面料的缝纫，实现服装生产流水线的无人化、全自动化，提升服装生产的效率以及提高传统缝纫机器人的生产灵活性。本文介绍了近几年来机器视觉轮廓提取的几种算法，以及工业机器人运动轨迹设计的方法与优化，这2项技术为工业协作型缝纫机器人研究中的2大核心技术，并对基于轮廓提取的工业协作型机器人在服装生产行业中未来的实际应用进行了展望。

1 机器视觉轮廓提取算法

传统的服装生产中通过人工CAD图形采集来提取面料的轮廓信息，相比于机器视觉轮廓信息采集，其效率较低且精确度不高。当前基于机器视觉的轮廓视觉提取方法主要有基于边缘算子、基于数学形态学、基于水平集算法的主动轮廓模型方法。

1.1 基于图像边缘提取的边缘检测

边缘检测算子对目标轮廓的提取是基于图像的亮度及颜色特征，对变化明显的点进行标记，然后完成边缘点的提取。但由于图像模糊、存在大量噪声，为获取完整和连续的目标轮廓带来了很大困难。通常选择一阶和二阶导数来检测边界不连续的效果。边缘提取可借助微分算子利用卷积来实现，常用的算子有Sobel 算子[9]、Prewitt 算子[10]、Roberts算子[11]、Log算子[12]和Canny检测算子[13]等。目前,在纺织产业中轮廓提取主要运用于织物的印花工艺，经过对比研究，Canny算法更符合面料轮廓信息的提取。传统Canny算法的流程如图1所示。孙波等[14]利用基于总差遍模型的算法对织物印染图像进行平滑处理，再利用Canny算法进行轮廓提取，最终得到轮廓边缘清晰、完整的图像。向军等[15]通过控制平滑程度参数和空间尺度参数，然后运用Canny算子检测图案边缘，最终成功提取到织物上的图案轮廓。

图1 传统Canny算法流程图

基于边缘算子的轮廓提取方法能够依据物体的轮廓特征，去除多余的边缘，并对边缘进行修补，定位较准确，但存在断点；其中Canny算子能够最大限度地标识出图像中的实际边缘；标识出的边缘最大程度地接近实际图像中的实际边缘，被较多研究者使用。

1.2 基于数学形态学的边缘检测

数学形态学是使用数学的方法，将图像看作是许多点的集合，用集合论的观点来研究图像中物体的形态和结构的图像处理方法。一般先对图像进行增强处理，再对图像进行形态学计算，从而将前景目标与背景分离，提取出轮廓。数学形态学的基本运算包含膨胀、腐蚀、开运算和闭运算4种，开运算就是先腐蚀再膨胀，闭运算就是先膨胀再腐蚀，通过组合这4种基本运算可得到其他复杂的形态学运算。宋浒等[16]使用形态学算子时先利用小波分解图像，然后采用小波变化模极大值算法提取轮廓信息，有效地克服了图像的双边缘现象。数学形态学方法相比较于边缘检测算子，能够有效地去除噪声，但其性能还不足以达到理想的效果。很多学者提出基于多尺度多方向结构元素的数学形态学轮廓检测算法：吴朔媚等[17]利用递归的多尺度多方向结构元素形态学滤波得到图像的初始轮廓，能够有效抑制噪声并保留边缘细节；刘晓刚等[18]提出多尺度多结构的数学形态学算子处理图像，实现了边缘精准定位与提高去噪能力。

此算法能有效地去噪，将主体目标从背景中分割出来，但不能精确定位轮廓，对于面料的缝纫来说，需要高精度的轮廓与缝纫头进行配合，所以难以在实际中使用。

1.3 基于水平集的主动轮廓模型方法

主动轮廓模型于20世纪80年代被提出，主要应用于图像分割问题[19]。水平集方法将曲线构造成一个更高维曲面的水平集，可较好地适应曲线的拓扑变化，如图2所示。主动轮廓模型利用变分的思想求解，是当前图像分割应用最多的方法。主动轮廓模型对初始轮廓较为敏感，在轮廓提取的结果中含有较多的噪声点轮廓。翁桂荣等[20]提出水平集函数的自适应符号距离函数，使主动轮廓在演化的过程中，可根据自适应符号函数的方向对初始轮廓进行扩大或缩小，从而降低了水平集对初始轮廓的敏感性；将基于Otsu算法的边缘检测和主动轮廓模型相结合，通过自适应阈值得到物体的初始轮廓，以此减小主动轮廓模型对初始轮廓的敏感性[21]。韩哲等[22]将改进的遗传模糊聚类算法与水平集算法相结合，提高了图像分割的速度。此外，水平集方法在曲线演化过程中存在距离不规则问题。为此，赵方珍等[23]提出改进的距离规则化水平集方法，使水平集函数的梯度模向势函数的2个极小值点快速趋近，一定程度上保证了水平集函数的稳定性。

图2 水平集构造曲线法

水平集算法和主动轮廓模型方法主要应用于图像分割中，而对图像进行分割之后，所分割的边界就是物体的轮廓，提取出的轮廓边缘清晰，但轮廓提取时会受到背景的影响，易检测到错误边缘，加大了实际操作中的难度。

在传统的服装生产中，通常是对面料的外轮廓进行缝纫，故使用轮廓提取算法提取面料的轮廓，因为面料的缝纫对于缝纫过程中针、线的配合精度要求高，如果轮廓提取的图像精度不高或者有缺失，将对成衣的质量有着至关重要的影响。工业协作型缝纫机器人可通过人工CAD图形采集或者采用机器视觉技术完成面料轮廓信息的提取。基于边缘算子的Canny算子相对于其他轮廓提取算法，具有定位准确等优点，能够检测到细小的边缘，通过高斯滤波平滑图像，降低噪声的影响，通过控制平滑程度参数和空间尺度参数，增强图像轮廓信息，该方法适用于服装行业中对面料的轮廓提取。在轮廓提取时，采用静电吸附固定柔性衣片，使衣片平整，不会因为柔性变形而使轮廓信息提取不完整。

2 轮廓提取及机械手路径点组

在图像经过轮廓提取算法计算后由原来的阵列形式转化为对边界轮廓点的描述，边界的轮廓点仅描述了提取图形区域的边界，没有明确地表述图形区域与边界的关系，因此，需要采用轮廓跟踪的办法，对所提取出的图形轮廓进行跟踪，将提取出的轮廓信息以坐标的形式存储起来。

2.1 轮廓跟踪

轮廓跟踪是通过找到边缘点，按照顺时针或者逆时针方向来进行轮廓跟踪。首先选择1个初始边缘点作为起始点，假设图像起始点的坐标为(X0,Y0)，其矩阵表示坐标为(m,n),则下一边界点必定在起始点(X0,Y0)和矩阵坐标(m,n)的八邻域内[24]。八邻域内像素的位置坐标、编码表示及矩阵坐标表示如图3所示。

图3 八邻域内像素的位置坐标编码及图像所对应矩阵的坐标

目前，应用最多的Freeman链码[25]跟踪就是通过这种方法进行计算。Freeman链码表示法是用中心像素指向其八领域中各方向点来定义的，轮廓的跟踪可依据链码的方向进行，避免了对像素点的重复扫描，增加了轮廓跟踪效率[26]。轮廓跟踪时，由于跟踪的方向是单向的，降低了轮廓跟踪的效率。郑丽萍等[27]提出了基于双向轮廓跟踪的面部轮廓线生成算法，对检测后的图像进行双向轮廓跟踪，减少了提取面部的轮廓线的时间。任民宏等[28]针对图像中字符识别技术的应用需求，提出了轮廓跟踪算法的改进算法，通过压缩轮廓线上轮廓点信息，可使运算过程中提取特征少，识别速度快，准确率高。桑红石等[29]提出了利用标记信息加速轮廓跟踪执行过程的快速轮廓跟踪算法，利用标记过程寻找连通区域中第1个像素出现的位置，省略了在图像中逐像素搜索轮廓起点的过程。

轮廓跟踪算法首先按从上到下，从左到右的顺序找到第1个点作为起始点，然后搜索每个边界点，最后回到起始点，完成轮廓的跟踪，因此，在轮廓跟踪中为提高算法的效率，如何寻找第1个起始点与如何搜索下一个边界点成为算法的关键。在实际的服装生产线中，需要运算时间少并且精度高的算法来提高生产效率。

面对服装行业的未来发展，不同款式、不同尺寸的服装生产都需要使用轮廓跟踪算法完成面料轮廓信息的提取，因此，需要提升轮廓跟踪算法的效率，满足多样化、专人定制化生产的未来发展的趋势。采用双向轮廓跟踪算法与标记信息法能有效地减少轮廓提取的时间，符合服装行业未来灵活生产的要求。

2.2 机器人坐标系的建立

通过边缘提取、轮廓跟踪完成的轮廓提取，可得到对应的机械手路径点组，因此，只要知道提取后的轮廓在图像中的像素位置坐标，就可通过坐标系的变换得到目标轮廓在机械手坐标系下的位置坐标，从而使下位机输入路径点组控制机器手完成相应的动作。轮廓提取相当于缝纫机器人的眼睛，可识别、获取目标物的像素坐标，然后将得到的像素坐标通过坐标系的转换，将机器人坐标系下的机械手运动点组传输给机器人处理系统，从而实现机械手的最终运动。将机器视觉技术使用在服装设备中，摆脱了传统中依靠缝纫机器人末端严格按照预定轨迹运动完成作业的局限性，提高了服装生产线的灵活性，满足柔性生产系统对大规模、多样式的生产要求。

机器人坐标系分为关节空间坐标系和直角坐标空间坐标系2种。关节空间坐标系是对各关节的运动进行规划,在关节空间中进行轨迹规划实时性更好，且不用考虑奇异问题，实际中也多在关节空间进行轨迹规划[30-32]。

经过工业相机采集视野范围下的织物图片，并通过以太网通信，将所获取的图片传输给工控机，运用轮廓提取算法提取面料的外轮廓曲线后，使用Freeman链码法对所提取出的图形轮廓进行跟踪，可根据面料的尺寸与款式的不同，采用双向轮廓跟踪算法与标记信息法等方法，减少轮廓提取的时间，然后通过坐标系的转换，生成机械手坐标系下的路径轨迹点组。通过机械手带动面料的移动与缝纫头的协同作业，完成对织物的缝纫。在机器人的运动过程中，可能会在关节处产生抖动，从而使面料发生变形，因此,需要对机器人运动轨迹进行规划。

3 机器人运动轨迹规划

随着机器人的关节运动，可能会在关节处产生抖动，从而影响机器人的稳定性，这就需要对机器人运动学作研究。机器人运动学是机器人学的基础，是描述机器人运动过程中，各关节及末端执行器的变化情况。直角坐标空间的轨迹规划要依靠逆运动学不断将直角坐标转换为关节角度，此关节角度即是该关节控制系统的期望值。轨迹规划过程中不断应用逆运动学，将手部的直角坐标转化为关节坐标。机器人逆运动学将已知其末端执行器的位置和姿态，求解机器人的各关节变量[33]。常用的机器人逆运动学求解方法有解析法[34]、几何法[35]、旋量理论法[36]、神经网络法[37]等。

3.1 机器人运动逆解运算

3.1.1 基于解析法的机器人运动逆解运算

解析法主要是通过消元法消去机构约束方程中的未知数，从而使得机构的输入输出方程为一元方程，这种方法可求得机构的所有可能的解，但一般消元过程都十分繁琐，且对一元方程求解的计算精度要求很高，若要获得较高精度的解，需要大量的计算时间。董云等[38]提出采用解析法和遗传算法相结合的方法，具有计算量小和适应性强的特点。该算法可找到1组最优的关节角，优化机械手运动过程中的柔顺性和避障点，快速收敛到全局最优解。此方法是机器人逆解中最基本的方法，解析法计算时间太长，但可通过和遗传算法等算法结合的方式缩短计算时间，提高生产效率。

3.1.2 基于几何法的机器人运动逆解运算

几何法求逆解具有直观、计算量小的特点,为使几何法求解运动逆解计算更简便，桑董辉等[39]将几何法与闭合几何方程相结合构建机器人运动方程，这种方法能使逆运动求解过程简化，可运用在工业生产中对机械臂的实时控制中。几何算法的计算量小，但其计算精度较低，对于服装生产线来说难以实现缝纫精度高的要求。

3.1.3 基于旋量理论法的机器人运动逆解运算

分析空间机构的众多数学方法中，旋量是十分有效的工具,其具有几何概念清楚、物理意义明确、表达形式简单、代数运算方便等优点，得到了广泛的应用。叶平等[40]基于旋量理论和矢量积法，提出了求解雅可比矩阵的改进方法，该方法继承了旋量理论用于机器人操作的优越性，简化了机器人运动学、动力学的分析方法，同时也丰富了旋量理论用于分析机器人系统的方法。旋量理论法在工业机器人的使用中相对较少，其运动学建模困难且耗时的问题对于实际生产线中面对不同形状的加工面料，难以实现规模化生产。

3.1.4 基于神经网络法的机器人运动逆解运算

人工神经网络具有信息分布存储、并行处理以及自学能力等优点,其可任意精度逼近任意连续函数,所以广泛应用于非线性建模、函数逼近、模式识别和分类等方面。神经网络算法可减少逆运动求解传统方法需要大量公式推导繁琐复杂的缺点，但也存在一定的局限和不足[41],因此,也有不少国内外的研究者开始基于人工神经网络算法进行优化。李进等[42]在用神经网络法求机器人逆解时引入连杆三角形夹角概念，提高了求解精度。神经网络算法具有高速寻找优化解的能力，在一个较为复杂的运算中可充分发挥计算机的计算能力，快速找到优化解，但存在局部极小、收敛速度慢等问题。针对某些实际问题将算法优化可解决此类问题。

通过运动学逆解，将机械手坐标转化为机器人关节坐标，从而得到机器人的运动轨迹。基于解析法的运动学逆解可求出机器人的正运动学的位置所有解，消除奇异性问题，但其数学推导复杂，可通过遗传算法等优化缩短计算时间。为保证缝纫机器人与缝纫头的协同作业保持高度一致，避免出现缝纫机器人位置奇异性的问题，可采用解析法。

3.2 机器人轨迹规划

通过机器人的运动逆解，将末端执行器的位置姿态转变为机器人关节的位置姿态，从而控制机器人的运动轨迹。在服装生产中，面料一般具有良好的伸缩性，当受到外力作用时，面料尺寸极易发生变化，但当外力撤除时，面料的尺寸又会快速恢复，不会发生永久性的变形[43]。针对服装面料的特性，为避免机器人运动中位移、速度、加速度突变产生力的作用，要求描述机器人运动轨迹的函数必须是连续的，其1阶导数和2阶导数也要连续。在工业机器人中，关节型机器人的运用最为广泛，同时，大都使用6自由度关节型机械臂，可满足生产中响应迅速、精度高等需要。

机器人的关节空间轨迹规划通过关节的位置姿态，采用不同的插补算法进行插值拟合，属于点到点的运动，存在特殊运动情况时，还需要通过指定的中间节点，一般是在无末端路径要求前提下进行的，因此，轨迹规划转化成插值拟合问题，将关节始末位置关节角度以及中间节点对应的关节角度，插值得到连续轨迹。

基本插补算法主要分为3次多项式、5次多项式、高次多项式插值以及混合多项式插值等。当有始末位置的关节角度和角速度时，一般采用3次多项式插值，也是关节空间中最为寻常的插补方法。当需要有角加速度作为条件时，需要采用5次多项式插值，其增加了始末位置的角加速度约束，保证了加速度的连续性，使轨迹更加平滑，减少了因为关节加速度突变而产生的冲击。不少国内外学者对相关的插补方法在关节空间的轨迹规划应用进行了研究。周云松等[44]采用3次多项式插值方法，通过模拟机器人行走轨迹，得到了1条轨迹平滑的插值函数。孙玥等[45]使用5次多项式对码垛机器人运动进行分析，结果表明5次多项式轨迹规划方法能使拟合曲线更加光滑。以上研究都只采用单一的多项式进行插值拟合，未考虑到连续轨迹之间连接的光滑性。刘晓麟等[46]采用用双5次多项式融合算法，使机器人连续运动轨迹的速度连续平滑且加速度连续。高次多项式因能保证更好的运动特性，在关节空间轨迹规划中也得到应用。Boryga等[47]提出使用高次多项式规划关节轨迹，其考虑了5次、7次、9次多项式，这3类高次多项式能使机器人始末位置的角加速度为0，从而使冲击为0，提升了机器人的运动性能。在实际生产中，通常是面对多种多样的作业任务，一般采用分段多项式进行轨迹规划，即不同的阶段采用不同次数的多项式进行插值：李海虹等[48]采用3-3-5-3-3次多项式插值法进行轨迹规划，使得机器人各关节角位移、角速度、角加速度曲线平滑连续；孙志毅等[49]采用4-3-3-3-4次多项式，使得运行轨迹的位置、速度、加速度均连续；陈晗等[50]采用5-7-5次多项式插值法进行轨迹规划，实现了整个运动过程的连续、无突变。在面对机器人运动路径复杂的作业要求时，通常采用分段多项式进行规划，通过调整多项式次数即可得到满足要求的轨迹。

3次多项式、5次多项式与高次多项式依次增加了角速度、角加速度的连续性，插补的次数越多，越能使轨迹更加平滑，减少因为关节加速度突变而产生的冲击，相对于经济成本也更高。针对面料的弹性与接缝强度，考虑面料与缝迹的弹性力学影响以及经济成本，通过分析面料的织物特性，结合缝纫机器人的轨迹规划，利于缝制服装时选择合适的缝纫机器人，提高缝制质量。

服装缝纫流程是成衣生产中一个最重要也是最复杂的环节，缝纫质量的好坏直接影响整个服装的品质[51]，针对基于轮廓提取的工业机器人在服装生产线中实现全自动化和无人化，在与缝纫机进行协作生产时需要注意机器人的运行速度平稳，与缝纫头的协同作业问题。全自动缝纫机由1个机头和其他辅助部分构成，是具有一键式缝制、自动断线、自动润滑等自动控制功能的缝纫机[52]。如果机器人的运行不平稳，将会出现与自动缝纫机工序混乱，造成缝迹起绉、浮松；机器人动作与缝纫机出现协同失误，导致断针、断线、破洞、断纱、抽纱等；机器人送布时未能与缝纫机配合，使面线与底线不适应，造成底面线不匹配、针距不匀[53]。

基本规划算法难以满足工业机器人逐步提高的精度和平稳性要求，需要寻找更优良的轨迹规划算法，提高轨迹的平滑性，改善轨迹性能。国内外研究学者对轨迹的平滑性研究较多，主要采用的方法有B样条曲线[54]、NURBS曲线[55]等。样条曲线具有几何不变性、局部支撑等诸多优良特性，保证了多段轨迹过渡时连接的平滑性和整个曲线的平滑性，同时可减少机器人关节冲击，使机器人轨迹适应性更好。 B样条曲线可局部修改轨迹，修改后的控制点只会改变相邻曲线，其他部分不会受到影响，在实际应用中可方便地修改轨迹，满足实际轨迹要求。 根据节点矢量分布，B样条曲线可分为均匀和非均匀B样条曲线。均匀B样条曲线保留了Bezier曲线的性质，保证了第1个点和最后点通过控制顶点，可用于关节空间中的点到点轨迹规划。非均匀B样条曲线控制点之间不等距分布，可任意分布，这给轨迹自由变化带来了便利[30]。NURBS样条函数的节点向量沿参数轴非均匀分布，形成的基函数各不相同，且算法中增加了基函数权因子。增加的权因子反映的是节点对轨迹的影响程度，用于改变控制顶点对轨迹的贡献，实际反映出来的是拟合曲线与控制点的距离[56]。通过上述研究，基于轮廓提取的机器人运动轨迹设计步骤如图4所示。

图4 基于轮廓提取的机器人运动轨迹设计步骤

对缝纫机器人运动轨迹规划是为了使机器人末端执行器在转移面料的过程中更加平稳，不会因为速度的突变产生力从而使面料产生皱褶，能有效提高缝纫机器人与全自动缝纫机配合时的精度。缝纫机器人的构造与形态会对运动轨迹产生影响，例如机器人运作时常会出现的位置奇异性问题，可通过解析法对机器人运动逆解求解，避免机器人在运动过程中出现奇异性。

为使机器人运动轨迹平稳，避免其振动和冲击而产生加速度使面料受到外力作用，破坏服装生产质量，采用基本插补算法对机器人轨迹进行拟合，随着插补的次数增高，轨迹更加平滑，但使经济成本也更高，因此，可采用NURBS曲线进行优化轨迹曲线完成对高精度复杂轨迹控制，并结合面料的力学性能，减少成本，提高缝制质量。

4 结束语

本文综述了近年来机器视觉轮廓提取以及机器人轨迹规划优化的几种方法的发展，然后讨论了其各自的优缺点，并介绍了基于轮廓提取的工业协作型缝纫机器人的工作流程。通过研究和发展基于轮廓提取的工业协作型缝纫机器人将实现服装行业全自动化、无人化生产。通过总结和分析，认为未来相关研究可从以下方面开展。

1)基于轮廓提取的工业协作型缝纫机器人，借助机器视觉辅助设备识别面料形状，然后机器人通过末端执行器完成抓布、上料等任务，通过与缝纫机的配合，实现不同种类的缝制，最终实现在一条线上完成衣服的生产。然而，在实际生产线中要考虑面料的纤维特性，在末端执行器对于面料的抓取，多台机器人协同作业，针对面料的纤维特性使面料在缝合时不产生皱褶等方面上还具有很大的挑战。

2)未来可根据人工用手压住面料完成与缝纫头配合作业的方式，设计仿生机器人末端执行器辅助装置压住面料，完成面料与缝纫头的缝合，例如利用皮辊或传送带完成面料与缝纫头进出时的配合作业，对产生穿刺力作用下的面料起到保护作用。

3)采用机器视觉对面料信息的提取，采用静电吸附吸盘对面料进行转移，运用辅助送料装置的摩擦力使面料与全自动缝纫机进行配合缝纫，该生产线通过缝纫机器人、辅助送料装置、全自动缝纫机的协同配合完成面料的缝制。对于全新设计的集成服装生产线目前仅有发明专利的设想与理论研究：一种协同自动缝纫设备、一种面向服装面料的静电吸附力建模方法。对于相关技术操作上的细节仍没有完整系统的研究，因此，该生产线的适用性还需要进一步去考证。