面向空间抓取任务的目标轮廓跟踪方法

康儒斐 王仕成 刘志国 杨东方

(第二炮兵工程大学控制工程系，西安 710025)

面向空间抓取任务的目标轮廓跟踪方法

康儒斐 王仕成 刘志国 杨东方

(第二炮兵工程大学控制工程系，西安 710025)

在空间抓取任务中，视场背景复杂，光照条件变化剧烈，而且存在相对运动。文章提出了一种新的动态轮廓特征检测跟踪方法。首先在灰度梯度法基础上，引入形状匹配、面积筛选和自适应灰度阈值调整方法，提高了轮廓提取的鲁棒性。随后，基于该提取结果，利用图像序列的时域相关约束辅助GVF Snake算法进行轮廓跟踪，提升了动态检测速度。最后，考虑到空间抓取任务的实时性需求，采用CUDA运算架构对算法进行并行化处理，并对一组序贯图像序列进行了轮廓跟踪实验。实验结果表明，此方法在CUDA平台下轮廓跟踪速率达到了10帧/s，在保证轮廓检测的准确性的基础上，明显改善了检测速度。

轮廓检测；空间目标抓取；时域约束辅助；航天任务

1 引言

空间目标抓取是近年来空间智能机器人研究的重要内容，在航天器交会对接、工业智能机器人操作等方面起着重要作用[1]。而计算机视觉测量融合了计算机科学、图像处理科学等多门学科的知识，是一种重要的测量手段，可以对目标进行相对测量与跟踪[2]，辅助目标抓取。

利用计算机视觉对合作目标进行精密相对测量的过程中，通常采用轮廓检测的方法。轮廓检测算法中最早提出的是灰度梯度法，该方法使用局部微分算子，通过对图像进行卷积运算来检测轮廓。常用的微分算子有拉普拉斯算子、Sobel[3]算子、Canny[4]算子等，这类算子运算速度快,实现较为简单，但对图像灰度化处理时所设定的阈值十分敏感，同时图像中存在的噪声对检测过程干扰较大，导致其鲁棒性差。文献[5]在灰度梯度法的基础上提出了一种基于梯度直方图的方法，它在利用灰度梯度幅值检测轮廓的同时，通过引入灰度梯度的方向信息解决了灰度阈值敏感问题。但该算法局限性强，只适用于直线的提取。文献[6]将数学形态学方法用于轮廓检测，提出了一种基于方向形态学的方法：先对图像进行二值化处理，然后定义一个方向目标函数来确定结构元素的移动方向，再进行滚动膨胀处理来获得轮廓信息。该方法计算简单，适于进行并行计算，但也存在容易陷入局部轮廓提取、易受噪声干扰的问题。文献[7]对该方法进行了改进，在对图像进行形态学操作前，先检测边缘方向信息，然后对不同边缘方向信息采用不同方向的结构元素进行滚动膨胀处理得到轮廓。该方法鲁棒性较好，但是对结构元素的选取比较敏感。文献[8]提出了一种Snake模型，设定了一种能量泛函，通过不断对初始曲线上的离散点进行泛函计算和迭代，使泛函达到最小值，进而逼近目标轮廓。该方法将初始轮廓作为先验知识，并且同时考虑了曲线进化的平滑性、连续性、目标边缘灰度特性，因而一定程度上提高了轮廓提取的抗噪性。但是该方法对初始轮廓精度要求高，同时还存在不能很好检测凹轮廓的问题。针对这些不足，文献[9]提出了一种基于正交直线的Snake模型，该方法基于任一闭合曲线都可以由多边形逼近的思想，在初始轮廓上选取离散点组成初始多边形。通过对离散点直交线给定范围内灰度梯度幅值的检测，将轮廓变化与灰度梯度变化联系在一起，然后对初始轮廓进行迭代，不断逼近目标轮廓。该方法很好地解决了提取凹轮廓的问题，但是检测结果对设定的灰度检测范围敏感。文献[10]提出了一种梯度矢量流(GVF)Snake模型，它以GVF为外力场，这种外力场比Snake外力场捕获范围大，在一定程度上降低了对初始轮廓精度的要求，同时也能收敛到凹区域。

需要指出的是，基于Snake模型的这一大类轮廓提取算法均需要指定一个初始轮廓结果，因此，本文考虑将灰度描述算子和活动轮廓相结合，提出一套适用于实际应用的目标轮廓提取方法。空间抓取任务对目标特征测量的精度、鲁棒性和检测速度提出了更高的要求。首先，在空间抓取任务中，目标轮廓等特征提取的精度，直接决定了相对位姿测量的精度；此外，由于空间光照条件对图像灰度值影响很大[11]，从而要求轮廓检测算法有更强的鲁棒性；另外，在机械臂逼近目标的过程中存在相对运动，因此对算法检测速度提出了更高要求。针对以上问题，本文利用轮廓特征之间的时域相关性提出了一种新的动态轮廓特征提取方法。

2 基本原理

本文提出的轮廓特征自动检测方法的基本原理包括两个方面：首先，采用自适应阈值调整的方法，解决空间光照条件变化对图像灰度值产生影响的问题，从而实现目标轮廓的鲁棒提取；然后在此基础上，利用相邻帧图像中目标特征的相关性约束关系，降低自适应阈值图像特征提取的计算复杂度，辅助实现动态目标轮廓的稳定跟踪。

2.1 基于自适应阈值的轮廓提取法

对目标进行相对测量的第一步，是对图像进行特征提取，其中轮廓特征提取是合作目标测量的常用方法。应用上最普遍的图像轮廓提取方法是灰度梯度法：首先对图像按阈值进行二值化处理得到灰度图像，然后进行灰度梯度解算，将提取出来的具有较大灰度梯度值的像素点作为边缘点，最后依据相应的判断准则对边缘点进行筛选，绘制相应的轮廓曲线。灰度梯度法的基础是空域微分算子，主要包括拉普拉斯算子、Sobel算子和Canny算子等。其中，拉普拉斯算子通过求取图像x,y方向的二阶导数之和完成算子赋值。在灰度不连续的疑似轮廓附近，由于二阶导数的特性，算子取值会显著增大，而穿越疑似轮廓后，算子取值又会快速减小。在此过程中出现的局部极值便可以用来指示边缘。然而，由于拉普拉斯算子是二阶算子，对噪声非常敏感，因此提取结果容易受噪声干扰。Sobel算子本质上是对图像的x,y方向分别进行一阶求导，然后求取导数的平方和。由于该算子对x,y方向分别求导，对图像水平和竖直方向上的灰度不连续处均有较强的响应，其平方和可以用来对边缘进行描述。然而，从上述过程可以看出，Sobel算子不能有效去噪，处理后的图像仍然存在干扰噪声。在Sobel算子基础上，Canny算子加入了高斯平滑处理和非极大值抑制，是目前为止应用最广泛的一种微分算子。Canny算子的实现过程如下。

首先，应用高斯平均算子对图像进行平滑处理得到图像平滑图，坐标x,y处的高斯函数利用方差σ2控制：

(1)

图像经过平滑处理后，图像中的边缘区域便会出现数据岭。然后，用一阶微分算子对处理后图像进行卷积运算，运算得到峰值的位置就是数据岭中边缘所在位置。在这里采用的一阶微分算子是平滑处理后的图像在边缘法线方向上的一阶导数：

(2)

将算子与图像P进行卷积运算求取其Gn极大值点，这些极大值点就是图像中的边缘点。在运算过程中，当该卷积沿n⊥方向微分值为0时，Gn取得极大值，即：

(3)

在空间目标相对测量任务中，采用Canny算子进行轮廓提取时，由于光照条件、相对动态程度，以及视场背景的影响，实际实验过程中容易出现轮廓混杂、轮廓检测不全等问题，难以实现目标轮廓的有效提取。基于Canny算子的轮廓检测如图1所示。

图1 基于Canny算子的轮廓检测结果示意

针对实际实验中遇到的上述问题，本文首先利用目标轮廓模板对所提取的轮廓进行形状匹配和筛选，剔除不规则轮廓和其他形状轮廓，保留与目标轮廓模板相近的轮廓。然后结合轮廓的面积特征进行筛选，最终得到有效轮廓，如图2(a)所示。从图中可以发现，此时得到的检测结果并不完整，这是因为用Canny算子对图像进行二值化处理时，采用了固定的灰度阈值，导致部分轮廓因灰度未达到阈值被忽略，这个问题在光照强度不足的情况下尤其显著。为解决该问题，本节采用自适应调整灰度梯度阈值的方法，对目标进行自适应灰度阈值检测。首先设定灰度阈值初始值，进行轮廓检测，在完成模板匹配和面积筛选后得到有效轮廓；然后根据检测到的有效轮廓的个数作为检测完整性判断的依据，进行灰度阈值调整，直到检测到全部有效轮廓为止，如图2(b)所示。

图2 轮廓特征检测结果示意

上述方法在一定程度上解决了空间目标测量过程中容易出现的轮廓特征检测不全的问题，提高了图像特征检测的鲁棒性。然而在实际测量中，该方法由于需要对每一帧图像进行多次基于灰度阈值调整的特征检测，所以轮廓提取过程的计算复杂程度成倍地增加。对此，本文在下一节中引入图像序列之间的时域相关约束，辅助运动目标的活动轮廓提取，减小了运算复杂度，实现了目标和摄像机之间的动态相对测量。

2.2 时域约束辅助的GVF Snake算法

考虑到Snake及其改进模型在目标轮廓跟踪方面采用了曲线进化的思想，对于存在时域相关约束的轮廓跟踪具有天然优势，因此选择一种Snake模型作为轮廓跟踪算法。在诸多Snake改进模型中，GVFSnake模型由于引入了梯度矢量流场替代Snake模型中的外力场(-Eext)，能够得到更加准确的轮廓跟踪结果，所以本节引入GVFSnake模型实现图像序列目标轮廓的提取。

首先，在原始Snake模型中，采用了参量方程表示变形曲线，该曲线表示为v(s)=[x(s),y(s)],s∈[0,1]。然后设立一种能量泛函

(4)

式中α(s)为轮廓的斜率；β(s)为轮廓的曲率；Eext为外力场能量项。根据式(4)对初始曲线进行能量泛函计算和位置迭代，当求得的曲线能量泛函最小时，便认为曲线已经逼近轮廓。

在Snake模型基础上，GVFSnake模型采用新的静态外力场GVF代替Snake模型中的外力场。它不随时间而变化，通过求解能量泛函极小值得到

(5)

式中GVF场表示为V=[u(x,y),v(x,y)]；u,v分别为图像灰度在x,y方向上的变化；ux,uy,vx,vy分别为u,v在x,y方向上的导数；为梯度算子；f为边缘图像；μ为控制参数。得到GVF场后，对初始曲线进行逐次迭代，最终逼近轮廓的真实位置。

图3 相邻时刻目标-摄像机 相对位置关系示意

在抓取任务中，视觉测量辅助空间目标抓取，本质上是依托于摄像机对目标所在世界坐标系的测量，得到摄像机本体和世界坐标系的相对位置关系。传统方法对于空间目标测量往往是对采集的图像单独进行轮廓提取。事实上，不同时刻的目标-摄像机位置关系和测量结果存在着时域相关性约束，可以辅助进行轮廓检测。时域相关关系示意如图3所示。

(6)

根据摄像机成像几何模型，世界坐标系和摄像机光心坐标系之间的相对位置和姿态信息实际上就完全决定了目标特征在摄像机图像坐标系中的像素坐标。因此，式(6)所描述的位姿约束关系，也能为相邻帧图像中图像轮廓点的像素位置提供辅助约束。也就是说，利用时域相关性特点，将初始轮廓输入作为时域相关的已知先验信息，能够辅助进行轮廓检测和跟踪。

上述动态特征提取方法的具体实现过程包括如下两个步骤：

1)图像轮廓特征的初始数据获取。对视觉测量系统采集得到的图像数据，首先采用形状匹配和面积筛选剔除干扰轮廓，得到初步检测结果。然后，为了弥补光照等因素对检测结果的影响，在上述结果基础上，进行自适应阈值的灰度梯度检测，最终得到第一帧图像中关于合作目标所有有效轮廓信息的完整描述。

2)将该轮廓作为已知先验信息，利用不同帧图像之间的时域相关性约束条件，依据曲线进化思想，采用GVF Snake算法在后续图像中进行轮廓迭代，使轮廓曲线不断逼近实际轮廓，达到目标跟踪的目的，提升算法的鲁棒性和有效性。

3 实验

3.1 实验平台

为了验证文中目标检测算法的有效性，搭建了空间抓取实验平台。空间抓取实验平台由环形轮廓合作目标与目标物、机械臂及其控制柜、指爪、图像采集及处理模块和主控计算机等组成，其结构如图4所示。环形轮廓合作目标用于指示目标物方位，机械臂模拟空间抓取机械臂，在手眼视觉等装置的辅助下来完成对目标物的抓取。

图4 空间抓取实验平台示意

空间抓取过程分为三部分，首先摄像头对目标进行视觉信息采集，并将采集信息传入主控计算机；然后主控计算机采用文中提出的轮廓检测方法进行目标轮廓检测，计算目标-摄像机相对位姿，调制机械臂运动命令；最后，机械臂执行运动命令，开始抓取动作。在动作过程中，由于目标和摄像头处在相对运动状态，所以视觉系统和主控计算机按照时域约束辅助的GVF Snake方法不断进行相对位置解算，调制新的机械臂动作命令，直到成功抓取目标。

3.2 并行运算架构CUDA

利用并行运算架构CUDA(Compute Unified Device Architecture)进行方法实现，能够大幅提升运算效率，减少运算时间。CUDA架构是NVIDIA公司于2006年推出的基于GPU硬件设备的并行运算工具，它使GPU能够代替CPU进行大规模数据运算，从而使CPU能够专注于程序逻辑控制，大大提升了运算效率。在CUDA架构中，CPU被称为host，GPU被称为device，两者工作模式如图5所示。

图5 CUDA并行架构工作模式示意

如图5所示，host首先进行CUDA初始化，然后开辟内存空间，将图像数据传入内存完成内存，完成初始化。随后，开辟显存空间，将图像数据由内存传入显存。device读取显存中的图像数据，分配到各个并行运算单元中进行并行计算，并将结果存入显存。随后，显存将结果传回内存供host进行处理，完成并行运算过程。

3.3 动态目标轮廓测量实验

在空间目标抓取任务中，目标轮廓检测的速度、鲁棒性等决定了抓取过程的成败。为验证文中提出的方法，本节设计了一组轮廓检测实验，分别对检测速度、鲁棒性进行验证。首先，分别采用灰度梯度法、GVF Snake方法和本文所提出的时域约束辅助GVF Snake方法进行轮廓提取实验，实验结果如图5所示。

在图6中，灰度梯度法对第一帧图片进行处理后，将目标轮廓信息传递给GVF Snake方法和本文提出的时域约束辅助的GVF Snake方法分别进行处理。两种方法均在进行1次迭代后，检测到了目标轮廓。随后，改变目标轮廓位置和光照强度获取第二帧图片，灰度梯度法对其进行轮廓检测，将检测结果作为初始轮廓传递给GVF Snake方法。如图6所示，由于灰度梯度法进行轮廓检测时出现误差，GVF Snake方法在初始轮廓基础上进行了5次迭代，检测到了目标轮廓；而时域约束辅助的GVF Snake方法以前一帧图片检测结果作为初始轮廓，在第二帧图片中进行迭代运算，在1次迭代后检测到目标轮廓。

横向比较灰度梯度法对第1帧和第2帧图片的轮廓检测结果可以发现，当光照条件等外界因素变化时，灰度梯度法对目标轮廓的检测结果可能会出现较大偏差。但在GVF Snake方法对该轮廓进行5次迭代后，仍可以检测到目标轮廓，说明GVF Snake方法鲁棒性较强。时域约束辅助的GVF Snake方法将较早时刻的轮廓检测结果作为初始轮廓，仅经过1次迭代就检测到了目标轮廓，迭代所用时间较GVF Snake方法大为减少，如表1所示。

图6 方法对比实验

表1 迭代时间对比结果

Tab.1 Comparison of iteration time

图片第1帧时域约束辅助GVFsnake方法GVFsnake方法第2帧时域约束辅助GVFsnake方法GVFsnake方法时间/s0.3290.3310.2991.793

在对本文方法进行离散图片实验的基础上，为了更好地检验时域约束辅助的GVF Snake方法对动态轮廓检测的有效性，本文还对目标抓取过程中随机按帧序得到的7帧图像在CPU和CUDA上分别进行了轮廓检测实验。在实验中，本文采用的硬件设备如下：CPU为Intel Core i5-4570处理器，处理频率3.2 GHz；GPU为NVIDIA Quadro K5000显卡，CUDA计算能力为3.0，含有192个流多处理器，1 536个流处理器。检测结果如图7所示。

图7 动态目标轮廓检测实验

在图7中，各帧图片是在环形轮廓合作目标移动过程中采样得到的图片。作为实验对象，从这些图中可以看出，随着环形轮廓合作目标移动，背景和光照条件在不断变化，这对检测算法的运算速度和鲁棒性提出较高要求。而从图中轮廓检测结果来看，在CPU和CUDA上实现的时域约束辅助的GVF Snake算法，均能有效克服背景条件、光照变化，实现对轮廓的跟踪。在CPU和CUDA平台上的用时见表2。

表2 处理时间结果

从处理时间表可以看出，采用CUDA架构实现，轮廓检测速率达到约10帧/s的检测速度，大幅提升了计算效率，减少了运算时间，保证了实时性。

4 结束语

本文提出了一种动态轮廓特征自动检测方法。该方法以灰度梯度法和GVF Snake方法为基础，并对其进行了优化。本文针对灰度梯度法在对合作目标轮廓提取中鲁棒性差、易受噪声干扰等问题，提出了形状匹配、面积筛选、自适应阈值选择等方法，有效改进了算法性能；针对动态轮廓检测的问题，对序列图像中的轮廓特征之间的时域关系进行了研究，提出一种基于时域约束辅助的GVF Snake方法，达到了动态检测要求，提升了检测速度。同时，分别在CPU和CUDA平台上进行了实验，验证了方法有效性。

实验结果表明，本文方法在不同光照条件下能够准确地进行轮廓提取，具有较强的鲁棒性；同时能够有效地对动态目标进行轮廓跟踪，检测速率达到约10帧/s。从实验过程能够看出，本文提出的方法只需要进行1次迭代就能实现轮廓特征的准确提取，简化了计算流程，并且通过采用CUDA并行运算方法提升了实时性，保证了本文方法在实际应用中的有效性。

[1]李宇飞，高朝辉，申麟.基于视觉的机械臂空间目标抓取策略研究[J].中国科学：技术科学，2015,45(1):31-35.

LI YUFEI，GAO ZHAOHUI，SHEN LIN. Study of vision-based space target capturing strategy for manipulators[J]. Sci Sin Tech, 2015，45(1):31-35 .

[2]刘勇，徐鹏，徐世杰.航天器自主交会对接的视觉相对导航方法[J].中国空间科学技术，2013，12(6):33-40.

LIU YONG，XU PENG，XU SHIJIE. Vision-based relative navigation for rendezvous and docking of spacecraft[J]. Chinese Space Science and Technology，2013，12(6):33-40.

[3]SOBEL I. Camera models and machine perception[J]. IEEE Transactions on Electronic Computers，1970，18(12):104-197.

[4]CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8(6):679-698.

[5]张小虎，李由，李立春,等. 一种基于梯度方向直方图的直线轮廓提取新方法[J].光学技术，2006，32(6):824-826.

ZHANG XIAOHU，LI YOU，LI LICHUN，et al. A new line boundary detection algorithm based on histogram of gradient′s direction[J]. Optical Technique，2006，32(6):824-826.

[6]YANG J,LI X. Directional morphology and its application in boundary detection[J]. Image Processing and Application，1995，410(2):742-746.

[7]姚庆梅，牛君.一种基于方向形态学的图像轮廓提取方法[J].山东大学学报(工学版)，2005，35(4): 47-50.

YAO QINGMEI,NIU JUN. Boundary detection based on directional morphology[J].Journal of Shandong University (Engineering Science)，2005，35(4): 47-50.

[8]KASS M，WITZIN A，Terzopoulous D.Snake：active contour models[J].Internet Journal of Computer Vision，1988，1(4)：321-331.

[9]王宏漫，欧宗瑛，胡志萍.自由差分运算与直交型Snake模型[J]. 计算机辅助设计与图形学学报，2005，17(3):448-454.

[10]XU C，PRINCE J L. Snakes，shapes，and gradient vector flow[J]. IEEE Transactions on Image Processing，1998，7(3):359-369.

[11]王丛.自动图像白平衡的研究[D].北京：北京工业大学，2012.

WANG CONG. Automatic image white balance technique[D]. Beijing: Beijing University of Technology，2012.

[12]杨东方，刘志国. 一种新的惯性/视觉组合系统初始对准的时域约束方法[J].仪器仪表学报，2014，35(4): 47-50.

YANG DONGFANG，LIU ZHIGUO. A novel time-domain constrained approach for the iinitial alignment of INS/vision integrated system[J]. Chinese Journal of Scientific Instrument，2014，35(4): 47-50.

(编辑：高珍)

Detecting and Tracking Method for Space Target Grasping Based on Contour Features Detection

KANG Rufei WANG Shicheng LIU Zhiguo YANG Dongfang

(Department of Control Engineering,The Second Artillery Engineering University，Xi′an 710025)

Due to the complex background, changes of the illumination and relative motions, better performances in effectiveness and robustness are needed for moving target grasping tasks.A new detecting and tracking method based on dynamic contour features was proposed. The gray gradient method and the active contour model were integrated in this method. At first, on the basis of the traditional gray gradient method,an improved gray gradient method was proposed,which included shape matching, area screening and adaptive adjustment of gray threshold. According to the detecting results of target contour, the time-domain constraints between image sequences were also involved. The detecting results were added in the GVF snake method to improve the measuring accuracy and effectiveness. In the end, considering the real-time demand of the grasping tasks,the tracking methods was parallel with CUDA calculation architecture and an experiment was conducted with a bundle of sequential images. The result shows that the tracking rate can reach 10 frames per second, improving the tracking speed without sacrificing the accuracy.

Contour detection；Space target grasping；Time-domain constraints; Space mission

国家自然科学基金(61403398)，陕西省自然科学基金(2014JM2-6109)资助项目

2015-06-02。收修改稿日期：2015-08-04

10.3780/j.issn.1000-758X.2015.06.007

康儒斐 1991生，2012年毕业于第二炮兵工程大学测控工程专业，现为第二炮兵工程大学导航制导与仿真专业硕士研究生。研究方向为计算机视觉。