基于合作目标的图像分割和提取方法研究

任 明，吴 川※，高云龙，彭佳琦，赵春蕾

（1.中国科学院长春光学精密机械与物理研究所，长春 130033；2.驻长春地区第一军事代表室，长春 130000）

0 引言

随着图像处理技术的发展，通过视觉系统检测合作目标，获取目标的姿态信息已经广泛应用于航空航天、自动化装配、无人机着陆等领域[1]。由于部分嵌入式硬件的性能要求，导致深度学习方式检测仍有一定限制。因此，研究传统的图像处理方式能够快速精确地提取合作目标图像区域在工程领域仍具有重要的应用价值和研究意义[2]。

合作目标可以分为平面靶标、立体靶标，可应用于空间对接、工件抓取、大型设备位姿测量等工况比较复杂的场景，通过相机检测合作目标使识别更加方便快捷[3]。平面靶标在工业及军事领域应用的更加广泛，因此本文研究平面靶标的提取[4]。

当前进行目标区域提取的方式主要有模板匹配法、深度学习法、特征识别法等[5]。高立宁[6]采用模板匹配法对半挂车铰接处位置进行识别检测，其处理速度较慢，在该方面仍需要提高。彭红星等[7]通过将图像分割与模板匹配相结合识别工件，虽然应用具有一定局限性，但其在识别检测前对图像背景进行剔除的方式值得本研究借鉴。Maldonadoramirez 等[8]提出了通过建立深度学习模型方式识别检测多类水果，该方法鲁棒性较好，迁移能力强，但是需要对大量样本进行训练，算法也难以应用于一些国产嵌入式工控机中。Canny J[9]提出一种根据形状和颜色特征相结合的方式识别水下的螃蟹，该方法可高效识别目标，但该方法受环境条件影响较大，识别成功率和效率虽有提高，但应用时仍有一定的局限性。上述方法在目标检测时难以保证快速识别，而且应用环境受限，具有一定深入研究的价值。

针对上述问题，本文提出了一种将图像分割与模板匹配法相结合的合作目标提取方法。该方法通过边缘检测方式对图像中的区域进行分割，然后对图像背景进行剔除，根据合作目标的特征进行模板匹配，最后对下一帧图像的目标位置进行预测，以提高目标识别速度，实现对目标的高精度快速提取。

1 区域分割及筛选方法

1.1 边缘检测

本文基于Canny 边缘检测方法将图像划分为多个区域，由于存在检测边缘断层情况，使图像边缘无法连接成一个个封闭的曲线，不利于进行与区划分，因此本文采用形态学算法与Canny 边缘检测方式相结合的，有效的提高了边缘检测的连续性，本文具体的分割区域过程如下：

（1）图像平滑去噪：本文引入形态学中的开运算对图像进行处理，去除图像中的噪声，保留图像的边缘细节，然后采用传统边缘检测的高斯滤波方式对图像进行平滑处理。

设原始图像为f(x,y)，b(s,t)为形态学处理元素，经过开运算处理后的图像经平滑处理后的图像为：

（2）梯度幅值和方向：通过一阶偏导的有限差分可计算梯度幅值与方向。

（3）对梯度幅值进行非极大值抑制：通过计算x方向和y方向的灰度梯度值，可以实现梯度幅值的抑制，找出图像梯度中的局部极大值点[10-11]。

（4）使用双阈值检测和边缘连接[12]。

（5）膨胀处理：传统Canny 边缘检测后由于图像或者算法自身问题，在一些情况下会存在边缘有断层的情况，从而影响检测[13]。本文引入形态学的膨胀方式，使边缘连续，也更加清晰。

1.2 合作目标区域筛选

经过区域分割后的图像存在大量干扰区域，从而影响检测速度。本文检测合作目标，可以根据合作目标的特征对边缘检测后的封闭区域进行筛选。

经过边缘检测后的合作目标边缘为封闭曲线轮廓，根据合作目标的尺寸信息，可以对图像的背景区域进行筛选。设边缘区域在图像的x方向的最大和最小像素坐标值分别为xmax、xmin，在图像y方向的最大和最小像素坐标值分别为ymax、ymin，则可以获得该轮廓在像素坐标系中的参数为：

式中：W为区域的像素宽度；H为区域的像素高度；R为区域的长宽比。

本文将上述数据通过设定阈值对目标区域进行多重筛选，具体筛选依据如下。

（1）像素宽度与像素高度

图像合作目标的实际尺寸信息包括高度和宽度可以提前获得，而工程上应用的合作目标都是可以知道相机识别目标的大概距离[14]。可以根据上述信息确定目标投影在相机上图像像素的宽度与高度，计算公式为：

式中：WT与HT为合作目标的实际宽度尺寸与高度尺寸；ZT为目标的与相机之间的距离；f为相机的焦距；dx和dy分别为像素点在宽度方向和高度方向的单元尺寸，因此可以确定靶标进行长宽比筛选的阈值为：

式中：ZTmax、ZTmin分别为相机需要检测目标在深度方向的最大距离和最小距离。

（2）长宽比

根据像素宽度与像素高度进行筛选区域的方式可以剔除掉部分背景区域，但仍会存在一些满足上述条件，但其长宽比明显不符合目标的形状特点的区域。因此，本文根据目标的长宽比范围对一些不满足条件的区域进一步筛选，以减小接下来提取目标图像的图像处理工作量。

合作目标长宽比的变化是因为合作目标有转动角度而产生的，可以根据靶标在实际过程中的转角设置长宽比阈值范围，具体计算方式如下：

式中：α为目标与相机成像平面沿高度方向上的夹角；β为目标与相机成像平面沿高度方向上的夹角。

通过式（6）可以根据实际工程中的目标旋转角度范围确定筛选的长宽比的阈值。

本节基于图像边缘分割方法，根据目标的尺寸特征对多余背景区域进行剔除，实现对目标区域的初步提取，减少之后合作目标识别算法的数据处理量。

2 目标区域提取

2.1 模板匹配法设计

模板匹配理论是按照相关策略根据已知模块在搜索图像中寻找逼近模块匹配的过程[15]。针对传统模板匹配法运算效率低、处理数据量大、难以保证实时性要求的问题，根据合作目标特征设计模板匹配法。本文设计的合作目标为平面靶标，如图1 所示，所设计的图案提取算法不仅适用于该目标，同时也适用于同类的黑白图案平面靶标的识别。

图1 合作目标图案

本文根据合作目标的图形特征设计模板匹配方法。模板匹配法的理念是对图像中的相似区域进行判定，找到最大相似区，从该思路出发本文采用基于形状模板匹配法提取具有明显特征形状的合作目标。

设计的目标区域提取的评价标准：设计匹配模板的模型，将匹配模板视为一个矩阵，同理将分割后的图像区域也视为多个矩阵。对模板矩阵中的点与各个区域矩阵中点进行匹配，得到相似度最大的区域可视合作目标区域。具体包括相似度匹配和模板设计两个部分。

（1）相似度匹配方法

在模板与各个区域进行匹配时，由于各个区域的图像大小必然存在不同，使图像匹配的计算方式变的复杂。为了使匹配简单，本文对各个区域进行二值化，然后将二值化后的区域图像都缩放至模板图像大小，以提高图像匹配的效率。

式中：A为匹配相似度；|P|为模板矩阵行列式；|QT|为各待检测区域矩阵行列式的转置。

在获得相似度的基础上，设置一定的阈值K对区域中的各个区域的相似度进行判定。当A＜K时，则说明该区域非目标图像区域，若A＞K，则说明该区域为目标区域，若各个区域A＜K，说明该整幅图像中不存在目标。这种方式同时也适用于图像中存在多个合作目标的情况，根据区域相似度当存在多个区域有A＞K时，则说明存在多个目标。

（2）模板设计方法

经过试验发现直接将合作目标图案缩放后作为匹配模板的检测效果并不好，会因为合作目标的旋转导致识别的正确率降低。针对此问题，本文提出根据目标的多特征设计模板，具体思路如下。

将各个特征视为多个评判标准，各个特征构成的矩阵按照式（7）进行相似度匹配，设各特征的匹配结果分别为A1，A2，…，An，则该区域的相似度A可表示为：

将合作目标图案进行缩放，为了减小计算量，设置缩放后的尺寸为50×50 像素，如图2（a）所示，所根据图像中的圆环特征设计的模板图案如图2（b）和图2（c）所示。

图2 合作目标与模板

图2 中，模板1 为合作目标白色外圆环的特征匹配模板，模板2为黑色内圆环的特征匹配模板。由2.1节可知将待筛选区域矩阵中数值为0 的点设置为-1，像素值为255 的点设置为1，为进行匹配，本文将模板1 中，白色部分的像素数值设置为-1，黑色部分像素点数值设置为0，模板2 的白色部分的像素数值设置为1，黑色部分像素点数值设置为0。为了清晰地表达，将两个模板的矩阵融合在一起，融合后的矩阵图如图3 所示。图中灰色部分表示数值为1，绿色部分表示数值为-1，白色部分表示数值为0。将模板通过矩阵进行描述后，根据式（8）进行相似度匹配，即可获得合作目标在图像中的位置。

图3 模板矩阵

2.2 目标跟踪

每一帧图像都对全局图像进行目标的提取识别会导致计算量增大，引入图像跟踪的方法对动态合作目标区域进行提取可有效提高目标检测效率[16]。去除连续帧中大量无效的背景，保留图像中的有效区域，再通过匹配方法对有效区域中的合作目标图像进行精确匹配。

在合作目标运动变化的情况下，根据前两帧图像中的目标位置预测第三帧图像目标的大概位置。通过识别合作目标在连续两帧图像的像素坐标分别为（i1，j1）、（i2，j2），两帧图像的更新周期为t，可以获得标在x方向和y方向上的速度vx、vy分别为：

根据式（9）的计算数据，可以计算目标在下一帧图像的坐标（i3，j3）约为：

通过式（10）中的（i3，j3）确定第三帧图像的搜索窗口位置，窗口大小大于目标图像的尺寸。从而将全局图像转换为局部图像，去除大量背景信息，然后在局部图像中用本文匹配方式提取合作目标，大大减少计算量。

3 实验案例

为了验证本文图像分割和目标提取算法的可行性和可靠性，对含有合作目标的图像进行目标提取，从边缘分割对比、区域筛选、目标提取、目标提取速度对比多个方面设计实验。

3.1 边缘分割和区域筛选实验

本文实验所采用的图像分辨率为1 280×960，图4 所示为原始灰度图像，图5（a）所示为传统Canny 边缘检测算法目标边缘图，图5（b）所示为本文边缘检测算法目标边缘图。

图4 原始灰度图像

图5 合作目标边缘检测

根据图5可以明显看出，本文边缘检测算法相较于传统算法在曲线的连续性方面和曲线清晰度方面具有更好的效果。可以使图像形成一个个封闭的区域，然后通过本文提出的筛选方法根据式（4）～（6）对图像区域进行筛选，本文所使用的相机焦距值f=5 mm，像元大小为3.75 μm×3.75 μm，取100 ≤W≤600，100 ≤H≤600，0.7 ≤R≤1.3，相机筛选前后的图像如图6 所示。图中的曲线即为经过边缘检测后的曲线。可以明显看出对合作目标图像区域筛选后，背景边缘区域有了明显地减少，并且保留了目标图像区域，具有良好效果。

图6 边缘分割图像前后对比

3.2 目标提取实验

通过本文模板匹配法对合作目标区域进行提取。对图像中含有两个目标的图像进行匹配，效果如图7所示。图中可以清楚看到通过本文方法能够成功地提取两个目标在图像中的位置。本文设置了100 帧图片用于目标识别，识别的正确率如表1所示。

图7 目标区域提取

表1 正确率数据

根据数据可知，本文提出方法识别目标具有良好效果。为验证将目标跟踪的方法引入后再检测速度方面具有良好效果，通过采集100 帧图像，并对图像中的合作目标进行识别，对时间间隔进行统计，引入跟踪与未引入跟踪的识别方法的检测时间如图8 所示。图中深色线为未引入跟踪的识别方法，经计算平均时间为0.048 s；浅色线为引入跟踪的识别算法，平均时间为0.03 s。可以看出，在识别时间上提高37.5%，提高了识别的效率，并且不影响识别的正确率，算法具有一定可行性和可靠性。

图8 实验对比

4 结束语

为实现对合作目标提取，本文提出了一种将图像分割和模板匹配相结合的合作目标提取方法，该方法引入图像边缘分割，并对边缘检测算法进行改进，根据目标尺寸信息特征，去除背景图像干扰，经过实验验证了本文引入形态学处理的边缘检测方式和区域筛选方法具有可行性。然后根据合作目标图像特征设计匹配模板，与图像筛选后的区域缩放后进行相似度的匹配。最后通过目标跟踪的方式提高识别的速度。本文设计了提取图像中含有两个合作目标的实验，并经过实验验证了本文目标提取算法和目标跟踪方法的有效性和可行性。