自然场景中基于局部轮廓特征的类圆对象识别方法

班孝坤 韩军 陆冬明 王万国 刘俍

摘要：在自然场景下，受背景纹理、遮挡、光线影响，不容易提取到对象完整的轮廓，为此，提出了一种基于局部轮廓特征的识别方法，该局部轮廓特征是由直线和曲线组成的2相邻轮廓片段特征（2AS）。首先，分析相邻片段之间的夹角、片段的长度和弯曲强度，定义2AS的语义模型；接着，依据2AS之间的相对位置关系定义2AS相互关系模型，分别描述对象的2AS特征和2AS之间的相互关系；然后，使用对象模板的2AS的语义模型与测试图像中的2AS特征进行初步匹配，接着依据对象模板的2AS相互关系模型进行精确匹配；最后，根据对象模板的2AS相互关系模型检测到的成组2AS进行重复性聚类，并根据对象模板的2AS相互关系模型对聚类的对象判决。与使用近似直线片段组成的2AS特征算法的对比实验结果证明，该算法对输电线路中均压环部件的识别具有较高的正确率、较低的误检率和漏检率，从而更为有效地识别均压环部件。

关键词：对象识别；局部轮廓特征；相邻片断；相互关系模型

中图分类号：TN911.73 文献标志码：A

Abstract：In the natural scenario， it is difficult to extract a complete outline of the object because of background textures， light and occlusion. Therefore an object recognition method based on local contour feature was proposed. Local contour feature of this paper formed by chains of 2adjacent straight and curve contour segments （2AS）. First， the angle of the adjacent segments， the segment length and the bending strength were analyzed， and the semantic model of the 2AS contour feature was defined. Then on the basis of the relative position relation between objects 2AS features， the 2AS mutual relation model was defined. Second， the 2AS semantic model of the object template primarily matched with the 2AS features of the test image， then 2AS mutual relation model of object template accurately matched with the 2AS features of the test image. At last， the pairs of 2AS of detected local contour features were obtained and repeatedly grouped， then grouped objects were verified according to the 2AS mutual relation model of object template. The contrast experiment with the 2AS feature algorithm with similar straightline chains， the proposed algorithm has higher accuracy， low false positive rate and miss rate in the recognition of grading ring， then the method can more effectively recognize the grading ring.

Key words：object recognition； local contour feature； adjacent segment； mutual relation model

0 引言

基于形状的识别方法虽然在图像识别中有着很广泛的应用，但仍然存在许多难题，特别是自然场景中对象的识别，受背景杂乱、光线变化、遮挡和拍摄角度变化的影响，很难进行有效的目标识别。通过研究人类的视觉特点[1-2]可知，人类可以依据对象的局部轮廓准确地识别出对象，近年来人们一直研究使用局部轮廓特征进行目标识别，并取得了很多成功。

形状轮廓能够被分解为简单的轮廓片段，例如直线[3]、曲线或随机断裂的片段[4]。局部形状信息被单一片段或者相邻片段的聚集所描述。Ferrari等[5]和Huet等[6]通过对形状轮廓进行简单的分裂得到近似的直线片段，建立近似直线片段的网络用于目标的检测。Chang等[7]利用分裂与合并的方法构建可扩展端点的曲线轮廓，并提出了基于圆弧的一元和二元描述符描述曲线轮廓的本身性质和曲线之间的几何关系，进而使用模型的属性关系图识别目标。Xu等[8]在高曲率点分裂目标模板成几个主要轮廓片段，建立主要轮廓片段的目标模型，利用模型检测出目标的所有轮廓片段。Lu等[9]手动分割目标模板成重叠的轮廓片段，在测试图像中利用粒子滤波的方法去检测和聚类轮廓片段。在复杂的自然环境下，局部形状可能出现遮挡和形变，单一的轮廓片段变化过大，不能很好地表示形状的局部信息。

Ferrari等[10-11]通过将k条相邻的近似直线边缘线段（kAS）聚类组合，作为对象的局部轮廓特征，同时为kAS建立一个低维转换与尺度不变的描述子来描述kAS的结构属性。朱铭武等[12]则是用两条或三条相邻的近似直线边缘片段（2AS&3AS）作为局部轮廓特征，建立2AS的语义模型描述对象的局部轮廓的结构属性。在目标发生一定形变的情况下，k条相邻的近似直线边缘线段（kAS）聚类组合能够保持一定的结构不变性、尺度不变性、旋转不变性；同时kAS作为形状的局部特征，在目标发生遮挡的情况下，同样能够获得目标的部分信息。文献[10-12]使用k条相邻的近似直线边缘线段（kAS）聚类组合，忽略了直线片段和曲线片段的区别。

针对在复杂的自然环境下，局部形状可能出现遮挡和形变，单一的轮廓片段和kAS不能很好地表示形状的局部信息，本文提出了由直线和曲线片段组成的2AS作为对象的局部轮廓特征，从而能够更加灵活地描述形状的局部信息，并建立2AS之间的相互关系模型对局部轮廓特征之间的相互关系进行约束，从而建立对象的整体描述，进而完成对象的识别。

1 局部轮廓特征的识别方法

本文利用由直线和曲线片段组成的2AS作为对象的局部轮廓特征，并从两个层次描述2AS的特征：一是根据片段的弯曲强度、曲线和直线之间的夹角和相对尺度关系，定义2AS的语义模型； 二是根据两个2AS之间的位置和角度关系，定义2AS的相互关系模型。将对象模板进行分解，将相邻的轮廓片段组合从而构建2AS特征，并使用2AS语义模型描述对象模板的2AS特征。接着，依据分解的2AS之间的相对位置关系，使用定义的2AS相互关系模型描述2AS之间的相对位置关系。在完成对目标的描述之后，首先使用对象模板的2AS语义模型结合2AS相似度匹配函数检测出测试图像中所有匹配的2AS，然后在匹配的2AS的基础上使用对象模板的2AS相互关系模型检测出满足相互关系的2AS，并将满足对象模板的2AS相互关系模型的2AS两两组合。最后，根据检测到的两两组合的2AS进行重复性聚类并通过2AS相互关系进行判决，从而完成目标的识别。通过输电线路中均压环部件识别的实现，验证了方法的有效性。其整体思路如图1所示。

1.1 对象描述

一个对象被一组2AS特征和2AS特征之间的相互关系所描述。首先，建立2AS语义模型描述对象的2AS相邻轮廓片段；然后，建立2AS相互关系模型描述2AS特征之间的相对位置关系。

1.1.1 2AS相邻轮廓片段的描述

在高曲率点将对象模板进行分解，从而获得独立的直线和曲线片段。在测试图像中的独立片段的提取同样是在高曲率点分裂。在获取独立片段后，对相邻片段进行分析，主要分析相邻轮廓片段之间的角度关系的变化、相对位置变化、曲线的弯曲程度，对象轮廓片段之间的角度不但在一定程度上体现出轮廓线段之间的空间的结构特征，而且具有很好平移和旋转不变性，片段的弯曲程度能够在一定程度上区分不同的曲线。

1.2 轮廓特征的匹配与对象识别

通过建立对象模板的2AS语义模型和2AS相互关系模型，完成了对象的2AS特征和2AS特征之间的相互关系的描述。接下来，主要是将对象模板的一组2AS{ai}（i=1，2，…，M）和测试图像中的一组2AS特征{bj}（j=1，2，…，N）进行匹配。对于测试图像，使用Candy算子进行边缘检测，用最大类间方差法[13]获得二值图像提取图像的边缘，对边缘进行细化。首先，获得独立的线段，根据Gestalt感知定律中的连续性、近似性、共线性[14]对线段进行合并；然后，检测线段上的高曲率点[15]，进行片段拆分，再次获得独立的线段，之后对获得的线段进行分析，分别获得独立的近似直线和曲线。

首先根据对象模板的2AS语义模型对测试图像中的2AS特征进行初步检测。对片段长度L、相邻片段的夹角α、片段弯曲强度β等变化分析，定义了对象模板的2AS a、测试图像的2AS b的一个相似度匹配。主要从以下3个方面进行匹配：

在完成测试图像中2AS特征的初步检测之后，利用对象模板的2AS相互关系模型对得到的测试图像的2AS特征进一步匹配。在自然环境中，噪声和拍摄角度的影响，目标可能出现失真变形，因此两两2AS特征的相对关系可以有一定的变化。因此，对象模板中aj相对于ai的位置关系模型和测试图像中bj相对于bi的位置关系的匹配从以下两个方面描述：

3）最后使用对象模板没有参与聚类的2AS相互关系模型2AS相互关系模型判断聚类的实例对象是否正确，从而完成目标识别。

1.3 算法实现步骤

将对象识别流程如图1与上述的方法结合给出具体的算法步骤。

步骤1 预处理。1）在高曲率点将对象模板进行分解，从而获得独立的直线和曲线片段；2）用Canny算子完成边缘检测输入图像，根据线段上的高曲率点进行分裂，从而得到独立的轮廓片段。

步骤2 根据式（1）得到对象模板的2AS语义模型，接着通过式（3）～（5）检测出图像中所有的2AS。

步骤3 根据式（6）得到对象模板的2AS的相互关系模型，接着通过式（6）、（7）进一步检测出满足相互关系的2AS对。

步骤4 根据1.2节中的具体聚类和判断步骤1～3进行聚类和判断识别的正确性。

2 自然场景中的对象识别

将上述提出的基于局部轮廓特征识别方法应用到输电线路中均压环部件的识别。均压环是输电线路中与导线相连接的重要部件，由于其连接的导线较多，受背景纹理干扰较大，遮挡比较严重，在进行边缘检测时常常提取不到其完整的轮廓，可能出现各种局部轮廓。首先，对均压环模板（图4（a））可能出现的2AS局部轮廓进行高曲率点分解，得到分解的2AS局部轮廓特征（图4（b））和分解的2AS局部轮廓的相互关系（图4（c））。然后，建立均压环的2AS局部轮廓的2AS语义模型和2AS局部轮廓的2AS相互关系模型。在采集到输电线路图片中，利用均压环模板的2AS语义模型初步检测测试图像中2AS的局部轮廓，通过均压环模板的2AS相互关系模型对测试图像中2AS的局部轮廓特征进行精确检测，并将检测到满足相互关系的两个2AS组合起来。最后，利用均压环模板的2AS相互关系模型检测到的2AS组进行重复性聚类，同时通过均压环模板的2AS相互关系模型判断聚类的正确性。根据对均压环检测的实际分析，均压环是成对出现的如图5（a）和图6（a），并且相互遮挡，均压环有一半轮廓是无法提取的，因此定义每个测试图像中的均压环组对象包含8个2AS特征，使用2AS相互关系模型检测的2AS组有6组，只需识别出图4（d）中的聚类1和聚类2，则认为均压环组对象被识别。

在输电线路巡检图像中，首先检测出长的导线所在区域，在上下扩展的导线区域内Canny算子进行边缘检测预处理，然后根据Gestalt感知定律中的连续性、近似性、共线性对线段进行合并，根据线段上的高曲率点进分裂，从而得到独立的轮廓片段，如图5（b）和6（b）所示。

在得到测试图像的边缘轮廓之后，使用均压环模板的2AS语义模型结合式（3）～（5）对测试图像中2AS特征进行相似度匹配。实验中Lthr设定为1.5，αthr值设定为30°，βthr设为2.25，对均压环局部轮廓特征（2AS）初步检测的效果如图5（c）和6（c）所示。接下来，通过均压环模板的2AS相互关系模型对测试图像中2AS特征进行精确检测，并将检测的2AS两两组合，θthr设定为30°，dthr为1.6，检测的效果如图5（d）和6（d）所示。最后通过均压环模板的2AS相互关系模型检测到的2AS组进行重复性聚类，例如图4（c）的相互关系{1，3，4}进行聚类得到图4（d）中的对象，同时通过均压环模板其他的2AS相互关系模型进行判断聚类的正确性，例如图4（c）的相互关系{2，5，6}，最终检测的效果如图5（e）和6（e）所示。

3 实验结果与分析

利用VS2010对60张图像进行测试并将本文算法与文献[12]算法进行比较，60张图像包含40张均压环图像和20张输电线路中其他零部件（间隔棒和防震锤）。首先，对局部轮廓特征2AS的检测结果进行统计（如表1），测试图像中均压环的2AS数量有324个，检测到的2AS属于对象轮廓记为正确，不属于的记为误检，没有检测到的2AS记为漏检；然后，对检测的对象的结果进行统计，通过均压环模板的2AS相互关系模型判断的聚类对象记为正确，不通过的记为误检，没有检测到的对象记为漏检。表中C_Num、W_Num和M_Num表示正确检测数目，错误检测数目和漏检数T_Rate、F_Rate和M_Rate分别表示检测的正确率、误检率和漏检率。

通过图5、图6的检测过程可知，在进行预处理阶段，由于背景比较复杂、均压环连接处的导线遮挡导致对均压环的轮廓提取造成了大的影响，但是仍然能够得到所需的局部轮廓特征。在初步检测阶段，由于复杂的环境和条件的宽松，使用均压环模板的2AS语义模型进行检测出现了许多误检测的2AS特征，但是对象2AS特征被检测到了。在精确检测阶段，通过图4（c）中的6种相互关系进行约束，误检测的2AS特征大量减少，而对象的2AS特征仍然保留。在进行聚类判决阶段，重复性聚类得到对象的所有2AS特征，均压环模板的2AS相互关系模型判断对得到的聚类判断，消除了错误的2AS特征，完成了对象的识别。

通过表1中本文算法和文献[12]算法比较，本文算法对2AS特征的检测的正确率提高，误检率降低，漏检率降低，因此使用直线和曲线片段组成的2AS和2AS相互关系模型对目标的描述更加准确。表2中对均压环的检测结果显示，对2AS的较好检测和相互关系模型的聚类识别判断能够更好地识别出均压环对象。

由表1中的数据和图5、6表明该方法在背景干扰、遮挡影响下具有很好的鲁棒性和可行性；而且从实验结果图5、6可看出所检测出的局部轮廓特征能很好包含对象的轮廓形状，在无需获取对象整体轮廓的情况下就能很好检测出对象。该方法误检率很低、较高的正确率，因此非常适用于在无法获取对象整体轮廓形状时，进行识别检测。

4 结语

本文提出了一种基于局部轮廓特征的对象识别方法，首先对图像边缘提取，再利用Gestalt感知定律中的连续性、近似性、共线性对断续的线段进行合并，在片段的高曲率点处进行分裂，从而得到由独立的曲线和直线的轮廓片段。以曲线和直线轮廓组成的2AS作为目标的局部轮廓特征，通过对2AS语义模型的改进并结合对象模板轮廓分解得到的2AS样本对目标的局部轮廓进行初步检测，然后通过对象模板的2AS相互关系模型对目标的局部轮廓进行进一步检测，最后将检测的两两组合2AS局部轮廓特征进行重复性聚类并通过对象模板的2AS相互关系模型判断聚类的正确性，从而完成对象的识别。将该方法应用到无人机巡检对输电线路上均压环形状部件的识别，实验结果表明该方法具有较好的鲁棒性。下一步将研究具有缺陷的对象局部轮廓结构特征，实现更多对象的识别以及对象缺陷类型的诊断，并应用于基于机器视觉的人造目标识别和缺陷诊断系统中。

参考文献：

[1]GHOSH A， PETKOV N. Robustness of shape descriptors to incomplete contour representations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（11）：1793-1804.

[2]BIEDERMAN I， JU G. Surface versus edgebased determinants of visual recognition[J]. Cognitive Psychology， 1988， 20（1）：38-64.

[3]RAVISHANKAR S， JAIN A， MITTAL A. Multistage contour based detection of deformable objects[C]// Proceedings of the 10th European Conference on Computer Vision. Heidelberg： Springer， 2008：483-496.

[4]SHOTTON J， BLAKE A， CIPOLLA R. Multiscale categorical object recognition using contour fragments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（7）： 1270-1281.

[5]FERRARI V， TUYTELAARSTINNE T， van GOOL L. Object detection by contour segment networks[C]// Proceedings of the 9th European Conference on Computer Vision. Heidelberg： Springer， 2006：14-28.

[6]HUET B， HANCOCK E R. Shape recognition from large image libraries by inexact graph matching[J]. Pattern Recognition Letters， 1999， 20（11）：1259-1269.

[7]CHANG W， LEE S Y. Description of shape patterns using circular arcs for object detection[J]. IET Computer Vision， 2013， 7（2）：90-104.

[8]XU C， KUIPERS B. Object detection using principal contour fragments[C]// Proceedings of the 2011 Canadian Conference on Computer and Robot Vision. Piscataway， NJ： IEEE， 2011：363-370.

[9]LU C E， LATECKI L J， ADLURU N， et al. Shape guided contour grouping with particle filters [C]// Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009：2288-2295.

[10]FERRARI V， FEVRIER L， JURIE F， et al. Groups of adjacent contour segments for object detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（1）：36-51.

[11]FERRARI V， JURIE F， SCHMID C. Accurate object detection with deformable shape models learnt from images[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE，2007：1-8.

[12]朱铭武，韩军，路东明，等. 自然场景中基于局部轮廓特征的对象识别方法[J].计算机工程与应用， 2016， 52（1）： 162-167.（ZHU M W， HAN J，LU D M，et al. Object recognition method based on local contour feature in natural scenario[J].Computer Engineering and Applications， 2015， 52（1）： 162-167.）

[13]王璇， 张帆， 程京. 基于改进最大类间方差法的灰度图像分割[J]. 微计算机信息， 2010，26（35）： 206-207.（WANG X， ZHANG F， CHENG J. Improved OTSU method on gray level image segmentation [J]. Control & Automation， 2010， 26（35）：206-207.）

[14]韩军， 张晶晶. 基于感知组织的输电线路结构识别方法[J]. 红外与激光工程， 2013， 42（12）：3458-3463.（HAN J， ZHANG J J. Method on recognizing the structure of transmission line based on perceptual organization [J]. Infrared and Laser Engineering， 2013， 42（12）：3458-3463.）

[15]NGUYEN T P， DEBLED R I. Decomposition of a curve into arcs and line segments based on dominant point detection[C]// Proceedings of the 17th Scandinavian Conference on Image Analysis. Heidelberg： Springer， 2011： 794-805.