多尺度曲率角与灰度比例复合的角点检测方法

张　辉，韦建光，吴卓琦，习俊通

(1.上海交通大学 机械与动力工程学院，上海 200240；2.上海市网络化制造与企业信息化重点实验室，上海 200240；3.上汽通用五菱汽车股份有限公司，广西 柳州 545007)

多尺度曲率角与灰度比例复合的角点检测方法

张辉1, 2，韦建光3，吴卓琦1, 2，习俊通1, 2

(1.上海交通大学 机械与动力工程学院，上海 200240；2.上海市网络化制造与企业信息化重点实验室，上海 200240；3.上汽通用五菱汽车股份有限公司，广西 柳州 545007)

针对轮廓附着物对视觉测量中角点检测的干扰，提出一种基于轮廓信息与灰度信息复合的角点检测及伪角点排除方法.利用角点处曲率角的多尺度不变性检测候选角点并排除小尺度伪角点，利用角点为顶点的矩形窗口内三角形区域灰度占比情况排除大尺度伪角点.实验表明，利用轮廓信息与灰度信息复合的方法能够有效减小各尺度附着物伪角点干扰，检出的角点稳定可靠.

角点检测；曲率角；多尺度；视觉测量；轮廓附着物

汽车发动机曲轴具有众多微小的结构特征(如图1所示)，采用背光影像法对其相关微小尺寸进行非接触式测量具有无可比拟的效率优势[1].但是该方法的测量精度受待测工件表面的清洁度影响较大，工作现场的待测工件表面常常会带有加工毛刺，或者沾染细小纤维、毛发、切屑、油污、灰尘等附着物(如图2(a)所示)，在此基础上所提取出来的工件轮廓边界(如图2(b)所示)必然带有众多伪边界和伪角点.这会对正确的轮廓角点检测造成很大干扰，从而使测量结果产生误差甚至完全错误.

图1　曲轴沟槽特征Fig.1　Crankshaft Groove

(a) 带有附着物的工件表面

(b) 带有附着物的轮廓图2　带有附着物的工件Fig.2　Workpiece with foreign matters

针对该问题，目前常用的解决办法是在零件测量前增加清洁工序.但是清洁只能在大范围内降低附着物残留的概率，并且清洁操作受工人的经验和技术的影响较大，其实际效果是否满足视觉测量要求仍难以检测.这不仅会给企业增加成本，而且事先也很难制定合理的清洁工艺标准，不利于该检测方法的实际推广应用.因此，从图像处理的角度出发，在有微小附着物存在的前提下，如何准确识别和筛选出零件轮廓上所需的正确角点，消除附着物带来的伪角点影响，这成为了影响零件检测精度和稳定性的一个重要问题.

目前，角点检测的方法总体上可以分为两类：一类是基于图像轮廓的角点检测方法，另一类是基于图像灰度的角点检测方法[2].前者首先对图像进行边界提取，以计算边界轮廓曲率[3]或通过前后支撑区域内轮廓点的直线拟合、方向角计算[4]等为核心来设计算子.后者是从像素邻域点的灰度变化角度来考虑角点的特征[5]，将与邻域点的亮度对比足够大的点定义为角点，这其中为大多数人所熟知的是Harris[6]和SUSAN[7]算法.但无论是哪种类型的方法，它们所解决的只是单纯的角点检测问题，面向适应范围广泛的通用角点检测程序.这些方法在面对形状复杂但“整洁”的图像时，即使存在噪声也具有较好的角点检测效果[8]，但对于工件表面存在附着物的“不整洁”的图像，这些方法仍然会将附着物所带来的伪角点一并检出而无法区分.

本文针对各尺度轮廓附着物在角点检测过程中的伪角点排除问题，提出了多尺度曲率角和矩形窗口灰度比例复合的角点检测方法.该方法首先通过不同尺度下的曲率角计算，得到候选角点集合并排除其中的小尺度伪角点.然后基于先验的正确角点方位与大小设定矩形窗口长宽比例和对角线，计算其对角区域的灰度比例，通过该比例进行大尺度伪角点的排除和正确角点的判断.该方法可以高效地应用于正交方向直轮廓表面各尺度伪角点的排除，检出的正确角点符合工件结构特征和人类视觉感知规律.

1　基于曲率角的角点检测和小尺度伪角点排除

文献[9]提出的尺度空间图像分析理论可解决图像处理中的诸多问题，但是该理论并不能直接应用于角点检测.文献[10]提出了基于曲率尺度空间的角点检测算法，即CSS(curvature scale space)算法，该方法获得了较好的角点检测效果，但是当尺度设置过大时容易导致真实角点的遗漏及伪角点的出现，同时其对于曲率的计算也较为复杂.本文使用简化的曲率角来代替曲率的计算，并且利用真角点处的曲率角在多尺度下的不变性来进行小尺度伪角点的排除.

1.1多尺度曲率角计算

从符合人类视觉习惯的角度出发，角点定义为边界曲率函数的最大值点[11].曲线上任意一点的曲率(k)表达式为

(1)

其中：Δα为曲线上无限接近的某两点切线方向角的变化量；Δs为这两点间的弧线长度[12].曲率计算示意如图3所示.如直接按照定义求取切线并计算曲率k在算法实现上过于复杂.文献[13]将轮廓曲率的最大值点看作角点，通过计算B样条系数来拟合曲线，但这种方法的运算量大.由于检测目标明确，本文在轮廓曲线离散化的基础上进行曲率计算，基于数学上以割线代替切线的近似方法，采用割线转角Δθ(如图4所示)代替切线转角Δα，即

Δθ≈Δα

(2)

图3　曲率计算示意图Fig.3　Curvature calculation diagram

图4　曲率角计算示意图Fig.4　Angle of curvature calculation diagram

定义数字化的轮廓为集合L, L={P1, P2, …, PN},其中Pi=(xi, yi)是轮廓上各个点的亚像素坐标.为了简化两条割线的模型，在目标轮廓上建立以轮廓点Pi为中心，前后分别距离中心点Pi为R的3个点所组成的集合，记作Si={Pi-R， Pi， Pi+R}，则可采用集合Si所确定的两条直线段Pi-RPi和PiPi+R来表示割线.这两条割线构成的向量方向角分别为

(3)

这两个方向角的差值为割线转角，称之为曲率角，则点Pi处的曲率角Δθ(i)为

Δθ(i)=θR+(i)-θR-(i)

(4)

由曲率角的定义可以看出，对于同一个中心点Pi处的曲率角，它的大小一般与所选取的两个端点Pi-R和Pi+R有关，这两个端点的选取依赖于R的大小.这里将R称为曲率角计算的尺度(以下简称尺度)，同时也将Δθ称为尺度R下的曲率角.

1.2曲率角的多尺度不变性及其角点检测

本文要检测的角点为尖角点，即角点处曲率趋于无穷大，从尺度和曲率角的角度(图5所示)观察发现，不同尺度下尖角点处的曲率角大小具有不变性(如图5(b)所示).本文应用此性质可对角点进行初步检测和筛选.

(a) 圆角点ΔθAΔθB

(b) 尖角点ΔθA≈ΔθB图5　角点在不同尺度下的曲率角Fig.5　The curvature angle of corner in different scales

由于图像轮廓上的随机噪声和轮廓附着物的干扰，不同尺度下的候选角点集合Dj中所包含的角点个数和位置一般来说是不同的.特别是附着物的干扰，会在Dj中带来诸多伪角点(如图6所示)，但集合中的这些伪角点元素很可能在大尺度下得到抑制，因而出现在较大尺度Dj中的概率会降低.另外，角点附近的一些轮廓点在小尺度下曲率角的计算较为准确，但在较大尺度下这些点的曲率角会趋向于真实角点，用单一阈值T做判断将使这些角点纳入较大尺度的Dj中，使得角点检测的精度明显降低.

(a) 工件表面附着物图像

(b) 工件轮廓小尺度伪角点图6　工件表面附着物及其带来的伪角点Fig.6　The foreign matters and false corners on the workpiece

基于此，可取Dj(j=1， 2，…)的交集DT=D1∩D2∩…，则DT中所包含的候选角点可以排除轮廓上小尺度附着物所带来的影响，同时也对角点附近的“近似角点”做了一定程度的筛除.在本文的应用背景下，为了进一步提高角点检测精度，可利用尖角点曲率角的多尺度不变性进一步增强对DT中元素的筛选，将DT中不同尺度下曲率角的偏差绝对值小于一定阈值的点标记为进一步筛选后的角点，将它们存于候选角点集合D′中，则D′={Pi|Pi∈DT，，其中，阈值M的设定主要依据几个检测尺度的大小和经验.

2　大尺度附着物伪角点识别与正确角点筛选

当附着物的尺度R≤30像素时，采用第1节所述的方法计算这一尺度下的曲率角，并利用其多尺度不变性可以有效排除伪角点.但是当轮廓表面出现毛刺类较大尺度的附着物时(如图7(a)所示)，往往此时附着物的尺度R>30像素，采用多尺度曲率角的方法将逐渐无法“观察”到这些点的全局特征，因此还需与尺度更大、更全局的判断方法复合，才能更好地识别该类伪角点.

2.1伪角点与真实角点邻域矩形窗口灰度差异

如图7(b)所示，A点为本文最终要检出的测量基准角点，E1和E2点为曲轴表面毛刺和附着的细小纤维带来的伪角点.在较小的尺度下，仅仅通过轮廓信息难以识别A点和E1及E2点的本质差异.通过观察A点与E1及E2两个点周围像素的灰度分布规律可发现，在以这些候选角点为顶点的较大尺度的矩形窗口内，分布在对角线两侧三角形域内的总灰度值差别较大.可以用这两个三角形域灰度值占整个矩形窗口总灰度值的比例来进行轮廓上伪角点的判断.

(a) 工件表面大尺度附着物

多尺度曲率角结果(b) 工件轮廓上的大尺度伪角点

(c) 角点领域矩形窗口灰度图7　工件表面大尺度伪角点及其窗口灰度信息Fig.7　The false corners and gray level on the work piece in large scale

如图7(c)所示，以A点为顶点建立矩形窗口ABCD，对角线AC将矩形分为Rt△ABC和Rt△ADC.观察曲轴实体影像部分(即图像中灰度值较小的暗域)在这两个三角形域中的分布情况可以看出，曲轴的实体部分几乎全部处于Rt△ABC中，而Rt△ADC中则几乎全是灰度值接近或者等于255的“纯白”色像素点，这样Rt△ABC内所包含的实体影像部分将在整个矩形中占有很高的比例.而以伪角点E1为顶点的矩形区域E1FGH内，Rt△E1FG和Rt△E1HG中均包含有曲轴实体影像，这种情况下Rt△E1FG包含的实体影像部分在整个矩形中所占比例将不会过大，这与矩形ABCD内的情况有很大差别.因此可以利用这一差别进行真伪角点的判断.

2.2三角区域内总灰度及其比例计算

为了便于判断和阈值设定，在具体计算中进行归一化处理，计算RtΔABC区域内的总灰度值与矩形窗口ABCD内的总灰度值比例r，同时为了凸显曲轴实体部分，以实体部分在各三角形区域中的有和无作为重要的判断依据，可用每个像素灰度值的“互补数”来进行总值的累加计算.设图像中每个像素点的灰度值为Ii， j(i， j为该像素的行列坐标)，则其“互补数”为Hi， j=255-Ii， j，那么比例值

(5)

其中：H为矩形窗口ABCD内所有像素的灰度互补数的总值；H1为上三角形ABC内所有像素的灰度互补数的总值.则：

(6)

(7)

其中：(r1, c1)，(r2, c2)分别为点A和C的像素坐标；f(i-r1)为以i-r1为自变量的一个整数函数.

(8)

2.3比列阈值的设定与角点判定

由式(5)所求得的灰度比例值r是判断真伪角点的最终依据.以真实角点A为顶点的矩形域ABCD内，曲轴实体的暗域部分主要集中在Rt△ABC内，Rt△ADC内主要是未被曲轴实体遮挡的亮域，经过“互补数”的转化后亮域的H值接近于0，暗域的H值大部分处于200～255.这样的处理正是为了突出暗域的比重，并且很好地解决了暗域灰度值浮动较大带来的比例不稳定问题，因此，r主要反映了某一侧三角形区域内的曲轴实体的暗域部分在整个矩形域内的占比情况.

由矩形的建立过程可以看出，对于A点这样的真实角点，由于曲轴暗域集中分布于Rt△ABC内，计算出的比例值r基本接近于1，而对于以伪角点E1为顶点建立的矩形E1FGH，计算出的比例值r则接近0.5.在这两个数字中，由于做了“互补数”的处理，因此，在A点计算出的比例值将会比较稳定，基本和1不会差距太大，而伪角点处计算出的比例值随着伪角点离开曲轴实体的距离发生较大变化，因此，角点判断阈值的设定应更偏向于1.本文依据实测经验，选取阈值为0.9作为角点真伪的判断标准，即

(9)

3　测量实验与结果

基于自行研制的曲轴背光影像测量仪 ，测量汽车发动机曲轴沟槽的半径、宽度、深度3个数值.其中宽度和深度的测算均依赖于沟槽与轴颈相接处角点A的识别和定位.实拍两组典型的分别包含小尺度和大尺度附着物的沟槽影像及其局部放大图如图8和9所示.

图8　沟槽1及其局部放大图Fig.8　The enlarged view of groove 1

图9　沟槽2及其局部放大图Fig.9　The enlarged view of groove 2

按照1.2节所述方法在尺度R为8像素时求取局部放大处轮廓的曲率角，其结果如图10(a)和11(a)所示，将尺度逐渐增大到R为28像素时，其结果如图10(b)和11(b)所示.再按照1.3节所述方法对其进行多个尺度的计算并求取多尺度候选角点的交集，其结果如图10(c)和11(c)所示.

(a) 小尺度曲率角(R=8像素)

(b) 大尺度曲率角(R=28像素)

(c) 多尺度求交检测结果图10　沟槽1多尺度曲率角结果Fig.10　The results of curvature angle in multi-scale of groove 1

(a) 小尺度曲率角(R=8像素)

(b) 大尺度曲率角(R=28像素)

(c) 多尺度求交检测结果图11　沟槽2多尺度曲率角结果Fig.11　The results of curvature angle in multi-scale of groove 2

由图10可以看出，以25°为判断阈值，沟槽1在小尺度下检测出了众多候选角点(如点A， B， D， F)，当尺度由8像素逐渐增大到28像素后，在1～209像素区间(即图9中的竖直轮廓部分)内的众多伪角点(如图10中的点B， F)曲率角得到抑制.另外，若轮廓上的任一点(1～365像素区间内)在某个尺度下的曲率角小于阈值则取其各尺度下的最小值，反之，若所有尺度下的曲率角均大于阈值则取其各尺度下的最大值，这样得到图10(c)的求交结果.通过阈值很容易得到角点位于235像素附近处，且其他伪角点(点D)均得到了抑制.

由图11的结果可以看出，在小尺度下位于79像素处表现明显的点C在大尺度下迅速得到抑制，位于274像素处的点为待检测的角点A，其在各尺度下曲率角表现稳定，但同时也注意到位于430像素处的伪角点E曲率角并没有在相关尺度下得到明显抑制.进一步使用第2节所提出的矩形窗口灰度比例法，实验过程和结果如图12和13所示.

(a) 窗口位于伪角点E处

(b) 窗口位于真角点A处图12　矩形窗口在轮廓上的移动过程Fig.12　Movement of the rectangle window along the contour

图13　角点检测结果Fig.13　Result of corner detection

由图13可以看出，基于角点检测结果的沟槽宽度和深度尺寸测量基准稳定可靠，伪角点E的影响被排除，角点检测在大尺度附着物的干扰下仍然较为准确.

4　结　语

本文采用轮廓曲率角和角点邻域窗口灰度比例复合的多尺度检测筛选方法进行工件角点的测量.从实验结果可以看出，利用多尺度曲率角不变性检测和筛选出的角点可以排除随机噪声以及小尺度附着物的影响，而利用矩形窗口灰度比例可以排除较大尺度的附着物带来的伪角点.这两种方法的结合能够有效地在较大尺度范围内降低附着物带来的伪角点对测量的影响，视觉测量系统的可靠性同时得到提高.

[1] 赵冬，吴卓琦，杨浩，等.曲轴沟槽影像检测特征参数的自动提取研究[J]．光电工程，2012，39(5)：63-70．

[2] 赵文彬，张艳宁.角点检测技术综述[J].计算机应用研究，2006,23(10)：17-19.

[3] WANG H, BRADY M. Real-time corner detection algorithm for motion estimation [ J ]. Image and Vision Computing, 1995, 13( 9): 695-703.

[4] 黄永林，叶玉堂，乔闹生，等.基于边缘方向角的自适应尺度角点检[J]. 光电子·激光，2010,21(8)：1237-1240.

[5] 殷润民，柴旭东，李伯虎.基于灰度差统计的角点检测方法[J].计算机工程，2006,32(22)：184-186.

[6] HARRIS C G，STEPHENS M J．A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Conference.1988: 189-192.

[7] SMITH S M, BRADY J M .SUSAN： A new approach to low level image processing [J]. Internation Journal of Computer Vision, 1997, 23(1): 45-78.

[8] 孙君顶，郭启强，张兆生．基于曲率尺度空间的轮廓角点检测[J]．光电工程，2009，36(7)：78-82．

[9] WITKIN A P. Scale space filtering[C]//Proceedings of the 8th International Joint Conference on Artificial Intelligence.1983:1019-1021

[10] MOKHTARIAN F, SUOMELA R. Robust image corner detection through curvature scale space[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 1998, 20(12): 1376-1381.

[11] 朱玉艳，尚振宏，康燕妮，等.角点检测技术研究及进展[J].电脑开发与应用，2010,23(3):40-43.

[12] 栗琳，王仲，蔡振兴，等.基于目标轮廓的附着物定位与剔除方法[J].光电工程，2012,39(5)：46-51.

[13] MEDIONI G, YASUMOTO Y. Corner detection and curve representation using cubic B-splines [J]. Computer Vision Graphics and Image Processing, 1987, 39(3):267-278.

A Method of Corner Detection Based on Multi-scale Angle of Curvature and the Proportion of Gray Level

ZHANG Hui1, 2， WEI Jian-guang3， WU Zhuo-qi1, 2， XI Jun-tong1, 2

(1.School of Mechanical Engineering, Shanghai Jiaotong University，Shanghai 200240,China;2. Shanghai Key Laboratory of Advanced Manufacturing Environment, Shanghai 200240, China;3. Shanghai General Motors Wuling Automotive Co. Ltd., Liuzhou 545007, China)

In order to reduce the influence of foreign matters on corner detection in vision measurement, a new method of corner detection and elimination of false corner based on the contour information and gray level information was proposed. At first, the invariance of curvature angle in multi-scale was used to establish the set of candidate corners as well as to eliminate those false corners in small scale. Then the proportion of gray level calculated by the triangle area and rectangle area which were based on the candidate corner was used to eliminate those false corners in large scale. The experiments show that this method can reduce the influence of false corners in most scales efficiently. The detected corner is reliable.

corner detection; angle of curvature; multi-scale; vision measurement; foreign matters

1671-0444(2015)04-0415-06

2014-12-18

“十二五”国家科技支撑计划资助项目(2012BAF06B03)

张辉(1989—)，男，陕西咸阳人，硕士研究生，研究方向为视觉测量技术.E-mail: zhanghui335258@163.com

习俊通(联系人)，男，教授，E-mail:jtxi@sjtu.edu.cn

TH 741

A