基于颜色聚类和直线检测的自适应盲道区域分割算法
2010-08-28闫志杰汪剑鸣窦汝振
闫志杰,汪剑鸣,窦汝振,冷 宇
(1.天津工业大学信息与通信工程学院,天津 300160;2.中国汽车技术研究中心,天津 300162;3.苏州出入境检验检疫局,苏州 215021)
基于颜色聚类和直线检测的自适应盲道区域分割算法
闫志杰1,汪剑鸣1,窦汝振2,冷 宇3
(1.天津工业大学信息与通信工程学院,天津 300160;2.中国汽车技术研究中心,天津 300162;3.苏州出入境检验检疫局,苏州 215021)
为帮助盲人更好地利用盲道,提出一种自适应盲道分割算法.首先利用颜色聚类分析的方法对图像进行初步的区域分割,然后根据盲道的颜色特征从中选择属于盲道的区域.利用拉东变换对图像中的直线边缘进行检测,并结合对盲道的初步分割结果找到盲道的边缘,以实现对盲道区域的精确分割.为了对算法进行验证,在不同时间和不同的天气条件下采集室外的盲道图像对算法进行测试.实验表明,环境变化对该算法影响很小,可以实现对盲道区域的自适应分割.
聚类分析;盲道分割;直线检测;拉东变换
随着社会进步和人们生活水平的提高,视障群体越来越受到大众的关注.为了帮助他们提高自理能力,人们已经开发出了很多协助视障者提高自理能力的设备和仪器,比如电子导盲杖、GPS盲人导航系统及基于机器视觉方法的产品等.其中,机器视觉方法更接近于人类自身获取信息的方式,因此是一种最具发展潜力的视障辅助技术.利用计算机视觉方法可以在很多方面对盲人进行辅助,例如利用字符识别技术为盲人阅读文字信息,利用人脸检测与识别等技术提高盲人与其他人交往的能力,同时利用计算机视觉技术也可以实现对盲人行走的辅助.盲道是为盲人提供行路安全和方便的道路设施,如今已成为市政工程建设中一项重要的项目.标准盲道一般由两类砖铺成,一类是条形引导砖,引导盲人放心前行;一类是带有圆点的提示砖,提示盲人前面有障碍或者盲道到达终点.盲道为视障者的出行提供了很大的方便,但是实际生活中,视障者对盲道的使用仍然存在许多问题.例如,在一个陌生的环境中,如果盲人没有站在盲道上,如何发现盲道的位置?即使盲人已经站到了盲道上,如果盲道存在间断,如何找到间断后的部分?为了解决这些问题,本文拟采用计算机视觉的方法对盲道实现自动分割,以帮助盲人更方便地利用盲道.目前利用计算机视觉技术来对盲道进行分割的研究尚没有引起人们的广泛关注,目前存在的文献也比较少.文献[1-2]初步探索了分别利用盲道颜色、盲道纹理以及盲道的直线边缘等特征对盲道进行分割的方法.标准盲道为深黄色,但由于环境的光照条件变化等原因,在不同区域、不同时间盲道的颜色会有较大的变化.此外盲道虽然有固定的纹理模式,但是随着观测角度的不同,图像中的纹理模式也会有较大的变化.由于文献[1-2]所提出的检测方法对颜色特征和纹理特征的变化不具备自适应能力,因此很难在实际中得到应用.同时单独利用盲道的直线边缘特征在实际应用中也无法准确无误地从环境中检测出盲道区域.为了提高基于计算机视觉方法的盲道检测技术的实用性,本文主要研究具有自适应能力的盲道自动分割方法,首先利用基于颜色聚类分析的方法对盲道颜色进行自适应分割,然后结合直线检测的方法对盲道区域进行精确的自动分割,最后通过实际拍摄的盲道图像对算法进行测试.
1 盲道自适应分割算法
如图1所示,盲道区域一般为中黄色,本文提出的基于颜色聚类及直线检测的自适应盲道分割算法的框图如图2所示.
图1 标准盲道示例Fig.1 Examples of standard sidewalk
图2 自适应盲道分割算法框图
为了对盲道区域进行比较精确的分割,首先需要将采集到的图进行色彩空间变换.实际中采集到的图像一般为RGB色彩空间的真彩色图像,与RGB色彩空间相比,Lab(CIELab)色彩空间[3]有其独特的优势,Lab色彩空间被设计来接近人类视觉.它致力于感知的均匀性,L分量密切匹配人类对亮度的感知,因此可以用来通过修改a和b分量的输出色阶来做精确的颜色平衡,或者使用L分量来调整亮度对比.而这些变换在RGB空间中实现起来是比较困难或者不可能的.为了更加有效地对盲道部分的色彩进行聚类,在进行聚类之前先将颜色转换到Lab空间中,然后在Lab空间对图像颜色进行颜色聚类.聚类之后,采用从聚类结果中自动最接近深黄色的颜色类别,对盲道区域进行自适应分割.最后对图像进行直线检测,并配合盲道分割的结果来寻找盲道的直线边界,最终得到精确的盲道分割区域.
1.1 基于颜色聚类的盲道自适应分割
聚类分析[4]依据模式的相似性为基础.按照某种聚类准则进行判决,聚类分析是一种无教师的模式分类方法,即在设计分类器时,采用的样本所属类别未知,根据样本之间的相似程度进行自动分类.在分类时不依赖于任何外界的信息,仅仅依赖样本本身的聚类特性,然后采用合适的算法将它们区分开来.这种分类法属于动态聚类的范畴.动态聚类会先选择一些初始的聚类中心,让样本按照某种原则划分到各类当中去,得到初始分类;然后用某种原则进行修正,直到分类比较合理为止.
此处采用K均值[5]聚类的方法来对图像中的颜色进行分割.K均值聚类法采用的聚类准则函数是误差平方和准则.其算法步骤如下:
步骤2 假设已经进行到第r次迭代.若对某一样本x有
步骤3 计算重新分类后的各聚类中心:
进行聚类时不需要外界的任何信息,但是分类结果与所选聚类中心的个数K和初始的聚类中心选择有关系,因此在实际中应该试探不同的K值和选择不同的初始聚类中心.初始聚类中心的选取也有很多种方法,由于没有任何的先验知识,本文在选择时采取了随机抽取个样本作为初始的聚类中心.聚类完成之后,需要从聚类结果中选取出盲道区域对应的分类,此处对每个聚类中心进行了考察,并认为最接近黄色的一个对应的类别为盲道区域.
1.2 直线检测
在实际应用中,仅仅依靠颜色聚类的方法往往还不能得到理想的分割结果.通过观察盲道可以发现,在多数情况下,盲道具有两条笔直的边缘.基于盲道的这个特征,本文把基于颜色特征的区域分割和直线检测方法结合起来,以实现精确的盲道区域分割.
为了检测图像中的直线特征,首先要利用边缘检测算子对图像进行边缘特征检测.由于本文关心的盲道边缘为较长且联系的直线边缘,因此在进行边缘检测时可选择合适的边缘检测算子,以突出较长的边缘特征,而对短的边缘特征进行抑制.利用Canny边缘检测[6]很好满足上述边缘检测的要求.本文采用的边缘检测的过程如下:
步骤1 将图像f与尺度为σ的高斯函数做卷积.
步骤2 对图像中的每个像素,用公式(3)估计局部边缘的法向量
其中G代表二维高斯公式,▽(t)表示t的梯度.
步骤3 用公式(4)进行非最大抑制,找到边缘的位置.
步骤4 用公式(5)计算边缘强度:
步骤5 用双阈值法做滞后阈值化处理,消除虚假响应并连接边缘.
在进行Canny边缘检测的时候,也需要对大量图像进行试验,得到一些经验性参数.这样可以保证得到的边缘图像中不但含有盲道的重要边缘特征信息,而且能够忽略掉其他的次要的细节成分.
拉东变换[7](Radon Transform)是计算图像在某一指定角度射线方向上的投影的变换方法.比如,f(x,y)在竖直方向上的二维线积分就是其在x轴上的投影;f(x,y)在水平方向上的二维线积分就是其在y轴上的投影.推而广之,可以沿任意角θ对函数进行投影,即任意角度函数f(x,y)的拉东变换可以表示为:
其中,
拉东变换与霍夫变换(Hough Transform)有着非常密切的联系.可以利用拉东变换实现特定的霍夫变换来解析图像中的直线,利用拉东变换寻找图像中直线的步骤为:
步骤1 对图像进行边缘提取,获取图像的二值化边缘图像.
步骤2 计算图像的拉东变换.
步骤3 在拉东变换的结论矩阵中寻找存在直线参数.
步骤4 从搜寻到的直线参数中选取盲道边界的直线参数.
在寻找盲道边界的直线参数时,因为采集到的图像中会有很多干扰成分,需要对图像进行综合考虑,本文提出了2种比较有效的直线参数选择方法.
方法1:一般来说,现实中的盲道边界是平行的,但是由于图像采集过程是一个投影变换的过程,图像中的两条边界一般并不会平行,因此盲道的两条边界直线的斜率不会相等,但是可以确定它们相差不大,截距却不会完全一样.根据这个条件可以对直线参数进行初步合理选择,选出3~6组候选直线作为可能的盲道边界.
方法2:考虑盲道边界和根据聚类得到的盲道区域,实际的盲道边界可能在这个区域之内,也可能在此区域之外.根据这个特性可以考察选中区域中的每个点到的某条候选的平均距离,如公式所示.根据分析平均距离最小的应该是盲道的边界.
式中:N为所选取区域中的像素的个数;pi表示第i个像素;lj表示第j条候选直线;|(pi-lj)|表示pi到lj的距离.
2 实验结果
2.1 基于颜色聚类分析的盲道区域分割结果
在执行聚类算法之前,首先需要设定聚类类别数K.本文在进行实验时,设定K=3.聚类后还需要从图像中找出盲道所对应的类别.由于盲道偏重于黄色,可以从聚类结果的类中心中找出最接近于黄色的一类作为盲道部分.分割结果如图3所示.
图3 盲道区域分割结果Fig.3 Results of sidewalk area segmentation
由图3可见,图中有较多的干扰成分,其他的一些区域颜色和盲道颜色类似,因此并没有真正将盲道区域分割出来.
2.2 直线检测结果
进行直线检测直线,要先对图像进行Canny边缘检测,其中一些参数在设置时需要慎重,其目的主要是为了突出盲道的边缘部分.
本文中在进行边缘检测为了提高图像的对比度,在进行完高斯模糊之后进行了Gamma调整.边缘检测中的主要参数有:
(1)高斯函数的尺度σ.
(2)gamma调整时的gamma值.
(3)非最大抑制时用到的确定某个像素是否为区域最大值时所用到的区域尺度radius.
(4)进行滞后阈值处理时用到的两个阈值参数Tl和Th.
经过大量样本的训练,本文中用到的这些参数值分别为:σ=14;gamma=1.8;radius=1.3;Tl=0.06;Th=0.07.Canny边缘检测的结果如图4所示.然后通过拉东变换从边缘图像中检测直线,并从中提取出盲道边缘对应的直线,如图5所示.
图4 Canny边缘检测的结果Fig.4 Results of Canny edge detection
图5 直线检测结果Fig.5 Results of line detection
2.3 盲道分割结果
对于利用颜色聚类分析法分割出来的盲道图像,由于其中有很大的干扰成分,因此并没有将盲道完全分割出来,结合直线检测得到的分割结果如图6所示.图6中的白色区域为盲道区域.
图6 最终分割结果Fig.6 Final results of segmentation
为了对该方法的分割效率进行统计,采集了不同光照条件和干扰成分下的总共93帧图像作为样本.对于光照条件,分别在晴天和阴天采集了早晨、中午和傍晚时的图片;对于干扰成分,主要是指路面上的杂物以及其他行人或物体占用盲道的情况.统计结果如表1所示.
表1 盲道分割结果统计Tab.1 Statistical result of sidewalk segmentation
由表1的统计结果显示,本文中提出的方法可以达到96%以上的正确分割率,充分说明了该方法的有效性.其中导致错误分割的主要原因大多是盲道在躲避障碍物时发生变向,而使得直线检测没法把变向的盲道区域给包括进去,如图7所示.
图7 盲道错误分割的情况Fig.7 Fail statue of sidewalk segmentation
3 结束语
为了解决盲人在陌生环境中使用盲道存在的一些问题,有必要研究如何将盲道区域从图像中分割出来.现有的盲道区域分割算法只依据盲道颜色特征对盲道进行简单的分割,算法对光照等条件敏感,对图像质量要求高,自适应能力差.
本文提出了一种结合颜色聚类分析和直线检测的自适应盲道区域分割算法,并利用在晴天和阴天等不同光照条件下拍摄的盲道图像对算法进行测试,实验表明该方法具有自适应盲道区域分割能力,对光照条件敏感程度低,可实用化程度高.
[1]柯剑光,赵群飞,施鹏飞.基于图像处理的盲道识别算法[J].计算机工程,2009,35(1):189-191.
[2]柯剑光.基于图像处理的盲道识别系统[D].上海:上海交通大学,2008.
[3]石 巍.基于人类视觉特征的彩色图像分割技术研究[D].青岛:中国海洋大学,2006.
[4]李弼程,邵美珍,黄 洁.模式识别原理及应用[M].西安:西安电子科技大学出版社,2008:111-114.
[5]张 勇,吴文建,刘志明.基于改进均值聚类分析的迷彩伪装色选取[J].计算机工程与应用,2009,45(6):210-212.
[6] DING Lijun,GOSHTASBY Ardeshir.On the canny edge detector[J].Pattern Recognition,2001,34:721-725.
[7]VANGINKELM,LUENGOHENDRIKSCL,VANVLIETL J. A short introduction to the radon and hough transform and how they relate to each other[R].Quantitative Imaging Group,Delft University of Technology,2004.
Sidewalk for the blind adaptive segmentation based on color clustering and line detection
YAN Zhi-jie1,WANG Jian-ming1,DOU Ru-zheng2,LENG Yu3
(1.School of Information and Communication Engineering,Tianjin Polytechnic University,Tianjin 300160,China;2.Automotive Technology Research Center of China,Tianjin 300162,China;3.Suzhou Entry-Exit Inspection and Quarantine Bureau,Suzhou 215021,China)
In order to help the blind to use sidewalk for the blind better,a sidewalk for the blind segmentation method which is applicable and adaptive is designed.Primarily,color clustering is used to segment the color in an image including sidewalk for the blind,and then the sidewalk area is picked out based on color characteristic of sidewalk for the blind.Finally,line detection based on Radon transform is executed,with which the sidewalk for the blind area can be segmented precisely on the basis of color clustering.In order to testify the algorithm,different images are captured in various weather states to test the algorithm,which shows that the algorithm is immune to environments and can segment sidewalk for the blind adaptively.
clustering analysis;sidewalk for blind segmentation;line detection;Radon transform
book=1,ebook=52
TP391.4
A
1671-024X(2010)01-0080-05
2009-09-21 基金项目:国家自然科学基金项目(60602036)
闫志杰(1983—),男,硕士研究生.
汪剑鸣(1974—),男,副教授,博士,硕士生导师.E-mail:wjm_hope@hotmail.com