基于视觉的LED灯丝点特征提取与匹配方法研究

曹鹏+黄豪杰

摘要：LED灯丝外轮廓点的精准特征匹配是实现视觉定位LED灯丝的重要环节。该文为了解决灯丝外轮廓点的坐标定位前期图像处理问题，提出一种基于视觉的LED灯丝特征提取与匹配方法。该方法首先提取LED灯丝清晰的外部轮廓图，然后采用Ransac-Surf角点特征匹配算法完成了匹配。实验表明该算法的立体匹配准确率达到了93.9%，基本满足匹配的实时性要求。该文算法能较好地应用于该类型图像的立体匹配。

关键词：外轮廓点；特征提取；特征匹配；Ransac-Surf

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）34-0190-04

Abstract： Accurate matching of outer contour points is the significant way to realize the visual localization of LED filaments.In order to solve the coordinate location of the outer contour of the filament，this paper proposed a featrue extraction and stereo matching method for LED filament Based on machine vision.This image processing algorithms extract the cornors feature of the LED filaments，then the Ransac-Surf algorithm can effectively complete the cornor feature matching task.Experimental results show that method presented by this paper can improve the accuracy rate of stereo macthing to reach 93.9%，Basically meet the real-time requirements of the stereo matching.This algorithm can be applied to stereo matching of this kind of images.

Key words： outer contour points； featrue extraction； feature matching； Ransac-Surf

1 背景

據《2014-2020年中国广东省LED产业发展趋势研究报告》监测数据显示，2014年广东省LED照明灯具总产值为772.29亿元，产业规模稳居全国之首，但是，LED 灯具生产装配大多由熟练的操作人员手工完成，或由PLC程控半自动线完成，上述装配加工方式增加了制造LED照明灯成本。LED照明产品元器件的尺寸一般偏小，装配精度要求较高；随着市场对LED产品性能与产量需求的不断提升，手工装配已难以适应大批量生产，自动化装配已成为必然趋势。文献[11]中飞利浦（中国）有限公司创新工厂设计、研制了LED灯具的自动装配线，该生产线是传统人工生产线的5倍，单个LED产品的通过率也超过80%，大大减小了生产制造成本，但仍存在LED灯具组装产品检测质量不稳定等不确定因素。在LED灯具装配过程的前期包括在装配的过程中，LED灯丝部分在受到外部触碰，致使灯丝顶端部分发生偏移，甚至在一般环境下灯丝自身形状也会发生偏移现象，给装配的精度和效率上带来了不小的挑战。因此，研究一种LED灯丝定位精度较高的机器视觉算法对提高LED灯具产品的质量和生产效率显得非常重要。

为此本文针对LED灯丝外形的线状特点，研究前期视觉检测平台采集到的图像特征，并运用相对应机器视觉算法来提高识别精度，为后续的精确装配提供保障。该平台通过选择合适的相机、镜头及光源等搭建立体视觉检测系统，确保该系统能采集到高质量LED灯丝图像并对所采集的图像进行视觉算法处理用以研究解决视觉装配LED灯具前期算法问题。

2 双目视觉光学系统设计

2.1 光学系统设计

系统硬件设计[[1]]采用2个CCD相机采集目标区域的图像，运用图像处理技术实现了对目标区域图像的特征提取等操作。本文所要采集的图像为LED灯丝区域图像，通过采集多幅LED灯丝随机形态图像数据，并运用视觉算法得到灯丝边缘轮廓特征。图1系统结构图显示在测量LED灯丝对应图像时，需要用LED条形光源辅助CCD相机进行采集清晰图像操作，该系统主要是由2个CCD相机及1个条形光源组成。将2个CCD相机平行固定，相机之间距离为40mm，条形光源与CCD相机光轴方向成30[°]夹角且与LED灯座相距140mm；CCD相机与待检测LED灯丝相距700mm；竖直方向上，2个CCD相机在同一水平高度上。CCD相机在一般室内环境下再结合条形光源的辅助照明，LED灯丝上的每一点的光路（由如图1中灯座与相机之间的两条虚线表示）通过CCD相机镜头进入相机的图像采集芯片中，CCD相机采集到清晰的图像后，运用视觉算法将图像中的LED灯丝边缘提取出来，并对边缘末端的特征角点进行立体匹配。

2.2 成像原理

成像原理如图2所示。假设本文的双目视觉系统为标准平视双目系统，即2个CCD相机的像平面精确的在同一水平面且在同一竖直高度上，光轴相互平行，并且是镜头无任何畸变因素的理想系统模型。在光源辅助照明下，2个CCD相机同时采集LED灯丝的图像信息。其中CCD相机1与相机2平行放置，目的是为了使2个相机在光轴上也能平行。在竖直方向上2个CCD相机保持在相同高度水平面上。物体表面的任意一点P在2个CCD相机成像平面上投影点分别为[P1]与[P2]，称他们为共轭点。令[O1]、[O2]分别为左右2个相机的光学中心位置。[O1O2]为2个CCD相机光心间的距离，称为基线距离T。2个相机的焦距均为f分别为[P1O1]和[P2O2]。称平面[PO1O2]为极面，极面与左右CCD相机的两个成像平面相交的两条直线分别称为左外极线[P1e1]和右极线[P2e2]。通过获得两幅图像中相同物体的同一部分最终得到相同部分的三维坐标。endprint

3 图像法边缘轮廓提取

3.1 二值化处理

为进一步将目标图像轮廓从背景图像中分割出来，并且针对图像特点，对图像进行二值化处理。一般情况下，所采集的图像信息中都包含有一定的噪声，可使用适当的滤波方法对含有噪声的图像进行图像预处理。常用的降噪滤波算法有均值、高斯及中值滤波等。本文实验采集的图像在理想的背景条件下，故没有进行图像预处理操作。本文采用迭代图像二值化算法[[2]]对图像进行第一步处理，迭代图像二值化算法步骤如下所述：

1） 求出图像中的最小灰度值和最大灰度值，分别记为Zmin和Zmax，则阈值初值T0=（Zmin+Zmax）/2；

2） 根据阈值TK将图像分割成目标和背景两部分，求出两部分的平均灰度值Z0和Z1，平均灰度值等于=[Σ]（F（灰度值）*W（该灰度值的权重）/N（像素点的总数）；

3） 求出新阈值T1=（Z0+Z1）/2；

4） 如果T0=T1，则结束，否则将TI的值赋予T0，转向步骤2），再按步骤进行计算。

图3（a）为实验时相机1采集到的原始图像，图3（b）为相机1采集到的原始图经过二值化处理后的图像，图3（c）为实验时相机2采集到的原始图像，图3（d）相机2采集到的原图像经过二值化处理后的图像。

3.2 形态学处理

4 灯丝末端角点检测与匹配

4.1 角点检测

运用Harris角点检测算法[[9-10]]得到LED灯丝图像的特征点的位置分布情况。Harris角点检测算法描述为在图像中找到一个局部窗口，分析局部窗口来处理整幅图像，沿某个方向移动局部窗口，一定会引起图像灰度变化。若改变化超过预先设定阀值时候，角点就是局部窗口的中心像素点。反之若没有超过设定阀值，则继续移动局部窗口。

本实验中只需得到图像LED灯丝末端的2个角点（单幅图像中灯丝线顶端左右各一个角点），结合左右2幅图像共需要4个角点才能构成1组完整的匹配图像，本文提取到的角点特征分布为如下图6（a）和图6（b），圆圈部分即是图6（a）为经过对应相机1图像经过边缘提取后角点检测的图像，图6（b）为对应相机2图像经过角点检测的图像。从图像中看出本文待匹配的角点特征也都分布在LED灯丝的末端，符合下一步实验的要求。

采用Surf算法得到如下图7的匹配效果。

从图7中看出LED灯丝顶端角点特征群存在匹配错误且匹配过多的问题，对此我们在Surf匹配算法中引入Ransac算法[[12-14]]筛选剔除部分不需要角点，Ransac算法与Surf算法相结合的组合算法步骤为：

（1） 从Surf 算法预匹配数据集中随机取出一些匹配点对，计算出变换矩阵H，记为模型M。理论上只需要4对点。

（2） 计算数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集 I ；

（3） 如果当前内点集I元素个数大于最优内点集R， 则更新 R= I，同时更新迭代次数k ；

（4） 如果迭代次数大于k，则退出；否则迭代次数加1，并重复上述步骤；

基于上述思想，在MATLAB上进行编程操作，提取特征点时调节Hessian矩阵阈值大小并且设置匹配值的最大最小值得到图14的匹配效果图。

5 实验结果与分析

5.1 基于视觉的双目相机LED灯丝检测系统[[15]]

基于视觉的双目相机LED灯丝检测系统由2个CCD相机、镜头、条形光源及图像采集系统等组成，系统硬件平台如图15所示。

图9所示的检测系统中，2个CCD相机、镜头、光源及光源控制器為广东奥普特科技股份有限公司提供。镜头为奥普特科技公司的变焦镜头，其焦距为16mm。相机为法国basler公司型号为ACA130M-GE-D的相机，该相机是一种具有5百万像素分辨率、单色、可选软件触发及多扫描模式的CCD相机，像元尺寸为8.8mm×6.6mm。此外该相机通过以太网接口与计算机相连，可实现图像的自动存储。该系统在采集不同形状类型的LED灯丝图像时，无需做任何试验设备的位置调整，就可以方便地进行图像采集。

5.2 结果与分析

实验时，为了验证本文的图像算法，引入Surf算法对比Ransac结合Surf算法，本次实验的环境均在：CPU：Inter（R） Core（TM） 2 Quad，主频2.50GHz，内存4G，操作系统：Windows 7；运行环境为MATLAB 2015B图像处理函数和计算机视觉开源函数库，所用采集到的图像尺寸均为1280×960。表1为基于上述算法流程处理思想，本文CCD相机共采集6组随机形态下LED灯丝的图像，共12幅图像。实验从匹配用时和匹配正确率2个方面对实验结果进行统计，匹配的结果如表1所示。

从表1可以看到，算法Ransac-Surf匹配的准确率为93.9%，相比Surf算法有较大的提高。算法Ransac-Surf平均用时1.12s，耗时略大于Surf算法，其原因算法Ransac-Surf相比较Surf算法在运算中要进行迭代计算，选择最佳匹配点，这些算法步骤都增加了算法运行时间。但从整体效果看，在本文实验环境下得到的LED灯丝图像的边缘轮廓角点特征，能够被算法Ransac-Surf算法更好的检测和匹配。因此，算法Ransac-Surf匹配性能相比较于Surf算法表现出更好的优越性。

6 结束语

1） 系统采用双目视觉的检测方案，运用迭代图像二值化算法、形态学膨胀算法和Roberts算法等多种图像处理技术，实现了有效的边缘轮廓提取步骤方法，也为图像的角点特征匹配的实施提供了理论。

2） 实验结果证明该套系统的算法实施流程具有可行性。在后期的改进工作中，对应LED灯丝图像采集中引入噪声，提出针对不同工作环境下相应的图像去噪算法，并测试在引入噪声情况下的角点特征匹配效果，进一步研究实验环境中如光照强度等对匹配准确度的影响。endprint

参考文献：

[1] 卢清华， 许重川， 王华， 等. 基于机器视觉的大幅面陶瓷地砖尺寸测量系统研究[J].光学学报， 2013， 33（3）：172-174.

[2] 童立靖， 张艳， 舒魏， 等. 几种文本图像二值化的对比分析[J]. 北方工业大学学报， 2011， 23（1）：27-32.

[3] 刘清， 林土胜. 基于数学形态学的图像边缘检测算法[J]. 华南理工大学学报：自然科学版， 2008， 36（9）：113-116， 121.

[4] 申俊琦， 胡绳荪， 冯胜强， 等. 基于数学形态学的焊缝图像边缘提取[J]. 天津大学学报， 2010（4）.

[5] 王征. 一种基于数学形态学的边缘检测方法[J]. 计算机与数学工程， 2012， 40（2）：102-104.

[6] 冈萨雷斯. 数字图像处理[M]. 3版.北京： 电子出版社， 2011： 199-201.

[7] 于博， 牛铮， 王力. 抗噪形态学边缘检测新算子图像边缘检测[J]. 信息技术， 2012， 36（3）：10-12.

[8] 王方超， 张旻， 宫丽美. 改进的Roberts图像边缘检测算法[J]. 探测与控制学报， 2016， 38（2）：88-92.

[9] Harris C， Stephens MJ. A combined corner and edge detector[C]. Processing of Fourth alvery Vision Conference， 1988： 147-151.

[10] Herbert Bay， Andreas Ess， Tuytelaars， et al.Speeded-up Robust Feature[J]. Computer Vision Understanding， 2008， 110（3）：346-359.

[11] 堯思远， 王晓明， 左帅. 基于Surf的特征点快速匹配算法[J]. 红外与激光， 2014， 10（3）：347-350.

[12] 陈艺虾， 孙权森， 徐焕宇， 等. SURF算法和RANSAC算法相结合的遥感图像匹配方法[J]. 计算机科学与探索， 2012， 6（9）：822-828.

[13] 凌云， 尹海波， 王琪. SURF和RANSAC在图像拼接中的应用[J]. 电子测量技术， 2016， 39（4）：71-73.

[14] 纪利娥， 陈磊. 结合SURF特征和RANSAC算法的图像配准方法[J]. 研究动态， 2013， 10（9）：9-12.

[15] 褚乐添. 基于视觉的LED照明产品的自动装配线[J]. 计算机光盘软件与应用， 2014（23）：127-129.endprint