APP下载

基于机器视觉的非平整物体表面凸起异物检测方法

2018-05-23

计算机测量与控制 2018年5期
关键词:极坐标光度异物

(1.广州恺煜兴智能科技有限公司,广州 510006;2.广东工业大学 自动化学院,广州 510006)

0 引言

电机在航空、航天、航海、工业生产、汽车、家用电器等众多领域得到广泛应用,而且换向器,是电机的核心部件,也随着电机行业的发展而逐渐增长[1]。而换向器的外观质量检测则是换向器生产线中的一个重要工序。目前为止,中国换向器生产厂家产品质量仍采用人工检测方式,导致了产品质量检测存在着高漏检率和误检率、低效率,高成本的状态。此外,长期工作对人眼和身心都有不同程度的影响。因此,采用自动化技术代替更新现有检测方式是一个必然的趋势。

目前,众创空间的发展已进入转型升级阶段,需要将创新价值链与产业价值链内的各类要素进行高效整合。因此可以从信息、资本、市场等核心要素入手,探索众创空间的运行机制。其运行机制主要包括价值创造、资源整合以及协同创新机制。

通过对换向器实际生产过程的研究分析,换向器存在最为严重的质量问题是存在槽口凸起异物,如图1所示。其中所谓凸起异物是指换向器在生产过程中由于刀具切割时,由刀片带出而粘黏在切割槽口边缘的铜,呈现状态是块状、条状,凸起异物状等,且大小各不相同、位置也不是固定,一般很难用气吹吹干净。由于换向器是按照在电机转子上的一个重要部件,并在随着电机的使用而高速运转,由于槽口存在凸起异物是金属铜片,在电机高速运动中脱落而导致电机短路,轻则烧毁电机,重则导致重大事故。经考察,几乎所有的换向器厂家仍然保持采用人工检测方式,目前仍没有相应针对性的产品质量检测设备对其进行检测,其主要原因通过视觉检测具有一定的难度。

图1 实际凸起异物缺陷样品图片

机器视觉技术对产品检测一直是研究的热点,在工业零部件、电子行业产品、药品、食品等方面均有应用。文献[1]利用机器视觉技术设计的电机换向器参数检测系统,实现了对电机换向器不合格零件进行自动识别与快速抓取。Hong-Dar Lin[2]基于机器视觉设计了一套检测LED环氧基树脂半球表面微小缺陷的检测系统,利用频域中增强图像缺陷特征的方法。Anders Landstrom[3]提出了基于机器视觉的方法用于检测钢板裂缝缺陷,设计了一套全自动检测钢板材料裂缝的系统。文献[4]提出了用于确定多个图像的表面取向的光度法,即是光度立体视觉的基本原理。文献[5]提出了将一个平滑形状的多帧立体重构的问题作为场景图像集合的全局区域分割,在变分框架内构建分割问题,并使用快速级集合方法来数值近似最优解。文献[6]介绍了通过光度立体视觉对采样球实例引导由被测物体上各点亮度求解对应的法向量,并进而结合相关几何约束求出求解出对应的深度值,从而改进了三维重建的效果。文献[7]提出了利用光度立体视觉算法在8个不同方向的光照下拍摄多幅织物图像,通过重建织物表面各点的高度,提取高度值和尖锐度来表征褶裥特征,对织物褶裥等级进行评定的方法。文献[8]介绍了采用光度立体学的原理,利用彩色三线阵电荷耦合元件(Charge-coupled device,CCD)摄像机拍摄两幅不同颜色光照和角度的灰度图像,从而获得对应通道图像表面法向的方法检测表面微小缺陷。文献[9]提出了近光源模型解决近光源大尺寸物体的三维重建。文献[10]提出的系统设计了一种新颖的图像采集系统,以增强缺陷出现,并设计了一种基于规则的简单而有效的检测算法和提出的系统通过召回,精度和F度量进行评估和比较。Lin[11]提出了一个基于视觉注意力模型图像质量改进方法,该算法是利用调整暴露水平的输入图像,然后创建几个中间结果进行融合,可以获得良好的视觉质量的合成图像。文献[12]提出了一种基于差分图像的残留物检测算法那,该算法基于灰度模板匹配定位后再与标准图像差分,然后进行检测。

换向器质量中存在的凸起异物检测需求分析有三大难点:(1)该凸起异物呈现状态是块状、条状,不规则凸起状等,且大小各不相同、位置、方向也不是固定;(2)该凸起异物存在区域特殊,主要粘黏在槽口铜片上,单纯的二维成像无法正确区分其是否为凸起异物;(3)换向器的表面为非平整表面,通过一般的机器视觉成像原理难以满足在线快速准确的检测需求。

针对换向器这种非平整表面存在凸起异物检测特性问题,本文采用机器视觉技术,提出一种基于光度立体视觉的非平整表面凸起异物检测的新方法,通过四方位的光照射,获得不同方位的光照图,对其计算得到反照率图像进行高斯卷积处理,再结合特定区域的极坐标转换检测凸起异物。该方法较好解决了单目镜头检测准确率低和多目立体视觉成本高效率低问题,该系统在工业上应用具有高效率和高准确率,此外该方法还具有较强的鲁棒性。

根据上述光度立体视觉的方法原理,在同一位置下采集不同方位光源下的四张图片,首先通过公式4计算出每个像素点归一化的光源矢量矩阵S,然后通过公式4和公式5则可以计算其出每个像素点的反照率ρ。通过计算图3采集的四张图片,可以得到该换向器对应的反照率图片,如图5所示。

1 检测原理

图2中,摄像机安装在垂直于传送带表面的正上方;条形组合光安装在摄像机与传送带之间,其中条形组合光采用的同一型号的条形光组合而成,分别位于同一平面的0°、90°、180°、270°方位,且四方位光源的距待检测换向器的距离和光照强度相同,光照入射角度均为θ。通过该成像系统可以采集到待检测换向器在四方位光照下的图像,通过搭建环境采集凸起异物图片如图3所示。

(2)滑道的放置位置要充分考虑浇注时浇包底部与直浇口的距离,避免滑道与浇包底部距离过近,影响钢球滚入浇口杯。

图2 系统结构图

图3 在线采集不同方位的凸起异物图片

步骤2:计算图像获取反照率图和梯度场图。根据步骤1采集的四方位光照图,通过利用光度立体视觉理论计算图像,获取其对应的光照反射率图像,即反照率图。

I=ξS·N

(1)

其中:I表示为目标物体表面(x,y,z)处的漫反射光投射到相机上的光亮度,即图像灰度值I(x,y);ξ为物体表面反射率系数;S=(Sx,Sy,Sz)T;N=(Nx,Ny,Nz)T。

由于该系统具有四个不同方向的光源分别照射到物体的同一点上,所以通过公式(2)可以建立如下方程组,

(2)

则公式(2)变为矩阵形式:

术后复查手术部位正侧位X线片、CT平扫及三维重建。由一位高年资主治医师和一位高年资CT诊断医师分别观察手术部位正侧位X线片,CT轴位、矢状位、冠状位图像筛选出有骨水泥椎管内渗漏的椎体。按渗漏途径及骨水泥分布部位,将椎管内骨水泥渗漏分为B型、C型、P型,详见图1。

(3)

根据图2结构图中x-y-z为世界坐标系和各光源的几何位置关系,可以得到简化结构后的光度立体法的归一化后的光源矢量矩阵表达式S为:

(4)

其中,由于四方位的光源均为相同型号的条形光,各入射角都均为θ,故在其光照强度相等,l为条形光源的长度,四根条形光位置固定且均匀分布,每个光源距离检测换向器的高度相同,均为h。

为了增强学生的预习效果,我们在“课前学习案”中设计了知识梳理表,学生带着明确的任务预习教材,填写知识梳理表,使学生预习效果得到了很大的提升.

又由于在不同光源拍摄时,换向器是静止的,所以相对于每张图片对应的实际换向器部位是相同的,则ξ也可以认为是不变的。因此,可以通过公式(4)求出每个像素点所在表面的法向量N,

(4)

因此可以得到每个像素点对应的反照率(Albedo):

ρ=|N|

(5)

2 检测方法

接着针对该环形区域的位置信息,获取其在高斯卷积图片中对应的铜片区域,通过提取高斯卷积图片中对应铜片部分后采用极坐标到直角坐标的转换成一个矩形图像坐标变换,如图8所示。其中,W的矩形图像的宽度;令F(x,y)和D(w,r)为原图像和目标图像,则两者存在如下关系:

步骤7:缺陷判断。采用经验阈值方法判读是否存在凸起异物,并获取凸起异物所在的大致区域位置信息。

图4 方法流程图

具体步骤如下:

步骤1:读取各方向光照图像。通过光度立体视觉成像原理需求,采用对称四方位打光方式采集相应的图片。

根据光度立体视觉原理中的朗伯体表面反射模型,对于光照方向为S的光源,其表面的单位法向量为N,则其反射光的亮度I为:

数据分析是针对研究对象获取数据,运用数学方法对数据进行整理、分析和推断,形成关于研究对象知识的素养.数据分析过程主要包括:收集数据,整理数据,提取信息,构建模型,进行推断,获得结论[5].下面将以文科19题为例进行分析.

步骤3:计算图像高斯卷积图。采用高斯核为3的浮雕滤波器(Embossing Filter)对反照率图片进行卷积,获得高斯卷积图像。

步骤4:获取图像预处理区域。根据上述步骤2得到反照率图像,采用阈值方法提取换向器铜片所在的位置,利用该区域位置信息获取对应高斯卷积图像所在铜片区域作为图像预处理区域。

步骤5:极坐标变化。对获取预处理区域的图像进行极坐标转换。

步骤6:图像处理。采用gamma函数对图像进行亮度调节,并采用核大小为3×31单向均值滤波器对极坐标变换后得到的图像进行滤波处理。

为提高施工技术水平,除了做好前期勘察工作和施工技术的规范,还应注重提高管理人员的素质。在民用建筑施工过程中,应提高施工人员的素质和专业技能,以确保其更好地掌握施工操作规范。例如,可通过岗前培训的方式,提高施工人员的素质。另外,为进一步提高相关人员的素质,还可通过人才引进等方式,壮大人才队伍,以提高施工技术人员的施工水平和施工质量。最后,还应加大关于民用建筑施工安全的宣传,以促使现场施工作业人员更加注重施工安全,并不断提高自身的安全意识水平,以为施工质量奠定思想基础。

步骤8:结果显示。通过步骤7得到的位置信息,采用极坐标反变换得到对应图像位置信息,然后在步骤2得到的反照率图像上标识所有凸起异物所在的位置。

2.1 计算反照率图和高斯卷积图片

基于BGP的域间二维路由方案…………………………………………………………耿男,金飞蔡,徐明伟 24-6-60

图5 计算得到反照率图片 图6 计算得到高斯卷积图片

2.2 提取感兴趣区域并对其极坐标转换

其中:(Cx,Cy)为换向器的中心坐标,α=2πw/W。

读程学武的文章《纸糊的墙》(《杂文月刊》原创版2018年10月上),想到了游宇明的文章《“下地”的制度才叫制度》(《杂文月刊》原创版2018年7月上)。走进我们的办公室,各种规章制度挂满了墙。墙上的制度不叫制度,叫摆设,是专门给领导看的。下地的制度在工作人员心里,这才叫制度,是工作人员搞好工作的依据。制度要有操作性,不能原则上都正确,落实却无目标。切实可行的制度一定要下地,要落实。真正做到有制度必须执行,执行制度必须严格。

首先,采用gamma函数对图像进行亮度调节,使得目标检测物换向器更加突出;并对亮度调节后的反照率图片进行阈值处理获取换向器凸起异物大致所在的区域,如图7所示;则可以得到该环形预检区域的位置信息,其中区域的中心坐标为(Cx,Cy),R为换向器铜片所在的外半径;R0为换向器铜片所在的内半径。

图7 感兴趣区域选取

根据光度立体视觉原理和极坐标转换方法,设计了相应的凸起异物检测方法,如图4所示。

(6)

通过光度立体视觉和高斯卷积得到的图片后,仍存在着表面字体和边缘轮廓的影响,为了去除这些干扰,以达到准确的凸起异物检测,通过gamma函数对图片亮度进行调节,接着提取感兴趣区域后进行极坐标转换进行处理。

图8 感兴趣区域极坐标转换

2.3 单向均值滤波并阈值选取缺陷

考虑到极坐标转换后的图片中凸起异物图像的特性,采用内核大小为3×31的均值滤波器对图像进行纵向的滤波,该滤波可以使得异物缺陷部分更加突出。接着采用设定阈值方法提取缺陷所在的位置,如图9 (a)所示,并保存其位置坐标信息,最后可通过获取的缺陷位置坐标信息,对其进行极坐标反变换后则可以得到对应的图像坐标,并在反照率图像上标识出凸起异物检测所在位置,如图9(b)所示。

滑坡在SPOT5遥感解译的判译特征:以半圆形和不规则形状居多,坡体地形破碎,局部有不均匀陷落的平台。滑坡体后缘发育有异常影像,活动滑坡地表土体比较新鲜,植被稀少,土体表面具有较强的反射能力,在影像上呈现明显的亮色调,见图5(a),可显示均匀的浅灰白色。

图9 检测结果

3 实验结果

为验证本文所提出方法的准确性和有效性,根据光度立体视觉的成像原理选取硬件设备,搭建换向器凸起异物检测测试环境,如图10所示。

图10 实验测试环境

随机抽取在线生产换向器产品分三组作为测试样本进行该方法检测测试,首先通过搭建的实验环境利用该方法对换向器三组样品分别进行测试,部分测试结果凸起异物图如图11所示;接着通过人工对三组样品进行分类统计并核对其检测结果的准确性,实验结果统计见表1。其中样本通过人工统计后分类如下,样本一:537个,包含526个合格品和11缺陷品;样本二:2055个,包含2017个合格品和38缺陷品;样本三:3105个,包含3058个合格品和47缺陷品。

图11 凸起异物检测结果

表1 测试结果样品总量

其中在该系统中的所有合格换向器中正确检测为合格换向器占所有换向器的比例定义为系统的准确率,也即是精度(P);而所有合格换向器中误检为不合格换向器占所有合格换向器的比例定义为系统的误检率(N),漏检率(O)则是所有不合格换向器中误检为合格换向器占所有合格换向器的比例。

3.引导学生掌握正确的学习方式。生物学科属自然科学,自然科学以实验为基础,特别是探究性实验。所以在初中生物学教学中要注意:一是教学要与生产生活实际相联系,粮食作物、蔬菜、瓜果、花卉等都是人类种植栽培的主要对象,在作物、花卉中有许多适合学生观察、探究的内容,教师应积极组织学生开展各种探究活动,加深学生对相关知识的理解,提高学生运用知识解决实际问题的能力;二是要积极开展实验教学,发挥实验设施设备在学生学习中的重要作用,让学生从观察、实验、讨论、探究的过程中获得对生物学知识的理解,亲身体验获取知识的过程和方法,才能加深学生对生物学中各知识点的理解与掌握。

表2 性能分析

计算公式如下所示:

(7)

其中:TP是指合格换向器被检测成成合格换向器的个数,TN是指合格换向器被检测成不合格换向器的个数,即是误检个数;FP是指不合格换向器被检测成不合格换向器的个数,FN是指不合格换向器被检测成合格换向器的个数,即是漏检个数。

通过公式(7)分别计算表1中的数据,得到该方法检测分类的性能,如表2所示。

通过表2性能数据分析可以得到图12的性能直方图,从该直方图中可以看出,该方法在三组随机样品的测试中的精度均达到99.8%以上;而且其漏检率为0%,即不存在漏检率;其中存在的误检率均低于0.2%,分析其导致误检的原因主要出现开槽槽口在存在电木粉粘黏导致检测为异物,从而产生误检。

图12 性能分析结果图

4 结论

本文针对换向器存在最为严重的槽口凸起异物质量检测问题,目前采用的人工检测方式存在检测速度慢和漏检率高,分析其检测存在的三大难点:(1)该凸起异物呈现状态是块状、条状,不规则凸起状等,且大小各不相同、位置、方向也不是固定;(2)该凸起异物存在区域特殊,主要粘黏在槽口铜片上,单纯的二维成像无法正确区分其是否为凸起异物;(3)换向器的表面为非平整表面,通过一般的机器视觉成像原理难以满足在线快速准确的检测需求。本文运用图像处理和机器视觉技术提出一种基于光度立体视觉的换向器非平整面凸起异物检测的方法。通过四方位的打光获得不同方位的光照图,对四方位的光照图进行计算得到其反照率图像,通过高斯卷积后的图片对其进行特定感兴趣区域的提取,并采用极坐标转换后提取缺陷特征对其进行凸起异物检测。实验结果表明,该方法在不存在漏检的情况下,准确率达到了99.8%以上,且误检率在0.2%以下;能够满足快速有效检测换向器非平整表面存在的凸起异物问题,可以避免了人工只凭经验检测而导致的漏检的问题,并且也大大提高了良品率和生产效率,能够满足对换向器质量的在线检测需求。

参考文献:

[1] 徐晓峰.基于机器视觉的电机换向器参数检测系统设计[J]. 制造技术与机床,2014(1):79-82.

[2] Lin H D, Chiu S W. Flaw detection of domed surfaces in LED packages by machine vision system[J]. Expert Systems with Applications,2011,38:15208-15216.

[3] Anders Land strom, Matthew J.Thurley. Morphology-Based Crack Detection for Steel Slabs[J]. IEEE Journal on Selected Topics in Signal Processing, 2012,6(7):866-875.

[4] Robert J. Woodham. Photometric Method for Determining Surface Orientation from Multiple Images[J].Optical Engineering.1992,19(1):139-144.

[5] Yezzi A J, Soatto S. Stereoscopic segmentation[J]. International Journal of Computer Vision, 2001, 53(1):59-66.

[6] 李 健,马泳潮,马 文. 基于光度立体法的织物三维数字化研究[J].陕西科技大学学报,2014,32(5):152-160.

[7] 刘瑞鑫,李立轻,汪 军,等. 基于光度立体视觉的织物褶裥等级评定[J]. 东华大学学报(自然科学版).2013,39(1):48-52.

[8] 徐 科,周 鹏,杨朝霖.基于光度立体学的金属板带表面微小缺陷在线检测方法 [J]. 机械工程学报, 2013, 49(4):66-71.

[9] 张珊珊,吕东辉,孙九爱. 近光源光度立体三维重建误差分析 [J]. 计算机技术与发展,2015,25(1):168-172.

[10] Shen H, Li S X, Gu D Y, et al. Bearing defect inspection based on machine vision[J]. Measurement,2012,45(4):719-733.

[11] Lin G S, Ji X W. An image quality improvement method based on visual attention model[A]. 2015 IEEE International Conference[C].2015:366-367.

[12] 邓高生,李 迪,王世勇. 基于差分图像的滴塑模具残留物检测算法[J]. 计算机测量与控制, 2016, 24(12):14-16.

猜你喜欢

极坐标光度异物
一种基于SOM神经网络中药材分类识别系统
食管异物不可掉以轻心
如何处理异物进入眼睛
乘用车后回复反射器光度性能试验研究
皎皎月光
眼耳鼻进异物咋处理
二重积分的极坐标计算法探讨
《极坐标与参数方程》过关测试卷
超声定位诊治非金属微小异物嵌入伤的临床评价