基于机器视觉的木窗双端铣削加工尺寸测量方法

2024-01-25任长清张佳林杨春梅宋文龙吴哲

林业工程学报 2024年1期

任长清,张佳林,杨春梅,宋文龙,吴哲

(东北林业大学机电工程学院,哈尔滨 150040)

欧式木窗作为节能木窗的主要类型之一,由于结构简单、性能出众,是目前欧洲和国内木窗的主要形态。铣削加工是欧式木窗生产加工中关键的一环,有单端铣削和双端铣削两种加工方式,单端铣削工艺需将木窗加工4次,而双端铣削工艺只需加工2次。目前木窗的加工过程可实现自动化,在组线工程纳入连续加工生产线能得到更高的产能,但最终成品验收仍需要人工进行检测。人工测量尺寸存在着精度低、效率低、耗费人力等问题,易受外部环境及个人心理等影响,其精确性和重复性无法保障[1]。为了提高检测精度及效率,实现无人化,需要在欧式木窗窗扇外形连续加工生产线加入尺寸在线检测系统。

随着科技的进步,视觉检测技术如今可以代替许多的人工检测项目,各种自动化设备及检测技术正逐步取代原有的人工操作及检测项目,极大地改善了人工方式存在的各种问题[2]。机器视觉可以对尺寸实现非接触式测量,速度快且精度高[3]。撒莹莹等[4]公开了一种基于机器视觉的大尺寸板材在线测量系统,利用三维位移传感器获取板材点云数据,随后对数据处理得到板材尺寸,但此方法需板材静止,由传感器移动扫描板材,且部署复杂,难以满足生产线在线检测。潘屾等[5]针对大尺寸板材,通过采集板材左右两帧图像,利用Harris角点检测对两幅图像进行拼接得到完整图像,然后通过图像处理计算出尺寸,但该方法需要工件特征点足够多,且拼接精度受特征点影响较大。赵志伟等[6]公开了一种基于参考点的矩形板材尺寸测量方法,通过布置一组位置关系确定的参考点,将图像中参考点及板材角点坐标提取出来,通过两者相对位置关系计算出板材尺寸,但该方法对于较大尺寸板材在线检测难以部署,且仍需板材静止捕获图像。

笔者以双端铣削后的欧式木窗为研究对象,提出一种基于机器视觉的木窗尺寸测量方案,通过将采集的木窗图像完成图像预处理,并在Canny算子检测出的木窗轮廓基础上,利用优化的Zernike矩亚像素检测算法获取精确轮廓[7],最后通过拟合轮廓计算出木窗精确尺寸,达到了对木窗尺寸的精确测量,提高测量效率及准确性。

1 木窗图像采集装置硬件组成

1.1 木窗图像采集装置硬件选型及整体结构

对于一个图像采集系统,其核心硬件为相机、镜头及光源[8]。针对生产线中欧式木窗图像的在线采集,提出木窗图像采集装置方案结构,如图1所示,主要包括辊筒传送线、固定支架及相机调节装置等。

图1 木窗图像采集装置Fig. 1 Wooden window image acquisition device program diagram

考虑到欧式木窗尺寸变化范围较大,采用传送线传送方式,且安装尺寸有限,故采取3台线阵相机采集图像,最后将采集的图像进行拼接以完成木窗图像采集。该生产线中木窗最大尺寸为2 100 mm,参考GB/T 29498—2013《木门窗》,结合企业实际需求及机械结构条件,尺寸精度要求≤0.2 mm。

线阵相机选型需要确定分辨率(Rf)及行频(fH),其公式如下:

(1)

式中:WD为相机所拍摄最大视场;dpixel为每个像素代表的物理尺寸;V为测量目标相对相机运动速度;da,pixel为实际精度。由于最大尺寸为2 100 mm,且由3台相机共同完成图像采集,考虑余量及视场重合,取WD为740 mm;测量要求精度为0.2 mm,根据奈奎斯特采样定理,取dpixel为0.1 mm,代入式(1)可得Rf为7 400,故选相机分辨率为8 K。

由相机分辨率得da,pixel约为0.09 mm,目标相对运动速度V可取1 000 mm/s,代入式(1)并向上取整可知,选型时fH应大于12 kHz。

综上,本系统相机选择DALSA公司的8K彩色线阵相机LA-CC-08K05B。参考相机参数及工作距离,本系统镜头为华睿科技的线阵镜头F60-4040-M72,其焦距为40 mm,光源采用乐视的白色线性光源LTS-3LINL2800。

1.2 图像采集装置运行流程

将木窗置于辊筒传送线上,当木窗触发图像采集启动传感器上升沿后,3台线阵相机开始同时采集图像,直至木窗触发图像采集结束传感器下降沿,结束图像采集并将图像传输至计算机中完成图像拼接,进一步地将完整图像输送进测量算法中完成对木窗的尺寸测量,图像采集装置运行流程如图2所示。

图2 图像采集装置运行流程Fig. 2 Image acquisition device operation flow chart

2 视觉尺寸测量原理

2.1 尺寸测量原理

基于视觉的尺寸检测是一种非接触的测量手段,属于相对测量法,其利用倍率标定、识别提取边缘和图像比例换算来推算出目标物体的实际尺寸大小[9]。

依据相机成像原理,其可简化成小孔成像模型,如图3所示。其中,直线O′O″为光心,abcd为实际物体ABCD通过相机感光片所成的图像。

图3 小孔成像模型Fig. 3 Small hole imaging model

借助成像模型可将三维世界中的一点通过小孔O投影至相机二维成像平面,其原理如式(2)所示,其中(u,v)为像素坐标系,(x,y)为图像坐标系,(Xc,Yc,Zc)为相机坐标系,(Xw,Yw,Zw)为世界坐标系。

(2)

在像素坐标系中,abcd任意两点之间的距离单位为像素,因此,为了求得实际物体ABCD任意两点间的实际物理距离,首先应获取像素坐标与实际坐标之间的比例关系,即像素当量。通过标定的手段能够得到每个像素所代表的物理尺寸,此方法应保证与测量实际物体时拍摄条件相同,如图4所示,为像素当量标定示意图。假设已知KM实际物理长度为S,通过对图像处理计算得到NK′之间的像素个数为W个,则像素当量P为:

P=W/S

(3)

式中,P的单位为mm/pixel。

图4 像素当量标定示意图Fig. 4 Pixel equivalent calibration schematic

在得到像素当量P后,经过对获取图像的分析处理,可得abcd任意两点间的像素个数,通过比例换算即可得到对应的实际距离。假设图像中ab两点之间的像素个数为Wab,则AB间实际物理距离为:

LAB=P·Wab

(4)

2.2 木窗透视矫正

由相机成像原理可知,对于具有一定厚度的木窗,其在成像时会产生透视效应,导致测量时出现误差。

木窗透视矫正原理见图5。根据透视效应及透视矫正原理图,木窗在CCD像平面所成像会呈现外框放大,内框出现木窗内壁及上、下边缘。即对于厚度为h的木窗,其外框实际在像平面所成像ab为物平面1的AB点,对于内框在像平面会呈现两条边缘cd及c′d′,其在物平面1的真实木窗内框边缘CD应为像平面最内侧边缘cd。若依据标准理论模型计算,则其外框结果会偏大,对于内框,在计算像平面的cd边缘时,则其结果理论上不受影响。

图5 透视矫正原理Fig. 5 Perspective correction principle diagram

因此,为了保证测量精度,需要对木窗成像时所产生的透视效应进行透视矫正以消除误差。本研究提出一种物平面提升法,以消除透视效应带来的误差。假设将相机实际成像的物平面1提升到物平面2上进行成像,则此时木窗厚度理论上应为0,其在CCD像平面所成像应为真实木窗边缘,且在成像模型上不会产生误差,其中木窗外框A′B′在像平面成像为ab,木窗内框C′D′在像平面成像为c′d′。

通过相机标定及相机物理参数可得相机焦距f、感光芯片像元尺寸μ及相机在标定板平面的像素当量P,设相机在物平面2的像素当量为P′,在物平面1的像素当量为P″,相机像距为v,离物平面1的高度为H,标定板厚度为t,则由几何关系及成像公式可得:

(5)

由式(5)可得v、H、P′及P″为:

(6)

设木窗内、外框分别在物平面1、2所成像的像素长度为Scd和Sab,因此矫正后的木窗真实外框长度M及内框长度m为:

(7)

同理,对于木窗内、外框对角线物理尺寸,在得到内、外框边缘所成像的角点坐标后,通过比例换算即可得到矫正后对角线尺寸。

3 尺寸测量方法

3.1 图像预处理

通过图像预处理能够有效减少采集图像中的噪声、背景干扰等无效信息,简化图像数据,增强图像特征信息,以此方便后续相关处理[10]。其包含灰度化、平滑处理、图像增强、阈值分割、形态学处理、图像矫正及轮廓分割等。由于获取的图像为RGB彩色图像,对其应用灰度化处理能够简化图像矩阵,提升运算效率。通过加权平均法按比例将图像进行灰度化,如式(8)所示:

Gray(i,j)=0.299B(i,j)+0.587G(i,j)+ 0.114R(i,j)

(8)

式中:(i,j)为图像中像素点坐标;B(i,j)、G(i,j)及R(i,j)分别为蓝色、绿色及红色通道中像素点的亮度值。

在图像采集过程中,由于光线、曝光等内外部因素,所成图像不可避免含有噪声干扰,影响图像分割及边缘提取[11],故本研究采取中值滤波进行平滑去噪处理。为了增强图像特征信息,采用卷积核锐化对图像边缘信息增强,突出边缘轮廓。进一步地,通过多阈值Otsu分割法,将图像特征信息与背景分割出来,其原理如式(9)所示:

(9)

式中:T1、T2为分割阈值;f(x,y)为原图中任一点坐标的像素值;g(x,y)为输出图像对应坐标的像素值。

通过得到的多阈值分割结果,对其进行相应的位运算处理,以此完成图像分割。由于木材纹理等影响,二值化图像会存在空洞、断点等细小对象,通过形态学处理可以有效消除这种影响,得到更为清晰的轮廓特征图。由于木窗图像可能存在倾斜角度,不利于后续轮廓拟合处理,因此还需通过仿射变换进行中心旋转,对图像进行矫正。

由矫正后图像可知有内外2个矩形轮廓,为了方便后续处理,对轮廓进行相关填充操作及位运算操作,将其分割为两个保留单个轮廓的二值图。在对木窗图像采集时,相机曝光时间为30 000 μs,增益为10,光源照度为800 lux,在进行阈值分割时T1及T2的值分别为89及188。图像预处理过程见图6。

图6 图像预处理过程Fig. 6 Image pre-processing process

3.2 基于改进Zernike矩亚像素边缘提取

关于图像的像素级边缘提取,常见的有Sobel算子、Canny算子、Roberts算子及Laplacian算子等[12]。本研究采用Canny算子完成像素级轮廓检测,其对内外轮廓检测结果如图7所示,从图7可以看出,其边缘轮廓清晰且连续性好。

图7 Canny算子边缘检测结果Fig. 7 Canny operator edge detection results

对于亚像素边缘提取主要有3种方法,即插值法、拟合法及矩方法[13]。矩方法中的Zernike矩亚像素边缘检测因其具备旋转不变性且不受图像尺度影响,对图像噪声不敏感,因此被广泛使用[14]。本研究基于一种优化的Zernike矩亚像素边缘提取算法获得图像亚像素轮廓。

一幅连续图像f(x,y)的二维Zernike矩定义如式(10)所示:

(10)

图像f(x,y)在离散条件下的Zernike矩如式(11)所示:

(11)

图8 理想边缘阶跃模型Fig. 8 Ideal edge step model

Zernike矩理想边缘阶跃模型如图8所示。其中,单位圆上的直线L代表图像理想边缘,L两边的灰度值为h及h+k,k是灰度阶跃值,l是原点到边界的垂直距离,θ为l与x轴之间夹角[15]。

依据Zernike矩的旋转不变特性,若旋转角度为θ[16],则一幅图像旋转后与旋转前的Zernike矩关系如式(12)所示。

Z′nm=Znme-pmθ

(12)

由Zernike矩的旋转前后不变性及定义可得:

(13)

由式(13)可得理想边缘的各参数如下所示:

(14)

式中,Im[Z11]及Re[Z11]分别表示Z11的虚部及实部。

对于利用N×N大小的模板进行边缘检测,由于存在模板放大效应,因此还需对亚像素坐标进一步修正,最终求得的亚像素坐标位置为:

(15)

式中:(xs,ys)为亚像素坐标;(x,y)为单位圆圆心坐标。

在实际应用中,图像由于受光源、背景等影响,单阈值分割可能会将某些背景错判为边缘,从而干扰后期的轮廓提取精度[18]。因此,本研究采取多阈值Otsu分割法,获取图像最佳分割阈值,并自动得到最佳阶跃阈值kt的值。

由于传统的Zernike矩亚像素检测算法只考虑低阶矩,可能导致边缘定位不准确或漏检,因此引入高阶矩Z31和Z40以提高边缘检测的精度及鲁棒性。由于引入了高阶矩,因此令距离l=(l1+l2)/2,l1和l2分别为原点到低阶次和高阶次边缘的垂直距离,其计算公式如下:

(16)

综上所述,采用改进的Zernike矩亚像素轮廓提取算法获得图像亚像素轮廓点坐标,其步骤如下:

1)利用Canny算子检测到的粗定位轮廓,将每个像素点与7×7的模板实行卷积运算,分别得到Z00、Z11、Z20、Z31及Z40,进一步可得Z′00、Z′11、Z′20、Z′31及Z′40。

2)将上步得到的值代入式(14)及式(16)可得每个像素点的l1、l2、k及θ。

3)应用多阈值Otsu分割法获取图像最佳分割阈值,记此时阈值为最优阈值,并作为阶跃阈值kt。

5)根据上面得到的分割阈值及距离阈值,判定每个像素点参数值是否符合k≥kt且|l1-l2|≤lt。若符合则利用式(15)计算出亚像素坐标并保存,若不符合则剔除该点。

本研究对内外两个轮廓的亚像素轮廓检测结果如图9所示,图9a为整体亚像素边缘检测结果,图9b为局部亚像素边缘,其中白块为Canny检测的像素级边缘结果,白块中“*”为亚像素级边缘。

图9 亚像素边缘检测结果Fig. 9 Sub-pixel edge detection results

3.3 最小二乘法结合RANSAC算法拟合

在利用改进的Zernike矩亚像素算法获取木窗的精确边缘位置后,利用最小二乘法结合RANSAC算法对木窗边缘进行拟合,其次求出拟合轮廓顶点,从而计算出木窗尺寸参数。

通过将亚像素轮廓分割为4个部分,并对每部分拟合为一条直线,最后求出4条直线的4个交点,以此完成轮廓的拟合,主要包含数据划分处理及拟合两个部分。

对于数据划分处理,首先求出轮廓上边缘、右边缘、下边缘及左边缘的4个边界极值Ymax、Xmax、Xmin、Ymin,并以此求出轮廓中点坐标(Xm,Ym),随后将亚像素轮廓点集S按照式(17)粗划分为对应的四部分轮廓点集。

(17)

进一步求出每部分轮廓点集x或y方向的众数,分别为M1_y、M2_x、M3_y和M4_x,设偏差阈值为c,最后利用式(18)将粗划分点集精筛为待拟合点集,以此完成数据划分处理。

(18)

对于拟合处理,首先采用RANSAC算法对每部分待拟合点集进行迭代筛选,剔除点集内的异常值,得到最优内点点集。

在得到最优内点点集后,利用最小二乘法完成直线拟合。设直线方程为:

y=kx+b

(19)

式中:k为直线斜率;b为截距。已知亚像素轮廓坐标为(xs,ys),设最优内点点集A有m组数据点(xi,yi),i=1,2,…,m,由式(19)及最小二乘法原理可知,要得到最优直线方程的参数k、b,应使得函数F(k,b)取最小值。

(20)

式中:(xi,yi)为第i个亚像素点;m为轮廓点集的亚像素点个数。由极值原理可知,对该式求k和b的偏导并分别使其为零,即可得到极值点,如下式所示:

(21)

求解式(21)即可得到最优拟合直线的参数k和b,进一步拟合出边缘直线。最小二乘法结合RANSAC算法拟合边缘轮廓流程见图10。

图10 最小二乘法结合RANSAC算法拟合边缘流程Fig. 10 Least squares combined with RANSAC algorithm fitting the edge flow chart

对一个完整的亚像素边缘轮廓执行上述操作,即可获得4条拟合直线。进一步求出4条直线的4个交点,并作为4个顶点,依次连接便可得到拟合的轮廓。同理,可得到另一个亚像素轮廓的拟合轮廓。利用本研究方法拟合木窗边缘轮廓的过程见图11,其中图11a为内外框轮廓边缘筛选,图11b为拟合轮廓结果及局部放大图,且直线上的 “*” 为亚像素边缘点。

图11 木窗边缘轮廓拟合过程Fig. 11 Wooden window edge profile fitting process

3.4 尺寸计算

在拟合出木窗轮廓后,即可提取拟合轮廓的角点坐标。设木窗外轮廓的4个顶点分别为A、B、C、D,内轮廓对应4个顶点为a、b、c、d,由两点间距离公式可知,若外轮廓上两个顶点A、B坐标分别为A(XA,YA)、B(XB,YB),最终标定的像素当量为P,则实际物理距离LAB为:

(22)

因此,在确定拟合轮廓的角点位置及坐标后,即可由式(22)得到木窗的边框尺寸及对角线尺寸。

4 结果与分析

4.1 测量系统标定

现有检测方式需要人工测量木窗边框尺寸及对角线尺寸,本研究依照检测内容搭建试验台,主要由支架、600万像素的海康威视面阵相机、定焦镜头及白色LED环形光源等组成,尺寸检测实验平台见图12。

图12 尺寸检测实验平台Fig. 12 Dimensional testing laboratory platform

由于测量系统实物未完成,本研究采用面阵相机进行等效实验对尺寸检测算法进行验证。首先根据计算得到的理论相机每像素物理尺寸精度da,pixel,利用已有相机的分辨率,在保证与理论计算所得到的da,pixel值相同情况下,计算得到现有相机需要的视野大小及工作高度,最后通过调节保证相机位置的固定。

为完成木窗的尺寸测量,需先对相机完成标定,以确定像素当量P,本研究采用棋盘格实现相机标定。在实验条件相同情况下,采集棋盘格图像,根据角点坐标计算不同行、不同列相邻两格子的像素长度,并与已知的物理长度做比值,经过多次标定,取平均值作为标定的像素当量。

由于标定板存在厚度t,所以该标定结果应为实际物平面加上标定板厚度t所在平面的像素当量,因此应当对其进行修正,以得到实际物平面像素当量P。经计算,最终确定像素当量P=0.097 866 7 mm/pixel。

4.2 测量结果分析

实验材料为厚度规格相同的松木材质矩形木窗,其尺寸规格分别为100,200和250 mm 3种。为验证测量方法对不同尺寸木窗的检测精度,利用精度为0.01 mm的世达电子游标卡尺对不同尺寸木窗的测量内容进行多次人工测量,最后取平均值作为真实尺寸。对不同规格木窗的不同尺寸进行测量,与真实尺寸的对比如表1所示。

由表1可知,绝对误差范围在±0.12 mm之内,相对误差在±0.1%之内,实验证明本研究测量方法满足检测精度要求。

表1 测量结果Table 1 Measurement results

测量编号测量内容人工测量/mm算法测量/mm绝对误差/mm相对误差/%1木窗1外框99.6599.62-0.03-0.032木窗1内框59.8559.890.040.073木窗1外框对角线140.02140.120.100.074木窗1内框对角线84.8384.910.080.095木窗2外框198.79198.860.070.046木窗2内框119.73119.67-0.06-0.057木窗2外框对角线281.73281.62-0.11-0.048木窗2内框对角线169.72169.790.070.049木窗3外框248.87248.78-0.09-0.0410木窗3内框149.55149.50-0.05-0.0311木窗3外框对角线353.03353.120.090.0312木窗3内框对角线212.04212.110.070.03