基于光栅双目视觉的手掌重构与实现

曹淼龙,李　强,姜文彪

(浙江科技学院 机械与汽车工程学院,杭州 310023)



浙江科技学院学报,第27卷第1期,2015年2月

Journal of Zhejiang University of Science and Technology

Vol.27 No.1, Feb. 2015

基于光栅双目视觉的手掌重构与实现

曹淼龙,李强,姜文彪

(浙江科技学院 机械与汽车工程学院,杭州 310023)

摘要:针对手部掌形的表皮纹理复杂性和弹性易形变等特点,提出了一种以光栅式双目三维视觉技术对手部掌形模型进行重构及实现的方法。首先对左右侧相机的属性参数和相对位置进行标定,并利用多方位光栅扫描的图像作优化拼接，再对海量原始数据点云进行编辑、三角形和曲面片化处理，最后实现手部掌形模型的数控模拟和实际加工验证。试验结果表明,采用高精度的非接触式测量能快速完成逆向实物加工,该方法具有借鉴和应用价值。

关键词:双目视觉;相机标定;点云数据;三维重构

目前,双目三维视觉作为计算机视觉的重要分支之一,能模拟人眼视觉感知三维信息的功能,已广泛应用于视觉检测、智能交通和智能机器人等领域[1],成为国内外专家、学者研究的热点。Goto等[2]将两个全景成像相机(双目视觉)和运动视觉的信息集成实时识别周边环境,提高了测量精度和因全景图像畸变的视觉识别匹配精度;Fang和Berthold等[3-4]针对双目三维视觉系统提出了目标空间信息的传感器融合方法和装置,应用于实时监控机动车辆的距离和速度以增加车流量和稳定性;Bensrhair和Toulminet等[5-6]均应用三维视觉系统提取前车的垂直边缘特征来检测及计算两车间的距离;阮晓东等[7]采用双目立体视觉对多自由度机械装置的静态特征进行重构;解则晓等[8]建立了基于双目立体视觉的光笔接触测量式三坐标测量系统;汪首坤等[9]对双目立体视觉系统采用了混合群智能优化标定算法,以提高测量的准确性和鲁棒性。

双目三维视觉系统在非接触三维测量手掌、掌形特征识别和掌纹数据采集等方面也得到了广泛的应用[10-11]。由于手部掌形,包括手掌和手指,存在几何形状复杂性、掌纹和指纹特异性及纹理信息唯一性，表皮具有一定的弹性、易形变等特点,采用传统的直接挤压接触测量方法容易产生误差较大、工作效率低及精度差等挑战性问题。非接触式光栅测量技术是将特定编码的光栅条纹投影到待测物体上，若物体表面凹凸不平,投影条纹会发生变形，此时通过成一定夹角的两个相机来同步实时采集两幅图像,再对相应的图像进行解码和相位计算,解算出两个相机公共视区内像素点的三维空间坐标,进而生成三维点云数据。

本研究利用成一定夹角的双镜头构成三维视觉系统,采用图像处理技术手段,通过计算手部掌形模型的空间特征点视觉差,获取点云数据的三维空间坐标,实现三维空间信息的重构和数控加工掌形模型,便于掌形和掌纹的识别，以期为含纹理信息的掌模鉴别提供依据。

1光栅式双目三维视觉系统

1.1　工作原理

图1为搭建的光栅式双目三维视觉系统工作原理图。包括左右两个三维扫描仪相机(分辨率1 280×1 024),计算机(显卡内存1 GB),三脚架,云台和高精度平面标定靶标等。三脚架用以稳定并调节高度,云台用以调节俯仰、倾斜和旋转角度,以保证扫描仪的光栅投射方向与地面垂直。

图1　光栅式双目三维视觉系统工作原理Fig.1　Working principle of raster binocular in 3D vision system

对于空间中某一待测手部掌形表面的任意一点P(x,y,z),通过左右侧相机假设经过极线校正,被映射到左右图像平面上的两个对应点Pl(xl,yl)和Pr(xr,yr)。假设相机模型为针孔线性成像模型,P点与左侧相机所对应点必须满足如下理想几何关系:

式中:M1l—左侧相机内部结构有关参数矩阵;M2l—左侧相机为相对于世界坐标系的位置和方向矩阵;P—由世界坐标系转换到相机坐标系,包含旋转变换和平移变换的6个外部参数;fxl和fyl—左侧相机分别在x,y方向的焦距;xl0和yl0—左侧相机在图像坐标系中心位置;Rl—含有3个独立变量的3×3单位正交矩阵;Tl—平移矩阵,T=[tx,ty,tz]T；0=[0 0 0]。本研究以左侧相机坐标系为世界坐标系。右侧相机与左侧相机水平对称,同时对应的几何关系与左侧相机一致,由此确定两条射线的交点即为掌形表面P的空间准确位置。

1.2　系统的标定和调节

对光栅式双目三维视觉系统进行标定的过程就是求解上述左右相机的属性参数和相对位置的过程,由于有相机的移动和模型的大小、深度等变化,标定过程需要反复进行,从而确定空间坐标物点和图像平面像点之间的对应关系。

标定的平面点靶标尺寸为150 mm×200 mm,如图2所示,标志行列矩阵为14×17,圆形的直径为4 mm,用以判定方位的空心圆大径和小径分别为15 mm和9 mm,点与点沿长度方向和高度方向的距离为11.54 mm和12.5 mm,标志点在数据处理过程中有特定唯一编号,范围为1～238。可调节光栅条纹宽度范围为0～12 mm,根据手部掌形模型尺寸设置为1。相机曝光时间用以调节图像亮度,增益则调节图像对比度和清晰度,左右相机参数设置自动同步。

图2　平面标定靶标Fig.2　Planar calibration target

虽然理论上摄取3幅图像就完全能标定出系统参数,但由于存在图像噪声,因而从标定过程中选取8幅不同位姿的平面靶标图像,具体标定步骤如下。

1)移动平面标定靶标到不同位姿,如图3所示。图3(a)处于测量空间中心平面内初始位置,在同平面内每90°逆时针旋转1次得到其他3幅图像;图3(b)将标定靶标垫高约靶标宽度的1/4到1/3,再在同平面内旋转180°;将标定靶标整体降低约为靶标宽度的1/2到2/3;图3(c)将标定靶标底端垫高,与原平面成35°~45°的夹角,再旋转180°。这3个步骤共计8个位姿,在每个位姿保持稳定,左右相机各采集一副图像,并且确保每个位姿有且只有1幅图片。同时在采集图3(a)时尽量使所有标志点都能被识别,其他位姿则不强制要求识别所有标志点。

图3　平面靶标标定位姿示意图Fig.3　Posture diagram of planar calibrationtarget position

2)根据左右侧相机采集的含有编码的标定靶标图像,采用基于几何距离的最小二乘椭圆拟合算法,通常设定标志点空洞值为3 mm,标志点椭圆和标准椭圆比较标准差设定范围为0.2～0.3 mm,圆度为某点的椭圆长短轴之比,若小于设定值5，则系统默认为标志点,再解算出亚像素级标志点图像的空间坐标。

3)在标定特征点归一化坐标后求解得到左右侧相机旋转矩阵和平移矩阵,从而确定系统内外结构及属性参数,计算平面标定靶标上的特征点在图像上所对应坐标理论值与实际坐标值的差值,即通过标定误差来检验旋转和平移矩阵的精度。

标定试验后得到的左相机内参数为:fxl=841.815 21 pixels(像素),fyl=842.208 67 pixels,ul0=294.177 68 pixels,vl0=280.592 87 pixels;旋转矩阵和平移矩阵分别为:

右相机内参数为:fxr=844.558 10 pixels,fyr=843.666 87 pixels,ur0=268.748 94 pixels,vr0=305.176 61 pixels;旋转矩阵和平移矩阵分别为:

x,y和z方向的标定误差分别为0.004 8、0.006 3、0.013 1 mm,残差为0.115 4 mm,已能够满足在非接触测量手部掌形模型三维重构和加工实现的精度要求。

2模型数据处理

2.1　手部掌形扫描

手部掌形三维信息的获取实质是以非接触测量的方式准确快速地采集到其处于空间位姿的数据。为了保证手部掌形的准确形态和便于模型重构,采用油泥模型替代手部掌形实体。利用光栅式双目三维视觉系统中3D Scan软件对某一手部掌形投射一系列光栅进行扫描,为有效排除背景噪声等干扰,设定以标定基准面为上下的空间范围-150～200 mm。标志点是随机粘贴在手部表面的易识别的点,不同扫描图像之间的自动拼接是通过标志点的识别和匹配来进行的,每次扫描后标志点被识别并给予唯一编号,公共标志点则表示在不同的扫描图像中有相同编号。为尽可能地保留实体信息,通过步进转台按一定的角度旋转获取多幅扫描图像,左右两侧相机扫描得到的图像如图4所示。为避免左右侧相机获取的图像无法匹配标志点,需要尽量使每次扫描的图像中重合的标志点较多,从而提高扫描的成功率。

图4　左右侧相机获取的扫描图像Fig.4　Scanning images from left and right side cameras

2.2　模型数据编辑

扫描手部掌形模型后解算出的各个点的数据为三维空间坐标,整体集合称为点云(point-clouds)。为尽可能地完整复现手掌的原貌,共拍摄6幅图像,每幅图像采集约180万的点云数据。对于获取的模型数据编辑主要分为点云编辑和标志点编辑。由于点云数据量直接影响后期的运算量,加上采集传感器、背景噪声等不可避免的外界因素,用编辑手段以剔除原始点云数据内的孤立点、无效点和错误点,甚至无效区域和多余区域等。

图5　60°角度采集的模型点云数据Fig.5　Point-clouds data of model acquiredon 60 degree angle

在扫描过程中存在着误差匹配现象,这些在模型外的标志点不仅不利于后期的模型拼接,反而增加拼接计算量和错误率,数据难以重新定位合并到统一的坐标系中,而且有些标志点和实际粘贴位置不符,甚至标志点存在图片质量不佳等，这些都要予以删除。随着标志点和模型数据的增加,可以选择性地提取处于部分扫描模型周围的有效标志点,以实现其与新模型的拼接,提高扫描速度和拼接准确性。扫描后的手部掌形油泥模型点云数据如图5所示。

2.3　模型优化拼接

由于拼接过程中存在测量误差、拟合误差及坐标转换误差,部分相同编号的标志点相对位置也不可能完全一致;而且在相邻的扫描点云数据重叠区域内存在大量重复的采样点,数据冗余,同时也给后续重构建模带来困难,因此，必须对点云数据进行全局优化处理,以提高模型的拼接精度。为精简计算量,对点云数据按25%的比例(即每4个点抽取1个点)采用最小二乘法进行优化处理,同时点云数据所有重叠区域内两点拼接误差若超过最大设定距离1 mm,则不会对其进行优化,点云数据量为2 043 539,经过全局优化后模型如图6所示。

图6　模型全局优化拼接Fig.6　Global optimized stitching on model

2.4　三维重构

为便于后续加工制造,应用Geomagic Studio逆向工程软件,利用滤点渲染功能、数据补缺技术删除背景部分点云数据,滤除扫描过程存在的部分无效点。加载手部掌形模型的海量点云数据,如图7(a)所示,对原始点云数据进行封装降噪,在光顺修复过程中对明显错误区域和标志点空洞等进行填复,如图7(b)所示,点与点间距设置为0.01 mm，需要运算出多边形曲面。由于三维空间内点云数据的拓扑关系较为模糊,很难直接对数据进行分割,需要将点云数据转换成三角片网格,三角片每边最多属于两个小三角片,由此建有清晰的拓扑关系,最后三角形数量为251 471个,如图7(c)所示。最终生成曲面片,共有650个,如图7(d)所示,保存为标准的三维转换iges格式。

图7　三维重构手部掌形模型Fig.7　3D reconstruction on palm

2.5　数控加工

运用数控编程软件MasterCAM加载上述标准的iges格式的预加工模型后,在设置毛坯材料尺寸、安全区域及加工部位等参数后自动实现刀具加工路径,对手部掌形模型进行模拟加工,并生成数控加工编程代码用于直接加工手部掌形零件。利用加工中心完成铣削工艺,如图8所示。同时校验刀具加工路径,并在保证加工质量的前提下,尽可能保证加工路径的合理性和准确性,以提高加工精度和工作效率。

图8　数控铣削仿真Fig.8　Simulation of NC milling

实际加工材料选择6061铝合金,刀具为硬质合金球头铣刀,选用德国DMG机床集团的数控中心NC 532。手部掌形的油泥模型和实物加工模型如图9所示。

图9　手部掌形的模型Fig.9　3D surface model of plam

3结语

1)为实现准确快捷地采集如手部掌形模型等弹性表皮易形变的空间点云数据,采用光栅式双目三维视觉系统,通过求解左右侧相机的内外参数完成高精度标定工作,由此可解算出任意待测点的三维坐标值。

2)在考虑数据冗余与计算精度平衡的情况下,扫描若干组模型图像来采集海量点云数据进行编辑处理,采用最小二乘椭圆拟合法进行优化拼接,有效保证了点云数据的完整性与精确性。对手部掌形点云数据重构过程中通过逆向工程软件进行编辑、光顺修复，以及多边形和曲面片化处理。将非接触式测量技术构建的三维模型应用于模拟和实际数控加工过程,具有工程实用价值。试验结果表明,重构模型的效果逼真度高,在快速重构和实现方面具有推广应用前景。

参考文献:

[1]顾幸方,茅耀斌,李秋洁.基于Mean Shift的视觉目标跟踪算法综述[J].计算机科学,2012,39(12):16-24.

[2]Goto S, Yamashita A, Kawanishi R, et al. 3D environment measurement using binocular stereo and motion stereo by mobile robot with omnidirectional stereo camera[C]∥Proceeding of IEEE International Conference on Computer Vision Workshops, ICCV 2011 Workshops. Barcelona: IEEE,2011:296-303.

[3]Fang Y J, Ichiro M, Berthold H. Depth-based target segmentation for intelligent vehicles: Fusion of radar and binocular stereo[J]. IEEE Transactions on Intelligent Transportation Systems,2002,3(3):196-202.

[4]Berthold H. Method and Apparatus for Reducing Motor Vehicle Traffic Flow Instabilities and Increasing Vehicle Throughput. Patent Application Publication: US, 2011/009 3177 A1[P].2011-04-21.

[5]Bensrhair A, Bertozzi M, Broggi A, et al. Stereo vision-based feature extraction for vehicle detection [J]. Intelligent Vehicle Symposium,2002,2:465-470.

[6]Toulminet G, Bertozzi M, Mousset S, et al. Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis[J]. IEEE Transactions on Image Processing,2006,15(8):2364-2375.

[7]阮晓东,李世伦,诸葛良,等.用立体视觉测量多自由度机械装置姿态的研究[J].中国机械工程,2000,11(5):99-101.

[8]解则晓,金明,辛悦向.基于双目立体视觉的光笔式三坐标测量系统[J].中国机械工程,2008,19(8):896-899.

[9]汪首坤,郭俊杰,王军政,等.基于混合群智能优化的机器人立体视觉标定[J].机械工程学报,2012,48(1):57-63.

[10]岳峰,左旺孟,张大鹏.掌纹识别算法综述[J].自动化学报,2010,36(3):353-365.

[11]刘富,侯涛,栾慧,等.掌纹轮廓特征点提取新方法[J].吉林大学学报:工学版,2007,37(4):897-900.

Hand-shape reconstruction and implementation method based on

raster binocular system in vision metrology

CAO Miaolong, LI Qiang, Jiang Wenbiao

(School of Mechanical and Automotive Engineering, Zhejiang University of Science

and Technology, Hangzhou 310023, China)

Abstract:Aiming at the characteristics of complicated texture epidermis and elasticity deformation of hand and palm form, a reconstruction and implementation method for building the model of hand-shape based on the technology of raster binocular system in vision metrology is proposed. The 3D vision measurement system is employed to calibrate the character parameter, attribute parameters and relative position of cameras in left and right side. Firstly, by two finished calibration cameras performance, we acquire data of photographed multi images from the hand-shape model with raster binocular system and global data optimization registration are accomplished. Then on this basis, the massive original point-clouds data are compiled. Finally, the hand shap model is simulated with numerical control and is also verified by practical processing. The experimental results demonstrate that the reconstruction model with non-contact measuring method is of high precision, good practicality and valuable to be referenced and promoted in application.

Key words:binocular stereo vision; camera calibration; point-clouds data; 3D reconstruction

中图分类号:TP391.41

文献标志码:A

文章编号:1671-8798(2015)01-0036-06

作者简介:曹淼龙(1978—),男,浙江省永康人,工程师,硕士,主要从事汽车零部件CAD/CAE研究。

基金项目:浙江省公益性技术应用研究计划项目(2013C32099);浙江省自然科学 (LY13E050023);浙江科技学院学科交叉预研专项项目(2013JC04Y)

收稿日期:2014-12-05

doi:10.3969/j.issn.1671-8798.2015.01.007