制造中视觉反求三维重建技术研究

惠国保，李东波，童一飞，刘明灯，王 引

(1.南京理工大学机械工程学院，江苏南京 210094)

(2.南京四开电子有限公司，江苏南京 210007)

(3.东南大学机械工程学院，江苏南京 211189)

制造中视觉反求三维重建技术研究

惠国保1，李东波1，童一飞1，刘明灯2，王 引3

(1.南京理工大学机械工程学院，江苏南京 210094)

(2.南京四开电子有限公司，江苏南京 210007)

(3.东南大学机械工程学院，江苏南京 211189)

将视觉三维重构技术引入反求制造模型重构中，在PMVS方法基础上对特征点匹配密化改进，提出对匹配点扩展、复制以及密化得到空间点云的方法，生成纹理更明显的3D模型，证明了反求制造模型重构中采用视觉三维重构技术的可行性。

视觉算法;多视体;特征点;匹配点;反求制造

1 视觉技术介绍

20世纪60年代有学者提出利用计算机视觉技术来获取三维数据。计算机视觉技术是对拍摄的图像或视频流的处理技术，是由多组二维图像通过算法处理得到三维空间信息的技术。随着计算机技术的不断发展，计算机能处理图像和视频流等较为庞大的数据，为计算机视觉技术应用到加工制造业提供了可能，且能达到与激光扫描重构模型相媲美的数据精度。

1.1 反求制造中的应用意义

将视觉技术嵌入到数控系统研究将具有如下意义:(1)高精度视觉对刀。视觉数控对刀是先通过视觉构建出待加工工件的三维模型，再将相机坐标系与机床参考坐标系转换，让机床能从相机视角观察待加工件，在任意装夹后都能对工件加工。(2)视觉反馈修正加工。将视觉立体重构的三维造型与设计模型进行表面精度对比，检查误差量是否在可接受范围内，否则生成附加机加工代码对局部进行手术式矫正。(3)视觉刀具识别加工。视觉检查数控机床加工换刀进程是否正确，鉴别加工刀具是否正确满足加工需求，若不满足则中断加工进程，直到识别出正确的刀具。(4)视觉安全自动加工。在数控加工中可能出现人员在加工危险区域内活动，通过视觉判断肢体若触及危险加工区则中断数控加工进程，并提示安全报警。

视觉数控技术为推动数控系统朝着网络化、开放式和高可靠性发展提供了动力。将来将数控机床与控制室分离，并将多种复合型数控机床整合到一个黒匣子，控制室只需通过网线对这个黒匣子监控，视觉将是安装在这个黒匣子里的眼睛。

1.2 算法研究现状

三维重构技术是计算机视觉、机器视觉等领域内重要的研究课题，其主要目的是为了从多幅连贯的图像中将现实物体还原成数字模式三维立体结构，从而实现用数字真实表达现实世界，目前在医学、考古和景区导航等领域中得到了广泛的应用。众多三维重构算法中，多视立体三维重构算法以其简单有效的优点脱颖而出。从多视立体重构的原理上来看，现阶段的多视立体重构算法大体可以分为投影切割算法［1－2］和特征匹配算法［3－11］两类:(1)投影切割算法，一般是从8幅连贯的图像中对目标物体边界投影，构成三维最初轮廓，再根据深度信息雕刻物体表面，形成最终的三维结构;(2)特征匹配算法，是从多幅连贯的图像中提取关键特征点，然后匹配这些特征点，最后进行网格化构成三维立体结构。相比投影切割算法，特征匹配算法在物体表面细节方面具有明显优势，有许多学者对此算法作出贡献:Brown M等［7］提出使用多尺度有向补丁进行多幅图片匹配算法，Furukawa Y等［11］提出PMVS和CMVS获得了更密集精确的空间点云，Lowe G［12］提出SIFT尺度不变特征检测算法，Kazhdan M等［13］提出泊松表面重构等等。总体来看，目前视觉重构技术应用于反求制造存在的问题有:(1)机械地提取一个像素的周围4个相邻的像素点作为匹配对象，容易造成匹配点疏散而不能刻画出物体细节;(2)匹配特征点选择并无统一标准，一般依据上下左右给出，鲁棒性差;(3)匹配像素由于受到领域限制，不能很好地表达出物体纹理。为了解决上述问题，本文提出一种对匹配点扩展、复制及密化得到空间点云的方法。该方法无需增加图像特征点，且参数不变，既利用了传统的4个相邻像素匹配的高效性，又借助了扩展复制密化方法的精确性，可以对物体细微结构刻画，又能对物体纹理进行整体性表达，使得重构出的三维模型能满足机加工的精度要求。

2 多视立体三维重构技术

特征匹配三维重构算法是先找出每幅图像里的特征点(角点和斑点等)，然后将每幅图像的所有特征点通过匹配算法匹配成一个个空间点，再对所有这些离散的空间点密化及网格化形成空间实体模型。因此，整个三维重构的关键是特征点的提取、匹配及密化处理，本文是对PMVS方法提出改进。

2.1 特征点的提取与匹配

首先，假设对照片Pi特征点进行检测与提取。特征点检测方法很多，比较好的是SIFT［3］。若某幅图片上的特征点d(角点和斑点)是物体表面上的关键点，该点在物体表面上的位置为o(d)，方向为n(d)，其投影到多幅图片就会在每幅图片上留下投影点e。再对每幅图片进行网格划分，每个网格大小为η×η个像素，记为，x和y分别为网格的横向和纵向序列号。物体上的一个或多个特征点有可能投影到图片的某个网格内，该网格存放的特征点投影的集合记为DPi(x，y)，在这些投影的集合中，有些投影的效果不是很好，将这些投影从网格中删除，剩下的集合记为，如图1所示。

图1 物体上特征点投影到图片上

含有投影点e的所有照片集合S(d)都是对同一个特征点d的投影，当然有些照片上的e较其他照片上的e光度差异较大，将这些照片从S(d)中剔除，剩下的照片集合S'(d)关于e的光度差异都很小。再在S'(d)中任选一张照片作为比较照片Z(d)。S(d) 与 S'(d) 有如下关系［11］:

S'(d)={P|P ∈ S(d)，N(d，Z(d)，P) ＜ λ} (1)式中:N(d，Z(d)，P)为某照片 P与比较照片Z(d)关于特征点d的投影色差值。S(d)中所有图片与Z(d)关于特征点d的色差平均值是关于d的函数，记为f(d)，即对不同的特征点d在S(d)中都有与之相对应的色差均值［12］。在S'(d)中也有相应的函数f'(d)。对同一个特征点d，选择不同的Z(d)，得到的f(d)也是不同的，所以f(d)是关于o(d)，n(d)和Z(d)的函数，f'(d)亦是如此。

物体上的某个特征点d从不同角度拍摄，得到的照片到相机光心的距离OPi(d)是不等的。根据由近到远对S(d)中所有图片排列顺序，同样S'(d)中的图片也就被排序了。根据极线(epipolar)几何，在S(d)所有图片中能找到多个与Z(d)的投影点e相对应的投影点如图1所示，记。根据成三角原理和对极线(epipolar line)原理，每对投影点(e，e')都能匹配出1个匹配点t，这样能匹配出多个匹配点ti，通过匹配优化程序可得到一个最优的t。

首先，在进入匹配优化程序前，需要对o(d)，n(d)和Z(d)进行初始化。对Z(d)的初始化是从S(d)中任选一幅图片Z1(d)，再在S(d)中选一幅图片P1，d在两幅图片的投影(e，e')就能生成一个候选匹配点t1，从而t1的位置o(t1)也就确定了。因为t1是根据三角原理和对极线(epipolar line)原理由(e，e')匹配出来的，所以t1的位置o(t1)既能与e和e'1成三角，又能与OZ(d)和OP1成三角。t1方向n(t1)指向OZ(d)。

这样匹配出的匹配点比较疏散，且含有误差，所以要以Z1(d)为中心对S(d)进行筛选。S(d)中每幅图片的光心与Z1(d)得出的匹配点t的连线，和由OZ(d)到t连线相交，两条连线的夹角小于一定的值α，比如α=45°，如图2所示。然后由式(1)可得到S'(d)。

其次，由于f'(d)是关于o(d)和n(d)的函数，因此总能找到合适的o(t)和n(t)使f'(t)最小。由o(t)和n(t)对应的Z(d)来更新S(d)和S'(d)。如果S'(d)中至少存在κ个图片满足光度差值较低的要求，则匹配出的t是一个匹配点。因此匹配点t在S(d)和S'(d)图片的投影点将被保留在相应方格内，该方格其他特征点的投影将被剔除，于是就更新了

最后，这样迭代完所有的特征点，DPi(x，y)和即为匹配点了。整个过程如图3所示。

图2 特征点可视图片筛选

图3 匹配点优化程序示意图

2.2 匹配点密化提纯处理

2.2.1 匹配点密化处理

通过以上匹配程序得到的匹配点是很疏散的，而且含有不正确的匹配点，即噪声点，所以必须进行密化提纯处理。匹配点密化的目标是使S(d)的每一个图片的每个方格里都有至少1个匹配点。方法是复制已有匹配点到相邻空的方格里。在密化前，先确定好存放复制匹配点的方格。

每一个匹配点所在的方格周围有8个相邻方格，如图4所示，记相邻方格集为G(t):

在进行密化处理前，2种情况的方格要从G(t)中排除:

图4 特征点投影可复制到的方格示意图

a.G(t)中有其他的匹配点，不能再装载复制匹配点，即2个匹配点相邻。判定2个匹配点相邻的方法是:

式中:σ为o(t)沿光心垂直照片方向到o(t')的长度，如图5所示。

图5 相邻特征点投影判断

b.相邻方格的灰度差别较大，并且不连续，这样的方格没必要复制相邻的匹配点。

排除了以上2种情况后，对照片G(t)中每一个网格GPi(x，y)采用如下程序生成新的匹配点t'。

a.对DPi(x，y)里的某个已知匹配点t，由o(t)和n(t)确定一个已知平面。经过OP1和网格GPi(x，y)中心的光线与匹配点t所在平面相交得到新的匹配点t'，如图6所示。该点位置为o(t')，该点方向n(t')是t'指向OP1的方向，将Pi作为比较照片Z(t')，观察到t'的照片集为S(t')。

图6 匹配点复制示意图

b.所有参数初始化完后，由公式(1)从S(t')中筛选出S'(t')。

c.在S'(t')内通过匹配点优化程序得到进化的o(t')和n(t')。

d.再添加些 t'的可视图片到 S(t')里，从S(t')中筛选出S'(t')。

e.如果S'(t')图片数量达到某个阈值，就认为新匹配出的点是成功的。

f.添加复制匹配点 t'到集合 DPi(x，y)和D'Pi(x，y)。

g如此迭代复制完DPi(x，y)内所有的匹配点，得到全新的DPi(x，y)和D'Pi(x，y)，至此，得到了较

为密集的匹配点云。

2.2.2 提纯该密集匹配点云方法

匹配点与复制的匹配点可能存在不正确的匹配，需要将其过滤掉。有如下3种过滤方法:

a.依据可视一致性过滤。记与当前可视信息不一致的匹配点集为E(t')，即t与t'不相邻，且存放在t可视的图片的同一个方格里，如下不等式成立［11］，t将被过滤掉。

式中:N［S'(t)］为S'(t)中图片的数量。

b.增加S'(t)中图片数量的阈值，也可以过滤掉一些匹配点。

c.对每个匹配点t计算出S(t)中所有图片在本方格或相邻方格的匹配点数，如果匹配点方格周围的8个方格少于2个方格有该匹配点，则该匹配点就被过滤掉。

至此就得到了密集而精度高模型空间有向点云了。

2.3 泊松表面网格三维重构

使用Kazhdan M等提出的泊松表面网格重构方法直接将有向点集转换为三角形网格表面模型。网格的密度和三角形边长是关于有向点集密度自适应变化的，点越密，重构出的三角形网格就越好。具体算法详见文献［13］。

3 实验与讨论

3.1 实验流程

使用FUJIS5000相机对模型车照相。自然光下，尽量在相机对模型车顺序移动150°以内拍摄。本次实验采集模型车轮廓图片130张照片。数据处理流程如图7所示。

3.2 重构模型及分析

图7 实验流程图

先对所拍摄的图片合成得到每张图片的相机标定参数，再修改PMVS软件运行参数，运行后得到空间点云的PLY文件，将其导入到MATLAB或Anlyze即可展现3D模型，如图8所示。

PMVS对匹配点密集处理时采用了对特征点投影所在方格其四相邻方格的复制操作，这样得到的空间点云仍然比较疏散。对特征点投影所在方格的八相邻方格复制后，得到更加密集的空间匹配点，生成模型的纹理更加具体，特征更加凸显，具体比较如图9所示。

重构模型有2个比较标准［3］:

a.精确性。重构出的模型占真实模型的比重。

b.完整性。真实模型占重构出的模型的比重。

依据该标准比较车模型得到量化评估数据，见表1，表中作者所提的方法可参阅文献。

从表1中可以看出，所提的方法精确性比较好的Hernandez算法提高5%，完整性方面在众多的算法中处在上游水平，所以整体来说本文提出的方法较好。下面通过图10来说明精确度和完整性在误差方面的变化情况。

图8 模型车3D重构过程

图9 两种不同匹配点复制方式比较

表1 量化评估数据比较

从图10可以看出，经过扩展的复制得到模型的效果较好，在精度和完整度上误差变化较小，重构出的模型能满足加工精度要求。

图10 小车模型立体重构量化比较

3.3 对模型反求制造方法

通过MATLAB软件，将3D模型转成STL后，导入UG添加刀路处理，得到NC代码，UG处理效果图如图11所示。

图11 UG处理界面

将UG处理完的车模型NC代码导入到南京四开电子企业的数控系统SKY2003中运行，加工运行效果如图12所示。

图12 在SKY2003运行界面

4 结束语

通过实验对比分析阐明了本文方法能获得更密集空间点云和较多纹理的3D模型。实际上，本文方法是在Furukawa Y的PMVS方法基础上在特征点匹配时增加了四相邻方格处理，从而增加了投影点的复制机率，这样可以获得更加缜密的空间点云，得到更高精度的3D模型，从而说明了反求制造模型重构中采用视觉三维重构技术的可行性。在提高精度方面，可以从特征点匹配方面继续深入研究，进一步提高模型精度，这样视觉技术才能实际应用于反求制造领域。

［1］Hernandez C，Schmitt F.Silhouette and stereo fusion for 3D object modeling［J］.Preprint submitted to Computer Vision and Image Understanding，2004，96(3):367－392.

［2］Vogiatzis G，Hernández C，Torr P，et al.Multi－view stereo via volumetric graph－cuts and occlusion robust photo－consistency［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(12):2241－2246.

［3］Furukawa Y ，Ponce J.Accurate，dense，and robust multiview stereopsis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(8):1362－1376.

［4］Pons J P，Keriven R，Faugeras O D.Multi－view stereo reconstruction and scene flow estimation with a global image－based matching score［J］.Int’l J.Computer Vision，2007，72(2):179 －193.

［5］Seitz S M，Curless B，Diebel J，et al.A comparison and evaluation of multi－view stereo reconstruction algorithms［C］.New York，USA:Proc.IEEE Conf.Computer Vision and Pattern Recognition，2006:519－528.

［6］Tran S.3D surface reconstruction using graph cuts with surface constraints［C］.Davis L.//ECCV2006.3D surface reconstruction.Graz，Austria:Proc.European Conf.Computer Vision，2006:219－231.http://www.springerlink.com/index/3477k5281tr86801.pdf

［7］Brown M，Szeliski R，Winder S.Multi－image matching using multi－ scale oriented patches［J］.Int’l J.Computer Vision，2007，75(3):208 －223.

［8］Goesele M.Multi－ view stereo revisited［C］.Curless B，Seitz S M.//CVPR2009.Multi－view stereo.New York，USA:Proc.IEEE Conf.Computer Vision and Pattern Recognition，2006:2402 －2409.http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1641048

［9］Vogiatzis G.Multi－ view stereo via volumetric graph － cuts［C］.Torr P H，Cipolla R.//CVPR2005.Multi－view stereo.San Diego，USA:Proc.IEEE Conf.Computer Vision and Pattern Recognition，2005:391 －398.http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1467469

［10］Sinha S.Multi－view stereo via graph cuts on the dual of an adaptive tetrahedral mesh［C］.Mordohai P，Pollefeys M.//ICCV2007.Multi－ view stereo.Rio de Janeiro，Brazil:Proc.Int’l Conf.Computer Vision，2007:1 － 8.http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=4408997

［11］Furukawa Y.Accurate，dense，and robust multi－view stereopsis［C］.Ponce J.//CVPR2007.Multi－ view stereo.Minneapolis，USA:Proc.IEEE Conf.Computer Vision and Pattern Recognition，2007:1 －8.http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5226635

［12］Lowe David G.Object recognition from local scale－invariant features［C］.//ICCV1999.Object recognition.Crete，Greece:Proceedings of the International Conference on Computer Vision，1999:1150–1157.http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=790410

［13］Kazhdan M，Bolitho M，Hoppe H.Poisson durface reconstruction［M］.San Diego，USA:Proc.Geom.Symp.Geometry Processing，2006.http://faculty.cs.tamu.edu/schaefer/teaching/689_Fall2006/poissonrecon.pdf.

［14］Bradley D.Accurate multi－view reconstruction using robust binocular stereo and surface meshing［C］.Boubekeur T，Heidrich W.//CVPR2008.Multi － view stereo.Anchorage，Alaska，USA:Proc.IEEE Conf.Computer Vision and Pattern Recognition，2008:1－8.http://www.cs.ubc.ca/labs/imager/tr/2008/Bradley_AccurateMultiView_CVPR/

［15］Campbell N.Using multiple hypotheses to improve depth－maps for multi－ view stereo［C］.Vogiatzis G，Hernandez C，et al.//ECCV2008.Multi－ view stereo.Marseille，France:Proc.European Conf.Computer Vision，2008:766－779.

Research on the Key Technology of Reverse Manufacturing Integrated MVS

HUI Guobao1，LI Dongbo1，TONG Yifei1，LIU Mingdeng2，WANG Yin3
(1.Nanjing University of Science and Technology，Jiangsu Nanjing，210094，China)
(2.Nanjing SKY Electron，Ltd.Co.，Jiangsu Nanjing，210007，China)
(3.Southeast University，Jiangsu Nanjing，211189，China)

It introduces multi－view stereo technology under reverse manufacturing，describes the improvement of densification and refining for matching point base on PMVS，explains a method of expandable duplicating densification of space point cloud for matching point to produce a more pronounced texture 3D model.Also it proves the feasibility of reverse manufacturing remodeling based on the technical of the visual 3D reconstruction.

Vision Algorithm;Patch Multi－view Stereo(PMVS);Feature Point;Matching Point;Reverse Manufacturing

TP271+.4

A

2095－509X(2013)03－0008－06

10.3969/j.issn.2095－509X.2013.03.002

2012－09－17

惠国保(1982—)，男，安徽肥西人，南京理工大学博士研究生，主要研究方向为嵌入式系统技术。