物体三维数字化中消除遮挡孔洞的视点规划方法研究

陈天凡 高诚辉 何炳蔚

1.福州大学，福州，350002 2.福州职业技术学院，福州，350108

0 引言

利用视觉传感器、图像采集装置等机器视觉产品对目标物体进行非接触三维测量，获取物体的三维信息，实现全自动或半自动建模，是物体三维重建技术的一个重要发展方向。视点规划(view planning)亦称传感器规划(sensor planning，SP)，它利用给定的环境信息以及将要完成的任务信息来自动决定传感器参数最佳值的策略［1］，对三维重建效率、采集的图像信号数据质量、图像的后处理和分析都有较大影响。许多学者开展了视点规划的研究［2-5］，研究方法逐渐从基于模型的视点规划方法向基于未知模型的视点规划方法发展。

由于机器视觉系统本身的结构或目标物体的形状特征产生遮挡区域，故视觉传感器未能获取到目标物体上的三维信息，在物体的三维表面数据中出现点云孔洞。通过网格修补等图像处理方法解决遮挡问题［6-7］的方法可在解决形状规则和较小区域的点云孔洞时能够保证一定的精度，但有一定的局限性。

文献［8］对未知物体三维重建的视点规划分为线激光扫描侧面视点规划和上表面视点规划，侧面视点规划预测出遮挡部分的轮廓模型，结合可视空间确定消除遮挡的视点位置。针对上表面重建过程中的遮挡问题，以遮挡边界连线的法矢为依据，确定规划方案。该视点规划方法能够实现未知物体的三维重建，但物体三维重建效率和如何保证重建精度有待进一步研究。

选择遮挡孔洞部分的合适视点位置来消除遮挡部分是视点规划研究的一个重要内容。本文针对遮挡问题提出了通过建立点云孔洞边界最小包容盒以确定消除遮挡部分视点位姿的新方法，视点规划方案为先进行侧面激光扫描视点规划，再对侧面扫描产生的遮挡部分进行视点规划，提高了规划的自动化程度，并在视点规划方案中选择合适的测量距离以提高表面拟合精度。

1 研究实验方法

1.1 实验设备

本文的实验设备为五自由度机器视觉系统，如图1所示。OP为工作台旋转中心，线激光发生器和CCD摄像机组成视觉系统，机器视觉设备的5个自由度运动如下:①X方向平动，行程为－400～400mm;②Z方向平动，行程为 0～400mm，其中，激光发生器的扫描高度 H为50mm;③Y方向平动，行程为0～300mm;④绕OPZ1轴做0°～360°转动;⑤绕 OPX1轴做 －90°～90°转动。视觉系统对目标物体扫描时的运动平面与XOZ平面平行。

图1 机器视觉系统示意图

根据文献［9］的研究结果，视觉系统最小测量距离为64mm，最大测量距离为186mm，有效测量深度为122mm。测量距离影响被测物体表面的拟合精度，视觉系统测量精度δ为25～58μm。为满足系统对任意未知高度物体均能进行有效测量的要求，系统最佳可视测量深度 d为94～186mm。机器视觉系统实验装置如图2所示。

图2 视觉系统实验装置照片

1.2 孔洞边界点的判断

点云数据预拼合后，把拼合坐标系偏置到以工作台旋转中心OP为原点的坐标系，根据点云数据的Z坐标值大小细分为若干等分层，把每个等分层内的点云向X1OPY1平面投影，设定点云孔洞投影点的距离阈值为a，若X1OPY1平面上相邻投影点的距离大于a，则该投影点对应的三维空间点即为孔洞边界点。

如图3所示，将间隔为ΔZ的分层区间内的点云向X1OPY1平面方向投影，计算坐标原点OP和各投影点的连线与X1轴之间的角度γ(OP在点云数据轮廓投影点内，目标物体放置在工作台中央位置)，按角度γ大小顺序计算相邻投影点的距离。若相邻投影点 Q'i、Q'i+1的距离 |Q'iQ'i+1|=Ti＞a，则Qi、Qi+1为孔洞边界点;若相邻投影点Q'j、Q'j+1的距离 |Q'jQ'j+1|=Tj≤ a，则 Qj、Qj+1不是孔洞边界点。

图3 点云数据向X1OPY1平面投影示意图

2 目标物体表面三维扫描视点规划方法

为了有效消除遮挡孔洞问题，本文把视觉系统获取的目标物体表面三维信息的视点规划分为侧面信息激光扫描视点规划和遮挡孔洞扫描视点规划。

2.1 遮挡孔洞扫描视点规划方法

2.1.1 孔洞扫描平面方向的确定

线激光扫描中，如果用视觉系统扫描运动平面的两个平行面包容待检测的轮廓面部分，两包容平面间的距离越小，轮廓面相对视点位置的角度变化就越小，轮廓面可视性越大，拟合精度的变化量也越小。因此，利用孔洞边界点，以最小二乘法确定视点扫描方向，对孔洞轮廓面进行扫描，采集其点云数据，能够有效地解决遮挡孔洞问题，并可通过选择合适的测量深度来提高点云采集精度。

孔洞边界点为 Pi(i=1，2，…，n)，其坐标为(xPi，yPi，zPi)。假设扫描平面方向最小二乘平面M的方程为

则各边界点到最小二乘平面的距离di为

沿平面法向量方向，边界点在平面上方时，点到平面的距离di为正值，在平面下方时，点到平面的距离di为负值(下同)。

设

根据孔洞边界点的坐标值，采用最小二乘法，使得S为极小值，并求出最小二乘平面方程的参数 a、b、c值。

视点的扫描运动平面与最小二乘平面z=ax+by+c平行，其法向量 n=(－ a，－ b，1)。最小二乘平面M如图4所示。

图4 最小二乘平面

2.1.2 孔洞边界点的最小包容盒

如图4所示，过工作台旋转中心(坐标原点)OP作垂直于最小二乘平面z=ax+by+c的直线，直线与最小二乘平面相交于点OM，OM在X1OPY1平面上的投影点为O'M，OM在平面Y1OPZ1平面上的投影点为O″M。

直线OPOM的方向向量是最小二乘平面的法向量，OPOM直线方程如下:

从图 4分析可知，平面 OMOPO'M与平面Y1OPZ1之间的夹角为

直线OPOM绕OPZ1轴旋转γOM角后到平面Y1OPZ1上的直线为 OPOγ，直线 OPOγ与平面X1OPY1的夹角为

平面OMOPO'M的方程为

平面 OMOPO″M的方程为

界点Pi到平面OMOPO'M的距离:

界点Pi到平面OMOPO″M的距离:

dLi为最大值dLmax、最小值dLimin时对应的孔洞边界点分别为PL和PR，dWi为最大值dWimax、最小值dWimin时对应的孔洞边界点分别为PU和PD。

孔洞边界点的最小包容盒为由前后平面和四周平面组成的六面长方体，如图5所示。前后平面与孔洞边界点的最小二乘平面平行，分别为经过到最小二乘平面距离最大值和最小值的边界点的平行面，设dimax为孔洞边界点到最小二乘平面的最大距离，dimin为孔洞边界点到最小二乘平面的最小距离，前后包容面的距离为

图5 孔洞边界点的最小包容盒

四周平面中的左右平面与平面OMOPO'M平行，分别为经过到边界点PL和PR的平行面，左右平面的距离为

四周平面中的上下平面与平面OMOPO″M平行，分别为经过到边界点PU和PD的平行面，上下平面的距离为

2.1.3 遮挡孔洞表面扫描视点规划

遮挡孔洞的扫描运动平面与孔洞边界点的最小二乘平面z=ax+by+c平行，视点方向垂直于最小二乘平面。利用五自由度机器视觉系统研究设备进行遮挡孔洞扫描时，放置目标物体的工作台绕OPZ1轴旋转γOM角后再绕OPX1轴翻转φOM角，使工作台运动后孔洞边界点的最小二乘平面与扫描运动平面平行，即最小包容盒的前后平面与扫描运动平面XOZ平行。

此时，工作台旋转中心OP到最小包容盒前后面的距离分别是rOM+dimax和rOM+dimin。根据点云数据预拼合的轮廓形状预估遮挡孔洞轮廓的凸凹情况，判断可能超出最小包容盒前后面的距离，考虑视觉系统的表面拟合精度与测量距离之间的关系情况，选择工作台沿Y方向平移的位置。视觉系统沿X方向和Z方向的平移运动范围大于最小包容盒的四周平面范围，对孔洞轮廓表面采集点云数据。

2.2 目标物体扫描视点规划

侧面信息激光扫描视点规划参照文献［10］的方法。使用被动视觉技术获取目标物体的最大尺寸信息，根据极限曲线构建出相应的极限曲面，分析该曲面模型的可视性，最后选取能够获得最大可视区域的视点位置作为下一最优视点。目标物体扫描视点规划流程如图6所示。

图6 目标物体扫描视点规划流程图

2.3 实例应用

2.3.1 实例 1

对模型1进行三维数字化建模，利用五自由度机器视觉系统获取其表面三维信息，对侧面信息激光扫描后，三维点云数据预拼合后如图7所示，遮挡孔洞主要集中在物体上部。

图7 模型1侧面扫描点云数据预拼合

拼合坐标系原点偏置到工作台旋转中心，遮挡孔洞边界点如图8所示，其最小二乘平面M的方程为 z=－0.0328x－0.0031y+119.2538。

工作台旋转中心到最小二乘平面的距离rOM=119.1891mm，到最小二乘平面的垂足OM点坐标为(3.9073，0.3693，119.1245)。

建立孔洞边界点的最小包容盒，包容盒前后包容面的距离为8.94mm。工作台绕OPZ1轴旋转84.60°后再绕OPX1轴翻转89.94°，工作台沿Y方向平移，选取视点到最小二乘平面的距离为125mm。视觉系统沿X方向和Z方向的平移运动范围大于最小包容盒的四周平面范围，对遮挡孔洞表面进行扫描的点云如图9所示。模型1侧面信息扫描和遮挡孔洞表面扫描的点云拼合结果如图10所示。

图8 模型1遮挡孔洞边界点

图9 对遮挡孔洞表面进行扫描的点云

图10 模型1点云拼合结果

2.3.2 实例 2

对模型2进行侧面信息激光扫描，各视点下的扫描结果如图11所示。

图11 模型2侧面信息激光扫描结果

侧面扫描各视点的点云都出现孔洞，三维点云数据预拼合后如图12所示，遮挡孔洞只有3处，孔洞1和孔洞2在模型2的上部，孔洞3在模型2的下部。

图12 模型2侧面扫描点云数据预拼合

遮挡孔洞边界点如图13所示，由于上部的孔洞1和孔洞2和下部的孔洞3位置较远，分2个视点进行扫描。视点6扫描孔洞1和孔洞2，视点7扫描孔洞3。孔洞1和孔洞2的最小二乘平面 M1方程为 z=0.1707x－0.0938y+96.7238，孔洞3的最小二乘平面 M2方程为z=0.0826x+0.1105y+37.4491。建立孔洞边界点的最小包容盒，模型2各孔洞扫描视点的有关参数计算结果如表1所示。

图13 模型2遮挡孔洞边界点

表1 模型2孔洞扫描视点的有关参数计算结果

视觉系统沿X方向和Z方向的平移运动范围分别超过最小包容盒的左右平面和上下平面之间的范围，对遮挡孔洞表面进行扫描的点云如图14所示。模型2侧面信息扫描和遮挡孔洞表面扫描的点云拼合结果如图15所示。

图14 模型2孔洞扫描

图15 模型2点云拼合结果

实验中侧面信息采集时不需对各视点的扫描点云遮挡孔洞进行判断和再扫描，只要在侧面信息采集完成后对三维点云数据预拼合，进行点云孔洞的判断和视点规划，提高了规划的效率和自动化程度，取得较好的效果。

3 结语

本文把视觉系统获取目标物体表面三维信息的方法分为侧面信息采集和遮挡孔洞表面信息采集两个阶段，即先进行侧面激光扫描视点规划，再对侧面扫描产生的遮挡部分进行视点规划。为消除遮挡孔洞，本文提出了基于点云孔洞边界点最小包容盒的视点位姿新方法，将孔洞边界点最小二乘平面的平行面作为遮挡孔洞表面的扫描运动平面，在遮挡孔洞表面点云数据采集时选择合适的测量距离以提高表面拟合精度，有效地获取目标物体表面的三维数据信息。实验验证了所提方法的有效性。本文研究方法对于实现视点规划的自动化和提高目标物体三维数字化的准确度具有积极作用，遮挡孔洞表面扫描视点规划需要对侧面扫描得到的点云数据进行预拼合，确定消除遮挡孔洞表面的视点位置，适用于对物体表面有一定拟合精度要求的场合。

［1］孙九爱，吕东辉，宋安平，等.计算机视觉中传感器规划综述［J］.中国图象图形学报，2001，6(11):1047-1052.

［2］Wang Pengpeng，Gupta K.A Configuration Space View of View Planning［C］//2006 IEEE/RSJ International Conference on Intelligent Robots and Systems.Beijing，2006:1291-1297.

［3］Chen S Y，Li Y F，Zhang J W，et al.Active Sensor Planning for Multiview Vision Tasks［M］.Berlin:Springer－ Verlag，2008.

［4］Maver J，Bajcsy R.Occlusions as a Guide for Planning the Next View［J］.IEEE Transactions on Pattern A-nalysis and Machine Intelligence，1993，17(5):417-433.

［5］Connolly C.TheDetermination of Next Best Views［C］//IEEE International Conference on Robotics＆Automation.San Franscisco，1985:432-435.

［6］Pernot J P，Moraru G，Veron P.Filling Holes in Meshes Using a Mechanical Model to Simulate the Curvature Variation Minimization［J］.Computers ＆ Graphics，2006，30(6):892-902.

［7］陈杰，高诚辉，何炳蔚.三角网格模型孔洞修补算法研究［J］.计算机集成制造系统，2011，17(8):1821-1826.

［8］何炳蔚，林东艺，陈志鹏，等.三维物体视觉测量重构中解决遮挡问题的方法研究［J］.中国激光，2011，38(7):1-10.

［9］何炳蔚，周小龙.面向未知物体自动测量和重建的视点规划方法［J］.计算机辅助设计与图形学学报，2010，22(8):1374-1381.

［10］Zhou Xiaolong，He Bingwei，Li Y F.Research on

New View Planning Method for Automatic Reconstruction of Unknown 3D Objects［C］//2009 IEEE International Conference on Robotics and Biomimetics.Guilin，2009:965-970.