面向摘取的番木瓜三维重构与特征参数提取

张炳超，夏　娟，李志伟，张敬业，夏红梅

(华南农业大学 南方农业机械与装备关键技术省部共建教育部重点实验室，广州　510642)



面向摘取的番木瓜三维重构与特征参数提取

张炳超，夏娟，李志伟，张敬业，夏红梅

(华南农业大学 南方农业机械与装备关键技术省部共建教育部重点实验室，广州510642)

摘要：准确获取番木瓜体表三维几何特征信息是研制番木瓜摘取装备的前提与基础。为此，基于逆向工程技术，以广东台农2号一线黄番木瓜为对象，利用Sense 3D激光扫描仪进行点云数据采集，通过Sense软件对点云数据进行预处理，运用Geomagic Studio软件进行三角网格化点云数据，创建格栅并拟合NURBS曲面，实现番木瓜表面的三维重建。对番木瓜曲面模型进行偏差分析，得到最大偏差距离为正0.08mm和负0.08mm，平均偏差距离为0.004mm，标准偏差为0.015mm，表明重构曲面模型满足摘取装置设计精度要求。应用Pro/E软件对岭南和台农2号番木瓜进行三维重构和外形特征参数测量，结果表明：两个品种番木瓜外形和尺寸都具有较好一致性，岭南品种外形为粗短型，台农2号外形为细长型；岭南番木瓜抓取直径大于86.02mm，抓取点距离末端执行机构高度大于89.1mm；台农2号番木瓜抓取直径大于89.07mm，抓取点距离末端执行机构高度大于73.41mm。提取的特征参数为番木瓜采摘末端执行机构提供了设计依据。

关键词：番木瓜；逆向工程；曲面重建；参数提取

0引言

获取番木瓜果实三维体表形状和几何特征信息是研制开发番木瓜自动采摘装备的前提与基础[1-2]。现有测量果实体表形态和几何特征参数的方法主要有游标卡尺测量和二维图像采集分析方法。游标卡尺测量仅能获取果实二维最大轮廓极限数据；图像采集分析方法以计算机图像处理为基础，可拟合出果实二维外形曲线，获得果实二维外形轮廓特征，但仍难以准确再现果实三维非规则的自由曲面形状[3-6]。逆向工程(Reverse Engineering, RE)是一项对复杂外形曲面有很好适应性的工程反求技术，是将实物转变为三维CAD模型的数字化技术、几何建模技术和产品制造技术的总称，具有快速、精确地获取实物三维几何数据信息的优点，已经成为CAD/CAM系统中一个研究和应用热点[7-12]。为此，本文基于逆向工程对番木瓜果实进行三维扫描和处理，实现番木瓜体表数据信息的采集与三维实体重构，提取并分析番木瓜果实外形特征参数，为番木瓜机械采摘末端执行器的结构设计提供基础。

1番木瓜的点云数据采集和预处理

1.1　材料与方法

根据测量探头是否与零件表面接触，逆向工程中物体表面三维点云数据获取方式大致可以分为接触式和非接触式两大类。非接触式同时拥有捕获速度快和精度高的特点，在逆向工程中应用最为广泛。我国常见番木瓜品种三维尺寸在100mm×100mm×200mm范围内[13]，依据采摘装置设计与分析要求，番木瓜体表几何数据信息采集精度应在±0.1mm之内。综合测量对象、测量精度、测量灵活性与性价比等因素，选取非接触式的Sense 3D激光扫描仪，其三维方向扫描尺寸为0.2～3m，分辨率为0.4mm，具有外形尺寸小、扫描范围广、扫描速度快、成像显著等优点。其配套Sense软件能使整个扫描操作简单，并带有编辑工具，能对扫描的点云数据进行预处理。

扫描对象选取华南农业大学园艺学院种植试验田的台农2号品种的番木瓜，果实成熟度为一线黄。将番木瓜的上部果梗处及底部固定在转动支架上，将室内灯光调节均匀明亮，使扫描物体颜色更加真实。根据番木瓜果体大小选择Sense软件中的物体类型和大小，定位校准扫描距离为380mm，确保扫描图像放置在软件屏幕中心后开始扫描。扫描开始后，缓慢转动支架，确保扫描图像放置在软件屏幕中心，如扫描过程中出现Lost Tracking，需重新定位扫描。

1.2　点云数据预处理

扫描完成的图像存在大量杂质，且带有支架等特征信息，需要进行点云数据预处理，如图1(a)所示。首先利用Sense软件自动滤除杂质，分割图像仅保留与研究相关的番木瓜果体，如图1(b)所示；再剪裁由于去除模型扫描干扰产生的棱角，填充分割模型产生的孔洞；最后经由渲染、实体化处理得到点云数为41 568、三角形数为83 043的初步的番木瓜模型，如图1(c)所示。

图1　番木瓜点云数据预处理

2番木瓜模型曲面重建

2.1　曲面重建方法

测量数据处理是逆向工程的关键环节，其结果直接影响后续模型重建质量。Geomagic公司的Geomagic Studio是当前市场上具有代表性的逆向工程设计软件之一，能对点云进行很好的拼接和精简，支持多种测量设备文件格式读取和转换、海量点云数据的预处理、智能化NURBS曲面构建等。其新增的Fashion模块可以通过定义曲面特征类型来捕获物理原型的原始设计意图，并拟合成精准的CAD曲面[14]，因此选取Geomagic Studio软件进行对点云数据的处理和曲面重建。

基于Geomagic Studio软件对番木瓜的点云数据精简处理及曲面重建主要包括点阶段、多边形阶段和形状阶段。点阶段主要进行数据格式转换、数据对齐、噪声去除、数据平滑、数据精简和点云数据三角形网格化，目的是建立完整、整齐、有序及可提高处理效率的点云数据。多边形阶段主要进行缺失数据修补、边界编辑、修复相交三角形和截面特征线提取，目的是获取光顺、完整的三角面片网格及零件的轮廓几何特征线。形状阶段是对具有复杂、不规则曲面且曲面质量和模型精度要求不高的模型，对三角面片网格分片得到子网格曲面直接拟合NURBS曲面，从而得到一个理想的曲面模型，具体工作流程如图2所示。

图2　曲面重建工作流程

2.2　点阶段处理

将点云数据预处理生成的番木瓜模型PLY文件导入Geomagic Studio软件进行点阶段处理。通过Adjust Colors将点云进行着色，更清晰、方便地观察番木瓜点云的形状，如图3(a)所示。利用Select Disconnected和Delete Outliers模块中的Low Separation去除离主点云很近但不属于它们一部分的223个点，结合Sensitivity把离番木瓜主体较远的点云全部删除，如图3(b)所示。分离去除不多于Size 5.0的点云数据，即去除5%的点云总量，点云数减少到39 277，减少点云数量的同时提高后续处理效率，如图3(c)所示。进行Reduce Noise处理时，Third Smoothness Level使数据平滑， Deviation Limit降低模型偏差点的偏差值为0.1mm，其他参数保持默认值，以便于封装时点云数据统一排布，更好地表现真实的番木瓜形状。再利用Uniform Sample模块中的0.6mm Spacing保持模型精确度，减少点云数据量，提高运算效率。最后，确定Surface Wrap Type，依据初始番木瓜三角形数量67 926个调节Target Triangles完成封装，使点云数据转换为多边形模型，如图3(d)所示。

图3　点阶段处理结果图

2.3　多边形阶段处理

创建Open Manifold模式，删除模型中的非流型的三角形数据。扫描过程中存在人为或光线等原因使部分点云数据未获取成功，根据孔洞类型用Fill Holes模块进行填补，如图4(a)所示。应用Decimate Polygons模块中的Reduce to Percentage 60，在不妨碍模型表面细节和颜色的前提下减少三角形的数量到66 818个，进一步通过Curvature Priority保证简化后的模型特征与原模型保持一致，防止变形，如图4(b)所示。利用Sandpaper重建多边形网格，去除污点及不规则的三角形网格使番木瓜模型表面更加平滑，确保Fix Boundary防止打磨强度过大，出现局部变形，如图4(c)所示。运用Relax Polygon调整三角形的抗皱夹角，使三角形网格更加平坦和光滑，完成Fix Intersections，使界面提示没有相交的三角形，如图4(d)所示。

图4　多边形阶段处理结果

2.4　形状阶段处理

根据番木瓜的外形特征，利用Detect Curvature模块定义Curvature Level，按照探测粒度和曲率级别生成的黑色轮廓线和橘黄色轮廓线(模型最高曲率线)将曲面划分为多个曲面片，如图5(a)所示。利用Promote/Constrain轮廓线，完成橘黄色的轮廓线与黑色轮廓线之间的相互转化，如图5(b)所示。以橘黄色轮廓线为主曲率线进行Shuffle Panels，移动黑色轮廓线，使曲面片等量分布，如图5(c)所示。完成Edit Contours模块，调整边界轮廓线，松弛轮廓线和曲面片，使其分布均匀，如图5(d)所示。结合Construct Grids在模型表面进行格栅的构建，如图5(e)所示。通过NURBS(非均匀有理B样条方法，能精确表示二次曲线弧和二次曲面的方法)曲面处理技术，Fit Surface拟合一个连续的曲面到格栅网上，完成曲面的拟合，如图5(f)所示。

2.5　曲面偏差分析

通过Geomagic Studio将拟合的曲面与拟合前的点云数据进行比较来，可分析拟合曲面的几何精度偏差，并可适当调整曲面模型来减小偏差，使拟合曲面模型满足几何精度的要求。以点云为参考对象，通过3D compare分析，得到变差分析结果，如图6所示。其最大偏差距离为+0.08mm和-0.08mm，平均偏差距离为0.004mm，标准偏差为0.015mm。曲面偏差分析结果表明：该番木瓜重构模型能够满足±0.1mm几何精度要求，可应用到摘取装置的设计与分析中。

图5　形状阶段处理效果图

图6　曲面偏差分析结构

3番木瓜特征参数提取和分析

3.1　特征参数提取目的

为获取番木瓜采摘末端执行机构设计尺寸参数，基于上述曲面三维重建方法，获取番木瓜三维重构模型；利用Pro/Engineer软件对番木瓜三维模型进行参数测量，提取番木瓜外形特征参数。如图7所示，番木瓜沿果梗方向为纵向，与果梗垂直方向为横向；横径为番木瓜横向直径最大截面的直径；上、下部高度是指番木瓜横径所处截面到番木瓜顶点、底端的垂直高度；纵径指番木瓜顶点到底端沿纵向的长度；果形指数为纵径与横径比值。

3.2　特征参数提取方法

选取广东岭南和台农2号番木瓜各20个，进行体表数据采集与三维曲面重建。考虑番木瓜外形不规则，首先利用Pro/E软件创建横径所在截面，在横径截面上做出最大外接圆和最小内切圆，分别测量最大外接圆和最小内切圆直径，取二者均值作为横径尺寸；再通过Pro/E软件中的距离测量模块得到番木瓜的纵径、上部高度和下部高度尺寸；最后，由纵径和横径比值计算出果形指数；每个特征参数测量3次取平均值。

图7　番木瓜树体及外形参数特征示意图

3.3　特征参数提取结果分析

特征参数提取结果如表1所示。

表1番木瓜外形特征参数提取与分析

Table 1The extraction and analysis of papaya’s external physical characteristic parameters

品种特征参数最小值/mm最大值/mm均值/mm标准差变异系数/%岭南横径78.3386.0282.083.043.70纵径134.1162.32147.549.826.66上部高度62.8780.8470.066.509.28下部高度69.2189.177.486.338.17果形指数1.691.941.800.084.54台农2号横径75.1789.0779.835.106.39纵径141.41159.3151.575.023.31上部高度80.1190.0784.822.873.38下部高度61.373.4166.754.286.41果形指数1.722.021.900.105.00

岭南和台农2番木瓜样本外形尺寸差异均小于10%，果形与尺寸大小具有较好的一致性。岭南比台农2号番木瓜横径均值大2.25mm，纵径均值小4.03mm，果形指数均值小0.10，表明岭南品种属于粗短型，台农2号品种属于细长型。依据番木瓜类长椭球形果型特征，采摘果实抓取位置选取在横径处，岭南番木瓜抓取直径应大于86.02mm，抓取点沿纵径方向距离末端执行机构应大于89.1mm；台农2号番木瓜抓取直径应大于89.07mm，抓取点沿纵径方向距离末端执行机构应大于73.41mm。

4结论

1)基于逆向工程技术，选取非接触式Sense 3D激光扫描仪，获取番木瓜果实体表点云数据，经Sense软件处理得到初步的番木瓜点云数据模型。

2)利用Geomagic Studio软件对番木瓜模型进行点阶段、多边形阶段、形状阶段的数据处理，拟合形成NURBS曲面，构建番木瓜曲面模型。

3)通过偏差分析，得到番木瓜曲面模型最大偏差距离为+0.08mm和-0.08mm，平均偏差距离为0.004mm，标准偏差为0.015mm，表明该番木瓜重构曲面模型能满足几何精度要求，可应用到摘取装置的设计与分析中。

4)利用Pro/E软件对岭南和台农2品种番木瓜进行外形特征参数提取。岭南和台农2两个品种番木瓜外形和尺寸差异均小于10%，具有较好的一致性。岭南品种属于粗短型，台农2号品种属于细长型。末端执行机构采摘番木瓜抓取位置选取在横径处，岭南番木瓜抓取直径应大于86.02mm，抓取点沿纵径方向距离末端执行机构高度应大于89.1mm；台农2号番木瓜抓取直径应大于89.07mm，抓取点沿纵径方向距离末端执行机构高度应大于73.41mm。

参考文献：

[1]蓝峰，苏子昊，黎子明，等.果园采摘机械的现状及发展趋势[J].农机化研究,2010,32(11)：249-252.

[2]姬伟，李俊乐，杨俊，等.机器手采摘苹果抓取损伤机理有限元分析及验证[J].农业工程学报,2015(5)：17-22.

[3]吕继东，赵德安，姬伟.苹果采摘机器人目标果实快速跟踪识别方法[J].农业机械学报,2014(1):65-72.

[4]Sarkar N，Wolfe R R.Computer vision based system for quality separation of fresh market tomatoes[J].Trans of the ASAE，1985，28(5)：1714 -1718.

[5]熊俊涛，邹湘军，王红军，等.基于Retinex图像增强的不同光照条件下的成熟荔枝识别[J].农业工程学报,2013(12)： 170-178.

[6]李斌，汪懋华，李莉.基于单目视觉的田间菠萝果实识别[J].农业工程学报,2010(10)：345-349.

[7]刘同海，滕光辉，张盛南，等.基于点云数据的猪体曲面三维重建与应用[J].农业机械学报,2014(6)：291-295.

[8]陈龙健，李诚，张安琪，等.基于逆向工程的D型打结器重构与运动仿真[J].农业机械学报,2014(12)：104-108.

[9]张锐，杨明明，潘润铎，等.鸵鸟足底非规则曲面形貌数学模型构建[J].农业工程学报,2015(S1)：71-78.

[10]郭培闪，杜黎明.运用Geomagic Studio实现点云数据的曲面重建及误差分析[J].地理信息世界,2015(1)：57-60.

[11]刘立晶，杨慧.基于Geomagic Design软件的导种管三维逆向工程设计[J].农业工程学报,2015(11)：40-45.

[12]陈建能，王英，张翔,等.基于共轭凸轮的强制推秧机构反求设计[J].农业工程学报, 2011(3)：98-102.

[13]龙明华，唐小付，刘文君，等.水果番木瓜品种适应性比较试验[J].广西热带农业,2007(3)：1-3.

[14]成思源，谢韶旺.Geomagic Studio 逆向工程技术及应用[M].北京：清华大学出版社，2010：1-14.

Feature Detection and Three-dimensional Reconstruction for Papaya Harvesting

Zhang Bingchao, Xia Juan , Li Zhiwei , Zhang Jingye, Xia Hongmei

(Key Laboratory of Key Technology on Agricultural Machine and Equipment(Ministry of Education),South China Agricultural University, Guangzhou 510642, China)

Abstract：A promise and foundation of developing a mechanical picking equipment of papaya is the free form feature of papaya surface obtained accurately. According to Reverse Engineering, three-dimensional point cloud data for a variety of papaya which is called “Tainong number two” belonging to Guangdong Province are collected using a Sense 3D scanner and disposed by a Sense software. The three-dimensional reconstruction of papaya surface is achieved by triangulation of point cloud data, creating large number of grids, and fitting NURBS Surfaces apply to a Geomagic Studio software. The maximum deviation(±0.08mm), the mean deviation(0.004mm) and the standard deviation(0.015mm) are obtained from variance analysis of the Geomagic Studio software. All in all, the feasibility about three-dimensional reconstruction of papaya surface can satisfy the picking equipment’s accuracy requirement for design and analysis. The papaya’s 3D-model and external physical characteristic parameters which belong to two varieties named lingnan and tainong number 2 show preferable consistency about its shape and size using the software called Pro/Engineer. The result indicates the lingnan’s shape is stubby, and the tainong number 2’s shape is tenuous. The lingnan’s grabbed diameter is greater than 86.02mm. Its vertical height from the grasping position to the surface of the picking mechanism is greater than 89.10mm. Similarly, the tainong number 2’s two parameters are greater than 89.07mm and 73.41mm. It can offer basic data for the design of a mechanical picking machine.

Key words：papaya; reverse engineering; surface reconstruction; parameter extraction

中图分类号：S126；S225.93

文献标识码：A

文章编号：1003-188X(2016)12-0212-05

作者简介：张炳超(1989-)，男，山东东营人，硕士研究生，(E-mail)8856121.hi@163.com。通讯作者：夏红梅(1975-)，女，湖北黄梅人，副教授，硕士生导师，博士，(E-mail)xhm_scau@tom.com。

基金项目：国家自然科学基金项目(51005080)

收稿日期：2015-11-06