多视角三维视觉成像的苹果果形测量与分类

陈庆光，刘 强，张竞成，吴开华

(杭州电子科技大学自动化学院，浙江 杭州 310018)

0 引 言

苹果外形品质主要是根据尺寸、形状、重量等参数进行分级，是提升苹果商品化价值的重要环节。传统的苹果外形品质评价采用人工目测法和机械筛选法。人眼视觉判断主观性强，缺少准确性；机械接触式分级易损伤苹果，难以获得精确尺寸、形状等信息。机器视觉采用工业相机采集合适光源照明的被测物图像，运用图像处理技术实现检测、测量、识别、定位等功能，具有非接触性、可量化、准确度高等优点，在水果品质评价领域得到应用。针对苹果外形几何参数测量和分类问题，李文勇等[1]使用相机采集生长期内未成熟果实的灰度图像，通过分水岭算法和凸包理论识别和分割苹果轮廓，并以圆拟合方法测量直径。李龙等[2]采集运动状态下不同位姿的苹果图像，对提取的轮廓进行圆拟合，以直径作为检测苹果大小的依据，进行苹果外部品质评价。Gongal等[3]提出一种利用TOF相机估计树上苹果尺寸的方法，将计算所得的苹果3D点分布的最大距离作为主轴尺寸，测量精度达到69.1%。二维图像是三维空间物体在二维平面上的透视投影结果，不规则物体的投影轮廓随视角不同发生变化，采用多视角的投影轮廓无法准确反映苹果这种非规则三维物体的真实形态。

三维视觉测量采用光学成像技术重构物体数字化表面轮廓，分为被动式摄影测量方法和主动式结构光投影方法。被动式摄影测量方法通过提取被测物的特征点，结合特征匹配方法，重构三维表面[4]。但对于特征不明显的弱纹理对象，以及环境光复杂多变、干扰强、处理速度要求高等应用场合，难以满足高精度、快速测量等实际需求。结构光三维成像方法通过投影点、线或面结构光到被测物体，采集受到物体表面高度调制的结构光形变图像，结合投影源和相机的相对位姿标定结果，实现三维重建[5]。付代昌等[6]采用主动点结构光投影的Kinect立体视觉系统对温室盆栽植物的茎干进行三维重建，实现了番茄植株个体的形态可视化。Satoshi等[7]使用Kinect相机与旋转台获取苹果各个角度的点云数据，通过点云配准建立了苹果果实三维模型。王福杰[8]基于旋转式的面结构光TDOS 400三维扫描仪，实现苹果各表面点云数据的采集。主动式线结构光投影方法利用被测物与相机的相对运动，通过标定相机、线激光、运动平台三者的相对位姿，采集形变线激光图像，实现物体的三维测量。陈思豪等[9]使用单目线结构光三维扫描方法，搭配高精密平移台实现对大尺寸铝合金铸件的重构；张光龙等[10]采用线激光加工业面阵相机的激光三角法，结合图像处理精确测量水果外形三维几何尺寸。由于受本身固有视场的限制，单视角光学成像无法获得被测物全部三维表面，通常采用多视角拼接融合方案来获取全视角三维重建结果。孙国强等[11]研发了一种基于线结构光的多视角三维测量系统，用3组视觉传感器进行1次扫描，获得被测物体的整体三维信息；裘祖荣等[12]搭建了多线结构光视觉传感器测量系统，实现了大尺寸轧钢几何尺寸、形状误差、表面缺陷的实时检测；陈瀚等[13]提出一种基于多个线激光传感器旋转扫描的铸钢车轮在线三维测量技术，运用多个线激光传感器配合精密旋转平台对车轮进行三维扫描，完整获取了铸钢车轮的三维数据。主动式线激光三维重建抗外界环境光影响能力强，相机与物体相对运动的工作原理适用于工业流水线在线测量与分拣。

针对苹果外形品质评价存在的尺寸测量精度不高、果形分类不准等问题，本文提出一种基于多视角主动式线激光扫描三维视觉测量的技术方案，采用三维视觉测量技术，通过苹果三维点云重建，计算外形几何参数和果形分类模型，实现了苹果果形的准确测量和分类。

1 测量原理

1.1 多视角线激光扫描三维测量原理

线激光扫描三维测量模组由工业相机、线激光器和传送带构成。工业相机光轴与线激光投射方向成一定夹角，线激光平面垂直投影到被测物表面，被测物随传送带与相机做相对运动，相机依次采集受高度调制的线激光形变图像，根据相机的光学成像模型以及线激光平面的空间约束方程，可以由物体的二维像素坐标(u,v)解算物体的空间三维坐标(Xw,Yw,Zw)：

(1)

式中，fx，fy分别为x轴，y轴上的归一化焦距；u0，v0为图像主点在像素坐标系下的坐标；s为尺度因子；R，T为世界坐标系转换到相机坐标系的旋转矩阵和平移向量；(a,b,c,d)为线激光在世界坐标系下光平面方程的参数。

多视角三维成像装置在空间内环形配置多个线激光扫描三维测量模组，将多个视角的三维点云数据统一到一个坐标系下，进而拼接为360°全视角点云模型。因此，可以将某个视角对应的临时世界坐标系确定为全局世界坐标系，将其它视角获得的点云数据统一到此全局世界坐标系下，可得：

(2)

1.2 视觉测量系统标定原理

为确定式(1)和式(2)中所列相机内外参数、光平面参数、不同视角之间的相对位姿，进行相机标定、激光光平面标定、扫描方向标定和多相机全局标定。

1.2.1 相机标定

相机标定根据建立的光学成像模型确定相机的焦距、主点坐标等内参数，以及世界坐标系到相机坐标系的旋转矩阵平移向量等外参数。为建立准确的相机成像模型，采用三阶径向畸变系数(k1,k2,k3)和二阶切向畸变系数(p1,p2)来描述镜头的畸变。采集已知尺寸的标定板图像，求解标定板上特征点的像素坐标和投影坐标的最小优化问题来标定相机参数，

(3)

本文运用张正友标定法，使用平面棋盘格标定板，采用Levenberg-Marquardt非线性优化算法获得最优解，最终计算获得相机的内参数(fx,fy,u0,v0,k1,k2,k3,p1,p2)和外参数(Ri,Ti)。使用重投影误差平均值来评价相机标定的精度，表达式如下：

(4)

1.2.2 激光光平面标定

激光光平面标定通过采集投影在不同高度处的标定板上的线激光图像，确定激光条纹中心线，进而确定激光光平面。标定过程中，至少采集2个高度处的标定板图像，提取激光线的三维坐标(xi,yi,zi)，拟合激光平面，使坐标点到拟合平面的距离和最小，通过奇异值分解法(Singular Value Decomposition,SVD)求得激光光平面方程系数，

(5)

(6)

1.2.3 扫描方向标定

将标定板放置在传送带上并随之运动，设置图像采集间隔Δp，经过I个Δp后，标定板图像上特征点O在世界坐标系下的坐标由(X0,Y0,Z0)变为(XI,YI,ZI)，每经过Δp，被测物在世界坐标系中各坐标轴上的移动距离(Δx,Δy,Δz)如下：

(7)

相机连续采集待测物表面的形变激光图像，经过M个图像采集间隔，运用式(1)计算得到线激光上每个像素点的三维坐标(XM,YM,ZM)，根据扫描方向标定结果(Δx,Δy,Δz)，第M个截面轮廓在世界坐标系下的坐标(XwM,YwM,ZwM)为：

(8)

1.2.4 多相机全局标定

为了获取被测物表面完整的三维信息，需要进行多相机进行全局标定，利用全局标定参数将多个相机视角下的三维点云数据拼接在一起。采用两两相机标定传递的方法进行全局标定，相邻2个相机采集共同成像区域内的标定板图像，根据相机标定参数确定两相机的空间位置关系。确定相机1对应的世界坐标系为全局世界坐标系，根据全局标定参数G将其它视角相机对应的临时世界坐标系统一到全局世界坐标系，实现多视角三维数据的拼接，表达式如下：

(9)

2 实验平台

本文采用三组线激光扫描模组，为了降低多个视角线激光之间的相互干扰，采用线激光器空间错位的配置方案，实验装置如图1所示。投影装置为5 mW的一字线激光器，成像装置由MV-HS300GM千兆以太网工业相机和BT-1214MP5工业镜头构成，成像分辨率为2 048×1 536，最大帧率为38 fps，像元尺寸为3.45 μm×3.45 μm。为了解决因物体运动速度不同带来的图像扫描间隔差异问题，采用E6C4-CWZ5G轴角编码器与传送带运动轴相连，并设计了同步触发控制器，进行物体运动与图像的采集，实现了不同视角之间图像采集的同步。同时，为了降低相机成像的遮挡影响，每组均采用2个工业相机采集该视角下的线激光图像，并按照1.2节视觉测量系统标定原理，标定了实验装置。

3 基于多视角线激光扫描的苹果三维重建

苹果到达系统扫描区后，6台相机同步触发采集苹果表面形变的激光条纹图像，计算机处理图像数据从而获得6个视角下的苹果点云，经过点云预处理和孔洞修复后重建苹果完整的三维模型。

3.1 激光中心线提取与点云预处理

受表面轮廓调制的影响，投影在苹果表面的线激光条纹分布复杂多样。本文采用Steger算法[14]提取激光条纹中心线亚像素坐标，得到苹果表面及装置表面激光中心线提取结果，再根据系统标定结果，运用式(1)和式(2)计算得到全视角苹果表面原始点云数据。受装置表面的激光线散射的影响，原始点云由苹果目标点云、装置环境点云和离群点组成，影响三维重建的效果。首先，结合直通滤波法[15]和邻域半径滤波法[16]对原始点云数据进行预处理，直通滤波法主要去除装置环境点云，半径滤波法主要去除离群点，去噪结果如图2(b)所示。然后，根据全局标定参数，将去噪后的多视角点云进行拼接，得到的苹果点云数据。接着，针对标定和测量误差、“双墙”现象、重叠区域不同视角的点云位置偏差等问题，采用基于移动最小二乘法(Moving Lest Squares，MLS)[17]的点云平滑算法进行多视角点云融合，消除双墙，其中MLS拟合采用kd-tree的邻域搜索方式，邻域搜索半径设置为5，结果如图2(d)所示。最后，采用Ball-pivoting算法[18]进行曲面重建，其中设置pivoting ball的半径为5，获得苹果点云的网格化数据如图2(e)所示。

3.2 基于双向切片法的孔洞修复

相机无法采集苹果与传送带接触部分，所以苹果的网格化数据缺失部分区域数据，本文采用双向切片法修复苹果点云孔洞。对预处理后点云先后沿X，Y轴切片，获得切片截面轮廓后，利用三次B样条曲线拟合[19]，结果如图3(g)所示。

图3 苹果孔洞修复

采用上述方法得到红玫瑰、新疆红富士、冰糖心、水晶红富士、嘎啦、王林青苹果、黄元帅等7个品种苹果的三维重建模型如图4所示。

图4 苹果三维重建模型

苹果的网格化数据由三角面片组成，根据海伦公式，求解得到基于双向切片法的孔洞修复前后的样本苹果的点云模型表面积之比，得到多视角成像技术采集拼接的真实点云占样本苹果表面的85%以上。

4 苹果几何参数测量与果形分类

首先，根据点云曲率特征定位苹果梗洼和萼洼，将梗洼与萼洼的连线调整到竖直状态实现苹果姿态的矫正；然后，通过苹果点云的最小包围盒得到苹果的横径、纵径等几何参数，采用切片截面轮廓积分方法累加所有切片截面轮廓的面积获得苹果的体积参数；最后，计算切片截面轮廓与果形标准轮廓的Fréchet距离，构建基于曲线相似性度量的苹果果实形状分类模型，实现苹果形分类。

4.1 苹果几何参数测量

受苹果形态和摆放姿态的影响，苹果梗洼-萼洼方向与测量过程中所建立的全局世界坐标系不一致，导致重建的苹果点云模型主轴偏斜，影响苹果横径、纵径等几何参数的计算。为此，需矫正苹果三维点云模型的位姿。利用点云数据主曲率微分几何特征，计算点云中个点主曲率，识别并提取梗洼和萼洼区域，运用最小二乘法拟合梗洼萼洼曲面，连接两曲面顶点确定梗洼和萼洼的轴连线L1。根据L1和世界坐标系的Y轴之间的夹角α进行刚体变换，使得L1与Y轴重合，且L1中心点与坐标原点重合。运用轴对齐矩形边界框(Axis Aligned Bounding Box，AABB)法求解苹果点云的最小包围盒，根据包围盒边界范围求解苹果的横径rt和纵径rl，

(10)

式中，(Xmin,Ymin,Zmin)，(Xmax,Ymax,Zmax)分别为点云(x,y,z)方向坐标的最小值和最大值。

对矫正后的苹果三维模型，用一组(设为n+1)等间距(间距为h)的水平面沿果轴顺序切割点云，依次得到系列点云切片Si，并计算切片面积Ai(i=0,1,…,n)，物体体积V为：

(11)

4.2 基于Fréchet距离的苹果果形分类模型

Fréchet距离[20]是一种基于路径空间的曲线相似度评价参数，本文将待测苹果最大纵切面轮廓曲线与苹果果实形状的标准轮廓曲线之间的Fréchet距离构建的果形相似度作为度量评价。

(12)

式中，S为相似度，DdF为Fréchet距离。

为准确评价苹果果形，根据NY/T 2316-2013《苹果品质指标评价规范》[21]提供的果实形状评价标准，获得苹果果形的标准轮廓，提取苹果三维网格化模型多个角度的切片截面轮廓，计算与标准轮廓的Fréchet距离，根据相似度，采用投票法确定果形分类结果。

5 实验结果与分析

实验选取红玫瑰、新疆红富士、冰糖心、水晶红富士、黄元帅、新西兰嘎啦果、王林青等7个种类，共计45个苹果作为实验样本。采集每个苹果的三维点云数据，通过式(10)、式(11)得到横径、纵径、体积等参数，作为测量值。使用精度为0.02 mm的游标卡尺测量苹果，每隔45°旋转苹果，对苹果的横径和纵径进行测量，选取最大值作为苹果的横径和纵径的真实值。借助精度为10 mL的量筒，通过排水法测量苹果的体积真实值。计算测量值与真实值之间的平均绝对误差来评价苹果尺寸测量精度，结果如表1所示。

表1 苹果尺寸测量精度

从表1可以看出，测量值与真实值之间存在一定误差。分析误差来源的主要原因有：(1)使用游标卡尺手动测量果径尺寸无法保证测量结果为最大横径、纵径，从而产生测量误差；(2)使用排水法连续测量多个苹果样本体积，在更换样本苹果时造成的量筒内液体消耗，使苹果实际测量体积大于真实体积。

实验中，样本苹果的各角度切片截面轮廓和苹果的标准果形轮廓如图5所示。图5(b)为每隔45°提取的样本苹果三维模型的切片截面轮廓，图5(d)为依据国家标准NY/T 2316-2013《苹果品质指标评价规范》[21]提供的10类苹果果实形状。应用骨架提取方法提取标准果形轮廓，根据式(12)计算样本苹果各角度切片截面轮廓与10类苹果标准轮廓的相似度，通过投票法获得样本苹果的果形，结果如表2所示。

图5 样本苹果的各角度切片截面轮廓与标准轮廓

表2 基于Fréchet距离的曲线相似性的样本苹果各角度切片截面轮廓的果形判别

根据表2数据，比较样本苹果的各角度切片截面轮廓与10类苹果标准轮廓的相似度，得到0°，45°，90°的切片截面轮廓与标准果形中的偏斜形相似度最大，从而判断为偏斜形，135°切片截面轮廓果形判断为短圆锥形。在果形分类结果中，偏斜形与短圆锥形的判断比为3∶1，所以判断样本苹果果形为偏斜形。

实验中，根据提供的标准果实形状，将人眼对45个苹果的果形分类结果作为苹果真实果形数据。将最大横径、纵径所在的切片截面轮廓与标准果形轮廓进行相似度分析，其中38个苹果的判别结果与人眼判断的果形形状一致；采用本文的4个角度切片截面轮廓与标准果形轮廓进行相似度分析，其结果全部与人眼判断的果形形状一致，说明采用多角度切片截面轮廓投票判别果形的方法提高了苹果果形分类的准确率。

6 结束语

本文提出一种多视角线激光扫描三维成像技术用于苹果在线测量与果形分类。运用基于Fréchet距离的曲线相似性来判别苹果果形，综合考虑多角度切片截面轮廓的果形判别结果，使用投票法判别苹果果形，提高了果形分类的准确率。但是，本文研究存在一定的局限性，首先，苹果与传送带相接触部分的三维点云数据是通过B样条算法补全的，并非真实的三维轮廓；其次，研究过程中样本量规模较小。后续研究中，通过增设相机数量，获得更多真实的苹果三维点云数据，增加样本的种类及数量，并考虑畸形果的情况，不断完善本文提出的果形分类模型。