球形水果表面斑块成像失真度控制与实验

刘 婷 芮成杰 李海涛 张绍英

(中国农业大学工学院， 北京 100083)

0 引言

水果的表面形态一定程度上反映其内部品质和商品价值。通过相机成像采集水果表面信息进行逐个甄别是一种常用的机器视觉在线分选方法。表面缺陷斑块形状、尺寸作为伤残和病变特征常被视为机器视觉分选的重要依据，因此，机器视觉分选过程实质上是利用特定成像条件准确评判缺陷斑块的过程。依据水果表面缺陷为特征参数进行分选的相关研究[1-5]大多集中在图像处理算法和数据-指标关系建模算法[6]，即通过对采集到的图像进行分析、处理来提高基于图像信息分级的精度，缺乏对于原始图像精度的研究。

理论上，获取水果表面的三维信息更能真实、全面地反映水果的表面品质。目前，利用深度相机、双目立体视觉技术或柱镜板三维成像技术来重构水果表面三维图像的方法，已尝试应用在静态目标的识别和定位上[7-8]。但三维图像重构拥有的表面信息量大，采集时间长，重建过程涉及到大量密集的点云数据处理，对于海量单体进行在线、动态、逐个甄别时数据运算量大、效率低、系统配置性价比低。可见，利用二维图像作为分选依据仍然是水果分选的重要手段。

以水果表面的二维图像信息为机器视觉分选依据，获取水果表面图像时，常采用单相机固定成像[9-12]、多相机固定成像[13]、变换姿态多次单(多)相机固定成像[14-18]以及面镜反射单(多)相机固定成像[19-21]等方法，利用多幅平面图像实现对水果表面的全部覆盖。受水果表面形状及几何成像规律的制约和相机球形失真的影响，水果平面成像时，位于不同位置的斑块在图像中的失真度各异，且不同的几何、光学参数的配置也对失真度产生不同的影响，从而直接影响分级的准确性。

用二维图像反映球面信息，目前常用多幅不同角度的图像进行拼合的方法。每幅反映部分球面的二维图像在不同区域的失真度也不相同。当需要通过控制失真度来保证分选精度时，则需对每幅二维图像中满足失真度要求的有效区域进行分割、界定。另外，在线分选时定机位图像采集对每幅图像的失真度进行关联物料位置、姿态的多因素分析，运算数据量过大。

为此，提出了一种以面积失真度——在成像区域内的球形物料表面任意位置的缺陷斑块覆盖CCD像素点数与球形物料球心和缺陷斑块中心均位于光轴上时(正成像)缺陷斑块覆盖CCD像素点数的比值，来衡量二维图像不同区域图像失真的评判方法。其中，缺陷斑块正成像覆盖CCD像素点数记作基准斑块成像面积。与通常图像的比例、位置失真包含的复杂关系不同，由于几何、光学参数及缺陷斑块尺寸阈值确定后，基准斑块成像面积即可确定，仅需判定缺陷斑块像素数即可获得面积失真度，从而划定满足分选精度的二维图像的有效采像区域。

不同成像参数配置下，球形物料图像中的有效采像区域尺寸和形状不同，为了简化计算，将各CCD有效采像区域对应转换为球面上的有效采像区域后，再在球面有效采像区域内分割出可进行数学表达、形状规则的球冠区域作为覆盖单元，即可保证位于覆盖单元内的缺陷斑块的面积失真度满足要求。进一步将多个覆盖单元对球面进行冗余包覆，并通过物料位置、姿态调整对各覆盖单元采像，即获得满足分选精度要求的球形物料表面信息。由此可见，成像系统各参数配置完成后，覆盖单元的确定是实现球形物料表面信息真实、全面采集的前提。

本文基于水果在线机器视觉分选的成像方法，利用射影几何原理，通过建立位于采像区域内球形物料成像侧面上任一缺陷斑块在CCD图像中的面积函数，确定满足特定面积失真度的有效采集区域的简化划定方法，为信号采集时确定物料位置区间、相机空间布局以及多次、动态采像过程的物料姿态调整提供理论依据，从而减少在线动态成像的数据采集量和运算处理量，提供一种可降低成本的高速运算的成像系统配置方法。

1 成像系统几何模型建立

水果在线分选时，旁置相机对一定行程内做直线运动的水果进行多幅成像是主要的图像采集方式。球形水果表面上不规则的(单个或散点状)缺陷斑块常以等效外接圆直径标定(图1)。据此建立的成像系统几何模型(图2)包含物料及缺陷斑块尺寸、缺陷斑块在物料表面位置、相机光学参数、物料与相机相对位置等多重几何关系，利用此模型，通过计算图像中位于球形物料表面上圆形区域面积，可获得不同参数组合时缺陷斑块面积的失真程度。

图1 缺陷表现形式及等效外接圆Fig.1 Forms of fruit surface defects and equivalent circumscribed circle

图2 成像几何模型示意图Fig.2 Diagram of imaging geometry model

为便于分析，设相机光轴和物料球心运动方向位于同一平面内。图2中，O为相机光心，Π为CCD成像面，f为光心到成像面的距离(焦距，mm)，L为相机光心到球心运动轨迹的垂直距离(物距，mm)，ω为球心和相机光心的连线与光轴的夹角(偏心角，(°))，H为球心到光轴的距离(偏心距，mm)，D为球形物料直径(球径，mm)，d为缺陷斑块等效外接圆直径(斑径，mm)。

1.1 面积失真度及有效采像区域定义

获取缺陷斑块真实的图像是机器视觉分选的重要前提。

缺陷斑块简化的等效外接圆，在旁置的固定CCD上所成图像存在不同程度的变形。根据几何光学原理可知，当相机光学参数及物料与相机相对位置确定后，仅当等效外接圆垂直于光轴时其所成的图像(面积最大、像素点占用最多)为圆形，此圆直径d0与d存在可知的比例关系。视d0为理想值，可定义任意等效外接圆图像的面积失真度为

(1)

(2)

S=πd2/4

(3)

式中S0——基准斑块成像面积

S——任意缺陷斑块成像面积

d0随着等效外接圆在物料表面位置、相机光学参数、物料与相机相对位置的变化而变化。当δ过大时，以S0为指标进行缺陷判断的准确率降低。

针对不同的分级要求，确定面积失真度阈值A后，在δ≤A前提下，等效外接圆在球形物料表面上所处区域即为有效采像区域。

1.2 缺陷斑块成像面积通用算法

依据缺陷斑块图像与成像系统几何、光学参数的关联关系，建立了如图3所示的固定坐标系σ、球形物料运动轨迹位置坐标系σ1、球形物料球心位置坐标系σ2、缺陷斑块等效外接圆形心位置坐标系σ3、缺陷斑块等效外接圆边界点位置坐标系σ4。

图3 斑块成像的坐标变换图Fig.3 Coordinate transformation diagram of plaque imaging

所有坐标系为右手笛卡尔坐标系，其中：

(1)σ(O;i,j,k)中，O与相机光心重合，j与光轴重合，k与物料运动轨迹平行。

(2)σ1(O1;i1,j1,k1)中，O1与物料运动轨迹和光轴的交点重合，k1与物料运动轨迹重合，j1与j重合。

(3)σ2(O2;i2,j2,k2)中，O2与球心重合，k2与物料运动轨迹重合，j2平行于j。

(4)σ3(O3;i3,j3,k3)中，O3与O2重合，i3与i2夹角及j3与j2夹角均为α，k3与k1重合。

(5)σ4(O4;i4,j4,k4)中，O4与缺陷斑块等效外接圆圆心重合，k4为与O4重合的球径方向(O2O4方向)，i4同时垂直于k1和k4，k4与k1的夹角为β，缺陷斑块等效外接圆边界上任意一点与i4的夹角为θ。

Π′是CCD镜像等效投影面。

球心O2在坐标系σ中的位置向量

lOO2=-Lj+Hk

(4)

缺陷斑块等效外接圆圆心O4在坐标系σ中的位置向量

lOO4=lOO2+lO2O4

(5)

(6)

式中m(α,β)——旋转矩阵

式中α和β的取值范围由球形物料在运动轨迹方向上任意位置时，CCD能感应到的采像区域的边界决定。

缺陷斑块等效外接圆边界上任意一点P在坐标系σ中的位置向量

lOP=lOO4+lO4P

(7)

(8)

e(θ)=cosθi+cosθj(θ∈(0,2π))

(9)

式中R[k,α]、R[j,-β]——旋转矩阵

lOP的单位向量lop为

(10)

OP与等效成像面Π′相交，投影关系为

-u(lopj)=f

(11)

式中u——OP与成像面相交的条件系数

缺陷斑块上的任意一点P与成像面上的交点P0的位置向量

lOP0=ulop

(12)

在固定坐标系σ下坐标为

(13)

由式(4)～(13)可得，物料位于采像区间任意位置时，其采像区域边界内任意缺陷斑块等效外接圆成像面积S的表达式为

(14)

式中n——正整数

1.3 特定面积失真度下有效采像区域计算及选定

由相机光学参数、物料和缺陷斑块的几何尺寸，利用相似三角形可得

(15)

则基准斑块成像面积

(16)

由式(14)、(16)可得到满足δ设定值的等效外接圆心在CCD上平面闭合边界曲线，进而可得到与平面闭合边界曲线对应的球面闭合边界曲线，球面闭合边界曲线外偏移d/2后形成的扩展闭合曲线包围的面积即为有效采像区域(图4)。

图4 有效采像区域的选定Fig.4 Selection of effective image region

为了规范表达和冗余覆盖，以交于扩展闭合曲线、且与OO2间夹角最小的球径为母线，以OO2回转轴分割得到的球冠(球心角λ0)区域即为有效采像区域。

(17)

为了直观显现有效采像区域预测规律，以球形水果(D=80 mm)缺陷斑块(d=10 mm)检测为例，设定面积失真度阈值A=20%，f=50 mm，L=500～1 000 mm、H=-1 000～1 000 mm，利用Matlab建模，通过控制变量法分别绘制有效采像区域球心角λ0与几何参数的函数关系曲面图(图5)。

图5 λ0与几何参数函数关系曲面Fig.5 Function relational surface diagram

由图5a可知，在选定采像条件下，当L确定后，λ0的变化规律呈对称于H=0平面的“M”双脊峰形。随着偏心距H的增大，λ0逐渐增大并出现最高值，随后下降。表明以面积失真度作为评判指标时，在其他参数确定后，视场宽度存在最佳值，且球心与光轴重合处λ0最小。而随L的增大，λ0呈现起伏上升，对有效采像区域的提升有利，但缺陷斑块占有的像素数和CCD的利用率减少。L应与CCD分辨率一并考虑后选定，以保证缺陷斑块占有一定的像素数。

当L确定后，在采像区域范围内，随着球心角λ0的增大，缺陷斑块的失真度呈上升趋势。

利用上述理论预测方法进行成像系统配置及有效成像区域确定时，对特定的球形物料、面积失真度以及可用的物距范围，可利用多变量非线性函数λ0极值求解，并以缺陷斑块占有足够的像素数且使视场宽度接近λ0双脊峰距为原则，确定L、H具体值后，最终计算得到λ0。

2 有效采像区域预测结果的成像验证

受特定相机、镜头光学特性的影响，实际成像时会存在不同程度的图像失真。为考证预测方法的有效性，根据机器视觉分级时常见的系统布局，搭建了成像系统，如图6、7所示。

图6 成像系统示意图Fig.6 Image system diagram1.支架 2.载物台 3.载物台调平钮 4.CCD相机 5.调姿块 6.半球体 7.缺陷斑块标识片 8.有效采像区域边界

图7 成像系统实物图Fig.7 Image system

成像系统配置为：工业相机(DFK 33GP1300型，分辨率1 280像素×1 024像素，CCD 6.4 mm×4.8 mm)。2/3″靶面手动光圈定焦镜头(0814M3M型，8 mm)[22]。几何参数为D=80 mm，d=10 mm，λ0min=79.32°。成像系统中，光轴垂直交于矩形载物台中心。

为了检验预测效果，在工业相机视场宽度的边缘、光轴和两者之间的中位分别放置5个半球体并为各半球体配置相应的调姿块，可保证OO2垂直于半球体底面。

位于不同成像位置的半球体表面上对应标识有效采像区域边界。以最小球心角λ0min标记有效采像区域，验证半球体位于各采像工位时有效采像区域内各缺陷斑块是否满足失真度要求。根据选取的L值及对应的相机视场宽度，得到相应的中位和边缘处对应的放置位置参数，由三角关系可求得偏心角ω，各位置的偏心距、物距、调姿块倾角及所标记的最小球心角λ0min见表1。

表1 边缘、光轴和中位半球块的标识参数Tab.1 Identification parameters of hemispheric blocks at edges, optical axes and median

由图5可知，缺陷斑块位于球形物料表面上的覆盖单元边界时δ最大，故缺陷斑块标识片放置在半球体表面有效采像区域周边，并使缺陷斑块标识片边缘与有效采像区域边界内切。

对采集到的彩色图像(图8)，利用NI Vision Assistant图像处理软件，依次进行掩膜处理、灰度图像提取、二值化处理和粒子分析(选择面积分析)，其运算结果(自动对缺陷斑块编号)见图9，分别将各缺陷斑块面积及失真度计算结果记录在表2中。

图8 不同采像距离下获取的图像Fig.8 Images obtained at different distances

图9 粒子分析运算结果Fig.9 Particle analysis operation results

由表2可见，位于有效采像区域内缺陷斑块的面积失真度均小于预设值20%，表明面积失真度理论预测算法可满足以工业相机为核心的成像系统对分选精度的控制要求。

尽管物距增加时有效采像区域内缺陷斑块的面积失真度减小，但缺陷斑块所占用的CCD像素数减少，CCD的像素利用率降低，同时系统占用空间增加。实际生产中，在线、动态成像易出现图像拖尾，缺陷斑块在图像上边界模糊，有效区域分割误差大，缺陷斑块所占像素数越少，分选误差率越高，因此，物距的选定应保证缺陷斑块所占像素数量。

由于球形水果的形状不规则，为评价水果形状变化对缺陷斑块失真度的影响，选取类球形水果——埃及甜橙进行图像采集实验。依照GB/T 12947—2008中的鲜柑桔分级标准差值，选取直径为(80±2.5) mm的埃及甜橙作为实验对象(表3)，直径相差5 mm以内视为同一成像条件配置组，样本数为5。

根据埃及甜橙的结构特点，分别选取果轴与光轴重合、果径与光轴重合、介于果轴与果径间的半径与光轴重合(中间姿态)3种姿态对有效采像区域进行标定(图10)。

有效采像区域划定方法、有效采像区域内缺陷斑块的标记方法、物距参数、采像位置参数均与理论验证实验相同。

每个甜橙采集27幅图像。分别计算各幅图像中每个缺陷斑块面积失真度，统计满足失真度要求的缺陷斑块所占比例，结果如图11所示。

实验结果可得，所采集5个样本中位于采像有效区域内的1 080个缺陷斑块成像面积失真度，满足失真度要求的缺陷斑块比例分别为：97.38%、97.33%、94.22%、96.44%、97.78%。其中，δ>20%的缺陷斑块数目分别为L=600 mm时为7个，L=800 mm时为20个，L=1 000 mm时为11个；5个样本中，缺陷斑块成像面积与基准斑块面积比，L=600 mm时为0.79～1.19，L=800 mm时为0.70～1.15，L=1 000 mm时为0.74～1.20。

表2 标记缺陷斑块的成像面积Tab.2 Image area of labeled defect plaque

表3 样本几何尺寸Tab.3 Geometry of sample

图10 3种姿态对应的有效采像区域Fig.10 Effective image region corresponding to three postures

由图11可知，5个水果不同标记部位处满足失真度要求的缺陷斑块所占比例分布特征一致，表现为当果轴、果径与光轴重合时有效采像区域内缺陷斑块的失真度明显小于中间姿态。

图11 埃及甜橙有效采像区域内满足失真度要求的缺陷斑块比例Fig.11 Proportion of defective plaques in effective image area of Egyptian sweet orange that met requirements of distortion

结合本实验的样本特点，斑块失真度大于设定值20%主要受水果形状不规则、局部曲率半径变化的影响。

3 结论

(1)在视场宽度方向有效采像区域随着偏心距的变化规律呈对称于光轴的“M”双脊峰形，视场宽度选取宜接近“M”双脊峰跨距。

(2)提出了一种以面积失真度控制机器视觉分选精度的有效采像区域的界定方法，有助于减少在线检测的运算量。研究结果表明，特定采像条件下，当失真度阈值A为20%，求得最小球心角λ0min为79.32°来划定有效采像区域，采集到的5个半球块位于不同采像工位及其对应的采像姿态下的图像，有效采像区域内各缺陷斑块面积失真度均小于20%，满足失真度控制要求；同样地，5个埃及甜橙样本中，满足失真度要求的缺陷斑块比例分别可达：97.38%、97.33%、94.22%、96.44%、97.78%。

(3)研究结果可为特定分选精度下成像系统的几何、光学参数配置提供理论依据，并为在线动态成像时物料运动和姿态调控以及成像次数预测提供参数支持。