基于结构光视觉的联合收获机谷粒体积流量测量方法

2020-10-10尹文庆武亚楠

农业机械学报 2020年9期

尹文庆浦浩胡飞钱燕郭栋武亚楠

(南京农业大学工学院，南京 210031)

0 引言

精准农业通过制定科学的管理决策、实施生产过程的定位和定量精细调控投入，提高农业生产力、减少环境污染，实现农业可持续发展，因此推动精准农业发展具有重要意义[1]。谷物测产系统是实现精准农业的关键技术之一，通过获取作物的产量信息，建立小区产量分布图是精准农业技术体系中的重要环节之一[2]。

目前，在谷物联合收获机上安装测产系统是获取产量信息的有效途径，其核心是谷粒流量测量系统。谷物测产系统的核心部件谷物流量传感器可分为基于质量流和基于体积流两种类型。欧美主流测产系统技术成熟，并已经商业化发展[3-5]，如美国Case IH公司的AFS系统、John Deere公司的Green Star系统、Ag Leader公司的PF advantage系统等。基于质量流检测的谷物流量传感器有冲量式、称重式以及γ射线等，冲量式应用最为广泛[6]。胡均万等[7]基于冲量原理设计了双板差分冲量式谷物流量传感器，通过差分消振电路，提高了传感器抗振动干扰的能力,田间实际测量误差小于5%。周俊等[8]采用平行梁冲量传感器，通过增加敏感元件结构阻尼、传感器输出信号动态补偿以及谐振干扰滤波等方法克服环境引起的测量误差,田间测产误差约为10%。张小超等[9]基于称重原理研发了粮食产量流量测量系统及产量分部信息软件，台架试验误差小于2%。γ射线测量精度较高，但由于其放射性以及成本高昂等因素制约了其发展。基于体积流检测的谷物流量传感器主要有对射式、漫反射式、结构光等。随着计算机技术和图像处理技术的发展，采用光电传感器测产成为研究的热点。赵湛等[10]采用对射式光电传感器测量谷物厚度，建立光电信号与收获机谷物产量数据转换模型，测量相对误差小于6.5%。付兴兰等[11]采用漫反射式光电传感器测算脉宽信号,编码器实时测量升运器转速,建立分段式谷物产量转换模型,设计了光电漫反射谷物流量测量系统，田间测产误差约为3.5%。杨刚等[12]基于线结构光源和机器视觉设计了谷物测产系统，采用电感式接近开关解决了系统误触问题，建立转速的线结构修正模型以减小误差，台架实验误差小于4.27%。综上，双板冲量式谷物流量传感器通过差分运算减小振动对测量精度的影响，但不同机器的差异性难以建立准确统一的修正模型。基于体积流的检测大多基于升运器，使用成本较高，且机器振动影响较大，对试验结果有一定影响。

目前，物体表面轮廓检测和重建技术已不断成熟，结构光三维视觉是近年发展起来的光学测量方法，适于测量不规则物体表面[13]。本研究采用滑槽输送谷物，利用滑槽运输量大、结构简单等特点，基于激光三角法原理建立结构光三维视觉系统，利用编码器获得谷粒流速度，设计滑槽输送谷粒体积流量测量系统，以实现滑槽输送谷粒体积流量的测量。

1 系统总体结构与工作过程

谷粒体积流量测量系统总体结构见图1，由激光器、工业相机、滑槽、测速模块以及谷粒体积计算模块组成。滑槽作为输送谷物的平台，截面宽、高分别为200、100 mm，滑槽的倾角可调节，倾角调节范围为15°～45°，为了实现谷粒在滑槽中平稳流动，在滑槽上部装有挡板。根据滑槽尺寸及实际安装需求，选用FU650AB100-GD16型一字线激光器，激光波长为650 nm，激光器安装于滑槽正上方并与滑槽垂直，选用大恒MER-131-210U3M型黑白相机(分辨率为1 280像素×1 024像素，帧率为210 f/s可调，图像格式为bmp)，通过USB 3.0接口将采集的图像传输给谷粒体积计算模块。根据视场范围，选用M0814-MP2型相机镜头，焦距为8 mm，工业相机物距大于320 mm。系统拍摄视场为200 mm×160 mm。测速模块由编码器、驱动滚轮和计数器组成，光电旋转编码器型号为乐全HS15H60G-1258BH-N2，圆周分辨率为1 258 p/r。

图1 测量系统结构图Fig.1 Measurement system structure diagram1.激光器 2.工业相机 3.滑槽 4.测速模块 5.谷粒体积计算模块

系统开始工作时，谷粒物料顺着滑槽向下运动至结构光平面处，激光发射器发出的线结构光照射在谷粒流表面，工业相机实时采集滑槽输送的谷粒流结构光轮廓的变化图像。结构光轮廓实时变化，反映了谷粒流截面积的变化，结构光轮廓曲线与滑槽结构光曲线围成的截面即为谷粒流的截面积。测速模块中的驱动滚轮随着谷粒流动而转动，光电编码器输出滚轮转速脉冲信号即可测量出实时的谷粒流速。根据获得的谷粒流的截面积及对应的谷粒流速，即可计算出该时刻的谷粒流体积，实时累加后获得输送的谷粒物料的体积。测量系统流程如图2所示。

图2 测量系统流程图Fig.2 Measurement system flow chart

2 谷粒体积流量算法

2.1 参数标定

采用试验参数标定法对系统参数进行标定,标定光路图如图3所示。

图3 标定光路图Fig.3 Calibration light path diagram

线激光照射在物体表面，反射光线通过透镜中心O在成像平面上成像，OO1为成像物距，OO2为成像像距，θ为入射光线与最低点的反射光线夹角，α为最低点反射光线与成像平面夹角。当物长为h2时，对应成像平面像素偏移值为d1；当物长为h2时，对应的成像平面像素偏移值为d2，因为相机安装于滑槽上方固定位置，即d、b、θ、α为固定值，物长与像素偏移值具有一一对应的关系[14]。为了得到物长与像素偏移值的关系，在试验台上安装一部辅助激光发射器，它与测量激光线形成十字激光，同时在测量激光平面上安装激光测距仪，如图4所示。

图4 试验标定设备安装图Fig.4 Installation drawing of test calibration equipment

在测量激光线安装架上选取4个辅助激光器的安装位置，每个安装位置向滑槽填充谷粒20次，如图4a所示，每次填充谷粒后读取激光测距仪的数据及CCD相机拍摄的图像对应点的像素偏移值，每个测点重复测量10次取平均值。利用曲线拟合法对4个安装位置采集的标定数据进行最小二乘法拟合，标定关系曲线如图5所示。平均相对误差为0.93%。

图5 标定关系曲线Fig.5 Calibration relationship curve

2.2 结构光图像预处理

为了获取滑槽输送的谷粒流表面线激光轮廓的边界点，提取感兴趣区域(RoI)图像，确定RoI尺寸为1 280像素×600像素，空载状态下激光照射位置滑槽轮廓如图6a所示，用极值法对图像轮廓坐标进行提取，由于相机拍摄视场相对于滑槽位置不变，根据滑槽结构光轮廓特点，分3段进行最小二乘法曲线拟合[15]，如图6b所示，滑槽轮廓的表达式为

(1)

式中z——z轴方向像素偏移值

y——y轴方向像素偏移值

图6 滑槽轮廓Fig.6 Trough profile

图7 谷粒流结构光轮廓提取方法Fig.7 Grain flow structured light contour extraction method

为了消除采集过程中环境光对结构光图像的干扰，采用5×5模板的中值滤波算子进行滤波处理,如图7a所示；对结构光图像采用极值法进行边界检测与提取[16]，如图7b所示。图中横坐标为y轴方向像素偏移值，纵坐标为z轴方向像素偏移值。通过阈值判定法提取谷粒结构光轮廓Zc，将提取的结构光轮廓减去空载时滑槽轮廓，得到判定值ΔZ。

(2)

通过试验验证选取阈值Tc=5，当ΔZ≥Tc时，判定为谷粒流轮廓点；当ΔZ

2.3 谷粒流截面积计算

通过标定结果，将谷粒流轮廓边界坐标转换为对应的谷粒流实际物理值。如图8a所示，k为当前时刻拍摄获取的物料截面帧数，因相机在y方向(谷粒流截面方向)上分辨率大于1 000像素，可将相邻两点间连线近似看作线性变化[17]，则在第k帧时，第i个梯形微元面积为

ΔS(i,k)=(Zik-Z′ik+Z(i+1)k-Z′(i+1)k)Δy/2
(i=1,2,…,x；k=1,2,…)

(3)

式中x——每帧谷粒流截面边界特征点数

Δy——y轴方向相邻梯形微元的中心点距离，由数字图像处理可得

则在t时刻，谷粒流瞬时截面积为

(4)

式中m——y轴方向上梯形微元总数

图8 谷粒流体积计算模型Fig.8 Grain flow volume calculation model

2.4 谷粒流速度计算

为了获取谷粒流的流速，在滑槽的中央装一个半径为40 mm的滚轮，当谷粒经过激光扫描区域后带动滚轮旋转，采用光电旋转编码器测量滚轮的转速，通过电子计数器通讯功能将数据传输至计算机。谷粒流速测量结构图如图9所示。

图9 谷粒流速测量结构图Fig.9 Grain flow measurement structure1.滚轮 2.安装板 3.编码器 4.电子计数器

为了在较宽速度范围内实现高精度测速，使用M/T测速法，即在预定时间内同时对编码器输出脉冲与时钟脉冲计数[18]，其测速原理如图10所示。

图10 M/T法测速原理图Fig.10 Principle of M/T method for speed measurement

所测得的转速为

(5)

式中m1——编码器输出脉冲数

m2——时钟脉冲数

fs——时钟脉冲频率

N——编码器旋转一周所输出的脉冲数

n(t)——编码器的转速

则谷粒流速为

v(t)=2πrn(t)

(6)

式中r——旋转半径

v(t)——谷粒流速度,由运动控制器测出

2.5 谷粒流体积计算

设谷粒流以速度v(t)沿滑槽运动，则S(1)、S(2)、…、S(n)为第1、2、…、n帧线激光谷粒流轮廓截面面积，如图8b所示[19]。

设t时刻，谷粒流瞬时截面积为S(t)，则瞬时体积p(t)为

(7)

式中f——图像采集帧率

则在t时间内，根据公式n=tf计算得出截面积数n。那么t时间内谷粒体积P(t)为

(8)

3 试验结果与分析

为了获得不同物料体积、相机的图像采集帧率以及滑槽倾角对测量误差的影响，选用的试验体积有17.6、24.8、32.0、39.2 L共4种早灿307水稻，滑槽倾角为15°、20°、25°、30°，图像采集帧率为40、60、80、100 f/s。每个试验重复4次[20]，试验因素水平见表1，试验结果见表2。采用正交试验法，选用L16(43)正交试验表安排试验。

表1 试验因素水平Tab.1 Factor levels of experimental design

由表2可知，在滑槽倾角为30°、谷粒体积为17.6 L、相机的图像采集帧率为100 f/s时，最小测量误差为0.74%，在滑槽倾角为20°、谷粒体积为39.2 L、相机的图像采集帧率为40 f/s时，最大测量误差为5.2%。通过对表2极差分析可得[21]：各因素对谷粒体积测量误差的影响由大到小依次为RA、RC、RB，所以谷粒体积对测量误差的影响最大。在谷粒体积一定时，相机的图像采集帧率对测量误差影响较大，达到显著水平，滑槽倾角的影响相对较弱。如图11所示，滑槽倾角对谷粒体积测量误差的影响呈正相关，相机的图像采集帧率对谷粒体积测量误差的影响呈负相关。

4 结论

(1)构建了基于结构光三维视觉的滑槽输送谷粒体积流量的测量系统。该系统主要由激光器和工业相机组成，可以实时获取滑槽谷粒流表面的结构光图像。

(2)通过对结构光图像进行预处理和采用阈值判定法可以获得谷粒流截面的包围轮廓，采用梯形微元法分别建立了滑槽中谷粒流的截面积计算模型和体积计算模型。

(3)进行了正交试验,研究滑槽倾角和图像采集帧率对谷粒体积流量误差的影响。在4种谷粒体积流量的测量中，当测量体积为17.6 L、滑槽倾角为30°、结构光图像采集帧率为100 f/s时，测量误差最小，为0.74%；当测量体积为39.2 L、滑槽倾角为20°、结构光图像采集帧率为40 f/s时，测量误差最大，为5.2%。系统测量误差不大于5.2%，重复试验变异系数不大于0.021，均方根误差不大于1.268 L。