基于立体视觉测量的棉花顶芽识别定位技术研究

李建亮，支辛蕾，曹清政，王莹莹

(北京振兴计量测试研究所，北京 100074)

0 引言

棉花是我国经济作物的重要组成部分，也是我国纺织工业的主要原料[1]。棉花打顶是棉花生长周期内的一个重要环节，通过对棉花打顶，可使棉花顶芽的生长优势得到抑制，改变养分输送方向，促进棉株结铃结桃，从而提高棉花的质量和产量[2]。目前棉花打顶作业主要有人工打顶、化学打顶和机械打顶方式[3]。随着我国农业土地政策的不断完善，棉花种植逐渐向规模化种植趋势发展[4]，为了减轻劳动强度，提高棉花品质，机械化打顶越来越成为棉花打顶的主要方式[5]。

目前的棉花打顶机大多是对全行棉花高度仿形进行打顶，去除棉花顶芽的同时也会将棉花顶芽周围的侧枝和叶子损坏，降低了棉花的产量[6]。现有测高传感器精度参数指标有限，打顶机还普遍存在过切率和漏切率高的问题。因此必须提高棉花顶芽识别和定位准确性，实现打顶机精准打顶，才能推进棉花打顶机在棉花打顶领域的推广应用[7]。本研究将立体视觉测量技术应用在棉花打顶机上，结合深度学习识别算法和双目视觉视差原理，得到单株棉花顶芽的空间位置坐标，实时控制打顶执行装置完成棉花打顶作业，实现棉花的精准打顶作业。

1 棉花顶芽识别定位系统整体架构设计

棉花顶芽识别定位系统工作原理如图1所示，通过双目相机实时采集棉花图像，并将采集的图像数据传送至工控机，通过工控机内识别定位算法得出棉花顶芽的空间位置坐标，并将位置信息反馈给打顶作业执行器控制系统，控制执行器完成棉花打顶作业。

图1 棉花顶芽识别定位系统原理

棉花顶芽识别定位系统采用分层思想进行模块化设计，系统架构如图2所示。设备层中的双目相机是识别定位系统的基础，数据层中的相机参数配置文件提供相关数据给双目相机校正标定和空间位置测量使用，可见光双目视频数据提供给智能识别模块和多目标匹配模块进行识别定位算法计算，在结果层得出棉花顶芽的识别结果和空间三维坐标，在输出层将结果数据显示并存储，后续提供给执行装置控制系统使用。

图2 棉花顶芽识别定位系统架构

2 视觉系统设计

2.1 双目相机

两个双目相机选用大华科技3000系列A3200CG50工业相机，相机参数和镜头参数分别如表1、表2所示。针对棉田具体的使用环境，对相机和镜头进行一体化封装和调试，保证了视觉系统的可靠性。视觉系统结构如图3所示。

表1 双目相机参数

表2 镜头参数

图3 视觉系统结构

2.2 相机标定

为了建立目标的图像像素坐标与空间位置坐标之间的关系，即图像坐标系与世界坐标系之间的关系，需要对相机进行内参标定和外参标定[8]，从而求解出相机的内参数和外参数。相机的内参数反映的是图像坐标系到相机坐标系之间的投影关系，包括4个内参数和5个畸变参数；相机的外参数反映的是相机坐标系和世界坐标系之间的旋转和平移关系，包括外部参数旋转矩阵R和平移矩阵T。本系统采用张氏标定法对相机进行标定，具体步骤如下：

(1) 设计16×14正方形黑白棋盘格标定图纸，每一个小正方形格子大小为(50×50) mm，将其贴在平面物体的表面。

(2) 提取角点信息。用左、右相机同时采集各个不同角度的标定模板图像，并检测每张棋盘格的特征点(即角点)。由于棋盘标定图纸中所有角点的空间坐标是已知的，其在棋盘格图片中的像素坐标也是已知的，因此可根据LM等优化方法求解单应性矩阵H。

(3) 分析左、右相机标定的误差。

(4) 将标定实验时左、右相机在世界坐标系下的实际位置关系和黑白棋盘格标定板实际摆放位置进行立体校准。

双目相机的标定如图4所示。由图4可以看出，仿真重现位置关系和实际情况基本符合，双目立体标定基本正确。

图4 双目相机的标定

3 棉花顶芽智能识别定位系统

3.1 棉花顶芽识别

棉花顶芽的形态各异，双目相机的拍摄距离、角度及环境光照条件等对棉花顶芽的识别效果有很大影响。复杂的场景和工况对系统的准确识别定位提出了更高的要求,因此系统采用深度学习算法——YOLOv3算法对棉花进行智能识别[9]，通过前期采集大量棉花顶芽图片作为数据集训练样本，由人工在采集样本上标注棉花顶芽的位置，提取棉花的有效特征参数，将数据集通过设计的智能识别算法进行学习训练后，实现对棉花顶芽的实时、准确识别，提高了系统的实时性和准确性[10]。

3.2 棉花顶芽位置测量

由双目相机采集左、右两幅图像分别完成对棉花顶芽的识别后，需将两幅图像的识别结果进行匹配，检测到目标为同一株棉花顶芽，然后才能对顶芽目标进行空间位置测量，以获取该株棉花顶芽的空间位置坐标。本系统采用尺度不变特征转换(SIFT)算法进行左、右相机识别图像的匹配。SIFT是一种局部性特征描述方法，通过在不同的尺度空间内查找目标特征点，并计算特征点方向[11]，完成图像匹配。

将左、右相机识别的图像匹配后，利用双目立体视觉的视差原理测量物体的空间位置三维坐标，实现深度场的恢复。两个相机的图像平面和被测物体之间构成一个三角形，已知相机间的位置关系，便可计算出双目相机公共视场内空间物体特征点的三维坐标[12]。

3.3 系统软件设计

基于深度学习的棉花顶芽智能识别定位系统软件主要包括综合控制模块、数据采集模块、数据编解码模块、智能识别模块、双目相机多目标匹配模块、空间位置测量模块、监控模块和数据传输模块。棉花顶芽识别定位系统软件流程如图5所示。

图5 棉花顶芽识别定位系统软件流程

4 现场试验

4.1 系统识别试验

在山东滨州机采棉基地对设计的棉花顶芽识别定位系统进行现场试验。

首先对不同训练条件下产生的模型文件进行了测试，即对12 603张图片数据集生成的训练模型文件进行测试及分析，包含背光、逆光、强光、弱光、顶芽不同生长阶段、顶芽存在遮挡等不同类型的测试集，每张图片中平均有约3个～5个棉花顶芽，其中12 202张图片内的所有棉花顶芽能被完全识别；257张图片中的棉花顶芽目标识别小于2个，识别率可达到96.81%；144张无效图，即图片中无棉花顶芽或部分图像模糊。

然后，本系统在棉田对实际棉花顶芽进行识别试验，分别在一天中不同时刻对棉花顶芽进行识别，如图6所示。不同时刻对棉花顶芽的识别率是不同的，经测试计算最佳识别率可达到91.45%。产生识别率下降的原因可能是由于不同时刻太阳光照强度不同导致。可以看出该智能识别在棉花顶芽识别定位方面得到很好的应用，并按此推断后期对系统软件算法进行优化和增加专用光照系统后，会有效提高系统的识别率。

图6 不同环境下识别试验

4.2 视觉定位测量试验

在打顶试验前，首先用标号签对将要测试的棉株依次进行标号，用直尺手动测量双目相机距离棉花顶芽最上端的距离，按照序号记录在表格中；然后将识别定位系统放置在棉花顶芽位置，打开系统对棉花顶芽进行识别，识别结果如图7所示。系统界面会显示视觉定位棉花顶芽的数据，将测试结果记录在表格内，如表3所示。由表3可以看出，采用立体视觉方法测量的棉花顶芽距离与实测距离非常接近，误差在10%以内，可以满足棉花打顶机的使用需求。

图7 视觉定位测量试验结果

表3 视觉定位测试数据

5 结论

针对棉花打顶机中棉花顶芽识别定位精度低、时效性差的问题，将立体视觉测量技术应用于棉花机械打顶作业中，结合深度学习智能识别算法和双目视觉测量原理，设计了一套棉花顶芽识别定位系统。系统能实现对棉花顶芽位置的快速准确测量，并给出棉花顶芽的空间位置坐标，驱动打顶执行器到打顶位置，实现对棉花顶芽的精准打顶。通过棉田试验表明，本系统能实现对单株棉花顶芽的快速精准打顶作业，为棉花打顶精细化作业提供了技术保障，对棉花品质和产量的提高具有重要意义。