苹果树枝条的图像处理及角点识别研究

王君玲 高玉芝 肖春英

摘要：随着我国农业现代化的快速发展，对智能化果树剪枝设备的需求也越来越迫切，而图像处理及角点识别技术是基于机器视觉的果树枝条识别系统的基础和关键。以苹果树枝条为研究对象，运用数字图像处理技术和MATLAB软件对采集的冬春两季的苹果树枝条图像进行灰度和滤波处理、噪音消除、框架提取、图像分割、骨架细化，最终得到枝条骨架，之后采用Harris算法对枝条的角点及芽点进行识别。研究结果可为进一步开发苹果树智能剪枝机器人系统奠定良好基础。

关键词：苹果树；剪枝；图像处理；角点识别

中图分类号：TP391.41;S126   文献标识码：A    文章编号：1674-1161（2023）06-0043-04

果业不仅是我国的优势产业，也是劳动密集型产业。当前制约果园现代化发展的瓶颈是果树的修剪、授粉、疏花、疏果等环节，因为这些环节仍依靠人工作业。目前使用的电动、气动剪枝装置1台机器最少需要1人劳作，导致人工剪枝效率低、成本高及劳动力不足等问题越来越凸显，也使种植者对自动化剪枝的需求越来越迫切。因此，研究智能化果树剪枝设备迫在眉睫。

图像处理及角点识别技术是基于机器视觉的果树枝条识别系统的基础和关键。现有基于图像的枝条识别技术研究主要围绕果树的轮廓特征提取。2012年国内开始基于三维激光扫描技术和点云技术重构树木三维模型和树木骨架线提取的研究[1-4]；2015年Noha等[5]基于骨架理论探讨了处于休眠状态树木的三维重建方案，并对树枝的修剪点进行了定位；穆易等[6]利用半阈值分割法和BP神经网络边缘算法完成了复杂背景下树木主干图像的识别，并利用 Visual C++和 Matlab 设计了树干图像的识别系统；黄彪等[7]通过对枇杷枝条特征图像的分析，提出了一种枇杷枝条图像识别和框架提取的方法，开启了通过视觉识别系统构建果树枝条识别系统的先河；2019年严亚飞[8]进行了智能枸杞采摘机器人枝条识别与定位研究；2021年薛慧芳[9]基于 Kinect 深度相机获取了枸杞树的彩色图像和深度图像，以此实现了枸杞树剪枝点的二维图像识别和三维空间定位；2022年姜淑凤[10]基于TRU检测图像分割与点云处理的树木缺陷特征重建的研究内容为枝条图像处理提供了新方法。以上这些研究成果均为剪枝机器人研究奠定了基础。试验借鉴这些研究成果，以苹果树枝条为研究对象，进行冬季和春季苹果树枝条的图像识别研究。

1 图像采集与处理流程

试验使用佳能850D 数码相机进行春季和冬季苹果树枝条的图像采集；采集地为河北省唐山市开平区的苹果园；图像类型为JPG格式，图像分辨率设为720*480；联想笔记本电脑使用WIN10系统，并用MATLAB进行图像处理。图像处理流程如图1所示。

2 冬季苹果树枝条的图像处理

2.1 图像的预处理

通过对图像进行高斯滤波和中值滤波等相关处理操作，可使图像变得更加平滑，从而减少噪声的影响；然后通过自适应二值化将图像二值化，并进行开运算和闭运算，目的是去除噪点和填充对象的内部空洞；最后通过形态学处理去除小对象，来得到更加干净、准确的图像，从而为后续的图像处理和分析提供基础。

利用阈值法对灰度图像创建二值图像。在进行图像阈值化处理时，不同的阈值选择会导致处理结果的显著差异，为此设置thresh=graythresh（1）：阈值计算自动设置所需要的最优化阈值。采用MATLAB常用的经典二值化算法—otsu算法，即用最大类间方差法自动单阈值分割。从原始图像到预处理后的图像分别如图2～4所示，二值化图像如图5所示。从图4可以看出，其图像基本保留了枝条的关键特征，说明预处理方法基本正确。

2.2 骨架特征提取

由于果树枝干上各段树枝的倾斜角度不同，各个部位树枝的粗细不同，导致芽点位置难以统一界定，所以需要进行树枝的骨架化。骨架提取与图像细化类似，都是指将二进制图像中一部分像素去掉后，剩下的像素仍然能保持原来的形状，并形成图像的骨架。用骨架来表示线划图像能够有效减少数据量，降低图像的存储难度和识别难度。此过程需要进行图像分割和骨架细化。

图像分割的主要目的是将图像分成不同的区域，使每个区域都有各自的特性，并从中提取出感兴趣的目标，这样可以更好地理解和处理图像。为达到这一目标，可使用的图像分割算法众多，如边缘检测、Hough变换和直线检测等。边缘检测可以帮助识别和分割图像中的对象，其在计算机视觉和图像处理中具有广泛的应用。在MATLAB中，有多种可供选择的边缘检测算法，例如Sobel、Prewitt、Canny等，用户可以根据实际需要来选择适合的算法进行边缘检测。试验运用Canny算法来进行边缘检测。

细化是将图像的线条从多像素宽度减少到单位像素宽度的过程。MATLAB中常用的几种细化算法包括Zhang-Suen算法、Guo-Hall算法、Hilditch算法、Rosenfeld算法等。试验选用Hilditch算法进行骨架细化提取。Hilditch算法是一种基于膨胀和腐蚀的算法，其基本思想是通过多次迭代来消除图像内部的像素，然后通过一系列规则来消除图像边缘处的像素，这种算法比较慢，但是比较准确。

对图5的图像进行小对象去除后（也称去噪），提取的枝条框架如图6所示。运用最小二乘法多项式曲线拟合法对其进行空洞填充再进行颜色翻转、边缘检测和骨架细化，得到的冬季枝条边缘检测和骨架图分别如图7和图8所示。

3 春季苹果枝条的图像处理

对春季落花后的苹果树采集图像，运用和上面相同的处理流程和算法，得到的整个处理过程和最后结果分别如图9～17所示。

4 苹果树枝条的角点识别

对于图像而言，角点就是物体轮廓线的连接点。由于苹果树的剪枝需要根据角点间的位置关系来确定剪枝位置，因此在提取苹果树树枝骨架之后，需要对骨架图像上的角点位置进行检测。试验在骨架图的基础上采用Harris算法进行角点检测，并将检测到的结果还原到原始图中，以此为后期角点间的位置計算和枝条直径的计算打基础。检测结果图像分别如图18～21所示。

5 结论

对采集的冬季和春季苹果树枝条图像进行了图像灰度化、otsu二值化算法阈值分割、形态学处理，之后对图像进行降噪优化、边缘检测法来提取枝条的边缘和轮廓，并采用Hilditch算法进行骨架细化，最终得到枝条骨架。根据枝条的骨架特征对其进行枝条的角点检测与标定，可为后期运用农业技术中的苹果树剪枝原则和技巧来制定可行的剪枝点定位算法提供切实可行的视觉识别基础。

试验采用的算法和技术均常规且实际可行，程序运行工作量小，便于识别系统的开发。但对于检测角点的数量统计、角点间位置关系的确定、基于机器视觉的枝条直径检测还需进一步研究。

参考文献

[1] 卢康宁，张怀清，刘闽，等.基于三维激光扫描技术的树木建模研究[J].林业实用技术，2012（5）：56-59.

[2] 黄洪宇，陈崇成，邹杰.基于地面激光雷达点云数据的单木三维建模综述[J].林业科学，2013，49（4）：123-130.

[3] 吴升.苹果树冠层三维重建及可视化计算方法研究[D].北京：北京林業大学，2017.

[4] 郭彩玲，刘刚.基于颜色取样的苹果树枝干点云数据提取方法[J].农业机械学报，2019，50（10）：189-196.

[5] ELFIKY N M ， AKBAR S A ， SUN J ，et al.Automation of dormant pruning in specialty crop production： An adaptive framework for automatic reconstruction and modeling of apple trees[C]//Computer Vision & Pattern Recognition Workshops.IEEE， 2015.

[6] 穆易.复杂背景下树干图像分割算法及其识别系统的研究[D].天津：天津理工大学，2015.

[7] 黄彪.枇杷剪枝机器人关键技术的研究[D].广州：华南理工大学，2016.

[8] 严亚飞.智能枸杞采摘机器人枝条识别与定位[D].合肥：合肥工业大学，2021.

[9] 薛慧芳.基于Kinect的枸杞树剪枝点识别与定位方法研究[D].银川：北方民族大学，2021.

[10] 姜淑凤.基于TRU检测图像分割与点云处理的树木缺陷特征重建[D].哈尔滨：东北林业大学，2022.

Research on Image Processing and Corner Recognition of Apple Tree Branches

WANG Junling1，2， GAO Yuzhi1，2*， XIAO Chunying1，2

（1.Tangshan University， Tangshan Hebei 063000， China；2. Hebei Key Laboratory of Intelligent Equipment Digital Design and Process Simulation， Tangshan Hebei 063000， China）

Abstract：  With the rapid development of agricultural modernization in China， the demand for intelligent fruit tree pruning equipment is becoming more and more urgent， and image processing and corner recognition technology are the basis and key of the recognition system of fruit tree branches based on machine vision. Taking apple tree branches as the research object， digital image processing technology and MATLAB software were used to carry out gray level and filtering processing， noise elimination， frame extraction， image segmentation and skeleton thinning on the collected apple tree branches in winter and spring. Finally， the branch skeleton was obtained， and Harris algorithm was adopted to identify the corner points and bud points of the branches. The research results can lay a good foundation for the further development of apple tree intelligent pruning robot system.

Key words：  apple tree; pruning; image processing; corner recognition

收稿日期：2023-10-22

基金项目：唐山市科技局重点研发项目“果树剪枝机器人关键技术研究”（22150203A）

作者简介：王君玲（1971—），女，工学博士，教授，从事机械优化设计、图像处理及应用方面的研究。

通信作者：高玉芝（1971—），女，工学博士，教授，从事机械优化设计、车辆工程方面的研究。