基于无人机机器视觉的西瓜侦测创新农场管理模式

(佛山科学技术学院粤台人工智能学院，广东 佛山 528225)

在海南、山东、新疆、甘肃、河南省焦作市以及宁夏中卫市等地，西瓜种植面积一般都很大，从几百亩到几十万亩不等(例如宁夏硒砂瓜种植面积达86万亩)。西瓜田种植地形多属于广大凹凸不平的黄土坡地或是河川沙地；其种植环境条件不利于用人力或农用车辆进行管理，特别是西瓜盛产时的产量预估或计数管理。本文提出一个基于无人机机器视觉之西瓜侦测创新农场管理模式，使用图像处理方法，利用高空无人机对西瓜农场拍摄的西瓜分布图，进行成熟西瓜侦测及计数。在西瓜盛产时，这一管理模式可大量减轻瓜农预估产量所耗费的人力和物力。

目前无人机空照西瓜田侦测相关研究非常少，电脑视觉主要侦测的水果类别多为柑橘类、苹果类或蔬果类相关树上结果植物。许多种植果树的农场，即使种植区域面积不大，也需要快速、有效的方法来盘点成熟果实[1]。利用无人机机器视觉对柑桔果园农场的成熟果实计数特别有用， 目前大部分机器视觉果实侦测相关研究，大多在柑桔、苹果果园进行。She等人提出利用无人机机器视觉进行果实计数的两种不同算法[2]，第一种方法适用于柑桔等树冠形植被分布均匀的农作物，通过柑桔树冠形与地表背景分离，根据平均柑桔树冠形， 实现果实计数方法。第二种算法应用于圆锥形圣诞树的计数，包括定位和计算特定区域内的局部反射率最大值，其数值代表圆锥形树木种植数量。2018年，有学者提出植物密集区域计数困难的问题，并提出支持向量机(SVM)方法来进行分类[3]。IBM 研究团队提出利用机器学习技术计算柑橘树的研究，结合卷积神经网络解决高密度场中的精确计数问题，获得超过 94%的识别准确度[1]。除植物计数外，在水果计数方面也获得许多学者的关注与研究。Rahnemoonfar 等证明机器视觉算法用于计算成熟番茄的数量[4]， 可以达到 91%的准确率。

本文提出的快速精准西瓜侦测方法，主要基于 HSV 颜色模型高分辨识别度，其优点是分离彩色(色调、饱和度)和非彩色(值)信息，提供彩色(色调、饱和度)和非彩色(值)信息独立，有助于提高西瓜果实及西瓜根茎叶颜色识别率；其次，使用形态学膨胀侵蚀递回运算操作程序，以消除西瓜侦测处理过程中的干扰信息，初步侦测西瓜果实的真实轮廓；最后使用图像处理的二值化以及灰值化处理，进一步侦测西瓜果实的真实轮廓，最后将西瓜轮廓数值，映射到原始 RGB 彩色图像，获得西瓜最后侦测结果。本文使用Python 以及OpenCV 进行图像处理及西瓜侦测，使用一般个人电脑平台进行实验。实验结果显示，对成熟可采收的大西瓜可精确侦测，部分尚未成熟的小西瓜或是被西瓜根茎叶遮蔽的大西瓜，则无法有效被侦测。整体实验结果显示，本文所提出的西瓜侦测方法能有效侦测大部分的成熟西瓜。

1 文献回顾

1.1 无人机系统机器视觉在农场管理中的应用

在精准农业创新管理领域技术中，基于机器视觉之成像传感器扮演最重要的角色[5-6]。传统上，航空图像只能从卫星或飞机上采集，例如从卫星遥距拍摄感兴趣的图像或通过飞机采集特定图像[7-8]，使用卫星或飞机上安装的多光谱和高光谱相机来达成。图像的内容可以用来计算各种植被指数以判别植被变化程度。由于从卫星拍摄地表特定区域，其拍摄成本较高，拍摄距离比较远，同时拍摄覆盖的区域较大。与其他方法相比，得到的图像通常具有高的时间分辨率，但显示具有较低的空间分辨率[9]。为达到低成本、高空间分辨率,以产生更详细的图像，使用无人机拍摄地表感兴趣区域，成为新趋势[10]。无人机摄像机机器视觉在农业领域管理应用范围，除水果蔬菜农产品侦测外，还有植物生长威胁因素检测管理、农场杂草侦测与管理等。

1.2 植物生长威胁因素检测管理

植物生长威胁管理因素主要包括：灌溉水不足或是过量，植物营养不足或营养过剩以及植物病虫害。利用无人机系统来检测植物生长威胁因素，在农业上应用广泛。灌溉水胁迫因素检测，主要通过农作物水分胁迫指数(CWSI)的组合来检测，基于利用热成像[11]进行判别。植物营养不足或营养过剩胁迫因素，主要基于氮缺乏检测。Zaman Allah 研究如何利用无人机上多光谱相机的 NDVI 数据来呈现玉米的低氮胁迫耐受性[12]。应用无人机系统进行植物病害自动检测，是近几十年利用机器视觉管理农业病虫害的一个热门领域。因为不同植物病虫害中，个别病害可能具有明显不同症状。AlSaddik等利用多光谱摄像机监控不同波段纳米范围， 检测到葡萄园中的黄热病，准确率超过 94%[30]。Kalischuk等研究显示，无人机辅助侦察，比传统单一侦察的西瓜胶茎枯萎病早期检测率提高20%[13]。

1.3 农场杂草侦测与管理

许多植物学家利用无人机发展潜力,研究如何利用机器视觉将农场农作物(小麦和蔓越莓)与杂草分割出来，以绘制杂草地图[14]。有学者评估麦田杂草检测所需的最佳飞行条件，为杂草检测提供无人机最佳飞行高度[15]。随后许多研究基于这一工作基础，为无人机配备 RGB 和多光谱照相机，以测量杂草植被指数和农作物植物高度数据，并且应用于玉米和甜菜农场。Pflanz 等提出一个称为视觉词汇袋(Bag of Visual Words)的图像分类器和一种支持向量机(SVM)来绘制麦田杂草地图。Bah等应用Hough变换技术以及像素的空间关系，进行农田中的杂草检测[16]，获得良好分割辨识结果。拉斯穆森等开发杂草检测程序，只需从无人机上采集RGB图像即可实现。该方法包括将正交镶嵌图划分为若干子块，计算多余的绿色指数值，进行分类步骤，最后生成杂草和作物分割的杂草图[17]。

2 无人机机器视觉在农场西瓜侦测计数管理中的应用

2.1 无人机高空西瓜农场摄像

本文所提出之无人机机器视觉应用于农场西瓜侦测方法，实验图像是由无人机在西瓜农场上空拍摄获得。利用无人机拍摄高空农场图像是常见的图像获得方式，许多无人机成像传感器和相机是为专门高空摄像而开发。每一个无人机平台都有特定有效载荷，因此限制可使用的成像设备尺寸。同时随着有效载荷增加，无人机同时面临加速、减速、稳定性以及滞空时间的限制[16]。另一个主要考虑因素是拍摄图像时的飞行速度。如果没有合适的摄像机相关算法，飞行速度太快可能导致图像中感兴趣物件产生运动模糊；但是最新开发具备高悬停能力的无人机，可解决上述运动模糊问题。无人机摄像传感器主要包括标准 RGB 彩色摄像机、多光谱和近红外摄像机、高光谱摄像机、热传感器和深度传感器等[17]。

2.2 基于轮廓外形特征的西瓜侦测技术

2.2.1 色彩空间转换

本文所提出的方法，第一步将载入的RGB彩色图像转换成HSV颜色模型。HSV主要包含色调(Hue)、饱和度(Saturation)和参数值(Value)三种因素，符合人类视觉对颜色的区分。HSV颜色模型的优点是分离彩色(色调和饱和度)和非彩色(值)信息，提供彩色(色调和饱和度)和非彩色(值)信息独立的可能性。从RGB转换到HSV的公式说明如下：设(R,G,B)分别表示红、绿和蓝颜色坐标，其值介于0到1之间实数。设max等价于R、G和B中的极大值。设min等于这些值中的极小值。因此可以计算出HSV空间中的(H,S,V)值，其中H∈[0,360°)是角度的色相角，而S,V∈[0,1]，是饱和度和参数值，计算公式如下：

2.2.2 膨胀侵蚀调试运算

形态学(Morphology)的操作，例如：膨胀侵蚀运算，提供了基于图像场景中物体空间结构的数字图像处理方法。然而，用于数字图像的形态学技术，仅依赖于像素值的相对顺序，因此适合二值图像或灰阶图像。许多研究显示，为了主观上改善图像的外观，广泛利用形态学方法进行图像增强以及干扰信息消除，其中图像干扰信息是图像识别处理过程中产生的无用信息，必须降到可接受水平，以便对图像进行进一步分析。形态学的膨胀操作(dialation operation)，用于扩展区域边界像素或填满图像封闭区域的洞。应用大小3×3的阵列元素，进行图像像素异或逻辑运算，将二维图像像素值0设置为1。膨胀操作也可以不相交连接像素区块，同时在边缘添加像素使区域相连。侵蚀操作(erision operation)与膨胀操作相反。当膨胀操作扩展边界并填满区域孔洞时，侵蚀操作则减少边界像素，并增大封闭区域孔洞的尺寸。如果结构元素在值像素上没有完全重叠，将二维图像像素值1设置为0。

2.2.3 西瓜轮廓侦测流程

本文所提出之无人机机器视觉高空西瓜侦测流程如图1所示。本文所使用的应用程序开发平台为Python+openCV。先载入RGB颜色模型的高空西瓜田图像，载入的RGB图像转换成HSV颜色模型图像；基于HSV颜色模型的优点，可以设定特定HSV数字范围对应于西瓜颜色的数值范围，以初步取得西瓜的可能图像物件。因为初步取得的西瓜图形物件数量太多、范围太广，同时干扰信息太多，因此将图像二值化，以利于接下来利用形态学膨胀侵蚀运算操作程序，以消除干扰信息。膨胀侵蚀运算操作程序是一个递回程序，其目的为找到最佳化可能的西瓜图像物件。为了更精确找到第二次可能的二值化西瓜图像物件，需进一步灰值化，其主要目的因为灰值化图像的每一个像素颜色范围缩小，有利于更精确找到西瓜物件的图像。利用设定及调整不同的门槛数值，可进一步更精确找到西瓜的轮廓，完成西瓜轮廓获得后，将轮廓在图像相映位置，映射至原始的RGB高空西瓜图像，以获得原图西瓜侦测最后结果。

图1 无人机机器视觉高空西瓜侦测流程

3 实验过程及结果

3.1 实验过程

西瓜侦测过程产生的不同图像如图2所示，其中图2(a)为原始BMP图像，图2(b)为经过HUV颜色模型转换的图像；在BMP图像中，西瓜果实颜色和西瓜根茎叶颜色呈现为深浅绿色颜色分布；但转换成HUV图像，西瓜果实颜色呈现出橘黄色，西瓜根茎叶颜色仍然呈现为绿色分布，初步凸显西瓜果实和西瓜根茎叶的颜色差异性；同时发现路边的石头在HUV图像呈现出鲜红色，这个观察有助于提高石头和西瓜相似轮廓之间的颜色差异性。经由图2(b)的观察，进一步在HUV模型针对感兴趣物体，设定颜色取值范围，再通过二值化操作的方式转换成图2(c)。因为过程中仍有许多干扰信息，因此再利用形态学膨胀侵蚀运算操作以进一步消除干扰信息。在干扰信息消除过程中，对于感兴趣的物体，其形状大小也会相对缩小，因此在借由形态学膨胀操作，将感兴趣的物体还原趋近于原始西瓜轮廓大小，进一步形成图2(d)；为了更进一步精确取得西瓜的轮廓，将图2(d)灰质化成图2(e)，图2(e)有利于缩小取值范围以更精确找到西瓜轮廓，因此再经由二值化操作以及门槛限制方式获取最终西瓜轮廓图2(f)，之后再将图2(f)的西瓜轮廓位置映射至原始BMP图像，获得原始图西瓜轮廓。

(a)原始BMP图像 (b)HUV图像 (c)二值化干扰信息消除图像

(d)二值化形态学递迴操作图像 (e)灰质化图像 (f)二值化门槛限制获西瓜轮廓图像

(g)二值化西瓜轮廓映射至原始BMP图

3.2 实验结果

本文实验结果如图3所示，所实验的图像取自屏东科技大学机械系林宜宏教授及其实验室，利用无人机拍摄获得。图3(a)右图为原始西瓜田图像，左边共侦测37颗西瓜，另有6颗未侦测到，其中3颗在农业道路未被侦测到，另有3颗西瓜太小，未被侦测到；图3(b)左图共侦测28颗西瓜，另有10颗未侦测到，其中1颗已成熟但未被侦测到，另有9颗太小尚未成熟，所以未被侦测到；图3(c)左图共侦测20颗西瓜，另有5颗因为被西瓜的根茎叶遮盖，故未被侦测到。整体而言，成熟的西瓜大部分都被侦测到，部分被根茎叶遮蔽的西瓜或是未成熟的西瓜，未被侦测到。上述结果验证本文所提出的西瓜侦测方法及流程，能有效侦测大部分成熟的西瓜。

(a)左图为第一张原始西瓜田图像，右图共侦测到37颗西瓜，6颗未侦测到

(b)左图为第二张原始西瓜田图像，右图共侦测到28颗西瓜，10颗未侦测到

(c)左图为第三张原始西瓜田图像，右图供侦测到20颗西瓜，5颗未侦测到

4 结论及展望

本文提出一个基于无人机机器视觉之西瓜侦测创新农场管理模式，使用图像处理方法，利用高空无人机对西瓜农场拍摄的西瓜分布图进行成熟西瓜的侦测及计数；此管理模式可大量减轻瓜农在西瓜盛产时预估产量所耗费的人力或物力，提出的方法主要基于HSV颜色模型高分辨识别度，有助于提高西瓜果实及西瓜根茎叶颜色识别率；其次，使用形态学膨胀侵蚀递回运算操作程序，以消除干扰信息，初步侦测西瓜轮廓；最后使用图像处理二值化及灰值化处理，进一步侦测西瓜果实的真实轮廓，映射到原始RGB图像，获得西瓜最后侦测结果。实验结果显示，本文所提出的西瓜侦测方法能有效侦测绝大部分成熟西瓜。未来可将前述方法应用于其他水果种类侦测工作，以提升其他水果种类精准农业的创新管理方式。