基于机器视觉的棉花智能采摘机器人技术概述

2025-02-05王颖

中国棉花 2025年1期

摘要：棉花是重要的农作物之一，应用智能采摘机器人可以提高其采摘效率和质量。机器视觉技术在智能采摘机器人中起关键作用，能够准确识别引导采摘成熟的棉花。在介绍其设计关键技术的基础上，分析了当下棉花智能采摘机器人技术研究的短板，如数据采集与标注困难、物体检测和跟踪的准确性不足以及环境适应性有待提升等，并提出优化建议：进一步增强数据多样性，在棉花采摘决策中合理应用强化学习以及改进多模态感知融合技术。

关键词：棉花收获；机器视觉；棉花智能采摘机器人；机器学习；深度学习；强化学习；多模态感知融合技术；数据标注

收稿日期：2022-05-30" " " " "第一作者简介：王颖，副教授，从事机械设计制造及自动化研究与教学工作，wangxing6902@126.com

目前中小种植规模的棉花采摘主要依赖于人工，存在采摘难度较高、劳动强度大、人力成本高、采摘效率低和采摘质量难以保证的问题。目前，在橙、橘、番茄、土豆、蘑菇、黄瓜、苹果、西瓜、葡萄等果蔬的采摘中，国内外已有应用采摘机器人的实践[1]，在棉花上的相关研究还在探索中。因此，探究基于机器视觉的棉花智能采摘机器人技术有助于提高采摘效率、降低采摘成本，并且能够减轻农民的劳动压力。

1 棉花智能采摘机器人设计关键技术概述

1.1 硬件平台（本体结构）

1.1.1 机械结构。棉花智能采摘机器人的机械结构是实现采摘操作的关键组成部分。其设计需要满足对稳定性、灵活性和操作性能的要求。棉花智能采摘机器人的机械结构通常包括行走机构、机械臂和末端执行器3个部分[2]。其中，机械臂负责移动和定位，末端执行器则用于采摘棉花，是棉花智能采摘机器人的核心部件。机械臂需要具备足够的自由度和精度，以适应复杂的棉花生长环境。常见的机械臂结构包括串联机械臂和并联机械臂。串联机械臂由多个链接片和关节连接而成，具有较高的自由度和灵活性；而并联机械臂则由多个平行机构构成，具有较高的稳定性和刚性。

1.1.2 传动系统。传动系统负责将电机提供的动力转换成机械运动，并将动力传递到机械臂和末端执行器上。常见的传动系统包括电机、齿轮、齿条、传动带等。电机是传动系统的动力源，常用的电机包括直流电机、步进电机和伺服电机等。电机通过转子的转动产生的转矩，驱动行走机构、机械臂和末端执行器的相应运动[3]。

1.1.3 传感器装备。传感器用于获取关于环境和目标物体的信息。不同类型的传感器在棉花智能采摘机器人中发挥不同的作用，常见的传感器包括视觉传感器、力/扭矩传感器和距离传感器等。视觉传感器是机器视觉系统的核心，用于获取棉花图像信息，并进行图像处理和分析。常见的视觉传感器包括摄像头、激光雷达和红外线传感器等。其中，摄像头是最常用的视觉传感器，能够通过图像处理算法进行目标识别、定位和跟踪，要求具有高分辨率、高帧率和良好曝光性能。利用激光测距传感器速度快、抗干扰能力强的特点，可以采用非接触式激光测量棉株表面的深度信息，同时对计算机图像进行进一步的处理，以实现对棉花的精确识别与定位[4]。

1.2 机器视觉系统

机器视觉的基本原理是通过模仿人类的视觉系统，利用计算机和相应的算法来实现对图像的理解和分析。机器视觉系统主要由图像获取、预处理、特征提取和目标识别与定位4个步骤组成。

在图像获取阶段，机器视觉系统使用摄像头、相机、激光雷达等设备采集目标场景的图像信息，并通过传感器转换为数字信号进行处理。对于摄像头，可以根据需求选择具有高分辨率和良好的图像质量的型号，也可以选择具有快速曝光时间和高帧率的摄像头，以适应快速移动的环境和快速采集图像的需求。对于传感器，可以选择适用于棉花智能采摘机器人作业环境的力/扭矩传感器和距离传感器。力/扭矩传感器应具有适当的测量范围和分辨率，以实时监测机械臂和末端执行器的力和扭矩。距离传感器可以选择激光传感器或超声波传感器，其测量范围为几厘米到几米，用于测量棉花智能采摘机器人与目标物体之间的距离。利用上述高分辨率、高帧率的图像采集系统，可以获得细节清晰的图像。

图像预处理可以提升图像质量和准确性，包括去噪、滤波、增强、压缩和分割等操作。去噪能够减少图像中的噪声，使目标物体更加清晰；滤波可以平滑图像，去除图像中不必要的细节；增强可以调整图像的亮度、对比度和色彩等，使目标更加鲜明；图像压缩是为了减少存储空间和降低传输带宽，将图像的冗余信息进行压缩，同时尽量保持图像质量[5]。分割则是将图像分为不同的区域，将目标与背景进行分离，为之后的特征提取做准备，常用的方法有阈值分割、区域生长和基于图论算法的分割方法。

特征提取是通过图像分析从图像中提取有用特征信息的过程，用来表示目标物体的形状、纹理和空间位置等特性。常用的特征包括边缘、角点、纹理和颜色等，通过检测这些特征，机器视觉系统可以对图像进行更加精确的描述和分析。常用的方法包括边缘检测、形态学处理等。边缘检测是为了找到图像中物体的边界，常用的算法有Sobel、Canny等。形态学处理主要用于图像的形状分析和形态变换，包括膨胀、腐蚀、开运算和闭运算等。

目标识别与定位是机器视觉系统的核心任务，通过将提取到的特征与预先训练的模型进行比对和匹配，使机器视觉系统能够识别和定位目标物体。这一步骤通常使用模式识别、机器学习和深度学习等技术实现[6]。例如，可以利用基于改进YOLOv4的棉花检测算法，融合注意力机制，通过不断训练提高图像质量和测算准确性[7]。

1.3 控制系统

1.3.1 自主导航。自主导航可以使棉花智能采摘机器人在复杂的环境中自主地规划路径并导航到目标位置。实现自主导航需要借助定位和地图构建技术，结合机器视觉和传感器信息，进行环境感知和路径规划。定位技术通过获取棉花智能采摘机器人当前位置的准确信息，为其提供定位基准。常见的定位技术包括全球定位系统（global positioning system， GPS）、惯性导航系统（inertial navigation system， INS）和视觉里程计等[8]。其中，视觉里程计通过分析摄像头获取的图像序列，计算棉花智能采摘机器人在连续图像帧之间的视觉位置变化，从而实现位置的估计。利用这些技术可以将环境中的障碍物、棉花植株等信息进行建模和表示，为棉花智能采摘机器人规划路径提供依据。常用的路径规划算法包括迪杰斯特拉算法（Dijkstra's algorithm）和快速扩展随机树算法（rapidly-exploring random tree， RRT）等[9]。这些算法通过评估路径的代价和可行性，在复杂的环境中寻找最优路径，并通过棉花智能采摘机器人的运动控制实现路径的跟踪。此外，使用卷积神经网络搭建起具体的向量，结合斥力函数对障碍物进行规避，规划出具体的行驶路径，能够提升行进的效率[10]。

1.3.2 运动控制。通过运动控制，棉花智能采摘机器人能够准确地控制机械臂和末端执行器的运动，实现对棉花的抓取和放置等操作。运动控制需要考虑棉花智能采摘机器人的动力学和运动学模型，以及对采摘工作的精准控制。常见的运动控制方法包括比例积分微分控制（proportional plus integral plus derivative control， PID control）、模型预测控制（model predictive control， MPC）和递归最小二乘法（recursive least-squares， RLS）控制等[11]。同时，使用深度学习的方法对机械臂路径进行强化训练，也能够提升路径规划的质量，进而提升采摘的效率[12]。

1.3.3 采摘动作的规划。采摘动作的规划需要考虑棉花的位置和外形信息，以及机械臂和末端执行器的运动学和力学约束。通过机器视觉和传感器获取棉花的位置、姿态和成熟度等信息，结合运动控制算法和卷积神经网络，规划出机械臂的路径和末端执行器的动作，使其能够准确地抓取成熟的棉花[13-14]。短程式的采摘动作规划可以采用RealSense，通过预定点位，形成动作规划和控制[15]。可以基于预先定义轨迹的方法提前定义好机械臂和末端执行器的运动轨迹，并根据棉花的位置和姿态信息进行实时调整，以适应不同位置和形态的棉花。基于深度学习的方法可通过训练深度神经网络，学习机械臂和末端执行器的动作规律，实现对棉花采摘动作的智能规划。

2 机器学习和深度学习在棉花智能采摘机器人设计中应用的不足

2.1 数据采集与标注困难

棉花智能采摘机器人在采摘过程中需要获取棉花植株、棉铃位置和成熟度等关键信息，但这些信息的获取常常受到自然因素的干扰，如风、雨、阳光强度等，从而导致数据采集过程中存在很大的不确定性。这种不确定性导致采集到的数据质量可能不够准确和可靠。同时，机器学习和深度学习算法通常需要大量的带有标签的数据进行训练，以使模型能够准确识别和定位棉铃。然而，以新疆为例，受制于种植密度不同、棉朵大小不一等问题，数据标注存在明显的短板，进而会影响采摘的质量[16]。这就需要标注员花费大量时间来手动标注图像，工作量大且容易出现标注误差。

2.2 物体检测和跟踪的准确性不足

在实际采摘过程中，确保棉花智能采摘机器人准确识别和跟踪棉铃对于高效采摘至关重要。然而，现有的物体检测和跟踪算法处理棉田复杂环境下的棉铃数据时存在明显的不足，这会导致采摘效率的降低，同时会增加后续处理的复杂性，因为漏检或误检的棉铃需要人工干预。造成上述准确性不足的具体原因主要有2点：一是，棉花生长状态的多样性和不规则性使其特征难以把握，如棉铃在不同生长阶段形态各异，而且受到植株遮挡和光照变化等因素的影响，其外观变化较大，难以建立统一的特征模型；二是，尚未建立能准确处理识别复杂背景下的棉花图像处理技术体系，无法很好地处理光照不均匀、树叶遮挡等情况图像。

2.3 环境适应性有待提升

棉田生长环境复杂，受天气、土壤、植被等多种因素影响，因此，棉花智能采摘机器人在不同的环境条件下需要具备良好的适应性。然而，现有技术在环境适应性方面存在不足，棉花智能采摘机器人在不同的自然环境下难以保持稳定的性能。其主要原因之一是机器视觉系统对于光照变化的敏感性。在强光照射下，摄像头可能受到过度曝光的影响，导致图像质量下降，进而影响物体检测的准确性；而在弱光条件下，图像又可能过于昏暗，使棉铃难以被准确识别。高湿度环境可能导致电子元件的短路和腐蚀，降低设备的稳定性和寿命；相反，极低湿度可能导致静电干扰和传感器误读，影响棉花智能采摘机器人的正常运行。这种环境适应性的不足使得棉花智能采摘机器人在不同气候和作业环境下的采摘效果不稳定，难以满足实际生产需求。

3 基于机器视觉下棉花智能采摘机器人技术研究的优化建议

3.1 数据增强与数据多样性

数据增强是通过对已有数据进行变换和扩展，以生成更大容量、更多样的训练数据，这有助于改善模型的泛化能力和适应性，特别是在面对不同光照、湿度和温度条件时。基于迁移学习的方法，将迁移学习模型的特征提取技术与极限学习机（extreme learning machine， ELM）相结合，可以有效提高棉花识别的准确性和效率[17]。通过采用数据增强，模型能够更好地应对不同环境条件下的挑战，提高棉花智能采摘机器人的性能。同时，采集不同地区、不同种植方式、不同品种和不同生长阶段的棉花数据样本，有助于训练模型更全面地理解棉花植株的多样性和不规则性。通过多样性数据的训练，机器学习和深度学习模型可以更好地适应各种情况，提高对棉铃识别的准确性和稳定性。多样性数据的收集和标注需要耗费一定的时间和资源，但它是提高技术应用效果的必要步骤。

3.2 强化学习在采摘决策中的应用

强化学习是1种机器学习范式，使机器能够通过在环境变化中学习优化并做出决策。在棉花采摘中，棉花智能采摘机器人需要不断调整其动作和路径规划，以最大程度地提高采摘效率。因此，强化学习可以让机器根据实时反馈来调整决策，优化棉花智能采摘机器人的路径规划，以适应不同的棉花植株和环境条件，确保它能够高效地覆盖整个棉田，最大限度地减少空余时间。如，可以采用紧凑型可编程序逻辑控制器（programmable logic controller， PLC）植入强化学习程序构建智能棉花采摘控制方案[18]。

3.3 多模态感知融合的技术改进

多模态感知融合涉及将来自不同传感器和感知源的信息整合在一起，以提供更全面和准确的感知数据。在棉花采摘过程中，多种感知源可以提供有关环境和棉花植株的信息，包括视觉、声音、触觉等，通过整合这些感知信息，棉花智能采摘机器人可以更全面地理解当前情况，提高决策的准确性和适应性。视觉传感器可以提供有关棉铃的形状和颜色信息，但在某些情况下，视觉可能受到光照或遮挡的影响。吕友豪等[19]提出了1种多模态信息融合神经网络模型，该模型整合了视觉、雷达和本体感知信息，并使用空间跨模态注意力机制来融合信息，使机器人能够专注于障碍物避让中最相关的信息，选择性地关注最有信息量的感官输入，提高其在复杂地形中的导航能力。此外，多模态感知融合还可以提高棉花智能采摘机器人的环境感知能力，如可以使其同时利用视觉和声音感知来检测天气条件，包括风速、降雨量等，从而更好地适应不同的气象条件。如，可以构建棉花智能采摘机器人的动力学模型，采用人工势场法优化A*算法，以提升路径规划的速度，通过状态观测器对系统状态进行估计，应用终端滑模控制策略以精确执行路径跟踪，从而显著增强控制的准确性[20]。

4 结语

基于机器视觉的棉花智能采摘机器人是1项具有重要应用价值的研究。通过应用机器视觉技术，包括图像处理和分析、目标检测和识别等，可以实现对成熟棉花的准确识别和采摘。同时，通过机器学习和深度学习算法的应用和优化，可以进一步提升算法的准确性和运算性能。通过自主导航、运动控制和采摘动作的规划，棉花智能采摘机器人能够在复杂的环境中快速准确地采摘棉花。然而，仍需进一步研究和改进机器视觉算法、降低技术成本，并与棉花生产实际需求相结合，推动该技术的实际应用。

参考文献：

[1] 王思玉，牛成强，李钊，等. 典型果蔬采摘机器人研究现状与趋势[J]. 新疆农机化，2021（6）：14-17，21.

[2] 刘坤，王晓，朱一帆. 基于多视角三维点云融合的采棉机器人视觉感知方法[J]. 农业机械学报，2024，55（4）：74-81.

[3] 李琪. 相对双行采棉机采摘平台及其传动系统的设计与研究[D]. 上海：上海海洋大学，2015.

[4] 冯康. 基于机器视觉的棉花识别与定位技术的研究[D]. 石河子：石河子大学，2024.

[5] 王泽武，夏彬. 融合图像处理的大粒度籽棉异纤清理系统设计[J]. 电子设计工程，2023，31（13）：173-176.

[6] 赵露苗，陈立平. 超分辨率方法在复杂棉花叶片图像的比较研究[J]. 农业与技术，2023，43（23）：48-50.

[7] 刘正波，鲍义东，孟庆伟. 基于改进YOLOv4的棉花检测算法[J]. 计算机系统应用，2021，30（8）：164-170.

[8] 王玲，姬长英. 农业机器人采摘棉花的前景展望与技术分析[J]. 棉花学报，2006，18（2）：124-128.

[9] 杨旭海，周文皓，李育峰，等. 采摘机械臂路径规划算法研究现状综述[J]. 中国农机化学报，2023，44（5）：161-169.

[10] 翟睿. 基于人工智能算法的采摘机器人最优路径规划研究[J]. 成都电子机械高等专科学校学报，2022，25（1）：52-54.

[11] 李晓娟，陈涛，韩睿春，等. 不确定采摘环境下改进RRT算法的机械臂路径规划研究[J].中国农机化学报，2024，45（4）：193-198，337.