基于树莓派深度学习的采摘机器人

2023-06-21覃书波胡美婧陈昌熙

现代信息科技 2023年1期

覃书波胡美婧陈昌熙

摘要：为解决采摘机器人在抓取中的目标识别、位置定位及系统控制方面准确率低，自主能力差等问题。提出一种基于深度学习的采摘机器人，该机器人系统以树莓派为主控核心，结合舵机和多种传感器组等模块，通过建立机器人运动学模型，实现从关节到末端执行机构的映射，采用视觉技术建立目标识别与定位模型，通过视觉反馈来控制机器人。试验结果表明，该机器人具有较高的识别能力与定位准确率，并具有较高的控制效率。

关键词：采摘机器人；深度学习；运动学模型；LeNet卷积神经网络；PID算法

中图分类号：TP242 文献标识码：A 文章编号：2096-4706（2023）01-0154-05

Picking Robot Based on Deep Learning of Raspberry Pie

QIN Shubo1， HU Meijing2， CHEN Changxi3

（1.School of Electrical and Information Engineering， Anhui University of Science and Technology， Huainan 232001， China;

2.School of Earth and Environment， Anhui University of Science and Technology， Huainan 232001， China;

3.School of Computer and Engineering， Anhui University of Science and Technology， Huainan 232001， China）

Abstract： In order to solve the problems of low accuracy and poor autonomy of picking robot in aspects of target recognition， position positioning and system control in grasping， a type of picking robot based on deep learning is proposed. The robot system takes raspberry pie as control core， combined with the steering gear and a variety of sensor modules， through the establishment of the robot kinematics model， achieves the mapping from the joint to the end of the actuator. The vision technology is adopted to establish the target identification and positioning model， and it controls the robot through the visual feedback. The experimental results show that the robot has higher recognition ability and positioning accuracy， and has higher control efficiency.

Keywords： picking robot; deep learning; kinematic model; LeNet convolutional neural network; PID algorithm

0 引言

作为农业生产大国，我国每年的果蔬产量巨大。果蔬的采摘必然成为一项重大任务，传统采摘方式仍然处于人工采摘阶段，不仅需要投入大量的人力物力还会存在人为因素造成的采摘不及时，误摘等现象，从而导致采摘成本的增加，效率的下降[1]。

近年来，自动化技术和人工智能技术迅猛发展，农业采摘也顺势由传统的人工采摘转变为机械采摘，人工智能的进步，使得越来越多的机器人、机械臂应用到农业采摘中，极大地提高了农业生产效率[2，3]。但利用机器人进行采摘的过程中，对目标对象的识别不准确，定位有误差，以及控制不稳定都会使采摘更困难，造成采摘效率的下降[4]。因此如何进一步提高采摘的效率成为众多学者研究的一个热点，目前，圖像处理技术的发展为农业采摘机器人的设计提供了一大思路[5]，将图像视觉技术嵌入到机器人采摘系统中，利用视觉反馈信息间接控制机器人的运动，使得机器人能够根据目标对象颜色、位置等信息作出正确的指令，以此驱动机器人末端执行器的准确运动。本文针对目前机器人在采摘过程中，存在的采摘准确率低、自主能力差等问题，提出了一种基于深度学习的采摘机器人，该机器人系统以树莓派为主控核心，结合舵机和多种传感器组等模块，利用LeNet卷积神经网络对果实目标进行准确识别，采用避障算法进行准确定位，并利用PID算法来实现机器人的稳定准确控制。最后通过别定位测试实验可以看出，提出的采摘机器人能够达到较高的识别定位精度，且能够实现高效的控制。说明将其应用于农业果实的采摘可以提高采摘效率和质量，对于促进农业智能化发展具有重要意义[6]。

1 采摘机器人整体架构设计

该采摘机器人的整体架构设计由控制板、传感器、舵机及其机械结构组成，其系统包含四部分，即上位机（计算机）、下位机（控制板）、驱动元件（舵机）以及传感器。整个系统结构如图1所示。

其中上位机具有强大的运算功能，主要完成目标对象图像信息处理，机器人的运动控制策略，以及与控制器之间的通信监测。下位机控制器主要是接收来自上位机的指令以及传感器的信息，从而驱动机器人完成各项运动。驱动部分主要由舵机构成，其功能是接收控制器的控制指令后带动机器人末端执行机构的运行。传感器主要获取外部环境信息并传送给控制器，另外驱动元件会将机器人的运动状态反馈给控制器部分，从而实现机器人的准确运动控制。电源部分给控制板、舵机以及传感器供电。

2 采摘机器人系统硬件设计

该采摘机器人系统硬件主要部分包括控制器，舵机以及传感器，其中传感器又分为超声波传感器和深度相机。如图2所示，给出了由SolidWorks画出的机械臂结构。

2.1 控制板

控制器为整个硬件系统的核心部分，机器人末端机构的运行离不开控制器的控制，该控制器的控制板采用了树莓派及扩展板，其中下层扩展板为智能温控风扇及RGB灯扩展板，由于机器人需要安装很多舵机，发送很多指令，且在功能实现上有很多子线程，树莓派CPU将完成很复杂的工作，因此需要设计它的散热系统。上层扩展板为舵机和传感器的扩展板，连接机械臂的总线舵机，由于只对树莓派的物理引脚做了一个映射，所以通过树莓派来直接控制它们。另外，树莓派与散热系统之间通过IIC协议通信，与舵机通过ttyAMA0串口通信。

2.2 舵机

舵机为机器人系统的驱动机构，它接收来自控制器的指令然后驱动机械臂末端执行机构的运行，该舵机使用的是Dynamixel，通信协议是通过主程序和舵机之间互相发送数据包来进行的，其数据包分为指令数据包和状态数据包，主程序向舵机发送指令数据包，舵机做出相应的动作并返回状态数据包，其舵机协议是我们编码的依据[7]。

2.3 传感器

2.3.1 超声波传感器

该采摘机器人使用HC-SR04超声波传感器用来测距，它的Trig端发出超声波，接触到反射物后反射，被Echo端接收，通过记录超声波的发射时间和接收时间得到一个时间差，然后使用空气中的声速计算距离。如表1所示，给出了HC-SR04超声波传感器部分参数。

2.3.2 深度相机

深度相机作为采摘机器人的视觉系统具有重要功能，它能够获得目标对象的图像信息，然后将图像特征信息传输给计算机进行图像信息处理，从而实现目标物的识别与定位。本系统使用intel RealSense D415深度相机，该相机兼容树莓派Linux系统。捕捉最远距离可达到10 m，且在户外阳光下也可以使用，支持输出1 280×720分辨率的深度画面。

3 机械臂运动学建模

机械臂运动学研究基于D-H参数法进行建模，如表2所示，为该机械臂D-H参数。

机械臂的正运动学公式由相邻连杆之间的变换矩阵推导得到位姿矩阵，并由解析法得出逆运动学公式：

其中：

a=-（l3+l4）sinθ3

b=（l3+l4）cosθ3+l2

c=-pxcosθ1-pysinθ1

为机械臂夹持器末端的固定结构绕z轴的转动向量[8]。

由上面参数在MATLAB仿真平台上可获得机械臂仿真模型以及Simulink仿真图如图3和图4所示。

4 采摘机器人总体软件及各算法设计

4.1 总体软件架构设计

机械臂的总体软件结构包括上位机中机械臂运动模型的搭建，视觉信息处理模块，即卷积神经网络的设计，避障算法的运行，下位机中运动控制算法的运行以及实现通信协议。其软件总体结构如图5所示。

图5 系统软件总体架构

系统在运行时，传感器会获得外部信息并通过通信协议传输给上位机，在上位机中实现目标图像信息进行处理，并将指令发送至控制器，控制器将来自上位机的指令信息与来自传感器的反馈信息进行相应处理后，发送控制指令给驱动装置，进而驱动机械臂的运行，完成各项指定功能。另外驱动机构也会将机械臂的运行状态反馈给控制器，实现了机械臂系统的闭环控制[9]。

对机器人的完整控制需要如下部分代码来实现：舵机、传感器与树莓派的通信代码（即驱动程序，有串口、USB和IIC等），数据处理代码（用深度学习代码处理摄像头采集的数据），机器人的运动代码（需要转化为控制器中能够运行的语言），功能实现代码（能够对结果做出反馈动作）。

4.2 采摘机器人各算法设计

4.2.1 LeNet模型

机械臂与深度相机组成了该机器人系统中最为关键的手眼系统，目标对象信息由深度相机负责采集，传送给上位机进行信息处理。在该系统中设计了LeNet卷积神经网络，其功能是對目标对象进行识别定位，以确定抓取目标的位置，然后经过机械臂的逆运动学运算可获得机械臂各关节角信息，并结合传感器反馈信息实现了对目标物的精准抓取。

LeNet-5卷积网络模型如图6所示。它包括C1卷积层，S2池化层，C3卷积层，S4池化层，C5卷积层，F6全连接层和Output输出层[10]。

通过卷积操作，增强了原信号特征，并降低了噪声，而池化层操作利用了图像局部相关性的原理，对图像进行了子抽样，减少了数据处理量的同时也保留了一定的有用信息。如表3所示，给出了LeNet网络结构具体参数。

4.2.2 避障算法

为了实现采摘机器人的精准动作，其需要拥有较强的自主识别定位能力。因此，当机器人在遇到障碍物时，要能够及时作出响应，重新规划路线以此越过障碍物。采摘机器人上的超声波测距传感器组能够持续对环境进行实时探测，当遇到障碍物时会返回障碍物的距离信息[11]，同时，深度相机会将获得的图像信息反馈到上位机中，在上位机中利用传感器获取的信息进障碍物的三维重建，并规划新的路径，使得机器人能够及时避开障碍物到达作业区域。

其中超声波传感器测距流程如图7所示。

4.2.3 PID算法

采摘机器人在移动过程中，关节部分的角速度不断变化，为了保证机器人不发生侧翻，需要机器人具有较高的稳定性。采用PID控制策略实现采摘机器人的稳定控制[12]，当系统检测到机器人关节力矩有较大变化时，会反馈给控制器，控制器通过PID控制对关节力矩误差进行调节，进而调整电机的转速来控制机器人关节。通过对关节力矩误差的调节，逐渐降低控制误差，以此实现机器人的精准稳定控制。其反馈控制流程如图8所示。

5 实验测试

为了验证基于树莓派深度学习的采摘机器人是否具有较高的目标识別和定位能力，以及控制效果，在实验室环境下对该种机器人进行了多组实验测试，分为对机器人的避障，自由度检测，物体颜色识别，移动物体跟踪测试，目标物体抓取五部分功能。得到的实验测试结果如表4所示。

实验结果表明，该机器人在运行过程中，可实现遇障碍物静止、自主识别物体颜色与位置、自主抓取物体各项功能。进一步说明了基于深度学习的采摘机器人具有较高的识别定位能力，与较强的控制稳定性和较高的控制准确性。

6 结论

为了确保采摘机器人的采摘准确性和工作效率，本文在原有采摘机器人存在识别定位准确性差和控制效率低等问题基础上，设计了一款基于树莓派深度学习的采摘机器人。利用视觉图像技术，优化了传统采摘机器人，完成了采摘机器人的总体结构设计和硬件模块设计，采用了LeNet卷积神经网络对果实进行识别，并设计了避障算法以及PID控制算法，然后在MATLAB平台上搭建Simulink仿真模型，实现机器人的运动控制仿真实验，最后通过对其抓取和避障实验以及轨迹跟踪测试证明了提出的采摘机器人能够达到较高的识别率，定位精度，以及高效稳定的控制。因此，将其应用于农业果实的采摘中可以提高采摘效率，对农业生产的智能化发展具有重要意义。

参考文献：

[1] 鲁家皓.基于计算机图像的采摘机器人结构优化研究 [J].农机化研究，2022，44（6）：199-203.

[2] 任亚婧，张宁宁，徐媛媛，等.基于视觉识别的成熟苹果识别及采摘定位系统 [J].现代电子技术，2021，44（11）：73-77.

[3] 孔翰博，王克强，蔡肯，等.基于机器视觉的采摘机器人目标识别定位研究应用进展 [J].电子技术与软件工程，2022（10）：160-165.

[4] 周浩，唐昀超，邹湘军，等.农业采摘机器人视觉感知关键技术研究 [J].农机化研究，2023，45（6）：68-75.

[5] 朱明秀.采摘机器人水果检测及定位研究——基于图像处理和卷积神经网络 [J].农机化研究，2022，44（4）：49-53.

[6] 刘凯. 面向农业环境的采摘机器人空间视觉感知与采摘控制方法研究 [D].桂林：桂林电子科技大学，2021.

[7] 胡可狄，于亚利，李帅，等.基于stm32的车辆调试自动控制系统设计 [J].电子制作，2022，30（3）：31-34.

[8] 陈爱波，宁淑荣，陈五一.基于MATLAB与SolidWorks的六自由度机器人联合建模仿真 [J].机电技术，2014（6）：57-60.

[9] 吴蓬勃，张金燕，张冰玉，等.基于树莓派的机械臂视觉抓取系统设计 [J].电子制作，2022，30（7）：23-25.

[10] 吴丽娜，王林山.改进的LeNet-5模型在花卉识别中的应用 [J].计算机工程与设计，2020，41（3）：850-855.

[11] 张向珂.采摘机械手障碍信息探测及避障技术研究 [D].镇江：江苏大学，2010.