基于CMOS图像传感器的采摘机器人嵌入式视觉系统

李娜娜

(洛阳职业技术学院 机电工程系，河南 洛阳 471000)

0 引言

随着科学技术的快速发展，农业生产的自动化程度越来越高，这就需要农业机械装备具有更高的智能化，而将机器视觉系统应用于农业自动化生产领域是实现农机设备智能、高效、高精度的重要途径。机器视觉系统是近年来发展起来的一种新型的模拟人工视觉的技术，不仅可以对客观事物图像进行采集，且具有图像的处理和智能识别能力。嵌入式机器视觉系统集图像采集、处理及通信等功能于一体，具有智能化处理的功能，且系统可被嵌入到其他设备中，如果将其应用到采摘机器人系统中，可以实现采摘机器人的自主导航及采摘果实的自动识别，从而提高采摘机器人的自动化作业能力。

1机器视觉技术及其在采摘机器人设计中的应用

机器视觉技术是一种多学科的交叉技术，涉及到计算机图像处理及智能模式识别等多种领域，利用机器视觉可以模拟人工视觉的功能，在农业采摘作业过程中可以对待采摘果实进行特征信息提取，进而进行定位和识别。机器视觉技术不仅仅是简单地进行图像采集，同时利用嵌入式处理器还具备对图像的处理能力，可以从客观事物中提取有用信息用于检测、测量和控制等。

传统机器视觉系统一般是基于计算机技术的，其采集的图像需要利用计算机进行处理，其系统较为复杂，且成本较高，效率较低。而嵌入式视觉系统可以将图像采集、图像处理和通信等功能集成于一体，实现了模块化、智能化的嵌入式机器视觉解决方案，系统具有实时性高、可靠性高等特点。嵌入式视觉系统的基本框架如图1所示。

图1 采摘机器人嵌入式机器视觉系统示意图Fig.1 The sketch diagram of embedded robot vision system for picking robot

嵌入式机器视觉系统的外观体积小，可以直接安装在采摘机器人的主体结构上，相对于传统的视觉系统装卸和移动更加方便。对于硬件系统，嵌入式视觉系统将图像采集单元、图像处理单元和网络通信单元等集成于一体，为采摘机器人提供较高的工作效率和工作的可靠性。对于嵌入式系统的软件，采用直接编程好的成品，用户基本无需自己编程，使用起来非常方便，从而提高了系统集成的效率和速度，将其使用在采摘机器人设计过程中，可以大大提高采摘机器人的设计效果。

2基于CMOS图像传感器的采摘机器人嵌入式系统设计

采摘机器人嵌入式系统设计的核心部分是图像采集和处理部分，利用CMOS图像传感器采集图像后采用嵌入式芯片对图像进行处理，嵌入式芯片有很多种。其中，简单实用的是DSP芯片，如图2所示。

图2 DSP芯片示意图Fig.2 The schematic diagram of DSP chip

在采摘机器人采集图像后可以利用DSP芯片进行处理，利用先进的数字信号处理技术可以对采摘果实进行识别，综合考虑成本和可靠性因素，本次图像采集采用CMOS真彩相机采集图像，如图3所示。

图3 CMOS相机示意图Fig.3 The schematic diagram of CMOS camera

CMOS相机和传感器安装在一起，构成CMOS图像传感器，其供电部分由电源模块统一供电。电源模块是系统正常供电的基础，可以为整个系统的其他模块提供能源保证，在设计时要综合考虑噪声、能效和干扰等问题。可靠的电源方案设计是整个系统稳定运行的基础，为保证多个模块所需的电流和电压容量的不同，在电源模块中设计了多个稳压电路，如图4所示。

图4 系统稳压电路模块Fig.4 The system voltage regulator module

采摘机器人嵌入式视觉系统所需的电源主要是舵机、控制编码器和CMOS相机传感器。舵机主要控制采摘机器人的移动和执行末端的动作，供电为7V稳压电源；控制编码器是对采摘末端发出执行动作，供电为5V稳压电源；CMOS相机完成图像的采集，其供电为5V稳压电源。电源构成的电路主要分为4部分：通信电路、控制电路、电机驱动电路和数字显示电路。系统的硬件框图如图5所示。

图5 系统硬件框架结构Fig.5 The system hardware framework

采摘机器人通过CMOS图像采集对待采摘果实进行识别，并通过预设的轨迹线寻迹进行移动，当测距模块测算出待采摘果实的距离后，利用控制器发出控制命令给电机驱动模块，通过电机的驱动控制采摘机器人执行末端进行动作，完成采摘任务。为了保证动作的顺利进行设计了软件系统，如图6所示。

软件控制系统控制依据是对于采摘果实和预设线的图像识别，根据预设线完成自主导航寻迹，利用机器人位置和测距信息确定待采摘果实的具体位置，将采摘执行末端移动到果实位置；然后单片机发出控制指令，使采摘执行末端发出采摘动作，完成果实采摘。

图6 采摘机器人嵌入式系统软件控制流程Fig.6 The control process of embedded system software for picking robot

3 采摘机器人嵌入式视觉系统测试

为了验证基于CMOS图像传感器的采摘机器人嵌入式系统方案设计的可行性，对一款较小果实采摘机器人进行了改装，并安装了CMOS传感器视觉系统，如图7所示。

图7 改装后的采摘机器人Fig.7 The restructured picking robot

在采摘机器人进行作业时，由于待采摘的果实较小，需要采用图像识别技术对待采摘果实进行识别，识别过程主要利用软件控制整个流程，如图8所示。

果实图像的识别过程主要通过软件控制，在进行定位时通过开关的通断来开启图像采集程序，将图像进行处理后提取捕捉图像特征，最后设置主频PWM控制电机的运转。图像特征提取结果测试如图9所示。

对采摘机器人的果实识别过程进行了测试，测试项目主要是对果实图像的分割捕捉。由测试结果可以看出：采用基于CMOS图像传感器的视觉系统可以成功地捕捉到待采摘果实图像，从而验证了视觉系统的可行性。为了保证采摘能够顺利进行，对采摘机器人的移动性能进行了测试，得到了如表1所示的结果。

图8 果实图像识别软件流程Fig.8 The software process of fruit image recognition

图9 采摘机器人果实识别结果Fig.9 The fruit recognition results of picking robot表1 采摘机器人移动任务Table 1 The moving task of picking robot

采摘机器人测试任务完成情况基础移动任务甲乙机器人分别移动一完成第1圈甲乙同时移动完成第1圈乙在超越区超甲完成第1圈乙先到终点完成

续表1

由表1可以看出:采摘机器人能够成功的完成各项移动任务。同时，对其成功定位果实和成功采摘的准确率进行了测试，得到了如表2所示的测试结果。

表2 采摘机器人采摘准确性统计Table 2 The statistics of picking accuracy of picking robot %

对采摘机器人的采摘精度进行了测试，首先测试的其准确定位的能力。测试结果表明：其成功定位准确率在95%以上，满足定位需求；然后对其成功采摘率进行了测试，其准率也在95%以上，满足采摘作业需求。

4 结论

为了提高采摘机器人的自动化作业水平，将基于CMOS图像传感器的嵌入式视觉系统引入到了采摘机器人的设计过程中，并使用DSP芯片构建了嵌入式图像处理系统，采用模块化设计构建了采摘机器人的硬件系统和软件系统框架，从而保证了采摘机器人的果实定位和识别过程的有效性。为了验证方案的可行性，将嵌入式视觉系统安装到了采摘机器人上，并对其性能进行了测试。首先测试了其图像处理能力，结果表明：嵌入式视觉系统可以成功地提取果实特征图像。对其果实定位识别的能力进行了测试，结果表明：采摘机器人果实的定位识别准确性较高，满足设计需求。