采摘机器人避障控制系统研究—基于ARM+DSP和视觉传感器

吴东明,王丽娟

(焦作师范高等专科学校 计算机与信息工程学院,河南 焦作 454000)

0 引言

农业是经济发展的基础和保障,一直都备受各个国家的重视。目前,我国不断通过通过加快农业机械化的方式,积极提升自身的现代农业水平。其中,农业机器人的出现和应用极大地改变了传统耕作模式,给我国的现代农业发展带来了全新改变。果实采摘作为农业种植中繁琐度、复杂度最大的步骤,这类机器人发展潜力巨大。为此,基于ARM+DSP和视觉传感器,结合图像处理技术,设计了一套采摘机器人避障控制系统,能够实现采摘机器人的实时避障和路径规划。

1 采摘机器人视觉系统

机器视觉系统一般由视觉传感器、图像采集卡、光源、PC机、目标工件和运动控制系统组成,如图1所示。

图1 机器视觉应用系统框架图Fig.1 The framework of machine vision application system

目前,基于视觉的目标识别和产品检测技术已经得到了深入的研究和广泛的应用,如康耐视、美国国家仪器(NI)、基恩士等知名公司在机器视觉领域具有很深入的研究。机器视觉在商品包装、零部件检测、提取书本文字、水果分级、半导体行业及自动驾驶等等都已成功应用,其工作框架如图2所示。

图2 机器视觉系统工作框架图Fig.2 The working frame diagram of machine vision system

机器视觉系统利用视觉传感器,结合图像处理、智能决策和智能控制,实现眼睛的视觉功能。其将目标对象的图像Analog信号转化为Digital信号,在智能决策模块加入人类的情感,去处理和决策图像,完成对目标对象的检测和识别,实现让机械看到世界的视觉功能。采摘机器人避障控制系统ARM+DSP双核的总体设计方案,如图3所示。

图3 采摘机器人避障控制系统总体框架Fig.3 The overall framework of obstacle avoidance control system for picking robot

系统首先通过视觉传感器获取采摘机器人作业环境信息,通过图像处理,实现对环境障碍物的检测;通过3D建模等视觉差计算障碍物距离,然后进行避障规划,驱动前进电机和转向电机进行行驶控制,达到躲避障碍物、到达目的地的目标。

2 采摘机器人避障控制系统

2.1 系统总体方案设计

基于ARM+DSP和视觉传感器的采摘机器人避障控制系统的主要任务是:在移动作业过程中,判断前方是否有障碍物,是否可以正常前行。因此,需要完成图像采集、图像处理、数据通信及结果展现等功能。

由于数字图像具有数据量大、精度高和耗时长的特点,需要具有强大运算能力的处理器进行图像处理,因此本文采用了德州仪器公司生产的ARM+DSP双核HiRel达芬奇SM320DM6446-HIREL系列处理器作为处理核心。达芬奇平台是基于共享内存的嵌入式多处理(ARM、DSP、视频前端和后端)环境,其关键是片内多通道的交换中心资源(Switch Central Resource SCR)。基于SCR的达芬奇平台中的多个处理器可以实现典型的C/S结构,ARM系列处理器有体积小、可靠性高、外围设备接口丰富的特点,能够支持多路图像采集,主要负责实时控制图像采集和图像处理。DSP系列处理器是一种经过专门设计、结构特殊的微处理器,具有专门的硬件乘法器,可以用来快速地实现各种数字信号处理算法,主要负责实时图像采集和静态图像处理。采摘机器人避障控制系统总体框架如图4所示。

图4 ARM+DSP双核的总体设计方案Fig.4 The overall design plan of ARM and DSP dual core

2.2 避障控制系统硬件设计

基于ARM+DSP和视觉传感器的采摘机器人避障控制系统核心处理模块采用了标准的达芬奇系统结构,主要包含ARM子系统、DSP子系统、图像处理子系统、数据交换中心资源系统及外设等。系统硬件控制框架如图5所示。

图5 系统硬件控制框架Fig.5 The control framework of system hardware

视频解码模块采用美国Fairchild Semiconductor的TMC22151AKHC视频解码芯片。该芯片是一款性能高、成本低、功耗低的混合信号解码芯片,最高采样率为18MHz,可以进行8、10bit并行处理,具有支持NTSC / PAL字段和基于NTSC帧的模拟信号解码,CCIR-601/624(D1)、CVBS和YC的输入,以及CCIR-601/624(D1)、RGB和YC的输入等优点。TMC22151AKHC解码的过程分为3个阶段:①分离亮度和色度;②将内部产生的正弦和余弦波形,锁定在脉冲解码和解调的色度信号上,然后滤波色度信号以产生色差信号;③缩放亮度和颜色差异信号,将它们转换为红色、绿色和蓝色分量视频信号。 TMC22151AKHC解码的过程示意如图6所示。

图6 TMC22151AKHC解码的过程示意图Fig.6 The schematic diagram of TMC22151AKHC decoding process

2.3 避障控制系统系统软件设计

1)ARM+DSP双核内部通信设计。达芬奇SM320DM6446平台使用的是ARM+DSP双核,内部需要通讯机制来协调程序的同步运行。内部通讯有中断与查询两种方法。查询方法会占用大量的系统资源,而且在实时性较差,因而在实际使用中采用了中断方法。其原理是:两个CPU通过来共享数据实现数据交互,首先一方通过发送中断信号来通知对方取走数据,另一方进入中断服务程序完成接收数据。ARM+DSP双核内部通信程序流程如图7所示。

图7 ARM+DSP双核内部通信程序流程图Fig.7 The internal communication program flow chart of ARM+DSP dual core

2)图像采集及处理软件设计。首先ARM端发送启动图像采集指令到DSP端,DSP调用图像采集函数,采集一帧图像放入DDR2内存中,产生一个图像采集完毕中断到ARM;ARM端检测到图像采集完毕中断之后,再次发送数据处理中断到DSP,DSP对采集到的数据进行识别,将识别结果存入DDR2内存中,并启动识别结束中断通知ARM;ARM收到中断之后读取识别结果,通过以太网将结果发送到客户端进行显示。图像采集与处理流程如图8所示。

图8 图像采集与处理流程图Fig.8 The flow chart of image acquisition and processing

3 避障控制策略的实现

采摘机器人在实际的作业中可能会经常会碰到障碍物,因此需要进行避障处理。采摘机器人避障控制系统是通过避免机器人在其路径中与障碍物(其本质上是静态的)碰撞来确定机器人从其工作空间中的当前位置到目的位置。本文进行的采摘机器人避障系统统一采用以下假设进行分析处理:

1)对于采摘机器人,当前位置和目标位置在给定的参考坐标系中是已知的。

2)采摘机器人可以从一组固定的动作中选择给定时间内的任何移动策略。

3)采摘机器人分步执行其操作,直到气机器人到达目标位置。

为满足给定的假设,避障系统遵循以下原则:

1)首先,为了确定下一个目标位置,采摘机器人会尝试将其前进方向与目标对齐。

2)在对准过程中,可能导致与前进道路中的障碍物碰撞,因此采摘机器人必须将其前进方向向左或向右转动预定角度以避开障碍物。

3)若采摘机器人可以在没有碰撞的情况下与目标位置对齐,那么将不需要进行避障。

4)如果向左或向右旋转航向方向,则需要机器人围绕z轴旋转相同的角度;如果它被捆绑,则随机打破。

图9 采摘机器人从当前位置i到下一个位置Fig.9 Picking robot from the current location i to the next location

由图9可以看出:采摘机器人下一个目标位置(xi(t+δt),yi(t+δt))的表达式为

xi(t+δt)=xi(t)+vi(t)cosθiδt

(1)

yi(t+δt)=yi(t)+vi(t)sinθiδt

(2)

当δt=1时,式(1)和式(2)可以转换为

xi(t+1)=xi(t)+vi(t)cosθi

(3)

yi(t+1)=yi(t)+vi(t)sinθi

(4)

采摘机器人当前位置为(xi(t),yi(t)),下一个目标位置为(xi(t+δt),yi(t+δt)),这样应首先考虑在两点之间的连接不触及地图中的障碍物,如图10所示。

图10 采摘机器人避障示意图Fig.10 The sketch of obstacle avoidance for picking robot

通过形成约束来最小化从当前位置到目标位置的总路径长度,而不触及障碍物;然后,根据目标函数fit1确定采摘机器人的轨迹长度。fit1计算公式为

fit1=

(5)

公式(5)为线性模糊的目标函数约束,可以防止采摘机器人与障碍物的碰撞,用于评估路径中存在的障碍物。

4 实验结果与分析

为了验证基于ARM+DSP和视觉传感器的采摘机器人避障控制系统的可行性,利用MatLab 7.0进行避障仿真实验,结果如图11所示。

图11 仿真结果图Fig.11 Simulation results diagram

图11中,start为采摘机器人的起点,goal为采摘机器人的目的终点,黑色方框区域为障碍物,白色区域为采摘机器人可移动区域,黑色线路为采摘机器人避障过程中的路径。由图11可以看出:该避障控制系统可以实现避障和路径规划,且在避障过程中规划的路径耗时最少,运动代价最小;在整个移动过程中,成功避开所有障碍物,达到了目的终点,证明了该避障控制系统的有效性和可行性。

5 结论

以采摘机器人移动路径中躲避障碍物为研究对象,设计了基于ARM+DSP和视觉传感器的采摘机器人避障控制系统。系统采用视觉传感器,利用图像处理技术及躲避障碍物的策略,并利用MatLab 7.0进行避障路径优化仿真验证。实验结果表明:该避障控制系统可以实现避障和路径规划,且在避障过程中规划的路径耗时最少,运动代价最小、证明了该避障控制系统的有效性和可行性。