苹果采摘机器人系统研究—基于AI的Retinex算法

陈 超,刘瑰洁,李 锋

(1. 广州铁路职业技术学院,广州 510000;2.广东润石信息技术有限公司,广州 510000)

0 引言

随着人工智能AI(Artificial Intelligence)的出现,系统已经开始向智能化、自主化转变,且发展最为迅速的是果园水果类采摘类系统。由于当今对水果的需求量不断增加,涌现了很多大面积的果园。当果实成熟时,传统的人工采摘已经满足不了市场需求,故借助AI平台并利用智能采摘机器人进行采摘已经成为当下较为流行的作业方式。在采摘作业过程中,视觉系统需要实时采集果实图像,一方面由AI平台通过通信系统传回监控中心,方便远程人员随时了解现场情况[1];另一方面用于自身数据处理,以便确认是否符合采摘要求。

果园采摘时,由于阴天、沙尘、或夜晚光线不足等因素的影响,使得视觉系统采集的图像质量差,出现光线偏暗、模糊、失真、噪声等问题[2]。这不仅严重影响远程监控人员对现场的判断,而且系统在图像处理过程中会因无法判断或错误判断而导致采摘失败。

为了解决上述问题,笔者对苹果采摘机器人视觉系统采集的图像进行Retinex增强和双边滤波去噪处理,以改善图像质量。另外,对处理后的图像提出新的分割识别算法,以便能够高效、迅速地识别苹果,实现真正的高效、精准、智能采摘作业。

1 苹果采摘机器人视觉系统

采摘系统的图像采集属于机器视觉的部分,即通过计算机代替人眼对目标物体进行测绘。首先,通过视觉传感器获取目标图像,再将图像转化为数字信号;然后,将数字信号传送至某种芯片中,最后模拟人眼进行测量和判断。苹果采摘系统在进行图像采集时,使用CCD或CMOS摄像机对苹果图像进行采集[3],采集的图像存储在采集卡中;计算机先对存储的苹果图像进行去噪、增强预处理,再依据苹果特征对图像进行分割识别,最后输出执行命令,使采摘机器人开始采摘作业[4]。在整个采摘过程中,只有保证采集的图像清晰、明亮,图像中苹果的定位才能够准确,采摘机器人才能够精确地采摘苹果。因此,视觉系统的图像采集是采摘作业成功与否的前提与关键,其组成结构如图1所示。

图1 视觉系统组成结构Fig.1 Structure of vision system

2 苹果图像预处理

工业摄像机采集的苹果图像由于阴天、沙尘、光线不足等原因,出现模糊、噪声等缺陷。为了后期采摘过程中能够更为精确地识别目标果实,需要对原始图像进行预处理。预处理包括图像增强和图像去噪两方面:针对图像的模糊缺陷,利用Retinex算法进行效果增强处理;针对图像携带的噪声,借助最常用的去噪方法进行效果对比与分析。

2.1 图像增强—Retinex算法

选用Retinex算法进行图像增强处理。Retinex理论表明:物体的色彩是由其对红色、绿色、蓝色光线的反射程度决定的,而不是由反射光强度的来决定;物体的色彩具有一致性,即Retinex是以色感一致性(颜色恒常性)为基础的,其原理是将入射光照射在反射物体上,形成反射光进入观察者眼睛[5]。具体原理如图2所示。

图2 Retinex理论模型图Fig.2 Retinex theoretical model diagram

图2中,定义S(x,y)为原始图像,R(x,y)为反射部分图像,代表了图像的内在属性;L(x,y)为入射部分图像(又称亮度图像),决定了图像像素能达到的动态范围[6],则它们的关系可表示为

S(x,y)=R(x,y)·L(x,y)

两边进行对数运算可得

log[S(x,y)]=log[R(x,y)·L(x,y)]

提取反射部分图像可得[7]

R(x,y)=exp[log[S(x,y)]-log[L(x,y)]]

根据上述计算公式,Retinex算法的核心过程如图3所示。

图3 Retinex算法过程Fig.3 Retinex algorithm process

利用Retinex理论对图像进行增强的本质是去掉入射图像分量,尽可能提取反射图像[8]。通常Retinex算法可分为单尺度SSR算法、多尺度加权平均MSR算法及彩色恢复多尺度MSRCR算法3类[9]。本文使用单尺度SSR算法,其实现流程如下:

1)输入原始苹果图像S(x,y),将图像的每个颜色分类处理,将每个分量的像素值由整数值转换为浮点数值,并转换到对数域中;

2)根据Retinex的基本公式,得到反射图像R(x,y);

3)将R(x,y)从对数域转换到实数域得到的图像值设为r(x,y);

4)对r(x,y)进行线性拉伸处理,得到最终图像增强结果并显示。

2.2 图像去除噪声

借助差影法,通过长时间收集对比发现,采集的图像最常见的噪声为高斯噪声。所谓的高斯噪声,是指其概率密度函数服从高斯分布(即正态分布)的一类噪声。去除高斯噪声常见的方法均值滤波、高斯滤波、中值滤波以及双边滤波等[10]。

1)均值滤波是典型的线性滤波算法,它是指用当前像素点周围N×N个像素值的均值来替代当前像素值。针对边缘像素点,可以只取图像内存在的周围邻域点的像素值均值[11]。

2)高斯滤波是一种线性滤波,是对整幅图像进行加权平均的过程,每个像素点的值由其本身和邻域内其它像素值经过加权平均后得到。

3)中值滤波是指用像素点邻域灰度值中的中值来代替该像素的灰度值,对于消除孤立的噪声点非常有效[12]。

4)双边滤波同时使用空间高斯权重和灰度值相似性高斯权重。空间高斯函数确保只有邻近区域的像素对中心点有影响,灰度值相似性高斯函数确保只有与中心像素灰度值相近的才会被用来做模糊运算。

2.3 图像预处理效果

经过图像增强和图像去噪预处理后的效果如图4所示。其中,图4(a)为工业相机在临近夜幕时拍摄的图像,相对光线较暗,图像较为模糊;图4(b)为采用Retinex算法图像增强后的效果图,图像更加明亮,颜色层次更为明显;图4(c) ～(f)为图像去噪后的效果图;图4(c)为均值滤波效果;图4(d)为高斯滤波效果;图4(e)为中值滤波效果;图4(f)为双边滤波效果。通过对比发现:经过双边滤波处理的苹果图像,细节更加清晰,图像更加饱满。因此,选用双边滤波算法进行去噪处理。

图4 图像预处理效果图Fig.4 Image preprocessing rendering

3 苹果图像分割识别

在对苹果图像进行增强处理后,需要依据苹果特征来分割识别苹果的位置。在自然界采集到的苹果图像中,除了苹果之外,还包含树枝、树叶、外界背景等等。这些与成熟的苹果之间最明显的区别就是颜色,成熟的苹果为红色,故可以用颜色分割法提取出红色所在区域,即为苹果的位置。

从图像的色彩空间来说,色彩是以R(红色分量灰度值)、G(绿色分量灰度值)、B(蓝色分量灰度值)为基础的,R、G、B∈(0,255)。因此,图像中的任意色彩都可以由M表示,而M由R、G、B不同组合而成[13],即

M=(R,G,B)

通常红色的R分量肯定大于G分量与B分量,树枝、树干或者其他颜色的R分量则小于G分量与B分量。根据此特点,可以利用颜色分割法提取成熟苹果的区域,具体的表达式为

其中,L为分割后的图像灰度值;k为色差系数。

为了观察不同色差系数的分割效果,分别取k的值为0.6、0.8、1.0,则得到的灰度分割图像如图5所示。

图5 图像分割效果图Fig.5 Image segmentation rendering

由图5可以看出:当色差系数k=0.8时,苹果图像的分割效果最好,基本能够完整地保留成熟水果的形状[14]。

在得到苹果分割图像后,基本能确认苹果的位置,但采摘机器人在采摘过程中需要确认苹果的大小来确定采摘爪的张合程度,故需要对苹果的圆心和半径进行提取。借助Canny边缘检测算法,检测苹果的轮廓,检测到的效果如图6(a)所示。然后,利用最小圆包裹目标苹果的轮廓二维点集的方法来提取图像中已经分割好的苹果的半径和圆心坐标,如图6(b)所示。其中,识别苹果的半径为36.4mm,圆心的坐标为(40.2,76.3)。

图6 苹果轮廓和定位图Fig.6 Apple outline and location map

值得注意的是,上述方法只适用于被树叶或者树干遮挡面积不超过50%的苹果。当遮挡的面积超过50%时,可以在采摘机器人变换到其他角度时进行采摘[15]。

4 结果测试分析

为了验证所述视觉系统的实用性,运用BlackflyBFLY-U3-13S2C工业相机在自然条件下对果园的红富士苹果树进行不同角度的图像采集,每张图像的像素为200×200。随机抽取其中50张做视觉识别试验,则对图像识别结果如表1所示。

由表1可以看出:设计的视觉系统对图像识别的正确率为86%,平均识别时间为2.4s左右,基本能够满足采摘机器人在采摘作业时高效快速识别的需求。

另外,苹果一般根据果实的直径进行划分。优质红富士直径为85～95mm 、一级红富士为75～85mm 、二级红富士为65～75mm[16],识别结果如表2所示。

表2 苹果数量识别结果Table 2 Identification results of Apple number

由表2可以看出:采集的50张图像中的红富士苹果总数量为112个,除14个由于树叶等遮挡不能识别的苹果之外,剩余的98个苹果中有91个能够被识别,正确率高达92.8%,并对识别的苹果进行了分类统计,为后期的包装等提供依据。

5 结论

针对苹果采摘机器人视觉系统采集的图像,使用Retinex算法进行效果增强处理,采取双边滤波去除噪声,并就图像中的苹果进行分割识别。试验结果表明:系统很好地解决了由于环境干扰引起的图像偏暗、模糊、噪声等问题,提高了视觉系统正确识别苹果的概率,为采摘机器人精准、高效、智能的采摘作业打下基础,也为后续智慧农业的发展提供了理论参考。