自然光照条件下采摘机器人果实识别的表面阴影去除方法

熊俊涛，卜榕彬，郭文韬，陈淑绵，杨振刚



自然光照条件下采摘机器人果实识别的表面阴影去除方法

熊俊涛，卜榕彬，郭文韬，陈淑绵，杨振刚※

（华南农业大学数学与信息学院，广州 510642）

有效的阴影检测和去除算法会大大提高自然环境下果实识别算法的性能，为农业智能化提供技术支持。该研究采用超像素分割的方法，将一张图像分割成多个小区域，在对图像进行超像素分割的基础上，对自然光照下的果园图像阴影区域与非阴影区域进行对比分析，探索8个自定义特征用于阴影检测。然后采用SVM的方法，结合8个自主探索的自定义特征，对图像中每个超像素分割的小区域进行检测，判断每个小区域是否处于阴影中，再使用交叉验证方法进行参数优化。根据Finlayson的二维积分算法策略，对检测的每一个阴影区域进行阴影去除，获得去除阴影后的自然光照图像。最后进行阴影检测的识别准确性试验，试验结果表明，本研究的阴影检测算法的平均识别准确率为83.16%，经过阴影去除后，图像的阴影区域亮度得到了提高，并且整幅图像的亮度更为均匀。该研究可为自然环境下机器人识别果实及其他工农业应用场景提供技术支持。

机器人；图像处理；目标识别；阴影去除

0 引 言

阴影是自然界中普遍存在的物理现象，当物体部分或完全遮挡来自光源的直射光线时就会产生阴影。在自然环境中存在着复杂的光照，光线会受到树枝、树叶、果实等的遮挡，导致在水果的表面生成阴影，而阴影的存在使识别的目标水果区域与实际有偏差[1]，因此检测并去除阴影，在采摘机器人的应用中有其重要的意义。

去除阴影涉及2个基本阶段：（1）前景物体识别和阴影区域检测；（2）去除图像中的阴影。单张静态图像的阴影去除方法可以分为2类：在梯度域中操作的方法和在图像强度域中操作的方法。Finlayson等提出在梯度域进行阴影去除操作的建议[2-7]。Finlayson等首先提出如下一些假设：（1）图像的形成过程属于朗伯模型（如果一个表面呈现朗伯反射，那么落在其上的光被散射，使得表面对于观察者而言的亮度是相同的；（2）普朗克光源照明场景（普朗克光是黑体的辐射，其颜色取决于黑体的温度）；（3）摄像机具有窄带传感器。Finlayson等将原始图像和一维光源不变图像应用于边缘检测，通过求解泊松方程来检测阴影边缘并重新整合图像以获得三维无阴影图像。Weiss[8]提出了一种从图像序列中恢复本征图像的方法，其中光照变化但反射率恒定。 Matsushita等[9]扩展了Weiss的方法来处理非Lambertian场景，他们最小化了正则化函数，该函数利用偏向的图像导数产生较少受阴影影响的反射图像。基于光照无关图的研究还有，刘艳丽等[10]基于C1C2C3颜色空间，他们发现在C3通道下阴影区域与非阴影区域有较大差异，由此确定满足阈值条件的像素点为阴影种子点，再结合马尔科夫随机场和信任传导算法，扩展阴影区域，最终检测得到完整的阴影区域。Qu等[11]提出了一种基于正交投影的彩色本征图像分解方法，能够将单幅图像分解为本征图像和光照图像。该方法对图像整体光照变化及局部阴影问题都能进行快速有效的处理，但是恢复的图像有失真的情况。这些方法的结果有不错的效果。然而实际测试中，发现这些方法在自然光照的环境中是不适宜的。其他的从单张静态图像去除阴影的方法还有基于强度域的方法等[12-17]。Wu等[18]认为在朗伯假设下，阴影图像是无阴影图像经过一个参数衰弱后所得到的图像，因此能够通过预先使用人工标记的方式标记大致的阴影区域，再经由Bayesian模型对阴影区域进行检测，Lalonde 等[19]认为室外场景中地面的材料类型是可穷尽的，通常包括混凝土、沥青、草地、泥土、石头与砖块等，因此可通过标注路面上的阴影区域与非阴影区域，再使用条件随机场的方法检测阴影区域。Han等[20]提出的阴影去除方法需要先手工对阴影区域进行初步描画，再对描画的区域去除阴影，该方法在去除阴影后仍能较好保持物体的纹理，但是需要人工初步描画阴影区域，对于复杂光照以及复杂纹理物体的恢复效果较差。上述研究方法中阴影去除效果不错，但是需要预先使用人工标记的方式标记大致的阴影区域，因此该方法并不适用于自然光照下机器人识别果实的阴影检测。

本研究以自然光照下在果园采集的水果图像为对象，经过图像观察，自然环境中果树的各种状态是已知的，即图像中只包含树枝、树叶、果实、地面、天空、有无阴影等情况，情况是可穷尽的，因此可使用机器学习的方式进行训练并有效分类。但是仅仅使用单一像素值作为特征判断阴影，则颜色较暗的物体表面可能会被误判为阴影，根据对图像的观察，当阴影被投射在物体表面时会形成轮廓，因此可利用投射阴影明显的轮廓特征将图像分割成各个区域后，再利用区域特征用于识别阴影区域。因此，本研究使用超像素分割的方法将图像分割成多个不重叠的小区域，对每个小区域进行特征分析，探索了8个自定义特征用于SVM识别阴影与非阴影区域，将识别得到的阴影区域连接起来形成阴影掩膜，最后采用二维积分方法对阴影区域进行去除阴影操作。以期为自然环境机器人视觉的精准识别与定位提供技术支持。

1 材料与方法

1.1 图像的采集

本研究的视觉系统由CCD摄像机、支架等硬件组成。CCD摄像机为维视公司生产的MV-E800C型，最大分辨率3312×2496像素。图像采集方法为：摄像机距果树约50～100 cm对成熟的柑橘、龙眼和荔枝进行拍摄，光照条件为顺光。试验所用的荔枝图像拍摄于广东省农业科学院荔枝园，拍摄时间为2016年6月25日至7月15日，龙眼图像拍摄于广东省增城区东林果业园内，拍摄时间为2017年7月13日，柑橘图像拍摄于广东省增城区东林果业园内，拍摄时间为2017年12月25日。其中柑橘的品种为“皇帝柑”，荔枝的品种是“糯米糍”，龙眼的品种为“储良”。

1.2 方法与流程

本文算法运行环境为Ubuntu 16.04，软件为Matlab2016b。由于在自然环境的条件下，经过分析发现，在果实成熟期间内果树的各种状态是已知的，即图像中仅包含树枝、树叶、果实、地面、天空，有无阴影等情况，因此能够通过机器学习的方式进行训练并有效分类，问题的关键在于提取有效的特征进行分类。

本研究的思路是利用区域与基于MSRCR变换的突出纹理特征，将图片分割为各区域，再将每个区域的特征提取出来，使用SVM方法进行训练和测试，最后使用Finlayson的阴影去除方法去除阴影，流程图如图1所示。

图1 阴影识别与去除流程图

2 阴影检测

2.1 图像小区域划分

由于使用单一像素值作为特征判断阴影，颜色较暗的物体表面可能会被误判为阴影。根据阴影的特性，当阴影投射在物体表面时会形成阴影，但也存在本身颜色较暗的物体如果梗等。

根据对自然环境下试验图像的观察，为了避免颜色较暗的物体的干扰，可利用投射阴影区域与其他非阴影区域包括较暗物体之间的亮度与色度差异，对图像进行超像素分割，得到多个小区域。因此本研究使用Mean shift的方法[22]将图像分割成多个小区域。Mean shift 方法首先将图像转换到有亮度与色度信息的L*u*v颜色空间，将每一个像素点转换成像素点位置坐标加三维L*u*v信息的格式，再对每一个转换格式后的点使用均匀分布核函数迭代计算其均值向量，得到最终的聚点。对每一个转换格式后的点，将迭代计算得到的每个对应聚点的L*u*v值赋给该点，完成图像平滑处理，使用区域生长算法合并一些类似的小区域，最后按顺序给每个小区域内的像素点赋上序号值，完成图像的超像素分割与区域标签。分割效果如图2所示。

2.2 提取单一小区域特征

对于每一个区域，Guo等[21]提出了通过区域比对的方法来识别阴影区域。但是在实际应用中，两两区域比对将会消耗更多的计算资源，达不到实时处理的要求。因此，通过变换的方法，突出阴影区域与非阴影区域之间的区别。下面是我们通过实验所找到的新的特征用于检测阴影，包括灰度特征，基于MSRCR变换的纹理特征。

区域灰度均值为

式中为第i个超像素分割区域的红色分量的平均值，为第i个超像素分割区域的绿色分量的平均值，为第i个超像素分割区域的蓝色分量的平均值。由于阴影区域的光线被遮挡，阴影区域普遍的整体灰度值较小，因此该特征能被用于识别与检测阴影区域。

归一化′特征为

基于MSRCR变换的区域特征M为

该特征计算了纹理特征中的均值。其中，N为第个超像素分割区域内的像素点数量，R(,)为第个超像素分割区域内经过MSRCR图像增强算法变换后的像素值[24]，I(,)为第个超像素分割区域内的原像素值。

MSRCR是在多尺度Retinex的基础上加入了色彩恢复因子来调节由于图像局部区域对比度增强而导致颜色失真的缺陷。MSRCR算法可简述如下

该特征是突出特征，经过MSRCR变换后，提取出与原图相差较大的部分，由于原本光照充足的区域经过变换后亮度依旧很大，因此这些区域之间的差异很小；而原本是阴影的区域经过变换后将与原图产生很大的亮度差异，而且该变换对原本颜色偏暗物体的亮度提升并不明显，因此该特征能用于识别阴影区域。

同理，由于原图像中的阴影区域，纹理不明显，经过MSRCR变换后的图像中，反而使纹理更为突出，而经过MSRCR变换后的图像抑制了原先的非阴影区域和低亮度非阴影区域，减弱了非阴影区域的纹理，因此可通过计算下述标准偏差、平滑度、三阶矩、一致性和熵的纹理度量作为特征，用于SVM的训练和识别阴影区域。

基于MSRCR变换的区域特征（标准偏差）为

该特征计算了纹理特征中的标准偏差。式中M为第个超像素分割区域经过MSRCR变换后的突出区域特征，即突出纹理特征中的灰度均值。

基于MSRCR变换的区域特征R（平滑度）为

该特征计算了纹理特征中的平滑度。式中为第个超像素分割区域经过MSRCR变换后的突出区域特征，即突出纹理特征中的标准偏差。

基于MSRCR变换的区域特征3（三阶矩）为

该特征计算了纹理特征中的三阶矩。式中P(Z)为第个超像素分割区域经过MSRCR变换后Z灰度级对应的灰度频数，为最大的灰度级数，Z为可能的所有灰度级数，M为第个超像素分割区域经过MSRCR变换后的突出纹理特征中的灰度均值。

基于MSRCR变换的区域特征U（一致性）为

该特征计算了纹理特征中的一致性。式中Z为可能的所有灰度级数，P(Z)为第个超像素分割区域经过MSRCR变换后Z灰度级对应的灰度频数。

基于MSRCR变换的区域特征e（熵）为

该特征计算了纹理特征中的熵。其中，P(Z)为第i个超像素分割区域经过MSRCR变换后Z灰度级对应的灰度频数。

经过50个阴影与非阴影区域样本的比较，即阴影下的3个柑橘果实区域，3个柑橘叶区域，3个柑橘果梗区域，6个荔枝果实区域，3个荔枝叶区域，3个荔枝果梗区域和4个地面区域。非阴影下的3个柑橘果实区域，3个柑橘叶区域，3个柑橘果梗区域，4个荔枝果实区域，3个荔枝叶区域，3个荔枝果梗区域和3个地面区域，再选取3个天空区域，共50个区域的样本，分别对每一个区域计算式（1）～（9）的特征，阴影区域与非阴影区域的特征对比结果如图3所示，根据数据显示，发现这些特征能够显著地区别不同材质表面的阴影和非阴影状态。

注： B′为归一化特征；MRi、sRi；RRi、mRi3、URi、eRi为基于MSRCR变换的6个区域特征。

2.3 基于SVM的阴影识别与CV参数优化

根据对自然环境的分析，自然环境中主要包括水果、树叶、地面、果梗和天空的情况，因此本研究选取阴影与非阴影下水果、树叶、地面和果梗手动框选的区域各25个样本，即阴影下的25个柑橘果实区域，25个柑橘叶区域，25个柑橘果梗区域，25个荔枝果实区域，25个荔枝叶区域，25个荔枝果梗区域和25个地面区域。非阴影下的25个柑橘果实区域，25个柑橘叶区域，25个柑橘果梗区域，25个荔枝果梗区域，25个荔枝叶区域，25个荔枝果梗区域和25个地面区域，再选取25个天空区域，共375个区域的样本，得到375个特征向量进行训练。

本研究使用SVM的方法[25]进行训练与阴影检测。SVM 是在统计学习理论上发展起来的新型机器学习方法，其建立在VC维理论和结构风险最小原理基础之上，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的泛化能力。SVM的基本理论从线性可分问题的求解中推导出来，但是其最具优势的一面体现在对非线性可分问题的求解上[26]。

再使用K-CV交叉验证[27]得到在此组参数下训练集验证分类准确率，最终取使得训练集验证分类准确率最高的那组参数作为最佳的参数。对于包含多组参数对应于最高的验证分类准确率，则选取能够达到最高验证分类准确率中惩罚参数最小的那组作为最佳的参数，因为过高的惩罚参数会导致过学习状态发生，即训练集分类准确率很高而测试集分类准确率很低（分类器的泛化能力降低），所以在能够达到最高验证分类准确率中的所有的成对的参数中认为较小的惩罚参数是更佳的选择对象。最终经过优化后的参数，损失系数=0.062 5，核函数参数=0.062 5。

利用上述训练与参数优化后得到的模型识别阴影掩膜，使用Mean shift方法将图像分割成多个区域，并对每个区域标记序号。使用以上的8个公式提取每个超像素分割区域的特征，再使用SVM方法识别阴影区域。最后将标记的阴影区域合并，得到阴影掩膜。最终的识别结果如图4e～图4h 所示，其中白色像素块为阴影区域，黑色像素块为非阴影区域。

3 阴影去除试验

3.1 基于积分的阴影去除方法

本研究应用Finlayson等[4]的二维积分阴影去除方法，该方法首先使用canny算子对检测得到的阴影掩膜进行边缘检测，再求得三维的对数空间图像的导数，将导数图像中阴影边缘部分置为0，然后通过对导数图像进行二阶导，最后求解二阶导图像的泊松方程恢复真彩色图像。其中，为了保证阴影边缘的连续性，采用迭代算法利用相邻的非阴影边缘点估计曾被置为0的阴影边缘的值。恢复的结果如图4i～图4l所示。

a. 检测前柑橘图像a. Citrus image before detectingb. 检测前荔枝图像1b. Litchi image 1 before detectingc. 检测前荔枝图像2c. Litchi image 2 before detectingd. 检测前龙眼图像d. Longan image before detecting e. 柑橘图像检测图e. Citrus image after detectingf. 荔枝图像1检测图f. Litchi image 1 after detectingg. 荔枝图像2检测图g. Litchi image 2 after detectingh. 龙眼图像检测图h. Longan image after detecting i. 柑橘图像处理后i. Citrus image after processingj. 荔枝图像1处理后j. Litchi image 1 after processingk. 荔枝图像2处理后k. Litchi image 2 after processingl. 龙眼图像处理后l. Longan image after processing

3.2 试验结果分析

阴影区域检测的准确率可以通过如下的指标来进行评价，该指标是Sun等[28]在评价阴影检测准确性时所用的指标，其中各指标所代表的意义如下：

TP（true positive）：阴影区域被正确检测为阴影区域的个数。

TN（true negative）：非阴影区域被正确检测为非阴影区域的个数。

FP（false positive）：非阴影区域被错误检测为阴影区域的个数。

FN（false negative）：阴影区域被错误检测为非阴影区域的个数。

敏感性（true positive rate）：也叫命中率，即被检测判断为阴影区域的区域中，真实为阴影区域的概率，计算公式如式（10）。

True positive rate=TP/(TP+FN) （10）

特异性（false positive rate）：即被检测判断为非阴影区域的区域中，真实为非阴影区域的概率，如果特异性比较低，则表示大量的非阴影区域被检测判断为阴影区域。计算公式为

False positive rate=TN/(TN+FP) （11）

准确度（AUC）：即ROC曲线下的面积，准确度越高表明检测结果越准确。

本研究新选取阴影与非阴影下水果、树叶、地面和果梗手动框选的区域各60个样本，即阴影下的60个柑橘果实区域，60个柑橘叶区域，60个柑橘果梗区域，60个荔枝果实区域，60个荔枝叶区域，60个荔枝果梗区域和60个地面区域。非阴影下的60个柑橘果实区域，60个柑橘叶区域，60个柑橘果梗区域，60个荔枝果梗区域，60个荔枝叶区域，60个荔枝果梗区域和60个地面区域，再选取60个天空区域，共900个区域作为测试样本库，本研究进行10次试验，每次随机从测试样本库中选取50个阴影区域与50个非阴影区域进行识别，计算每次试验的敏感性与特异性曲线（receiver operating characteristic curve，简称ROC曲线），得到如图5所示的结果。

注：auc表示准确率，%。

上述结果显示，经过10次的随机试验，使用本研究的8个特征能够有效地检测阴影区域，平均准确率为83.16%。

为了验证阴影去除后对荔枝识别的效果，我们采用了在YCbCr颜色分量的Cr分量下，使用Otsu、-means、FCM的方法识别荔枝的方案，-means 和FCM 分为2个聚类中心和3个聚类中心的情况，在表1中为2C和3C。其中Precision为所有阴影像素的像素点中正确分割的阴影像素的比值，其计算方法如式（12）。

Precision=TP/(TP+FP) （12）

Recall为在去除阴影之前手工标记的阴影像素中，正确被分割为阴影像素所占的比例，定义为

Recall=TP/(TP+FN) （13）

对比识别结果如表1所示。

表1 分割算法比较表

由试验结果可知，经过阴影去除后的图像，识别得到的荔枝果实将更为完整，表明了阴影去除的有效性。而存在阴影检测结果不理想的原因可能如下：

1）训练样本不够多，情况未被完全穷尽。在训练SVM分类器的时候，虽然分类器分类是否阴影的情况准确率非常高，但也可能出现过拟合的问题，即分类器的泛化能力不够，对于未出现在训练中的新的情况不能很好的判断区域是否处于阴影中。

2）在手动框选区域进行训练的过程中，与超像素分割出来的区域出现了新的区域情况。由于阴影区域中物体的纹理不明显，因此超像素分割时出现了在同一个区域中有不同物体或不同材料的情况，而在手动框选区域训练时没有考虑这种情况。

3）分类器的选择不是最优。目前前沿发展的机器学习和深度学习方法，可能有更适用于分类阴影区域且准确率更高的方法。

4 结 论

在采摘机器人的视觉系统中，果实的快速识别与定位是果实采摘机器人采摘果实的关键技术。但是，在自然环境中存在着复杂的光照，光线会受到树枝、树叶、果实等的遮挡，导致在水果的表面生成阴影，而阴影的存在使识别的目标水果区域与实际有偏差，因此检测并去除阴影，在采摘机器人的应用中有其重要的意义。本文进行了自然光照下机器人识别果实的阴影检测与阴影去除方法的研究，避免了白天自然光照变化带来的影响，并设计试验验证了该算法的有效性和可行性。

1）根据阴影的特性，分析与提取区域特征。探索了区域灰度均值、归一化′特征、基于MSRCR变换的区域特征M、基于MSRCR变换的区域特征（标准偏差）、基于MSRCR变换的区域特征R（平滑度）、基于MSRCR变换的区域特征3（三阶矩）、基于MSRCR变换的区域特征U（一致性）与基于MSRCR变换的区域特征e（熵）这8个区域特征在阴影检测中的有效性。

2）基于SVM与交叉验证方法优化参数的阴影区域识别。提取每一个标记区域的8 个特征，使用SVM方法识别每一个区域是否是阴影区域，阴影检测的平均准确率为82.508%。

3）本研究对自然光照条件下采集的果园图像使用超像素分割的方法，将图像分割成多个小区域并打上标签，以方便对区域特征的分析与提取。

4）基于二维积分方法的阴影去除。本研究利用了阴影边缘的导数，从临近非阴影边缘获得中间值补偿自然光照下果实或果树图像的阴影区域，使图像的阴影区域的亮度提高，并且使整幅图像的亮度更为均匀。

[1] 宋怀波，屈卫锋，王丹丹，等. 基于光照无关图理论的苹果表面阴影去除方法[J]. 农业工程学报，2014，30(24)：168－176.

Song Huaibo, Qu Weifeng, Wang Dandan, et al. Shadow removal method of apples based on illumination invariant image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(24): 168－176. (in Chinese with English abstract)

[2] Finlayson G D, Hordley S D, Drew M S. Removing shadows from images[C]//European Conference on Computer Vision. Springer-Verlag, 2002: 823－836.

[3] Finlayson G D, Drew M S, Lu C. Intrinsic images by entropy minimization[C]//European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2004: 582－595.

[4] Finlayson G D, Hordley S D, Lu C, et al. On the removal of shadows from images[J]. IEEE Trans Pattern Anal Mach Intell, 2006, 28(1): 59－68.

[5] Finlayson G D, Drew M S, Fredembach C. Detecting illumination in images[C]// IEEE International Conference on Computer Vision. 2007: 1－8.

[6] Finlayson G D, Hordley S D. Color constancy at a pixel[J]. Journal of the Optical Society of America a Optics Image Science & Vision, 2001, 18(2): 253－264.

[7] Finlayson G D, Drew M S. 4-sensor camera calibration for image representation invariant to shading, shadows, lighting, and scularities[C]//IEEE International Conference on Computer Vision, 2001(2): 473－480.

[8] Weiss Y. Deriving intrinsic images from image sequences[C]//Proc. IEEE International Conference on Computer Vision, July. 2001(2): 68－75.

[9] Matsushita Y, Lin S, Kang S B, et al. Estimating intrinsic images from image sequences with biased illumination[C]// European Conference on Computer Vision , 2004, 3022: 274－286.

[10] 刘艳丽，石俊，张严辞. 一种单幅室外图像的阴影去除算法[J]. 软件学报，2012，23(2)：168－175.

Liu Yanli, Shi Jun, Zhang Yanci. Shadow removal based on single outdoor image[J]. Journal of Software, 2012, 23(2): 168－175 (in Chinese with English abstract)

[11] Qu L, Tian J, Han Z, et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow- free image[J]. Optics Express, 2015, 23(3): 2220－2239.

[12] Shen L, Tan P, Lin S. Intrinsic image decomposition with non-local texture cues[C]// Computer Vision and Pattern Recognition, 2008: 1－7.

[13] Shen L, Yeo C. Intrinsic images decomposition using a local and global sparse representation of reflectance[C]//Computer Vision and Pattern Recognition, 2011, 32(14): 697－704.

[14] Laffont P Y, Bousseau A, Paris S, et al. Coherent intrinsic images from photo collections[J]. Acm Transactions on Graphics, 2012, 31(6): 1－11.

[15] Levine M D, Bhattacharyya J. Removing shadows[J]. Pattern Recognition Letters, 2005, 26(3): 251－265.

[16] Figov Z, Koppel M. Detecting and removing shadows[C]// International Conference on Computer Graphics and Imaging, 2004.

[17] Baba M, Mukunoki M, Asada N. Shadow removal from a real image based on shadow density[C]// Proceedings ACM SIGGRAPH, 2004.

[18] Wu T P, Tang C K. A bayesian approach for shadow extraction from a single image[C]// Tenth IEEE International Conference on Computer Vision, 2005, 1(1): 480－487.

[19] Lalonde J F, Efros A A, Narasimhan S G. Detecting ground shadows in outdoor consumer photographs[C]// European Conference on Computer Vision, 2010, 6312: 322－335.

[20] Han G, Cosker D. User-assisted image shadow removal[J]. Image and Vision Computing, 2017(62): 19－27.

[21] Guo R, Dai Q, Hoiem D. Single-image shadow detection and removal using paired regions[J]. Computer Vision & Pattern Recognition, 2011, 32(14): 2033－2040.

[22] Comaniciu D, Meer P. Mean shift: A robust approach toward feature space analysis[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2002, 24(5): 603－619.

[23] Phong B T. Illumination for computer generated pictures[J]. Communications of the Acm, 1975, 18(6): 311－317.

[24] Rahman Z U, Jobson D J, Woodell G A. Retinex processing for automatic image enhancement[C]// Human Vision and Electronic Imaging VII. International Society for Optics and Photonics, 2002, 4662(1): 100－110.

[25] Chang C C, Lin C J. LIBSVM: A Library for Support Vector Machines[M]. New York: ACM, Inc., 2011.

[26] 邓乃扬，田英杰. 数据挖掘中的新方法：支持向量机[M]. 科学出版社，2004.

[27] 刘涛，贾进章. 基于K-CV&SVM的工作面煤层瓦斯含量预测[J]. 世界科技研究与发展，2015(2)：147－150.

Liu Tao, Jia Jinzhang. Prediction for seam gas content of coal face based on cross-validation & SVM[J]. World SCI-TECH R&D, 2015(2): 147－150. (in Chinese with English abstract)

[28] Sun J, Tian J, Du Y, et al. Retinex theory‐based shadow detection and removal in single outdoor image[J]. Industrial Robot, 2009, 36(3): 263－269.

Shadow removal method of fruits recognized by picking robot under natural environment

Xiong Juntao, Bu Rongbin, Guo Wentao, Chen Shumian, Yang Zhengang※

(,,510642,)

In the visual system of picking robot, the recognition and orientation of fruit is the key technology. In the natural environment, there is complex light and the shadows are ubiquitous physical phenomena in the natural world. The light would be blocked by branches, leaves, fruit, etc., resulting in shadow casting on fruits. Shadow makes it more difficult for machine vision to identify and locate fruit, so it is significant to detect and remove shadows in the application of picking robot. In this paper, the shadow detection and removal method for fruit recognition by picking robot in the natural environment was studied to avoid the effect of light changes during the day, and the experiments were designed to verify the feasibility and effectiveness of the algorithm. In this study, we used bounding box manually to circumscribe and tag the branches, leaves, fruit, ground and sky of the citrus, litchi and longana images. The classification labels of the bounding box were set to shadow and no shadow firstly. The shadow region and the no shadow region of the orchard image under natural light were compared and analyzed. According to the characteristics of shadows, 8 regional features, including average pixel value of regional grayscale, normalization of the feature, regional feature based on MSRCR transformation, regional feature based on MSRCR transformation, regional feature based on MSRCR transformation, reegional feature based on MSRCR transformation, regional feature based on MSRCR transformation and regional feature based on MSRCR transformation were studied and proved to be the effective features for shadow detection. The 8 self-explored custom features were extracted based on MSRCR and the classification labels of the above regions and trained by using the SVM. K-fold cross validation method was used to optimize the parameters of the SVM, and finally the optimal classification model was obtained. Secondly, the method of superpixel segmentation was used to divide an image into multiple small regions. Based on the superpixel segmentation of the image, the 8 self-explored custom features were extracted, and each small segment of the superpixel segmentation in the image was detected, and it was determined whether each small region was in the shadow. According to the strategy of Finlayson's two-dimensional integration algorithm, the shadow removal was performed on each detected shadow region, and the natural light image was obtained after removal of the shadow. Finally, the accuracy of shadow detection was tested. The experimental results showed that the average accuracy of the shadow detection algorithm in this study was 83.16%. In order to verify the effect of litchi recognition after shadow removal, some methods, including Otsu,-means and FCM, were implemented to recognize litchis using Cr component of YCbCr color model. The results showed that the litchis were recognized more intactly from the images after shadow removal, shadow removal can improve the recognition effect of fruits. This study provides a technical support for the robots to identify fruits and other industrial and agricultural application scenarios in the natural environment.

robot; image processing; target recognition; shadow removal

熊俊涛，卜榕彬，郭文韬，陈淑绵，杨振刚. 自然光照条件下采摘机器人果实识别的表面阴影去除方法[J]. 农业工程学报，2018，34(22)：147－154. doi：10.11975/j.issn.1002-6819.2018.22.018 http://www.tcsae.org

Xiong Juntao, Bu Rongbin, Guo Wentao, Chen Shumian, Yang Zhengang. Shadow removal method of fruits recognized by picking robot under natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(22): 147－154. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.22.018 http://www.tcsae.org

10.11975/j.issn.1002-6819.2018.22.018

TP391.41

A

1002-6819(2018)-22-0147-08

2018-06-07

2018-09-04

国家自然科学基金项目（31201135，31571568）、广东省自然科学基金项目（2018A030313330）和广州市科技计划项目（201802020032）

熊俊涛，副教授，主要从事农业机器人和智能设计与制造研究。Email：xiongjt2340@163.com

杨振刚，副教授，主要从事机器视觉与虚拟现实的关键技术研究。Email：yzg@scau.edu.cn