夜间环境下树上柑橘表征缺陷深度学习检测方法

孙宝霞，梁翠晓，刘凯，郑镇辉，胡文馨，熊俊涛

(1. 广东机电职业技术学院电气技术学院，广州 510515； 2. 华南农业大学数学与信息学院，广州 510642)

中国是世界第一大柑橘的生产国，利用机器视觉技术进行树上柑橘的视觉定位与缺陷检测，能为柑橘采摘以及果园产量估计提供技术支持，对精准农业的实现和生产成本的控制起到有效作用[1]。水果生长过程中存在形态随机性和品质多样性等特征，而其生长的果园环境存在非线性、易时变、多扰动等特点，这是农业信息化所面对的难题[2]。以柑橘为例，通过园艺学知识可知，该类水果为单果，其生长状态随机而品质多样，利用视觉监测其生长状态极易出现信息不全、环境干扰导致图像畸变而出现判断错误的情况[3]。造成该情况的主要原因是现有视觉检测方法存在环境适应性差、目标检测能力弱的不足[4]。因此，如何提升自然环境下视觉监测果实品质的认知能力，实现目标状态的精确辨识，进行果园管理的智能决策，并能适应不同果园环境，是目前智慧果园生产信息化发展面临的瓶颈问题。

目前国内外柑橘表征品质检测技术的研究主要是基于机器视觉或光谱技术进行柑橘品质检测。例如，高嘉轩[5]提出了一种基于远邻域颜色描述特征及稀疏表达的类圆形水果缺陷检测方法，实验证明该方法在检测速度和时间上都有明显的改进；容典[6]搭建了水果表面缺陷检测的视觉试验系统平台，利用快速边缘分割法和灰度局部阈值分割对脐橙表面8种常见缺陷进行检测，分割精度达92%；张明[7]设计开发了一种基于掩模及亮度校正的算法对脐橙表面缺陷进行检测，实现脐橙表面缺陷一次性分割提取；Momin等[8]结合多光谱成像技术与自适应预处理技术对柑橘进行缺陷检测，其准确率达95%以上；Patel等[9]设计并评价了一种用于芒果果实在线检测和缺陷分割的反射紫外图像采集系统，检测表面的微小损伤；Muharfiza等[10]提出了基于机器视觉系统的柑橘荧光缺陷检测新技术，检测柑橘表皮中不明显的缺陷。这些研究能有效降低自然光照的干扰，提高果实目标的识别精度，但已有研究较多集中在果蔬成熟状态的视觉识别，缺少果实生长期不同品质状态的视觉识别研究。

自然环境不同天气和时段的光照强度是随机变化的，在低照度条件下太阳光的干扰减少了，但是采集图像信息也会出现色彩丢失、图像模糊等现象。针对这种情况，Payne等[11]进行了夜间树上芒果品质的视觉检测研究，结合纹理滤波和hessian滤波去除树叶、枝干的干扰，设计了一个芒果检测系统；Fu等[12]进行了猕猴桃的夜间图像识别研究，通过设计在R-G颜色空间进行猕猴桃的识别研究，试验表明识别准确率达到88.3%；姬伟等[13]提出一种基于引导滤波的具有边缘保持特性的Retinex图像增强算法，较双边滤波Retinex方法的运行时间平均减少74.56%。以上研究主要采用的方法在复杂自然环境下易受自然光、遮挡、果实形态等其他因素的影响，因此在实际运用中识别算法的鲁棒性和适用性较差。如何克服环境因素影响，进行果园水果实时有效的视觉监测，还有待进一步深入研究。

近年来，随着深度学习技术的发展，一些研究将深度学习应用于水果品质的视觉监测。例如，Villacrés等[14]首次通过使用Faster R-CNN算法进行樱桃果实的检测、分类和产量估计，其准确率为85%左右；岑冠军等[15]提出基于深度学习算法的芒果图像在线识别计数方法，其准确率为82.3%。此外，近年来一些学者尝试将多模态成像方法运用到该研究领域。例如，Argote等[16]提出了一种基于热图像捕获和模糊图像处理的计算机视觉系统来估计甜橙树中果实的数量。该类方法虽然精度高，但其热图像容易受其他因素如相对湿度、环境温度和风的影响，因此在实际水果检测和产量预估任务中很少被采用。以上这些研究都为柑橘的视觉检测和产量估计提供了参考思路。

由上述可知，多源信息的视觉方法，能有效提升视觉性能，因此视觉传感器及视觉系统结构的确定非常关键。已有研究大多采用多源视觉信息的应用环境偏向于温室，一些信息源获取手段对环境光照敏感，例如近红外光谱；并且研究主要集中在成熟果实的视觉识别，较少进行果实生长期不同品质状态的视觉辨识研究。针对复杂的果园环境，怎样建立合理的视觉系统，并设计鲁棒性强和精确性高的视觉检测算法，是当前柑橘表征品质检测研究的关键问题。 笔者选择夜间自然环境下进行树上柑橘的识别计数与缺陷检测分类研究，提出了基于深度学习的夜间环境树上柑橘表征缺陷视觉检测方法，主要工作如下：1)设计了夜间视觉检测系统软、硬件，实现夜间树上柑橘图像的采集；2)训练了YOLO v4柑橘果实表征检测的深度学习模型，并设计了对比试验评估模型性能。本研究为树上柑橘生长期品质监测与产量估计提供有效方法，同时为柑橘采摘实时检测提供技术支持。

1 材料与方法

1.1 光源的选择

夜间环境树上柑橘图像的采集，需要设计光源及摄像机组合的视觉系统。Kondo[17]在紫外光进行柑橘缺陷检测的研究中，使用荧光分光光度计对柑橘表皮提取物进行光谱测试，发现在激发波长为380 nm左右时，激发出的荧光亮度最大。因此，与大多数的水果识别研究不同，本研究需要利用紫外光在夜间对目标进行荧光激发并识别，在视觉系统的设计上会有所不同，特别是光源方面，需要兼顾照明和激发两重作用。酮类物质产生荧光现象需要适当波长的紫外光激发。本研究使用市面常见规格的紫外光源进行试验，同时比较激发波长分别为365，385和395 nm下四季桔缺陷部分的荧光现象。分析柑橘彩色图像，如图1所示，发现激发波长为365和385 nm下四季桔缺陷部分荧光现象都比较明显，395 nm下的荧光现象十分不明显。在波长为365 nm的紫光灯下看起来偏白，对未成熟的四季桔(青色的)进行缺陷检测时，缺陷部分的绿色荧光与未成熟四季桔正常表皮的青色相似，会影响缺陷的识别。而在波长为385 nm的紫光灯下看起来偏紫，灯光照射在未成熟四季桔时四季桔表皮呈暗紫色，和绿色荧光呈鲜明对比。此外，385 nm波长的紫外灯珠价格相对其他规格要低，因此本视觉系统采用波长为385 nm 的巨宏芯片紫光灯珠。

图1 不同波长的检测效果Fig. 1 Detection results of different wavelengths

另外，由于紫光灯珠发出的紫外光线波长较低，根据能量和波长成反比的关系，紫外灯长时间工作会造成周围环境温度上升、对人体造成伤害，所以紫灯只在检测时开启，其他时间处于关闭状态。为在检测过程中寻找到柑橘所在位置，本研究在视觉系统中加入了易于获取且可控制光照强度的JH-3W140P45-T4A型号白光灯珠。白光灯珠可以长时间开启，用来提供除检测状态其他时间的灯光环境。

1.2 视觉系统结构设计

本视觉系统选择夜间的自然环境进行柑橘缺陷识别作业。日间自然环境下，不同时刻太阳位置的改变导致照射在柑橘的光照不能控制在合适亮度范围内，存在柑橘图像亮度过低或过强的现象。在夜间自然环境下，本视觉系统的结构光源提供稳定且均匀的光照，有利于图像处理检测缺陷。

本视觉系统采用12颗1 W的LED白光灯珠和18颗1 W的385 nm波长的LED紫外灯珠交叉嵌在一个30°汇聚的平面，构成一个具有双光源的检测光源，提供白灯和紫外灯两种光源，为四季桔品质检测提供合适的环境亮度。LED驱动电路采用XL6019搭建升压电路，输出20 V的LED供电电压，采用恒压限流的方法统一为白灯和紫外灯供电，采用不同阻值的电阻，并配可变电阻器对LED两端电压进行调整。

通过实验确定了本视觉研究系统最佳亮度范围为55～65 lx。在确定最佳亮度范围试验中，将柑橘置于没有外界光照的条件下(光照强度≤5 lx)，视觉系统“最佳亮度”从0开始设置，每次以10 lx为单位增加系统设定的最佳亮度，通过观察不同亮度下视觉系统识别效果确定成熟柑橘最佳识别光照强度范围。比较不同光照条件的成熟柑橘识别结果，当光照强度弱于55 lx或高于65 lx时缺陷识别效果会出现漏识别或多识别，无法很好地把缺陷部分框出来。当光照强度处于55～65 lx时成熟柑橘的识别最为准确。识别结果如图2所示。

图2 在55～65 lx光强下柑橘识别结果Fig. 2 Citrus recognition results at 55-65 lx-ray intensity

1.3 图像的采集

本研究的视觉系统由高清摄像头、白光LED灯、紫光LED灯、STC15单片机等硬件组成。高清摄像机为罗技公司生产的C525型，像素500万以上并且自动对焦。白光LED光源是巨宏光源公司生产的JH-3W140P45-T4A型号灯珠，色温5 000～6 000 K，光通量为190～210 lm/W，紫光LED光源波长为380～385 nm，光通量为20～30 lm，电压为3.4～3.6 V，能在夜间环境下提供有效的稳定光源。单片机使用STC15系列的STC15F2K60S2。硬件部分利用AOD4184 MOS场效应管整流管控制电平开关。使用MBRD1045 10 A/45 V贴片TO-252整流管45G肖特基二极管。通过XL6019电源驱动芯片来搭建升压电路。柑橘图像的采集方式为：摄像头位于自制光源中心与LED灯组成视觉系统，视觉系统距柑橘果实150～200 mm，平行拍摄，而PC机利用GUI界面控制系统。夜间图像采集的地点为华南农业大学果园，采集对象为成熟四季桔，采集时间为2019年1月23日晚，图像分辨率为1 920×1 080。图像采集场景见图3，灯光视觉系统中心与采集对象中心在同一水平线上，相距15～20 cm。为确保样本的全面性，本研究在夜间环境从不同角度对不同的柑橘区域进行图像采集，一共采集了154张柑橘紫外光图像。本研究从采集的154张柑橘紫外光图像中筛选出139张图像作为图像处理样本，其中包括62张柑橘紫外光图像是无缺陷的，77张是有缺陷的。在139张样本中选取了100张柑橘紫外光图像，其中训练集66张，验证集34张，用于训练模型样本的采集，其中包括50张有缺陷的柑橘紫外光图像和50张无缺陷的柑橘紫外光图像。而剩余39张柑橘紫外光图像用于测试算法的准确性，其中包括27张有缺陷的柑橘紫外光图像和12张无缺陷的柑橘紫外光图像。

a. PC视觉处理端；b. 灯光视觉系统；c. 拍摄距离；d. 目标柑橘。图3 图像采集场景Fig. 3 Image acquiring scene

1.4 视觉检测方法

1.4.1 YOLO v4 网络

相比其他目标检测与识别方法(如R-CNN系列)，YOLO(You Only Look Once)系列网络基于回归的方法来提取特征，无需生成大量的候选窗口，而直接采用单个神经网络对输入的图像进行目标检测和分类，具有较快的检测速度，可满足农业果蔬采摘机器人对水果检测精度和速度的需求[18]。YOLO网络将输入的图片划分成大小为S×S(S=7)的网格，如果一个物体的中心落在某个单元格内，则由该单元格负责检测该物体。单元格会输出多个预测框和每个预测框的置信度，抛弃置信度低的预测框并通过非极大值抑制算法最终定位柑橘位置。其中预测框包含参数c、x、y、w、h，(x,y)为目标在候选框的中心坐标，w、h为候选框的宽度和高度，c(s=1)为类型。

YOLO v4网络是目标检测算法YOLO系列的第4个版本，同样FPS等于83左右，YOLO v4在MSCOCO数据集上的AP是43，比YOLO v3高了10个百分点。同时YOLO v4在该数据集上具有较高的检测精度和速度，检测性能优于Faster R-CNN、SSD和EfficientDet等算法。

在YOLO v4提出前，最精确的目标检测网络存在不具备实时性、需要使用大量的GPU进行小批量运算的缺点。而YOLO v4在YOLO v3的基础上，通过对输入端、主干特征提取网络、特征增强融合网络以及预测网络进行了创新，有效提升神经网络的准确率，具有较强的检测性能。因此，本研究采用YOLO v4作为室外环境下柑橘荧光缺陷的检测方法。

1.4.2 Mosaic数据增强

为了使网络具有更低的训练门槛，即在GPU资源有限的条件下得到更好的结果，YOLO v4对训练时的输入端进行了改进，主要包括Mosaic数据增强、cmBN、SAT自对抗训练。

YOLO v4所使用的Mosaic数据增强方法是由Wang等[19]2019年提出的CutMix数据增强方法的改进版。如图4所示，Mosaic不同于一般的数据增强方式，Mosaic随机读取4张图像，通过缩放、裁剪以及排布的方式拼接成1张新图像后输入到网络中进行训练，能够使网络训练1次就可学习4张图像。该方法极大地丰富了检测物体的背景，同时可使得网络在训练时不需要设置很大mini-batch和通过传统的GPU就可以获得比较好的检测效果。

图4 数据增强方法Fig. 4 Data enhancement method

1.4.3 主干特征提取网络

由于本研究数据集中柑橘缺陷像素在整幅图像中占比较小，因此检测网络在保证实时性的同时应尽可能具有较高的识别精度。相比YOLO v4_Tiny的轻量和高速，YOLO v4_CSPDarknet53则是在保证实时性的基础上追求更高的性能。因此本研究选取具有较高检测精度和速度的CSPDarknet53作为YOLO v4的主干网络。

YOLO v4通过借鉴Wang等[19]提出的CSPNet，在YOLO v3主干网络Darknet53的基础上改进得到CSPDarknet53。CSPDarknet53包含5个CSP模块，其中在每个CSP模块前采用大小为3×3的卷积核以起到下采样的作用。与YOLO v3原有的残差块相比，CSP模块主要有两点优势：1)充分利用特征融合，有效提升网络的学习能力；2)降低内存成本，提高硬件资源使用率，在使得网络轻量化的同时保持较高的准确性。

此外在CSPDarknet53中，YOLO v4都使用了Mish激活函数，其公式如下：

y=x×tanh[ln(1+ex)]

(1)

如图5所示，Mish激活函数每一点更加平滑，这样网络可以学习到更高质量的信息。同时在负值时，为预防信息中断采取较小的负梯度流入策略，从而得到更好的准确性与泛化能力。

图5 Mish激活函数Fig. 5 Mish activation function

1.4.4 特征增强融合网络

针对小目标的检测，研究者通常会输入更高分辨率的图像、采用更深的网络以及在BackBone和最后的输出层之间插入一些层。为了更大程度地增加感受野，YOLO v4在CSPDarknet53 之后添加了额外模块SPP网络，以在保证网络运行速度几乎不变的情况下分离出最显著的上下文特征。同时采用PANet作为参数聚合方法，通过将融合的方法由加法改为乘法，更加充分地利用了特征融合，使得网络能够具有更加强大的目标检测性能。

在SPP网络中，分别使用大小为k={1*1,5*5,9*9,13*13}的卷积核对上阶段得到的特征图进行最大池化，再通过Concat连接层将所有的特征图进行聚合(图6)。本研究通过使用预训练模型和柑橘缺陷数据集对网络进行训练，并根据训练结果调整YOLO v4网络参数，最后得到基于YOLO v4的柑橘缺陷检测网络。

图6 SPP-Net结构Fig. 6 SPP-Net structure

2 试验设计与结果分析

2.1 试验配置与训练结果

试验采用CSP_Darknet53深度学习框架，计算机配置为Intel Core i7-8700HQ CPU @ 3.20GHz × 12，显卡为GeForce GTX 1080，操作系统为Ubuntu16.04LTS，NVIDIA驱动版本为430.26，CUDA版本为10.0.130，CUDNN神经网络加速库版本为7.4.2，训练设置如下。

1)参数设置：每次迭代训练的样本数为16，进行20 000次迭代；动量因子设为0.949；衰减系数设为0.000 5；学习率调整策略采用steps，初始学习率设为0.001，当网络迭代16 000次和18 000次时，学习率依次降低为0.000 1和0.000 01。

2)训练策略：在训练过程中，采用马赛克数据增强策略，同时通过调整饱和度、曝光量以及色调等方式来生成更多训练样本，提高网络对不同分辨率图像的鲁棒性和准确率。

YOLO v4网络在训练时的loss值和mAP值随迭代次数的变化曲线见图7。从图7中可以看出，当网络迭代超过16 000次后，损失值基本趋于平稳，下降到1.01左右，同时训练mAP值稳定于0.94左右。从参数收敛情况来看, 网络训练结果理想。

图7 基于YOLO v4的柑橘缺陷检测网络架构Fig. 7 Citrus defect detection network architecture diagram based on YOLO v4

2.2 柑橘识别试验和结果分析

本研究设计并进行了夜间柑橘识别试验，通过使用YOLO v4网络对测试集中成熟和未成熟柑橘图像，以及各种环境下的柑橘果实图像进行识别，其效果如图8所示。

图8 YOLO v4网络检测效果Fig. 8 YOLO v4 detection results

从图8可以看出，对于成熟以及未成熟柑橘、紫外强弱光和图像中果实稀疏密集的情况，YOLO v4网络均可较好识别出柑橘表面缺陷部分，这些缺陷在白天自然光照下特征不明显，如病害、机械损伤、日灼和风伤等在柑橘果实上形成的伤斑等缺陷。特别是在反光较为严重以及紫外光较弱的条件下仍能完整检测并框出图像中柑橘缺陷部分，表明YOLO v4网络整体性能较优。

试验采用精确率(precision，P)、召回率(recall，R)和F1值作为评价标准，计算公式如下:

(2)

(3)

(4)

式中：TP为真正例；FP为假正例；FN为假负例；P为精确率；R为召回率；F1为查准率与查全率的调和平均数。

从图9和表1可以看出，YOLO v4识别算法在测试集上表现的检测性能略好于在验证集上表现的检测性能，说明训练得到的缺陷识别网络具有较好的泛化能力。同时试验结果表明，YOLO v4识别算法在测试集上的精确率、召回率、F1值以及mAP值分别为95.32%、94.59%、0.95和90.52%，具有较优的检测效果，满足室外环境下对柑橘荧光缺陷检测算法精度的要求。

图9 YOLO v4网络测试集和验证集P、R曲线对比图Fig. 9 P and R curve comparison of YOLO v4 network test set and validation set

表1 YOLO v4_test set与YOLO v4_val set在不同柑橘场景下性能比对Table 1 YOLO v4_test set and YOLO v4_Val set performance comparison under different citrus scenarios

为了更直观地验证本研究算法的效果，从测试集中随机抽取两幅测试图像，分别使用YOLO v4和Faster R-CNN 2种算法进行测试。实验结果如图10所示。

图10 不同算法识别效果对比图Fig. 10 Result comparisons among different algorithms

图10显示了YOLO v4和Faster R-CNN两种识别算法在两种柑橘状态下的识别效果。测试图像1中有3个目标柑橘，Faster R-CNN算法正确识别出3个、误检1个(图10a),而YOLO v4则正确识别出3个(图10c)。测试图像2中有多个目标柑橘，从图10b可以看出，Faster R-CNN存在果实漏检情况，而图10d则表明YOLO v4成功识别了所有柑橘目标。两组测试均说明YOLO v4算法性能更优。

YOLO v4与Faster R-CNN性能对比见表2。表2表明，YOLO v4网络识别精度和速度均比Faster R-CNN更好，相比于Faster R-CNN，精确率和召回率分别提高了5.14%和6.16%，同时检测速度明显快于Fater R-CNN，表明基于YOLO v4的荧光柑橘缺陷识别算法具有更优的性能，可为农业智能化生产中果蔬产量的估计提供技术支持。

表2 YOLO v4与Faster R-CNN性能对比Table 2 Comparison of YOLO v4 and Faster R-CNN network performances

3 结 论

1)本研究提出一种柑橘表征缺陷的荧光检测算法，设计并制作了在夜间自然环境中用于采集柑橘图像的视觉系统。根据柑橘表皮的吸收光谱，实验并确定了适合的紫外光波长。

2)设计紫外光下柑橘缺陷的识别试验。将YOLO v4算法与Faster R-CNN进行定量及性能对比，实验结果表明：Faster R-CNN存在果实漏检情况，而YOLO v4成功识别所有柑橘目标；同时相比于Faster R-CNN，精确率和召回率分别提高了5.14% 和6.16%，同时检测速度明显快于Fater R-CNN，由此可见YOLO v4算法对于两种柑橘状态下的识别效果性能更加突出。以上结果表明,本研究算法能有效检测夜间树上柑橘的品质状态，为柑橘的产量估计以及采摘机器人的夜间视觉智能化提供了技术支持。