基于机器视觉与光谱融合的柑橘品质无损检测分级系统设计与试验

文 韬, 代兴勇, 李 浪, 刘 豪

(中南林业科技大学 机电工程学院, 湖南 长沙 410004)

柑橘的产后分级对于其销售价值的提升、消费者需求的满足起着重要作用,基于人们的选择需求,柑橘的大小、表面色泽和内部糖度是其品质等级划分的决定性指标[1].但市场上现有的柑橘无损检测分选设备功能都较为单一,或对柑橘进行单一外观品质如大小、外部缺陷的检测,或进行单一内部品质如可溶性固形物、内部缺陷的检测,亦或是不具备检测与分选双重功能,而且成套设备结构复杂,价格昂贵,对于中小型果农来说并不适用[2-3].

对于水果品质的在线无损检测分级研究,国内学者取得了不少进展,但多是针对单个品质的检测与分级,而对内外品质同时检测进行分级的并不多.向阳等[4]设计了带有柔性翻面机构的芒果在线检测系统,通过相机获取芒果正反面表皮信息,利用卷积神经网络模型实现了对芒果成熟度的分级,分级准确率达96.72%.赵娟等[5]设计了单个相机配合两个平面镜的方式来获取不同角度的苹果图像,一个工位下苹果可采集3张图像,苹果缺陷的检测正确率达到了92.5%.对于基于近红外光谱的水果内部品质在线检测,郭志明等[6]开发了苹果品质在线检测系统,通过对比遗传算法、连续投影算法等建立的模型效果,确定了蚁群算法建立的预测模型效果最优,预测集相关系数为0.935 8,预测集均方根误差为0.261 9%.刘燕德等[7]采用近红外光谱漫反射技术在线检测脐橙的可溶性固形物含量,通过比较不同的光谱预处理、建模方法,得出经过卷积平滑(S-G)处理的偏最小二乘回归(PLSR)模型预测效果最好,其预测相关系数为0.90,预测均方根误差为0.61%.为了提高水果单个品质检测的准确性,上述研究多采用复杂机械结构去获取图像光谱信息,或采用复杂模型算法进行计算检测,处理实施较为繁琐.

为了解决现有在线检测分级设备存在的检测指标单一、适用性差、结构复杂等问题,本研究基于双锥滚子式果杯传输系统,设计了一套柑橘综合品质无损检测与分级成套设备,可实现柑橘大小、表面着色率和内部糖度指标的快速无损检测,并综合内外部品质进行评定分级.该设备整机结构简单,对于类球形水果的适用性强,自动化程度高,适用于中小型农户企业使用.

1 检测分级系统硬件设计

1.1 整体结构及系统工作流程

文中设计的柑橘内外品质联合检测分级系统主要由喂料部分、双锥辊子式果杯链式输送线、机器视觉外部品质检测模块、近红外光谱内部品质检测模块、分级执行部分和控制系统组成,其中喂料部分由提升机构、排序机构、回收机构组成;分级执行部分由若干个分级拨杆和果箱组成;控制系统包括计算机、PLC、继电器、光电传感器等.该套设备的结构示意图如图1所示.

整机工作流程如图2所示,系统工作时,开启所有输送电动机和检测模块,柑橘从提升机底部由人工上果,提升落入至排序机内,经排序机规整排列后逐个滚入到循环输送链的果杯上匀速向前输送,在检测输送线上从果杯上跌落的柑橘将由回收机构的传送带带回至排序机构重新回到检测队列.

图1 柑橘综合品质在线检测分级系统

图2 柑橘综合品质在线检测分级系统工作流程图

柑橘进入到外部品质检测模块时,检测相机不断地采拍图像采集区域内的柑橘图像,上位机软件处理图像计算出每个柑橘的果径和表面着色率.通过外部品质检测模块后,柑橘继续向前进入到内部品质检测模块中,当到达光谱采集位置时,外部触发器触发采集柑橘的近红外光谱并带入到上位机软件的糖度预测模型中计算出柑橘的内部糖度信息.此时,柑橘的内外部品质信息检测完成,上位机根据计算出的内外部品质信息立即对其进行等级评分并将等级信息发送给下位机PLC,当柑橘继续输送到分级部分对应的等级出口时,下位机控制分级拨杆击打果杯一侧,使其侧翻,柑橘便落入到其对应的等级果箱内,完成分选.分级拨杆为电磁式杠杆,通过控制对应电磁铁的通电吸合时间便可完成不同分选速度下的精准分级动作,如图3所示.

图3 分级动作示意图

1.2 机器视觉外部品质检测模块设计

为了能更便捷有效地完成对柑橘的全表面信息提取,实现果径大小和着色率的检测,本研究采用单个相机配合果杯翻滚机构以视频流的形式来获取大量不同姿态下的柑橘图像.

外部品质检测模块主要由CCD彩色相机、补光灯、翻滚机构、可调支架以及箱体组成,如图4所示.彩色相机布置在整个箱体顶部正对果杯输送线进行拍摄,型号MV-GE134GC-T.为了使拍摄到的柑橘图像亮度尽量均匀且无亮斑,降低图像颜色受到的影响[8],在果杯输送线两侧及箱体进出口共布置4只无频闪LED条形灯向箱体上方照射,补光灯位置亮度可调,通过箱体内壁的漫反射光线来照亮柑橘.底部翻滚机构的电动机控制皮带和果杯输送线的差速,皮带摩擦果杯的双锥滚子使其旋转,则柑橘在果杯输送线上往前输送的同时不断完成自转.通过相机对6个果杯区域内拍摄的视频便能采集到大量不同姿态的柑橘图像.经试验,在相机帧率设置为60帧/s,检测速度为3个/s时,视频流形式采集单个柑橘的图像最低可达100帧;速度为6个/s时,最低可达50帧,是文献[5]中触发采拍形式获取图像数量的6倍,极大提升了柑橘表面信息的获取度.

图4 外部品质检测模块结构示意图

近红外内部品质检测模块用于检测柑橘的可溶性固形物含量,对于厚皮水果,透射光谱能更全面地获取柑橘的内部信息[9],检测装置布置为侧面照射,另一侧接收的全透射式光谱采集形式,结构示意图如图5所示,整体由卤素灯、照射灯筒、平面镜、凸透镜、直角准直镜、光谱仪和触发器等组成.为了能在近红外光谱波段获取更多透射光谱信息,光源选用镀金属膜的低压大功率卤素灯,型号JCR12V-100W[10-11].卤素灯发出的光线经灯筒底部平面镜反射至凸透镜聚焦并准直,直射透过柑橘,透射过的光线被直角准直镜接收,通过光纤传到微型光谱仪,光谱仪型号Ocean Optics FLAME-S,响应波长范围为350～1 050 nm,分辨率为1.5 nm.当光电传感器2每检测到一次果杯到位信息后,下位机便接通一次触发器,触发光谱仪完成一次光谱采集.光谱采集硬件均布置在暗箱内,以遮挡外界环境光.

图5 内部品质检测模块结构示意图

2 控制系统设计

2.1 检测分级控制系统

在线检测分级的控制系统主要由计算机、FX3U PLC、工业相机、光谱仪、继电器模块以及光电传感器等组成,主要实现柑橘图像和光谱信息的获取、品质等级信息计算和对电动机、分级拨杆等执行器件进行控制3部分功能.控制系统构成如图6所示,计算机与PLC通过TCP/IP协议通讯,作为上位机控制各电动机的启停与调速,获取处理图像和光谱信息等.

图6 控制系统构成图

为了完成柑橘的位置同步跟踪与内外品质联合分级,设置了双光电传感器,其中光电传感器2用于检测果杯的位置数量,光电传感器1用于检测柑橘在果杯输送链上的位置.计算机根据PLC获取的双光电信号或单光电信号来添加创建有无柑橘的果杯信息队列,将相机采拍的柑橘图像提取计算后得到的外部品质匹配到信息队列中该柑橘对应的果杯位置上.由于视觉模块与光谱模块之间果杯间隔数不变,柑橘经过光谱模块光路采集后,计算机将计算得到的内部糖度信息直接追加到信息队列该柑橘对应的果杯上.计算机根据内外部品质综合评判等级,并将该果杯的等级信息发送给PLC,PLC将该果杯的打果信号跟随光电传感器2的信号不断进行寄存器移位,打果信号更新移位至对应分级口位置时,接通分级拨杆动作完成分选.

该检测分级系统使用自主开发的人机交互软件,主要完成对相机和光谱仪的参数设置,处理计算柑橘图像信息和光谱信息、评判等级信息以及在线检测分级的实况记录等,其主界面如图7所示.

图7 在线检测分级软件主界面图

2.2 机器视觉模块检测算法

上位机软件获取到相机采拍视频的每一帧图像后,为了能更便捷地对柑橘图像的色泽特征进行提取,首先将采集到的图像从RGB颜色模型(见图8a)转换至HSV颜色模型,随后对转化后的HSV空间图像进行二值化处理(见图8b).为了消除二值图像中存在的小区域噪声[12],根据设定的噪声阈值将图像中小于阈值的连通区域删除,从而把图像背景区域的噪声全部去除(见图8c).利用柑橘轮廓的最小外接圆直径来提取计算出每一帧图像中该柑橘的最大果径(见图8d),最后以该柑橘所有帧图像中最小外接圆直径的均值作为其果径大小的检测结果.

图8 柑橘果径检测效果图

为了检测出柑橘的着色率大小,需提取柑橘全表面的色泽信息.首先计算每一帧图像中该柑橘的二维黄色占比,对图8d目标区域的柑橘最小外接圆内提取如图9所示的柑橘黄色区域,计算出最小外接圆中黄色区域像素总数Y与该柑橘投影面积像素总数N的比值,从而得到此帧图像中该柑橘的二维黄色占比：

(1)

图9 柑橘黄色区域提取效果图

由于相机采用视频流形式不断获取柑橘动态翻滚图像,在6个工位内采集到的图像中柑橘的每个面能够较均匀地多次出现,为消除图像中柑橘重复出现区域对表面着色率计算的影响,采用柑橘所有帧图像二维黄色占比的算术平均值作为全表面着色率.

2.3 近红外光谱检测模型的建立

近红外光谱检测模块采用在线条件下采集的柑橘透射率光谱来建立数学模型,检测柑橘的内部糖度,波长λ处的透射率Tλ的计算公式为

(2)

式中：Iλ为波长λ处的样本光谱强度;Dλ为暗环境下采集到的波长λ处的暗光谱强度;Rλ为波长λ处的亮参考光谱强度.

在线检测时,柑橘经双锥滚子果杯滚动传输后,其在果杯上的姿态多样,不同姿态下的柑橘被检测的部位和光路不同,将会影响预测模型的检测精度[13].经前期观察统计,柑橘进入近红外光谱检测模块中的姿态多呈果梗正向朝上和果梗倾斜向前,花萼依托果杯滚轮的两种姿态出现,出现频率可达80%,采集此两种姿态下的光谱进行混合建模.试验所用的柑橘样品为沅江市本地自产蜜橘,选取色泽均匀、大小不一且表面无明显瑕疵的112个样本,全部擦拭干净并置于检测现场放置1 d后进行在线光谱采集,设置产线检测速度为5个/s,光谱仪积分时间为35 ms,平滑点数为15个,采集112个样本共224条光谱.蜜橘的糖度值使用型号为PAL-1的糖度计,重复测量3次取平均值确定.

对样本光谱分别进行卷积平滑(S-G)、量纲一化(NOR)、变量标准化(SNV)、多元散射校正(MSC)和一阶求导后卷积平滑(1st+SG)预处理,再依据光谱-理化值共生距离(SPXY)算法以3 ∶1的比例进行校正集和预测集的划分,并采用竞争性自适应重加权算法(competitive adaptive reweighted sampling,CARS)筛选特征波长,最后分别建立PLS模型,建模与模型预测效果如表1所示.

表1 不同预处理方法的柑橘糖度PLS模型建模结果

依据预测集的相关系数rP与均方根误差RMSEP对模型能力进行评判,从表1的建模效果可以看出,经MSC预处理后建立的模型性能最优,可能多元散射校正方法更好地消除了果实大小对透射光谱的影响,其预测集rP为0.822,均方根误差RMSEP为0.596%,经CARS筛选的特征变量为16个,个数较少,建立的模型可用于在线快速检测.

3 整机试验

3.1 试验样本

试验样品为沅江本地自产的蜜橘,购买后用抹布将其表面擦拭干净,并置于检测现场存放24 h.其中外部品质检测模块采用5个黄绿不一、大小不一的蜜橘样本作为果径大小和着色率的精度检测样本;糖度精度检测样本和联合分级试验样本数量共151个.

3.2 果径与着色率检测精度试验

对机器视觉检测模块所采用算法的检测精度效果进行试验,试验均在检测速度5个/s下在线进行,柑橘果径的在线检测精度结果如表2所示,试验样本使用游标卡尺测量柑橘果径3次的平均值作为其实际果径尺寸,由检测系统重复在线检测10次,并取10次结果中与实际测量尺寸相差最大的检测值作为最终检测值.从检测结果来看,5个样本检测相对误差绝对值平均为0.019,10次重复检测的最大绝对误差为-1.42 mm,绝对值均不超过1.5 mm,果径大小的检测精度可以满足在线检测分级的要求.

柑橘表面着色率的在线检测步骤同上,通过多人对5个柑橘样本表面黄色占比进行观察确定作为实际着色率,结果如表3所示.着色率的检测相对误差绝对值平均为0.067,10次重复检测的最大绝对误差为0.048,均不超过0.05,误差较小,可以达到实际按着色率的分级使用需求.

表2 柑橘果径大小检测精度结果

表3 柑橘着色率检测精度结果

3.3 糖度检测精度试验与联合分级性能验证

将上文中所建立的最优糖度检测模型导入到上位机软件中,对该设备进行柑橘内外品质联合检测分级性能试验,同时记录在线检测的糖度值验证糖度模型的预测性能.首先需要确定内外品质联合分级评价方案,为了更符合实际柑橘分级要求和市场需求,采用判别树的决策方法划分柑橘等级.根据柑橘果径R、表面着色率C和糖度值S指标,建立判别树模型,得出分选等级,其层次结构如图10所示.

图10 判别树等级划分

试验按照设备使用操作规程,将151个柑橘样本从提升机开始上果,在分选速度5个/s下启动进行检测,并按判别树分级方案进行联合分级,在线检测完成后,立即人工对样本测量果径和糖度值,并判断表面着色率,得到分级结果如表4所示.同时记录软件检测出的对应等级的柑橘糖度值,得到糖度的检测结果如图11所示.

表4 柑橘内外品质联合检测分级结果

图11 柑橘糖度检测结果

根据分级结果统计,优等果、一等果、二等果中由于糖度检测偏差导致分级错误的共8个,糖度检测值和实测值的相关系数r为0.817,均方根误差RMSE为0.658%,个别柑橘在线检测时姿态与建模的两种姿态相差较大,导致糖度检测偏差较大,可达0.9%～1.3%,易导致分级错误.其余分级错误的柑橘由5个着色率偏差和1个尺寸偏差导致,且错误分级的柑橘均靠近分级界限.总体分级的平均准确率为91.16%,具有实际应用价值.

4 结 论

1) 基于双锥滚子式果杯传输线设计了一套柑橘综合品质无损检测分级系统,该系统主要包括机器视觉检测模块、近红外光谱检测模块、分级执行部分和控制系统等,能同时进行柑橘大小、着色率和内部糖度的无损检测与分级.

2) 在机器视觉外部品质检测模块中,采用了单相机不断采拍视频的形式对柑橘图像进行采集,大量不同姿态下的柑橘图像可获取其全表面信息,并结合该形式计算出柑橘果径大小和表面着色率,经在线试验验证,果径和着色率的检测最大绝对误差分别为-1.42 mm和0.048,相对误差绝对值的平均值分别为0.019和0.067.

3) 在近红外光谱内部品质检测模块中,设计了透射式采集光路,并按实际在线检测时柑橘出现的两种高频姿态建立混合姿态糖度检测模型,选取建模效果较好的MSC预处理后的PLS模型进行在线检测验证,检测结果的相关系数为0.817,均方根误差为0.658%.

4) 按判别树分级方案确定了柑橘综合品质的分级方法,通过在线试验,验证了该套设备的综合分级性能,在分选速度5个/s下,综合分级的平均准确率可达到91.16%.

5) 该检测分级系统整体结构简单,对于苹果、柑橘等类球型水果的适用性强,具有实际应用价值,后续将基于双锥滚子果杯传输分选产线,改善检测方法,不断降低水果姿态、果径等因素对其检测精度的影响,并研究多源信息融合技术以提高检测分选的准确率.