基于视触觉与深度学习的猕猴桃无损硬度检测方法

林家豪 张元泽 梁千月 陈耀晖 朱 明 李善军

(1.华中农业大学工学院, 武汉 430070; 2.农业农村部长江中下游农业装备重点实验室, 武汉 430070;3.华中农业大学信息学院, 武汉 430070)

0 引言

近年来,我国猕猴桃种植面积与产量均快速增加,但经济效益提高却不显著,这主要是由于现阶段售卖的猕猴桃多是成熟度较低的硬果,而消费者更加青睐具有一定成熟度、硬度适中的果实[1]。猕猴桃在收获至成熟阶段,伴随着果实的呼吸作用,分泌乙烯增加,细胞壁、淀粉等物质开始分解,果实硬度逐渐降低。因此,开发猕猴桃的无损硬度检测装置来判断果实的成熟度,有助于确定果实的贮藏周期[2]与销售节点[3],对于提高其经济效益意义重大。

消费者通常使用手指对猕猴桃进行按压,由受力感知判断果实硬度。但是,这种方法的主观性较高,且压力过大时可能对猕猴桃果实造成损伤,影响其销售价值。实验室测量猕猴桃硬度时,使用Magness-Taylor穿刺法[4-5]——削去猕猴桃赤道一层较薄果皮后,将圆形探针以恒定速度与压力插入果肉内部,通过相互作用力推断猕猴桃硬度。穿刺法可以精确地获得猕猴桃硬度,但其测量具有破坏性且较为费时,在高通量、无损的特定场景下并不适用。

由于猕猴桃内部果胶等物质含有C—H、O—H等化学键,高光谱与可见光/近红外光谱(Vis/NIR)技术具有对猕猴桃进行硬度检测的潜力[6-7],相关研究在国内外也均有报道。LI等[8]使用可见光近红外光谱对贮藏期内商业猕猴桃进行贮藏期预测,短贮存性和长贮存性果实预测准确率分别达到了54%和79%。YANG等[9]使用9个不同峰值波长的LED灯作为光源,采用光电二极管作为传感器来检测猕猴桃的反射光,并将猕猴桃分为未成熟、轻微成熟、成熟、完全成熟4个硬度等级,对“徐香”品种猕猴桃和“华优”品种猕猴桃的硬度分类精度分别为74%和91.5%。RAGNI等[10]结合高光谱成像技术与PLS模型对“海沃德”品种猕猴桃的硬度进行检测,在测试集上均方根误差为11.9 N。但上述光谱技术预测猕猴桃硬度的研究中,光谱数据维度繁多,因此建模较为复杂,且成本较高[11-12],限制了其进一步发展与推广。综上,现阶段仍然缺乏一种低成本、高精度的猕猴桃果实硬度无损检测方法。

近年来关于视触觉传感器的研究发展迅速,已经广泛应用于机器人感知技术中[13-15]。这类传感器的触觉传感层大多使用带有标记物的可变形材料制作[16],当触觉传感层与物体接触时,通过观测标记物位移和材料变形,可以预测物体的摩擦因数[17]、受力[18]、硬度[19]和形状[16,20]等信息。由于这类传感器本身具有较高的柔顺性,可以与物体安全互动[21-22],因此具有无损检测水果指标及品质的潜力,但是相关研究尚未见报道。

同时,结合深度学习技术的视触觉传感信息分析方法得到了广泛关注[23-24]。KAKANI等[25]通过采集视触觉传感器数据集,训练后神经网络可预测与物体的接触位置、面积与力分布,接触力判断误差仅为0.022 N;崔永杰等[26]使用卷积神经网络对3D视触觉传感器TactTip接触的视触觉图像进行分析,通过分析交互过程中动态视触觉信息,感知边缘信息进而判断接触轮廓。相关研究表明即使视触觉传感器接触情况复杂,神经网络优异的数据处理能力也能对交互信息进行准确判断。

本文提出一种结合视触觉传感器与深度学习技术的猕猴桃硬度检测方法。首先提出一种触觉传感层,与猕猴桃进行柔性安全接触,结合视觉制作猕猴桃序列图像采集装置,用于采集视触觉传感器与猕猴桃交互时的视触觉序列图像。对交互3 h后接触部位果肉与非接触部位果肉的CIELAB颜色分量进行比较,检验平均值差异是否具有显著性,判断此种方法是否对果肉存在滞后性损伤,并通过试验验证最优深度学习预测模型性能,制作相关猕猴桃硬度自动检测装置。

1 视触觉检测原理与序列图像采集装置制作

1.1 视触觉检测猕猴桃硬度原理

触觉传感层主要由弹性膜和弹性膜下方的“突触”阵列组成,分别使用Ecoflex-0030和Dragon skin-20两种硅胶材料制作,其材料硬度分别为00-30和20A。弹性膜尺寸为154 mm×114 mm,厚度为2 mm,接触过程中能包覆猕猴桃最大截面;单个“突触”圆柱体直径为3 mm、厚度为2 mm,以 8 mm 为中心距均匀排列在弹性膜上,使用Dragon skin-20制作时添加有黑色颜料。两者同时在模具中依次进行浇注,凝固成型即可完成触觉传感层的制作。

触觉传感层制作完成后,固定4条边,并在其形心正上方放置摄像头,在触觉传感层靠近猕猴桃时,摄像头也会产生相同速度的位移,即摄像头焦点与4条边的垂直距离保持为L。在与猕猴桃接触的过程中,由于制作触觉传感层的两种柔性材料硬度低于猕猴桃硬度,同时兼具刚度低、易变形的特点,触觉传感层下方多个“突触”将与猕猴桃表面进行交互,在受力下出现空间位置改变,同时弹性膜具有一定的透明度,使得摄像头可以在弹性膜正上方拍摄“突触”空间位置的投影变化,即实现视触觉序列图像拍摄,通过拍摄的图像序列中“突触”的空间投影位置信息推测该交互过程中的动态触觉信息,进而判断接触作用力的大小推测猕猴桃的硬度。整个接触过程与检测原理如图1所示。

图1 视触觉检测猕猴桃硬度原理图Fig.1 Principle of vision-based tactile sensor testing kiwifruit firmness1.猕猴桃 2.弹性膜 3.“突触” 4.摄像头

另一方面,制作触觉传感层的两种硅胶材料具有高柔顺性,与猕猴桃接触时,交互力从整个接触面被分散到了制作材料中,防止对猕猴桃造成损伤,实现与猕猴桃的柔性安全接触。

1.2 视触觉序列图像采集装置

制作的猕猴桃视触觉序列图像采集装置如图2所示,检测台放置猕猴桃后,由树莓派运行驱动程序控制视触觉模块与猕猴桃进行接触与序列图像拍摄。

图2 视触觉序列图像采集装置示意图Fig.2 Schematic of vision-based tactile device of collecting sequence image1.步进电机驱动器 2.树莓派开发板 3.数码管 4.检测开关 5.调试开关 6.步进电机 7.视触觉模块 8.猕猴桃检测台 9.摄像头 10.LED光源 11.触觉传感层 12.外壳

视触觉模块主要由触觉传感层、摄像头、外壳和LED光源组成,固定在步进电机下方的丝杆滑台上。选用LRCP10620型摄像头,使用USB数据线连接到树莓派开发板上,镜头焦距为2.8 mm,镜头视角为110°,两侧有功率为1 W的漫反射LED光源照明,设置拍摄的灰度图像分辨率为 640像素× 480像素,可以清晰拍摄到触觉传感层变化。模块的外壳使用光固化树脂激光打印制作,其底部覆盖有触觉传感层,后者与相机焦点间距L为81 mm;正下方为猕猴桃检测台,中央开有凹槽,放置猕猴桃时,猕猴桃与摄像头焦点、触觉传感层形心在同一条垂直线上。

1.3 猕猴桃视触觉序列图像

使用视触觉序列图像采集装置采集猕猴桃接触序列图像时,将待检测猕猴桃水平放置于检测台凹槽中,按压调试开关使视触觉模块底部与猕猴桃顶部近似重合。随后运行检测程序,启动检测开关,视触觉模块在步进电机驱动下与猕猴桃进行接触。在接触开始以及视触觉模块每位移6 mm时,摄像头会拍摄一帧触觉图像,并在拍摄第5幅图像后触觉模块停止移动并返回初始位置。针对单个猕猴桃样本采集到的视触觉序列图像如图3所示。

图3 猕猴桃视触觉灰度序列图像Fig.3 Vision-based tactile sequence gray pictures of kiwifruit

2 研究方法

2.1 猕猴桃样本获取

试验所用的猕猴桃于2023年2月在华中农业大学水果市场购买,品种为“徐香”,共计650个。随机选取其中50个用于视触觉检测的无损性研究,其余600个用于视触觉序列图像数据集获取。

2.1.1视触觉检测无损性试验

由于该视触觉序列图像采集装置与猕猴桃交互时产生了接触,为了研究触觉传感层在这一过程中是否对猕猴桃果肉细胞造成了不可逆转破坏,造成其硬度变小产生误差,同时防止该损伤可能存在滞后性,选择在视触觉序列图像采集装置接触猕猴桃后,间隔3 h后测量接触部位与非接触部位果肉颜色,判断视触觉检测方法在接触的过程中是否存在对猕猴桃的损伤。非接触部位选择赤道上受按压部位和与之呈90°的任一非接触面。

单个猕猴桃进行颜色测量时,削去赤道上接触部位与非接触部位1～2 mm厚的果皮、果肉组织,使用AN-3033L型便携式分光测色仪(安孛纳电子科技有限公司)测量L*、a*、b*三通道颜色分量,其值分别代表果肉颜色明暗度、红绿色、黄蓝色分量值,并对数据进行差异性检验,比较接触面果肉与非接触面果肉L*、a*、b*分量下的平均数差异是否显著。

2.1.2猕猴桃视触觉数据集获取

猕猴桃视触觉序列图像获取方法如1.3节所述,采集完成后取出猕猴桃,1 h后使用质构仪进行果肉硬度穿刺测试,所用质构仪型号为TA-XT Plus(SMS公司,英国)。穿刺试验中,使用刨刀削去猕猴桃与触觉触感层接触位置1～2 mm厚果皮,质构仪安装的5 mm探针以恒定速度贯入果肉,与之连接的计算机会计算该过程中的应力变化,取试验过程中应力峰值为猕猴桃实际硬度y,单位为N,即该硬度为视触觉检测装置采集到的猕猴桃样本视触觉序列图像(图3)在深度学习训练时对应的实际硬度(标签值)。

2.2 视触觉序列图像处理

处理视触觉序列图像的深度学习模型主要由卷积神经网络(Convolutional neural networks,CNN)和长短时记忆单元(Long short-term memory,LSTM)组成,CNN用于每幅视触觉图像的特征提取,LSTM网络可引入长时和短时序列信息并返回该视触觉序列图像对应的猕猴桃硬度。

2.2.1卷积深度学习网络

卷积神经网络是一种广泛应用于图像识别领域的前馈深度学习网络计算模型[26-28]。ResNet网络最早由HE等[29]于2016年提出,其独特的残差结构设计使得网络模型可以高效训练,且残差结果对数据波动敏感度高,因此可以捕捉“突触”微小的位移变化。由于每幅视触觉图像的内容相对简单,结构较浅的网络即可实现对图像特征的全面提取,同时运算更快、运算资源占用更小。因此,本文中选取ResNet18卷积神经网络用于视触觉序列图像的特征提取,将其最后一层全连接层(Fully connected layers,FC)作为卷积神经网络网络输出结果,单组视触觉序列图像输入后返回结果为5组1 000维度的特征数据。

2.2.2长短时记忆单元

由于循环神经网络(Recurrent neural network,RNN)在序列训练时可能会出现的梯度消失或梯度爆炸的问题,HOCHREITER等[30]最早在1997年提出了长短时记忆单元,LSTM是一种特殊的RNN网络,在时间序列数据的分类或预测的效果往往比普通RNN效果更好[31-33]。

在本文中,CNN网络可以提取视触觉序列图像中每幅图像的瞬时特征,但猕猴桃的硬度需要由触觉传感层与猕猴桃交互时的动态位移与变形来表征。在CNN网络后端连接LSTM网络,引入长时和短时信息进行动态特征信息分析,可以实现对猕猴桃硬度的推断。

3 深度学习网络与效果评价

3.1 深度学习网络搭建

本文基于PyTorch框架搭建深度学习网络,该框架可调用ResNet18网络与公开预训练权重对每幅视触觉图像进行特征提取,但是公开的预训练权重可能不是最优参数解。为了获得最适用于猕猴桃硬度无损检测的网络模型,本文共搭建如图4所示的3种网络进行比较:①CNN网络:网络前半部分为无权重ResNet18结构,ResNet网络的5组1 000维度特征信息依次连接输出尺寸为256维的全连接层,经其下采样后展平为128维,激活函数选择Leaky ReLU,之后再连接输出尺寸为1维度的全连接层,其输出值即为待检测猕猴桃的硬度。②CNN-LSTM迁移学习网络:CNN特征提取网络为调用公开预训练权重的ResNet18网络结构,其网络内部参数为固定值,该特征提取网络输出的5组 1 000 维度特征信息经合并后输入到LSTM中,激活函数选择Leaky ReLU。LSTM网络输出结果为5组1维张量,依次代表每幅触觉序列图像对应的硬度预测值,取最后两个维度的平均值作为待检测猕猴桃的最终硬度预测值,该网络搭建较为简易,网络前半部分调用公开预训练权重参数,训练神经网络时,通过反向传播仅调整LSTM网络的内部参数。③CNN-LSTM联合学习网络:激活函数与猕猴桃硬度预测方法与网络②相同,但CNN网络搭建时仅使用与网络②相同的结构,其内部参数不再调用公开值。在神经网络训练过程中,通过反向传播CNN与LSTM共同调整内部参数,即联合学习将公开预训练权重调整为待训练权重,进一步降低网络训练损失,使得网络达到比CNN-LSTM迁移学习网络拟合更优的效果。随后对比以上3种网络在测试集上的预测效果,找出拟合效果最优的深度学习网络作为视触觉图像序列计算模型。

图4 3种深度学习网络结构图Fig.4 Structure diagram of three deep learning networks

3.2 损失函数

猕猴桃视触觉序列图像输入CNN网络后,连接两层全连接层下采样后输出结果为1维张量,该张量表示猕猴桃预测硬度;输入CNN-LSTM迁移学习网络和联合学习网络后,输出结果为5维张量,分别表征序列图像每一帧硬度,取张量最后两个维度结果平均值作为猕猴桃的预测硬度;质构仪穿刺试验测得的猕猴桃硬度为实际硬度y,该任务为回归类监督学习任务,选择均方误差(Mean squared error loss,MSELoss)[34]为损失函数计算深度学习网络损失值,越近似于y,即两者差的绝对值越小,证明深度学习网络拟合效果越好,该损失函数计算结果为与y的欧氏距离。

3.3 评价指标

在测试集中采用均方根误差(Root mean square error, RMSE)、平均绝对误差(Mean absolute error, MAE)、决定系数R2评价模型效果。

3.4 模型训练

为了加快深度学习模型训练迭代速度,本文选取处理器为AMD Ryzen 5-3600、运行内存为16 GB的Linux操作系统计算机进行模型训练,并基于PyTorch深度学习框架,使用Python语言编写,在GPU处理器上进行模型训练与迭代。

本文试验在600组猕猴桃触觉序列图像中随机挑选400组作为训练集调试深度学习模型及参数,100组作为验证集验证模型训练效果,其余100组作为测试集评估深度学习模型泛化与拟合效果。

在网络训练过程中,训练集触觉序列图像以概率50%随机上下翻转进行数据增强,扩增后的训练集样本数量为602个,训练优化器选择Adam(Adaptive moment estimation)算法,批量大小(Batch size)为4,初始学习率(Learning rate)为0.000 1;带有LSTM网络的模型隐藏层大小(Hidden size)为1,堆叠层数为2,遗忘概率(Drop out)为0.25。3组训练遍历1 500个循环(epoch),损失函数为MSELoss,平均绝对误差最小阈值设置为3.5 N,当某一循环测试集平均绝对误差e低于阈值时保存模型,同时最低阈值更新为e,迭代至训练结束。图5、 6分别为训练过程中损失值与平均绝对误差变化趋势图。

图5 训练损失值变化趋势Fig.5 Chart of training loss values’ tendency

图6 平均绝对误差变化趋势Fig.6 Chart of MAE tendency

4 结果与分析

4.1 视触觉检测无损性评价

在该试验中,同一猕猴桃接触面与非接触面果肉颜色比较为配对对照,同时服从正态分布,在α取0.05检验水平下,编写Python程序计算得出检验统计量t,并比较平均数的方差是否存在显著性差异,绘制接触面与非接触面L*、a*、b*颜色分量柱状图如图7所示。

图7 接触面与非接触面L*、a*、b*颜色分量值Fig.7 Histogram of L*, a* and b* color components of contact and non-contact surfaces

4.2 深度学习模型对比

如图5、6所示,网络训练过程中,在620次左右的迭代中,平均绝对误差稳定在最优点附近振荡,虽然损失值逐渐下降,但对预测效果已无明显提高,模型已近似达到最优拟合效果。因此,训练循环中平均绝对误差取得最小值时保存深度学习模型,该次循环训练的RMSE、MAE、R23个评价指标如表1所示。

表1 模型评价指标对比Tab.1 Comparison of deep learning models’ evaluation indicators

表1为3种深度学习模型在测试集上的最优效果比较结果,CNN提取视触觉序列图像特征后输入LSTM网络进行迁移学习和联合学习后,效果均得到提高,优于仅采用CNN网络;同时CNN-LSTM联合学习网络获得了最佳预测精度,其RMSE、MAE、R2分别为1.611 N、1.360 N、0.856,且R2优于现阶段光谱成像技术(R2=0.82)[36]。

CNN网络、CNN-LSTM迁移学习网络、CNN-LSTM联合学习网络在损失函数取得最小值时,猕猴桃预测硬度与实际硬度相关性分析如图8所示。

图8 预测值与实际值相关性Fig.8 Correlation between predicted value and measured value

从图8a可以看出,CNN网络分析视触觉序列图像预测猕猴桃硬度效果不佳,离散程度高,模型决定系数仅为0.122,CNN网络对触觉图像序列处理计算结果差,因此无法满足预测猕猴桃硬度的要求。

引入LSTM网络分析长时与短时序列特征后,数据拟合度得到了明显提高,证明在CNN网络后端连接LSTM网络,引入长时和短时信息进行动态特征信息关联与分析,进而推断猕猴桃硬度的方法具有可行性。但CNN-LSTM迁移学习视触觉序列图像预测结果并不理想,因此单一调整LSTM内部参数拟合效果较为有限。相比迁移学习网络,联合学习网络在训练参数时随着损失值变化反向传播时可进行参数调整,ResNet网络获得了模型的更优参数解,鲁棒性得到了增强,相关性得到了进一步提高,因此,CNN-LSTM迁移学习得到了最优预测效果。

5 猕猴桃硬度自动检测装置

模型训练完成后,将CNN-LSTM联合学习模型嵌入树莓派开发板中,并完善相关控制算法与检测程序,制作了猕猴桃硬度自动检测装置与装置系统流程分别如图9、10所示。

图9 猕猴桃硬度自动检测装置Fig.9 Automatic testing device for kiwifruits firmness

图10 猕猴桃硬度检测流程图Fig.10 Flow chat for kiwifruits firmness testing

随后,另随机购买20个猕猴桃进行预测效果检测,该组猕猴桃最小硬度7.5 N,最大硬度 18.2 N,硬度检测方法如2.1.2节所述。装置预测最大绝对误差2.23 N,预测平均绝对误差为1.42 N,平均检测时间为8.6 s。结果显示,相同的数据采集方法下,硬度检测装置与深度学习预测集效果接近。该装置可实现自动化下猕猴桃硬度的较好检测。

6 结论

(1)提出一种基于视触觉技术与CNN-LSTM联合学习网络模型的猕猴桃硬度检测方法,主要通过分析触觉传感层接触猕猴桃过程中动态信息判断交互力大小推断猕猴桃硬度。通过试验证明了猕猴桃序列图像采集装置与猕猴桃接触3 h后接触面与非接触面的果肉颜色CIELAB颜色分量均值无显著差异,即可实现与猕猴桃的柔性安全交互,满足无损检测要求。

(2)收集猕猴桃视触觉序列图像后,可使用LSTM网络引入长时和短时信息动态分析CNN提取视触觉序列图像特征信息。构建的深度学习网络在测试集上RMSE、MAE、R2指标值与相关性分析结果显示,CNN-LSTM联合学习网络通过训练调整CNN与LSTM内部参数,反向传播时CNN与LSTM共同调整内部参数,即联合学习将公开预训练权重调整为待训练权重,进一步降低损失值,使得网络达到比CNN-LSTM迁移学习网络预测更好的效果,其决定系数R2优于现阶段光谱技术研究结果,且不需要复杂建模过程,可以作为视触觉序列图像检测推断猕猴桃硬度的运算模型。随后将CNN-LSTM联合学习模型嵌入树莓派端,制作了猕猴桃硬度自动检测装置,可实现短时间内猕猴桃硬度的较为准确检测。