机器视觉和电子鼻融合的番茄成熟度检测方法

王俊平

徐 刚2

(1. 湖北职业技术学院，湖北 孝感 432000；2. 湖北工程学院，湖北 孝感 432000)

在采摘、储运等物流环节中，果蔬腐损率达20%～30%，年损失可达1 000亿元，主要是不同成熟度的果蔬混装在一起造成的[1]。近年来，国内外有大量研究人员对食品检测技术进行研究，也有一些较为突出的成果，如机器视觉、电子感官、高光光谱成像等检测技术。张政等[2]提出了一种基于机器视觉的香蕉果肉缺陷预测方法。结果表明，与传统方法相比，该方法的预测精度较高，总体精度为88.9%。周靖宇等[3]提出了一种基于近红外技术和偏最小二乘法的无花果成熟度检测方法。结果表明，该方法在训练集和测试集的分类准确率分别达到99.59%和99.15%。张义志等[4]对高光谱技术在农产品成熟度检测中的应用进行研究，指出了应用中存在的问题，并提出了改进措施。杨晨昱等[5]将近红外光谱技术和电子鼻技术分别应用于苹果霉心病的无损检测。结果表明，电子鼻和近红外光谱能较好地鉴别苹果霉心病，准确率达到87.7%和86.2%。然而，机器视觉只提供相对单一的视觉信息，电子感官获取信息有一定的局限性，高光谱检测技术中的数据量巨大且难以处理。多源信息融合问题尚未形成一个具有基本理论框架的有效融合模型。

番茄属于世界三大贸易性蔬菜之一，具有易腐性。试验拟提出一种基于多源信息融合的番茄成熟度检测方法。以机器视觉筛选出的6个颜色特征和电子鼻筛选出的10个气味特征为基础，建立番茄成熟度检测的最小二乘支持向量机模型，以期为果蔬成熟度检测方法的发展提供参考。

1 系统原理

1.1 机器视觉采集系统

通过机器视觉实现对番茄成熟度的检测。首先，样本图像由相机拍摄，然后发送到处理单元(如计算机)。通过数字处理，可以掌握目标区域的颜色、纹理、大小和形状等特征。然后通过一系列判断条件得到识别结果，实现机器视觉系统的识别功能。所使用的机器视觉硬件系统分为两大部分：图像采集系统和计算机[6]。图1为机器视觉采集系统的结构。

1.2 电子鼻采集系统

1. 相机 2. 灯箱 3. 样品台 4. 光源 5. 样本 6. 计算机图1 机器视觉系统结构Figure 1 Mechanical vision system structure

1. 集气室 2. 气路管道 3. 泵 4. 气味反应室 5. 传感器6. 计算机 7. 氧气罐 8. 氧气图2 电子鼻系统结构Figure 2 Electronic nose system structure

电子鼻是一种新型的智能装置，可以模拟动物的嗅觉，识别挥发性气味[7]。电子鼻结构如图2所示，由4个主要部分组成：气体采样、传感器阵列、信号处理、气路清洗[8]。气体采样系统将气味吸附到气体传感器上，气体传感器阵列吸收气味并产生信号，这类似于人类细胞感知气味的过程，呼气和吸入的过程也类似。信号处理系统可以对获取的气味信息进行分析与判断，数据处理后输出识别结果。气路清洗是通过氧气对气管和气室进行清洗。

2 多源信息融合

多源信息融合是将机器视觉和电子鼻采集信息进行融合，以机器视觉筛选出颜色特征变量和电子鼻筛选出气味特征变量进行特征融合。通过番茄各彩色单通道图像的灰色均值箱线图选取的6个有效颜色特征。通过番茄中的挥发性气体选择了10个电子鼻传感器。建立番茄成熟度检测的最小二乘支持向量机模型。融合过程如图3所示。

图3 多源信息融合过程Figure 3 Multi source information fusion process

2.1 图像特征提取

文中采用机器视觉常用的RGB、HSV和CIEL*a*b*模型，从这9个颜色特征中进行选择[9]。根据SB/T 10331—2000，对成熟度判定方法进行制定，将番茄划分为6个不同成熟度(绿熟期、转色期、半熟期、成熟期、完熟期、腐败期)，如图4所示。

图4 番茄不同成熟度Figure 4 Different maturity of tomato

从6个成熟度等级的番茄各彩色单通道图像的灰色均值箱线图可以看出。R、V和b*均呈凸形排列，在成熟时到达凸顶，但重叠区域较多，很难区分。G、B、H和L*均呈下降排列。G可以区分一个等级：成熟期。B准确区分了半成熟期之前和成熟期之后的番茄。H可以区分4个等级：绿熟期、转色期、半熟期与成熟期，但很难区分腐烂期和完熟期。L*可以区分一个等级：成熟期。在S和a*箱线图中，箱子基本上呈上升趋势。S可以区分前3个等级。a*可以区分前4个等级[10]。

综上所述，在RGB、HSV和CIEL*a*b*3种颜色模型中共选取6种有效颜色特征(G、B、H、S、L*和a*)。

2.2 气体特征提取

将番茄样品放入500 mL烧杯中进行密封，控制与储存相同的温湿度富集其挥发性气体20 min，通过电子鼻检测顶空气体[11]。共采集450 s，间隔1 s。对108个番茄样本进行采样。构建气体传感器阵列(10个氧化物半导体传感器)提取电子鼻传感器信息，选取441～450 s采集数据平均值作为气味特征值，共10个。

2.3 改进的最小二乘支持向量机模型

支持向量机(Support Vector Machines，SVM)是近年发展起来的一种新的学习方法[12]。相比于神经网络，理论上，它提供了最佳的整体效益，解决神经网络中局部极小问题[13]。通过对支持向量机建模技术的深入研究和广泛应用，出现了很多改进方法。

最小二乘支持向量机(LS-SVM)就是SVM的改进方法。提高了求解速度和收敛精度。采用LS-SVM建立番茄成熟度模型，如式(1)所示[14]。

(1)

式中：

y——输出向量；

N——样本个数；

αk——拉格朗日因子；

b——偏置项；

K(x,xk)——径向基核函数，如式(2)所示[15]。

(2)

式中：

x——m维数输入向量；

xk——第k个径向基函数的中心；

σ——核参数；

‖x-xk‖——向量x-xk的范数。

LS-SVM建模需要考虑的主要参数有：输入层数、输出层数、正则化参数、核函数等[16]。在LS-SVM的建模过程中，需要确定两个参数：惩罚参数C和核参数σ。C值越小，偏差惩罚越小，支持向量机的回归曲线越平滑，越有可能训练不足。C值越高，偏差惩罚越高，可能导致过度学习。如果σ较小，可能会发生局部优化，导致LS-SVM的过度训练。相反，如果σ较大，可能会出现训练不足的情况。

在LS-SVM回归参数优化分析中，以C和σ组合获得的均方误差(MSE)最小为目标，在最优参数下建模。通过训练集的交叉验证均方根误差(RMSECV)、相关系数(Rc)和测试集的均方根误差(RMSEP)、相关系数(Rp)对模型的性能进行全面评估。相关系数越高，模型对数据的拟合能力越强。均方误差越小，模型越精确。

训练集相关系数(Rc)与测试集相关系数(Rp)越接近1，模型的预测精度越高。相关系数R计算如式(3)所示[17]。

(3)

式中：

R——相关系数；

训练集均方根误差(RMSECV)如式(4)所示[18]。

(4)

式中：

n——测试集样本。

测试集均方根误差(RMSEP)如式(5)所示[19]。

(5)

式中：

m——预测集样本。

3 试验结果与分析

3.1 试验参数

试验设备为联想PC，操作系统为windows 10 64位旗舰，Intel i5 2450m CPU、2.5 GHz频率、8 GB内存[20]。相机采用德国Manta G-125C，镜头采用Computar M0814-MP2。电子鼻传感器为TGS813、TGS816、TGS822、TGS825、TGS832、TGS880、TGS2600-B00、TGS2610-BOO、TGS2611-C00、TGS2620-A00。设置的番茄贮藏温度为20 ℃，湿度为85%RH，电子鼻检测与贮藏温湿度相同。釆用英国Stable Micro Systems公司的TA.XT.Plus型质构分析仪对番茄表面硬度进行测量，采用日本岛津公司的LC-20AB型高效液相色谱仪对番茄果实中的番茄红素含量进行测量。试验中，融合函数的主成分作为自变量，番茄成熟度、硬度和红色素作为因变量。总共108组数据，按照2∶1的比例随机分为训练集和测试集。建立了番茄成熟度检测模型。主成分数为5分，惩罚参数C=64和核参数σ=0.044 2。建立番茄硬度预测模型，主成分数为7，惩罚参数C=0.707 1和核参数σ=0.176 8。建立了番茄红素的预测模型。主成分数为7，惩罚参数C=8和核参数σ=0.062 5。在参数优化之前，将自变量标准化为[-1,1]，因变量标准化为[0,1]。

3.2 试验分析

3.2.1 成熟度识别 为了验证文中多源融合方法的优越性，分别建立番茄成熟度模型进行对比分析(机器视觉LS-SVM模型、电子鼻LS-SVM模型、多源融合LS-SVM模型)。表1为采用不同方法建立的番茄成熟度识别模型的识别结果。

表1 不同方法番茄成熟度判别模型结果Table 1 Different methods of tomato maturity discriminant model results

由表1可知，多源信息融合的LS-SVM模型测试集识别准确率最高，为98.03%。机器视觉LS-SVM模型测试集识别准确率为88.09%，电子鼻LS-SVM模型测试集识别准确率为84.02%。这是因为不同成熟度的番茄颜色差异是肉眼可见的，机器视觉提取的颜色特征可以反映番茄存在的差异，而电子鼻检测气体受番茄物质含量的影响，可变因素较多。因此，相比于电子鼻LS-SVM模型，机器视觉LS-SVM模型的识别准确率更高。在融合技术中，颜色和气味特征的融合弥补了单一技术存在的不足，识别精度高于单一技术。

3.2.2 硬度预测 表2为不同方法建立的番茄硬度预测模型的预测结果。

表2 不同方法番茄硬度预测模型结果Table 2 Results of tomato hardness prediction models by different methods

从表2可以看出，多源信息融合的LS-SVM模型在训练集中的预测性能略低于机器视觉LS-SVM模型，但测试集的预测效果较优。相比于电子鼻LS-SVM模型，多源信息融合的LS-SVM模型在硬度预测中有了显著提高，其中Rp由0.783 9提高到0.914 3。这是因为通过机器视觉提取的颜色特征能够更好地反映果实成熟期，随着番茄越来越熟，其硬度往往会显著降低。融合技术结合颜色和气味特征获取的数据信息更多，但也引入了一些冗余信息，因此在训练集中，相比于机器视觉LS-SVM模型，多源信息融合的LS-SVM模型预测性降低，Rc由0.934 1降低到0.922 0。硬度变化是由果胶降解引起，而电子鼻缺乏这一类的检测手段，因此性能低于机器视觉LS-SVM模型。

3.2.3 番茄红素预测 表3为不同方法建立的番茄红素预测模型的预测结果。

表3 不同方法番茄红素预测模型结果Table 3 Results of different methods of lycopene prediction model

从表3可以看出，多源信息融合的LS-SVM模型对番茄红素的预测能力优于机器视觉LS-SVM模型和电子鼻LS-SVM模型，Rc略高，RMSECV降低明显。Rp增加明显，RMSEP介于两者中间。这是因为机器视觉提取的颜色特征能够更好地反映番茄成熟度。番茄红素是成熟番茄的主要颜色物质，随着番茄越来越成熟，含量不断增加。所以机器视觉LS-SVM模型对番茄红素的预测更加精准。然而，番茄红素不溶于水、不易挥发，而电子鼻缺乏这一类的检测手段。相比于电子鼻LS-SVM模型，机器视觉LS-SVM模型对番茄红素的预测效果更优。融合技术结合颜色和气味特征获取的信息更加全面。因此，多源信息融合的LS-SVM模型预测能力最优，在番茄成熟度检测中是可行和有效的。

4 结论

研究提出了一种基于多源信息融合的番茄成熟度检测方法，以机器视觉筛选出6个颜色特征和电子鼻筛选出10个气味特征为基础，建立了番茄成熟度检测的最小二乘支持向量机模型。结果表明，与单一方法相比，多源融合方法在成熟度识别、番茄硬度和番茄红素预测方面有一定的改进。成熟度识别在训练集中达到100%，在测试集中达到98.3%。硬度预测中训练集相关系数为0.922 0，训练集均方根误差为0.008 1，测试集相关系数为0.914 3，测试集均方根误差为0.008 1。红素预测中的训练集相关系数为0.932 8，训练集均方根误差为0.005 4，测试集相关系数为0.902 0，测试集均方根误差为0.027 2。试验对番茄成熟度检测方法的研究尚处于起步阶段，仅对番茄成熟度进行了检测。后续将进一步扩大检测对象以增强其适用性。