二维相关光谱图像结合深度学习用于皮蛋成熟度的高光谱无损检测

2024-01-03陈远哲王巧华刘世伟林卫国

食品科学 2023年24期

陈远哲，王巧华,2, ，范维，刘世伟，林卫国

（1.华中农业大学工学院，湖北武汉 430070；2.农业农村部长江中下游农业装备重点实验室，湖北武汉 430070）

皮蛋是一种历史悠久的传统蛋制品，其口味独特、营养价值丰富。皮蛋在蛋制品的产量中位于首位，是中国再制蛋的主要组成部分，主要销往中国香港、美国、新加坡等30多个国家和地区[1]。浸泡法是用碱性的料液腌制皮蛋，没有钙泥包裹，可以减轻清洗鸭蛋的操作，是目前主要的腌制方法，一般在室温下腌制30 d左右使其成熟，适用于工厂大规模生产[2-3]。

腌制期间皮蛋的成熟度是衡量凝胶品质的关键指标。长期以来，皮蛋成熟度检测仍然依靠人工的感官检测，一贯的做法是利用光源照在皮蛋的钝端，根据蛋内凝胶的透射颜色判断其成熟度。一般来说，颜色越深，皮蛋越成熟[4]。由于腌制期皮蛋内部的变化过程被隐藏在蛋壳内的基质中，工厂很难根据皮蛋在腌制期的成熟度精确调整腌制液的浓度，因此厂商通常从同一批成熟度的皮蛋中抽样打破几个检验。有些生产商制定了皮蛋凝胶弹性的检测标准，通过以手敲的方式判断其弹性值，从而对皮蛋的成熟度进行粗略的评价。但这些方法繁琐低效，不仅具有破坏性，还造成资源的浪费，不能满足皮蛋行业成熟度快速检测的需求。

目前国内外学者对皮蛋的研究主要集中在产品的营养结构和腌制工艺[5-6]，对于皮蛋的品质检测还鲜有报道。高光谱成像技术能高效、无损检测禽蛋的内部品质。一些研究强调了使用高光谱技术对鸡蛋内部品质进行无损检测的可能性。Fu Dandan等[7]利用高光谱技术对鸡蛋内S-卵白蛋白的含量进行了预测与可视化。Yao Kunshan等[8]利用高光谱技术对鸡蛋的哈夫单位进行了准确预测。Zhang Wei等[9]采用高光谱技术对鸡蛋内部气室和散黄蛋建立了预测模型。上述研究表明利用高光谱技术对禽蛋品质的鉴别可行。

本实验以腌制期皮蛋为研究对象，采集不同成熟度皮蛋的高光谱信息，提出二维相关光谱（two-dimensional correlation spectra，2DCOS）图像结合深度学习的方法，建立光谱图像与皮蛋成熟度的鉴别模型，以准确预测腌制期皮蛋的成熟度。

1 材料与方法

1.1 材料与试剂

240 枚新鲜鸭蛋浙江省江山恒沃农产品有限公司；茶叶武汉福山堂茶叶有限公司；氢氧化钠、硫酸铜、氯化钠（食品级）天津登峰化学试剂厂。

1.2 仪器与设备

Zolix Hyper SIS-VNIR-CL高光谱成像系统如图1所示，主要包括一台高光谱成像仪（Spectral imaging Ltd.，芬兰）、一台CCD工业相机、一台卤钨灯（功率50 W，颜色暖白）、丝状位移步进电机控制平台等元器件。光谱范围为400～1 000 nm（含520 个波长），光谱分辨率为1.154 nm。

图1 高光谱成像系统Fig.1 Hyperspectral imaging system

1.3 方法

1.3.1 皮蛋样本的制备

工艺流程：新鲜鸭蛋→消毒水洗涤→配制腌制液→25 ℃恒温腌制→取样检测。

皮蛋腌制液的配制，腌制液质量∶鲜鸭蛋质量=1∶1。按腌制液总质量百分比计算[10]，分别称取NaOH 4.5%、红茶叶3%、硫酸铜0.4%、氯化钠4%。

取样检测：将产后1 d的新鲜鸭蛋放入腌制料液内恒温腌制。为避免碱伤，按照唐世涛等[11]的腌制要求，在腌制第14天时用纯水1∶1稀释腌制液，并放回继续腌制。因此，在整个腌制过程中，以腌制前14 d和腌制后的13 d作为检测皮蛋成熟度的主要时期。整个实验分为控制组（1组）和实验组（5 组）。用消毒水洗涤并擦拭干净的新鲜鸭蛋作为控制组（40 枚），将恒温腌制的皮蛋作为实验组，由于鸭蛋从第7天左右开始形成凝胶，故在腌制的第7、12、17、22天和第27天分别取出40 枚皮蛋，用于样品的高光谱采集。为方便观察和比较不同腌制期的图像特征，根据时间序列将每个时期皮蛋的外部透射图像进行拼接，如图2所示。

图2 腌制期皮蛋外部凝胶变化图像Fig.2 Changes in external gelation of preserved eggs during pickling

1.3.2 图像的采集与校正

从腌制盒中取出同一批成熟度的皮蛋，用清水清洗表面的腌制液，并用吸水纸将水分吸干。实验前，将仪器预热20 min以消除暗电流和CCD相机芯片不稳定的影响[12]；之后将自制带孔灯箱放置在图像采集台上，打开光源，将皮蛋水平放置在透光孔处。样品相机的距离为300 mm，曝光时间为0.15 s[13]。水平移动工作台速率为2 mm/s，移动距离为100 mm。为消除系统光强和暗电流分布不均匀的影响，获取的原始高光谱图像需要黑白校正[14]。采集样本数据之前，需要先采集黑白参考图像。白色基准由聚四氟乙烯制成的99%反射率的白色标准板获得，黑色基准由完全覆盖相机镜头的不透明镜头盖获得[15]。利用式（1）得到高光谱校正图像。

式中：IRaw为原始高光谱图像；IB为黑板校正透射图像；IW为白板校正透射图像。

利用ENVI软件ROI工具对皮蛋整个区域建立掩膜，将提取的感兴趣区域平均光谱作为对应的透射原始光谱[16]。

1.3.3 一维、二维光谱数据分析

对原始光谱透射率进行多元散射校正（multiplicative scatter correction，MSC）、去除包络线（continuum removal，CR）、一阶求导（first derivative，FD）以及两两组合变换，得到一维光谱数据，进而分析在时间序列下腌制时间与光谱透射率的相关性[17]。

二维相关光谱是将一维光谱扩展到第二维上，可以增加光谱的分辨率，使得一维光谱的弱峰和重叠峰更加清晰。同步光谱和异步光谱是由动态光谱S计算而来，当以n个步长计算相等扰动间隔t的光谱时，动态光谱强度S表示为变量v处的列向量[18]。将同步相关光谱强度与异步相关光谱强度点乘，得到集成光谱相关强度。

式中：X为同步相关光谱强度；Y为异步相关光谱强度；Z为集成相关光谱强度；N为希尔伯特矩阵[19]。

2 结果与分析

2.1 腌制期皮蛋原始光谱曲线分析

图3为不同成熟度皮蛋样本在腌制过程中的平均光谱曲线。透射率曲线在421、480、614 nm和679 nm处出现较为明显的波峰、波谷。其中，421 nm处与皮蛋内容物色素相关，可以用来监测皮蛋在成熟度过程中颜色的变化[20]；480 nm出现第1次透射率波谷，这可能是由于蛋壳中孔洞数量和内膜结构特性对凝胶质量的影响[21]；614 nm附近的最高波峰是区分不同腌制期皮蛋的关键波长；此外，在844 nm处存在波谷拐点，该波长处主要与蛋白凝胶中的—CH2结构相关，925 nm处的波峰主要与水分子的O—H键拉伸的第二泛音有关，这可能是因为在腌制期皮蛋内容物凝固导致水分发生了变化[22]。因此，根据光谱数据的差异，可以对腌制期皮蛋的成熟度进行鉴别。

图3 腌制期皮蛋的平均透射光谱Fig.3 Average transmission spectra of preserved eggs during pickling

2.2 样本集的划分

实验样本共有240 枚皮蛋，对于一维光谱数据，为避免随机划分样本的不均衡，利用光谱理化值共生距离法结合光谱信息按照3∶1比例进行训练集、测试集划分，训练集样本为180 枚、测试集为60 枚。为了对比分析一维光谱数据与二维相关光谱的模型效果，对二维相关光谱图像数据进行样本划分，同时为了增加神经网络的鲁棒性并减少过拟合，采用翻转、镜像等数据增强方式对样本集进行扩充[23]，最终得到同步谱、异步谱和集成光谱图像各2 400 张，然后按照3∶1∶1的比例划分训练集、验证集和测试集。

2.3 一维光谱数据的分析

2.3.1 时间序列下一维光谱特征的相关性分析

由图4和表1可知，在时间序列下由去除包络线和一阶求导联合变换后（CR-FD）的光谱透射率与腌制时间的相关性整体最高，其相关性曲线表现为正负交叉，同时波峰波谷增多，在512～621、797～1 000 nm波段处达到极显著相关水平（P＜0.01），614 nm处的光谱透射率与腌制时间的相关性最高，为0.953。这也和上述分析得出614 nm附近的波长是区分不同成熟度关键波长的结论一致；因此，选择512～621、797～1 000 nm波段的CR-FD光谱透射率用于一维光谱数据的研究波段。

表1 时间序列下一维光谱数据与时间的最大相关系数和敏感波段Table 1 Maximum correlation coefficients and sensitive wavebands for one-dimensional spectral data in time series

图4 时间序列下一维光谱特征的相关性Fig.4 Correlation of 1D spectral features in time series

2.3.2 一维光谱特征波长的提取

为突出特征波长筛选的优越性，本实验采用无信息变量去除（uninformative variable elimination，UVE）法和竞争性自适应重加权采样（competitive adaptive reweighted sampling，CARS）算法对经CR-FD变换后的一维光谱集512～621、797～1 000 nm（270 个波长）筛选特征波长。

如图5a所示，设置噪声矩阵稳定值的99%作为剔除阈值，光谱变量的稳定值分布在左侧，随机变量的稳定值分布在右侧，以阈值±2.06为界，两条水平线之间的变量将被剔除，最终经UVE提取出23 个波长变量。从图5c1可以看出，随着采样次数增加到30 次，与时间序列高度相关的变量被保留，导致均方根误差下降；在运行30 次之后，直到删除一些敏感波段变量时，导致均方根误差值增加，如图5c3所示，经CARS最终提取30 个最佳波长变量。图5b、d分别为波长筛选后的光谱索引图。

图5 特征波长的提取Fig.5 Selection of characteristic wavelengths

2.4 二维相关光谱图像的分析

2.4.1 2DCOS的图谱特征分析

以腌制时间为扰动因子，表征高光谱信号的敏感强度。根据Noda的二维光谱理论[24]，同步二维相关光谱关于主对角线对称，对角线上的峰称为自相关峰，它的强度反映光谱信号随时间序列变化的强度，与本研究同步谱的自相关峰对比符合这一理论，同时出现的自相关峰与对应的基团变化有关，表明该波长是与时间序列有关的敏感波长，故用作主要的特征波段的研究区域；异步谱是由两侧交叉峰组成，它反映在时间序列变化时各个吸收峰之间的相关程度，辅以用于特征波段范围的选择。图6为所有皮蛋样本随时间序列变化的同步和异步2DCOS图。

图6 时间序列下的二维相关光谱Fig.6 Two-dimensional correlation spectra in time series

从图6a可以发现，对角线上共出现4 个自相关峰，在429 nm和483 nm处存在两个较弱的自相关峰，429 nm附近处的基团振动峰与腌制期皮蛋的凝胶颜色变化有关，且该波长点所对应的峰在原始光谱曲线中并无出现，表明二维光谱能将重叠的峰分辨出，483 nm附近的振动峰与蛋壳结构中的蛋白吸收有关[25]；同时，由图6b可以看出，（486，523）处出现正的交叉峰，表明这两处的基团对时间序列的扰动具有协同作用，在（526，487）处出现负的交叉峰，说明其响应相反；在836 nm处出现较强的自相关峰，原始光谱在该波长附近也有波谷出现，此波长与皮蛋凝胶蛋白的C—H键有关[26]；在625 nm出现了最强的自相关峰，表明该波峰受腌制时间的影响最大，主要归因于对腌制期凝胶蛋白N—H键的强吸收所致；在（604，567）处出现正的交叉峰，其中567 nm与N—H键振动的三级倍频有关，与604 nm对应的基团吸收峰强度相同，表明该处波长也与N—H相关，同时在（571，596）处也出现一个负的交叉峰。据上，自相关峰对应的波长多与凝胶颜色、N—H、C—H键相关，这与皮蛋在腌制期颜色变化、凝胶变化的结果一致，表明429、483、625 nm和836 nm处的光谱信号对皮蛋腌制期的时间序列较敏感，故选择429～836 nm作为皮蛋成熟度二维光谱图像的研究波长范围。

2.4.2 2DCOS图像的提取

本研究选择429～836 nm波段范围计算每个样本的同步、异步和集成光谱。不同腌制时期的同步、异步和集成2DCOS光谱图如图7所示。同步谱揭示了在时间序列下腌制时间作为扰动因子时自相关峰对应基团振动强度变化的相关性，它具有清晰的峰形状和高分辨率，并且在强度、数量和相对位置上不同，这可以表征皮蛋在腌制期不同成熟度的差异，但对模型的性能的影响需要进一步分析。异步光谱图像仅具有交叉峰，这有助于区别不同波段之间的重叠峰，然而在本研究中异步光谱图像较复杂多变，因此无法直观进行分析，这可能是由于皮蛋内部凝胶的复杂特性造成。集成光谱图像是由同步和异步光谱相关强度的乘积得到，与异步光谱相比，它具有更清晰特征的相关光谱。与同步光谱相比，一些特征光谱的信息有所被忽略，需要进一步建立模型进行辨别。

图7 不同类型的2DCOS图像Fig.7 Different types of 2DCOS

2.5 一维光谱建模分析

采用UVE和CARS提取变换后CR-FD光谱的特征波长，将分别得到的23 个和30 个波长变量分别导入到常用的机器学习PLS-DA和SVM分类模型。为了验证模型的性能，加入全波长光谱进行比较分析。由表2可知，降维后的模型准确率虽均高于全光谱，但机器学习对较为复杂的模型拟合效果不佳，本研究使用的机器学习模型训练集的精度高于测试集，出现了过拟合现象。而深度学习引入了局部连接和权值共享机制，在拟合复杂模型时具有明显的优势，故考虑使用2DCOS图像结合深度学习用于皮蛋成熟度的检测。

表2 PLS-DA和SVM模型的预测结果Table 2 Prediction results of PLS-DA and SVM models

2.6 2DCOS模型的建立与预测

2.6.1 网络模型的搭建

针对皮蛋成熟度之间的差异，通过分析模型的准确率、参数量、识别速率等因素，选用ResNet18为基础网络进行优化改进[27-28]。同时，2DCOS图像的特征较为复杂，这对数据增强后样本集关键区域的识别要求更高，因此加入注意力机制SE模块提高特征区域的提取，提高网络的分类性能[29]。

针对皮蛋成熟度的识别，改进的ResNet网络结构如图8所示。其中输入端是同步光谱、异步光谱和集成光谱图像。输入数据经过一层卷积运算、归一化和非线性激活。然后，将处理后的数据输入7 个Identity模块和2 个Conv模块组成的18 层卷积神经网络进行特征提取。采用全局平均池化减少全连接层的参数并提取关键特征。Flatten层将多维数据转换为一维，最后全连接层将学习到的分布式特征映射到样本标签空间。

图8 改进的ResNet网络结构图Fig.8 Improved ResNet network structure

网络的具体改进内容如下：

1）将网络的输入由原来的224×224×3 改为300×300×3，以增加网络的预测精度。

2）ResNet18共有4 个Identity模块和4 个Conv模块。为了提升模型的泛化能力以及更好地拟合特征，将Identity模块增加至7 个，而Conv模块减少至2 个，加上第1阶段和第5阶段的Conv层和全连接层共有20 层网络。

3）将注意力机制SE模块分别嵌入到ResNet网络的第2、3、4阶段的残差模块。其中在第2和第3阶段嵌入在Identity模块和Conv模块中间，在第3阶段嵌入到Identity模块之前，以此增加网络对关键区域特征的关注度，过滤无用信息提高模型的准确性。改进后的网络模型命名为ResNet20_SE。

改进后的ResNet20_SE网络模型参数如表3所示。

表3 ResNet20_SE网络模型的参数Table 3 Parameters of ResNet20_SE network model

2.6.2 模型训练

实验在AMD Ryzen 7 5800H@3.2 GHz、16 GB内存、RTX3060 GPU、64位Windows 11操作系统、Python3.7和Keras框架下进行。Batch size设置为32，选择epoch迭代次数为200，学习率为0.000 1，使用Adam优化器进行计算，对网络模型进行训练和验证。

为验证ResNet20_SE的性能，加入原网络ResNet18作为对比。如图9所示，基于不同数据集的交叉熵损失函数训练结果，对比ResNet18网络，在训练200 轮的情况下，3 个数据集中ResNet20_SE网络都表现出较优的效果，这是由于改进后Conv模块的减少缩减了模型的计算量，使得在保证模型准确率的情况下更快达到收敛效果，同时得益于SE模块的嵌入，网络更加关注于关键区域的识别，最大化地缩小预测值与实际值的差异，使网络获得更小的损失值。结果表明，改进后的ResNet20_SE较原始网络模型具有更好的鲁棒性。其中，同步光谱图像的ResNet20_SE模型的损失值最小，维持在0.01水平；集成光谱次之，相较而言异步光谱最大。

图9 验证集损失函数曲线Fig.9 Validation set loss function curves

2.6.3 模型测试及结果分析

选用ResNet20_SE模型分别在3 种数据集的480 副图像上进行测试，图10为测试结果的混淆矩阵，表4为不同光谱图像分类的精确率和召回率。结果表明，同步光谱对于不同腌制期皮蛋分类的ResNet20_SE模型性能最好，6 种腌制期的识别召回率分别为100%、97.50%、96.25%、98.75%、93.75%和97.50%，模型具有较高的识别精度和鲁棒性，这也和验证集损失函数的结论一致。进一步发现，在腌制第22天时，模型将4 个同步光谱图像误判为第27天，这是因为在腌制20 d之后，皮蛋凝胶基本凝固，致使样本图像之间差异减小。

表4 ResNet20_SE对不同腌制期皮蛋的分类结果Table 4 ResNet20_SE classification results of preserved eggs in different pickling periods

图10 ResNet20_SE模型对不同数据集分类情况的混淆矩阵Fig.10 Confusion matrix for classification of different data sets by ResNet20_SE model

进一步，选用未数据增强的30 副原始同步光谱图像进行可视化检测，采用较优的同步光谱ResNet20_SE模型应用于高光谱图像中，计算每个像素点的数值，采用伪彩色技术对6 种不同腌制期成熟度进行赋值判别，并将判别结果进行可视化，结果如图11所示。数值0代表背景，1～6表示被判别的6 个腌制期，认定为不同的成熟度。除了22 d的1 个样本被误判为27 d，其余样本像素点均全部准确识别。该结果验证了使用高光谱成像结合深度学习方法对皮蛋成熟度鉴别的可行性。

图11 腌制期不同成熟度分类可视化结果Fig.11 Visual classification of preserved eggs with different maturity in different pickling periods

2.7 一维光谱与2DCOS模型的比较

将一维光谱数据建立的PLS-DA、SVM和2DCOS图像建立的ResNet20_SE腌制期成熟度鉴别模型进行对比分析。模型性能如表5所示，其中，传统机器学习下的一维光谱数据的准确率可以达到85%以上，但模型泛化能力弱，存在过拟合现象，不能作为最优模型；而对于ResNet20_SE模型，3 种数据集下的整体准确率均达到90%以上，特别是同步光谱下的整体准确率达到97.29%，且单张图像平均检测时间为24.62 ms。可以看出，本实验改进的ResNet20_SE模型能较为理想地兼顾识别准确率和检测速率。