基于卷积神经网络的食品塑料包装袋光谱识别

吕铷麟，贾镇，胡益滔，何洪源，何伟文

基于卷积神经网络的食品塑料包装袋光谱识别

吕铷麟，贾镇，胡益滔，何洪源，何伟文

（中国人民公安大学 侦查学院，北京 100038）

实现食品塑料包装袋的快速检测和材质区分。研究使用高光谱成像技术在450～950 nm波长范围下采集了49组不同食品包装袋样本的光谱数据，利用Savitzky-Golay平滑滤波、数据归一化和主成分分析进行预处理，建立决策树、支持向量机2种传统机器学习模型和卷积神经网络模型，并比较了它们对包装袋材质的识别性能。决策树模型与支持向量机模型的验证识别率分别为87.8%和88.9%，卷积神经网络模型的验证识别率高达100%，损失函数值最终下降到0.0171且达到收敛，在分类效果和精度上具有明显的优势。高光谱检测方法不破坏检材，重现性好，稳定性强，实现了对食品塑料包装袋的精准识别。卷积神经网络模型对食品包装袋高光谱数据的识别效果最好，为食品包装袋质量检测领域中塑料包装袋的识别鉴定提供依据。

高光谱成像技术；卷积神经网络；包装袋；机器学习；快速识别

塑料材料具有良好的阻隔性和抗污染性，常用于食品包装。在各类刑事案件现场中，食品塑料包装袋常作为重要的物证之一[1]。准确检测并识别现场包装袋物证可为侦破案件以及法庭判决提供强而有力的证据，具有重要意义。

常见的食品塑料包装袋的主要成分为聚对苯二甲酸乙二醇酯（PET）、聚氯乙烯（PVC）、聚乙烯（PE）、聚丙烯（PP）[2]。目前，检验塑料的主要方法有原子光谱法[3]、拉曼光谱法[4]、红外光谱法[5]、X射线荧光光谱法[6]、气相色谱-质谱法[7]、液相色谱-质谱法[8]等。

高光谱成像技术是从遥感技术发展而来的一种快速、无损的检测技术，该方法无需预处理，灵敏度高，检验速度快[9]，广泛应用于血迹检验[10]、文件检验[11]、食品品质检验[12]等诸多领域。在包装袋的生产过程中，原材料、生产设备和生产方式等因素可能导致物质成分含量存在一定差异，因此可利用高光谱成像技术采集光谱图像，并将得到的光谱数据与机器学习方法结合，有效利用光谱中的信息，实现材质的快速识别和分类。

光谱成像技术结合机器学习已经是一个重要趋势，相较于传统机器学习模型，卷积神经网络（Convolutional Neural Networks，CNN）避免了复杂的手工特征提取和数据重建的过程，在没有人为干预的情况下自动地从数据中学习特征，极大地提升了筛选重要光谱特征的效率，在处理光谱数据方面有着得天独厚的优势[13]，同时也广泛应用于人脸识别[14-15]、笔迹识别[16-17]、音频识别[18-19]、步态识 别[20]等诸多领域。目前，高光谱成像技术与卷积神经网络等模型结合进行塑料材料快速识别研究的相关报道较为罕见。

研究利用高光谱成像技术对49个不同品牌的塑料包装袋样本进行检测，对样品图像随机选点，获得观测点的光谱数据。在主成分分析的基础上，建立决策树（Decision Tree，DT）、支持向量机（Support Vector Machine，SVM）以及CNN 3种识别模型，比较3种机器学习算法的分类识别准确率和稳定性。

1 实验

1.1 样本

实验收集了49个不同的食品塑料包装袋样本。用沾有无水酒精的脱脂棉仔细擦拭并阴干，进样检测。样本信息见表1。

表1 样本信息和编号

Tab.1 Sample information and number

续表1

1.2 实验装置

该高光谱成像系统SEC-E1200（深圳市中达瑞和科技有限公司）由实验暗箱、光谱成像模块和数据收集处理模块组成。实验暗箱包含可放置样本的电动升降台和2个50瓦的卤素灯；高光谱成像仪；数据收集处理模块为带有光谱数据采集软件的计算机（用于设置曝光时间，修改图像分辨率以及对样本光谱的分析），波长为450～950 nm，分辨率为2448×2048。此次实验使用的设备为自行搭建的硬件平台，实验环境配置表见表2。

表2 实验环境配置

Tab.2 Configuration of experiment environment

1.3 图像采集与预处理

在450～950 nm的波段下，利用光谱相机对49个不同样本进行光谱数据采集。为减小误差，每个样本平行采集3次并选取15组数据，样本数据量共735组。

近红外光谱数据会由于背景噪声、数值过大等问题对后续的分类建模产生不良影响，因此对光谱采用Savitzky-Golay（SG）算法和归一化法进行预处理，以达到消除噪声和增强分类效果的目的。

为了搭建CNN分类模型，实验按照7∶3的比例对应随机划分出训练集和测试集。其中训练集样本515组，测试集样本220组。

1.4 数据处理

1.4.1 决策树与支持向量机

可采用Matlab 2016a中Classification工具箱实现DT与SVM，其操作便捷，而且对样本有交互式检验的功能，实用性很强。在Matlab操作界面下，清空环境变量，导入数据，为保证训练的准确度，重新分配数据，用randperm随机函数将735组数据按照7∶3比例分成训练集和测试集。训练集交叉验证折数为5，用对应函数生成DT与SVM分类模型。

1.4.2 卷积神经网络结构

此次实验使用的卷积神经网络模型基于AlexNet网络模型，根据训练数据的数量和特点以及硬件平台对网络结构和参数做出了相应的调整。此次研究实验数据数量较少，且二维光谱信息矩阵的尺寸比较小，因此，结合塑料包装光谱信息矩阵的特点，搭建了3层的卷积神经网络，包括了2个卷积层和1个全连接层。该卷积神经网络模型采用2×2卷积核与大卷积核数量搭配，可以增强网络模型的辨识能力，且在每个卷积层以及全连接层后面应用ReLU函数，可以促进网络的稀疏性，减少反向传播时的计算量，同时缓解过拟合。该神经网络使用批量归一化（Batch Normalization）代替局部响应归一化（Local Response Normalization），可以更好地加速收敛，降低过拟合风险，并降低准确率波动。除此之外，应用dropout层使部分神经元失活，再次防止过拟合情况的发生。卷积神经网络模型结构见图1。

2 结果与讨论

2.1 特征点光谱

样本检测完毕后，分别在3次拍摄样本表面选取5个特征点，每个样本共15个特征点，并导出光谱数据，全部样本特征点光谱见图2。

图2 全部样本特征点光谱图

由图2可见，3类检验样本在650～750 nm波长内具有明显的区分度，但随着波长的增加，曲线之间的区分度逐渐降低，需对其进行数据建模分析。

2.2 光谱预处理结果

为更好地提取光谱特征，减少噪声影响。在训练网络模型之前，运用Savitzky-Golay（SG）算法对光谱数据进行预处理，同时强化谱带特征点；然后对去噪声后的数据进行归一化处理，把数值限制在一个偏小的共同范围内，加强数据之间的可比性，避免数值过高导致的运算复杂，并使模型训练加快收敛。最后将经过上述处理后的数据用于后续的模型训练。部分样本的原始光谱与处理过的光谱对比见图3，其中，原始光谱图见图3a，预处理后的光谱图见图3b，预处理后的光谱保留了原始谱图的特征信息，减少了噪声干扰，能够有效提升特征识别效率。

2.3 卷积神经网络分析

为了验证卷积神经网络模型分类的可靠性，在样本数据基础上进行了一系列实验，通过选择不同参数测试模型性能变化，最终完成卷积神经网络模型的构建。

2.3.1 池化层的选择

池化层的作用在于减少参数量，从而提高特征提取的效率。常用的池化层有平均池化层与最大池化层2种，平均池化层即对邻域内特征点求平均值，最大池化层即对邻域内特征点取最大值。经测试，最大池化层特征提取与模型收敛效果更好，所以在该次研究中，神经网络模型采用最大池化层，结果见图4。由图4可知，准确率较损失函数曲线更快达到稳定状态。

2.3.2 学习率的选择

学习率是对性能影响最大的参数之一，学习率过高会导致识别准确率下降，且损失函数难以收敛，而识别准确率过低则会使损失函数变化速度变慢，从而延长训练时间。为了优化神经网络模型，分析学习率对模型性能的影响，此次实验根据样本数据量将迭代次数设定为300，采用不同学习率对模型进行训练并预测，学习率数值由低到高，模型的损失函数数值基本符合正态分布，结果见表3。

综上可知，当学习率处于0.0001时，模型性能已基本处于最优状态，因此在此后的研究讨论中，始终将学习率保持在0.0001。

图3 光谱预处理前后对比

图4 使用平均、最大池化层时网络模型的运行结果

表3 学习率与模型性能的关系

Tab.3 Relationship between learning rate and model performance

2.3.3 批大小的选择

批大小的选择对模型训练时长以及损失函数震荡程度存在较大影响（训练时长与损失函数震荡程度相互并不影响），批越小完成一次epoch所需要的时间就越长，同时梯度震荡越剧烈，loss曲线越难收敛，反之epoch所需要的时间越短且梯度震荡幅度减小，loss曲线更加平滑。为了分析批大小与模型性能的关系，实验设置迭代次数为300，并采用不同批大小对模型进行训练并测试，得到结果见图5。

结果显示在批大小为8时，模型已处于最优状态，loss曲线与准确率均保持稳定且保持较快的训练速率，表明当批大小为8时即可满足食品塑料包装分类的训练需要。故批大小在后续的研究中设定为8。

2.4 模型比较

2.4.1 决策树模型

决策树模型以聚类分析结果为单位，借助Matlab 2016a统计分析软件对49个样本进行决策树模型分析，经3种不同精度的树模型算法训练结果显示，最高正确率为87.8%，混淆矩阵结果见图6。图6中第1类样本识别准确率最高，即PET塑料识别效果最佳，PE、PP塑料识别效果次之。

图5 不同批大小网络模型的运行结果

图6 决策树模型混淆矩阵

2.4.2 支持向量机模型

支持向量机模型选择高斯核函数、多项式核函数以及线性核函数建立分类器，同时，鉴于SVM分类器在应用时产生的风险问题，选择对不同比例下的训练集和测试集进行分类，获取了49个样本高光谱图像数据的分类结果，见表4。

由表4可知，高斯核函数下的SVM分类器在80%训练集比例下样本数据的分类正确率最高，达到88.9%；多项式核函数和线性核函数下的SVM分类器对样本数据的分类正确率均低于80%，说明基于3种核函数的SVM分类器在不同比例训练集均未能实现良好分类。

表4 不同训练比例的分类准确率

Tab.4 Classification results of different training proportions %

2.4.3 卷积神经网络模型

该卷积神经网络模型应用前文讨论过的最佳参数组合，设置迭代次数为300，dropout层为20%，进行样本训练。训练集准确率达到94.12%，损失函数值较低，然后将测试集输入到训练好的模型中进行测试，最终测试结果见图7。准确率训练20次后可达到100%且一直保持稳定，损失函数值最终下降到0.0171。

可见测试集最终结果达到收敛且未出现损失函数爆炸或者数值锁定的情况。在测试过程之中，前20次迭代曲线下降速度较快，随后迅速达到稳定状态，直到迭代结束曲线没有出现波动情况，测试情况较为理想。该测试集结果证明该模型具有较强的稳定性，分类速度快且精度较高，达到了较好的分类效果。

图7 测试集损失函数与准确率变化趋势

最终训练集和测试集的混淆矩阵结果见图8。基于塑料包装二维信息矩阵建立的3层神经网络信息判别模型并未出现过拟合或者欠拟合的现象，验证集识别准确率高达100%，模型性能良好，达到理想目标。

3 结语

基于卷积神经网络算法设计了食品塑料包装袋光谱数据的分类方法，首先在高光谱成像系统中采集样本数据，将光谱数据进行预处理并建立了3种机器学习分类识别模型。结果显示，支持向量机模型、决策树模型识别效果差，其识别准确率（ACC）均未达到90%，卷积神经网络识别效果最好，ACC高达100%，说明高光谱成像技术与卷积神经网络结合的识别方法，可以精准、快速地识别不同类别的食品塑料包装，为案件侦破提供了一种无损的检测方法。对于现场提取到的未知物证，可通过该模型进行快速分类识别，缩小侦查范围。下一步应扩大样本容量，尝试对更多的食品塑料包装袋进行识别研究。

[1] 何靖柳, 陈莉月, 杨冬雪. 食品包装材料的安全性分析及展望[J]. 造纸装备及材料, 2020, 49(4): 54-55.

HE Jing-liu, CHEN Li-yue, YANG Dong-xue. Safety Analysis and Prospect of Food Packaging Materials[J]. Hunan Papermaking, 2020, 49(4): 54-55.

[2] 田陆川, 姜红. 食品塑料包装材料的检验研究进展[J]. 安徽化工, 2021, 47(1): 4-7.

TIAN Lu-chuan, JIANG Hong. Study Progress on The Identification of Food Plastic Packaging Materials[J]. Anhui Chemical Industry, 2021, 47(1): 4-7.

[3] 柳沙. 原子吸收光谱法测定PET塑料材料中锑的迁移量[J]. 云南化工, 2019, 46(7): 60-61.

LIU Sha. Determination of Antimony Migration in Pet Plastics by Atomic Absorption Spectrometry[J]. Yunnan Chemical Industry, 2019, 46(7): 60-61.

[4] 徐昕霞, 沈学静, 杨晓兵, 等. 激光拉曼光谱快速筛查塑料玩具中邻苯二甲酸酯的研究[J]. 光谱学与光谱分析, 2020, 40(6): 1929-1933.

XU Xin-xia, SHEN Xue-jing, YANG Xiao-bing, et al. Rapid Analysis of Phthalate Esters in Plastic Toys by Laser Raman Technology[J]. Spectroscopy and Spectral Analysis, 2020, 40(6): 1929-1933.

[5] 田静, 王晓娟, 齐文良, 等. 基于近红外光谱分析技术的食品包装塑料的定性分析[J]. 分析测试学报, 2020, 39(11): 1416-1420.

TIAN Jing, WANG Xiao-juan, QI Wen-liang, et al. Research on Food Packaging Plastics Based on Near Infrared Spectroscopy[J]. Journal of Instrumental Analysis, 2020, 39(11): 1416-1420.

[6] 马枭, 姜红, 杨佳琦. X射线荧光光谱结合多元统计分析塑料打包带(绳)[J]. 激光与光电子学进展, 2019, 56(22): 243-247.

MA Xiao, JIANG Hong, YANG Jia-qi. Examination of Plastic Pack Belts (Ropes) via X-ay Fluorescence Spectrometry Combined with Multivariate Statistical Analysis[J]. Laser & Optoelectronics Progress, 2019, 56(22): 243-247.

[7] 朱茂电, 靳雅莉, 谢雨桐. 液相色谱-质谱法在食品包装邻苯二甲酸酯含量测定中的应用[J]. 塑料工业, 2019(8): 106-109.

ZHU Mao-dian, JIN Ya-li, XIE Yu-tong. The Application of LC-MS in the Determination of Content of Phthalate Esters in Food Packaging[J]. China Plastics Industry, 2019(8): 106-109.

[8] 杜焕玲, 吕姗, 曹焱鑫. 气相色谱-质谱法测定塑料玩具及儿童用品中的多环芳烃[J]. 化工技术与开发, 2020, 49(12): 37-39.

DU Huan-ling, LYU Shan, CAO Yan-xin. Determination of Polycyclic Aromatic Hydrocarbons in Plastic Toys and Children's Products by Gas Chromatography-Mass Spectrometry[J]. Technology & Development of Chemical Industry, 2020, 49(12): 37-39.

[9] 王慧, 何鸿举, 刘璐, 等. 高光谱成像在鱼肉品质无损检测中的研究进展[J]. 食品科学, 2019, 40(5): 329-338.

WANG Hui, HE Hong-ju, LIU Lu, et al. Recent Progress in Hyperspectral Imaging for Nondestructive Evaluation of Fish Quality[J]. Food Science, 2019, 40(5): 329-338.

[10] 冯颖, 蔡竞. 基于高光谱成像技术的不同介质血迹陈旧度研究[J]. 激光与光电子学进展, 2020, 57(5): 279-284.

FENG Ying, CAI Jing. Age Estimation of the Bloodstains on Different Substrates Based on the Hyperspectral Imaging Technology[J]. Laser & Optoelectronics Progress, 2020, 57(5): 279-284.

[11] 张倩, 陈维娜, 郝红光. 高光谱成像技术在文件检验应用的研究综述[J]. 应用化工, 2020, 49(1): 165-170.

ZHANG Qian, CHEN Wei-na, HAO Hong-guang. A Review of Research on Hyperspectral Imaging Technology in Document Inspection Applications[J]. Applied Chemical Industry, 2020, 49(1): 165-170.

[12] 崔莹莹, 杨铭铎, 方伟佳, 等. 高光谱成像技术在红肉食用品质检测中的应用研究进展[J]. 肉类研究, 2019, 33(6): 70-76.

CUI Ying-ying, YANG Ming-duo, FANG Wei-jia, et al. A Review of Application of Hyperspectral Imaging Technology in Quality Detection of Red Meat[J]. Meat Research, 2019, 33(6): 70-76.

[13] WENG S, YUAN H, ZHANG X, et al. Deep Learning Networks for the Recognition and Quantitation of Surface-Enhanced Raman SPECTROSCOPy[J]. The Analyst, 2020, 145(14): 4827-4835.

[14] NURKHAMID, SETIALANA P, JATI H, et al. Intelligent Attendance System with Face Recognition using the Deep Convolutional Neural Network Method[J]. Journal of Physics: Conference Series, 2021, 1737(1): 012031.

[15] CHEN Yan-tong, CHEN Wei-nan, ZHANG Xian-zhong, et al. Fly Facial Recognition Based on Deep Convolutional Neural Network[J]. Optics and Precision Engineering, 2020, 28(7): 1558-1567.

[16] OKA S, WAYAN G I, GEDE D P I K. Handwriting Identification Using Deep Convolutional Neural Network Method[J]. Telecommunication Computing Electronics and Control, 2020, 18(4): 4826-4828.

[17] ALEJANDRO B, YAGO S, PEDRO I. Evolutionary Convolutional Neural Networks: An Application to Handwriting Recognition[J]. Neurocomputing, 2018, 283(1): 38-52.

[18] 杨立东, 张壮壮. 改进卷积神经网络的音频场景分类研究[J]. 现代电子技术, 2021, 44(3): 91-94.

YANG Li-dong, ZHANG Zhuang-zhuang. Research on Acoustic Scene Classification Based on Improved Convolutional Neural Network[J]. Modern Electronics Technique, 2021, 44(3): 91-94.

[19] 付炜, 杨洋. 基于卷积神经网络和随机森林的音频分类方法[J]. 计算机应用, 2018(S2): 58-62.

FU Wei, YANG Yang. Audio Classification Method Based on Convolutional Neural Network and Random Forest[J]. Journal of Computer Applications, 2018(S2): 58-62.

[20] 陈法权, 樊军. 基于卷积神经网络的人体步态识别算法研究[J]. 机床与液压, 2020, 48(19): 161-164.

CHEN Fa-quan, FAN Jun. Research on Human Gait Recognition Algorithm Based on Convolutional Neural Network[J]. Machine Tool & hydraulics, 2020, 48(19): 161-164.

Spectral Recognition of Plastic Food Packaging Bags Based on Convolution Neural Network

LYU Ru-lin, JIA Zhen, HU Yi-tao, HE Hong-yuan, HE Wei-wen

(Institute of Investigation, People's Public Security University of China, Beijing 100038, China)

The work aims to realize the rapid detection and material differentiation of food plastic packaging bags. The spectral data of 49 groups of different food packaging bags were collected by hyperspectral imaging technology in the wavelength range of 450～950 nm. The data were preprocessed by savitzky Golay smooth filtering, data normalization and principal component analysis to establish two traditional machine learning models of decision tree and SVM and one convolutional neural network model. Then, the recognition performance of traditional machine learning models and convolutional neural network model on the packaging bag materials was compared. The verification recognition rate of decision tree model and SVM model was 87.8% and 88.9%, respectively, while the verification recognition rate of convolutional neural network model was up to 100%, and the loss function value finally dropped to 0.0171 and tended to be stable. Therefore, the convolutional neural network model had obvious advantages in classification effect and accuracy. The method of hyperspectral detection does not destroy the material, and has good reproducibility and strong stability, which can realize the accurate identification of food plastic packaging bags. The convolutional neural network model has the best recognition effect on hyperspectral data of food packaging bags and provides the basis for the identification and recognition of plastic packaging bags in the field of food packaging quality detection.

hyperspectral imaging technology; convolutional neural network; food plastic packaging bag; machine learning; fast identification

TS206.4

A

1001-3563(2022)03-0121-08

10.19554/j.cnki.1001-3563.2022.03.015

2021-08-08

国家重点研发计划资助（2017YFC0822001）

吕铷麟（1997—），男，中国人民公安大学硕士生，主攻理化物证检验。

何洪源（1965—），女，博士，中国人民公安大学教授，主要研究方向为理化物证检验。