基于机器视觉的食品外包装缺陷检测算法研究进展

戈明辉张 俊陆慧娟

(1. 中国计量大学信息工程学院,浙江 杭州 310018;2. 浙江省农业科学院食品科学研究所,浙江 杭州 310022)

近年来,食品包装行业的销售规模已经达到了6 000亿元,占据了全部包装市场的60%以上[1]。然而,在食品的生产和运输过程中,其外包装很容易受到各种因素的影响,导致出现各种缺陷,如划痕、变形、破裂、封口气泡、压接不牢、喷码错误等。这些缺陷可能会导致封口不严、微生物污染等食品安全问题,因此在出厂前进行检测是确保产品品质的重要环节。

目前大部分企业对包装的检测仍采用人工目测,灵活度较高,但效率低、稳定性差、管理成本也高,难以满足现代企业的自动化生产需求,机器视觉技术的引入可实现产品检测的自动化。传统的视觉算法对差异明显的目标或产品尺寸等精度要求较高的产品有较好的检测能力和效率,但是对于背景复杂或无规则缺陷检测精度较低,且传统算法需要人工对缺陷特征进行总结归纳,对算法设计人员要求较高。随着人工智能的发展,深度学习相关技术可实现特征的自动提取,复杂背景或特征不明显的物体识别也表现出较好的效果,在机器视觉食品外包装缺陷检测方面有较好的应用前景。

文章对机器视觉技术在食品外包装缺陷检测中的应用研究进展进行介绍和分析,并对机器视觉技术在食品包装行业中的应用趋势进行展望,以期为机器视觉相关技术在食品外包装缺陷检测领域的应用提供参考。

1 食品外包装常见缺陷

食品包装缺陷可能导致产品质量下降、引发卫生安全问题。罐装食品的缺陷包括罐体凹陷、罐盖变形、破损、腐蚀和密封不良等,可能是由罐体和罐盖质量问题及运输和存储时的受损或温度变化等原因导致的。瓶装食品的缺陷包括瓶盖变形、破损、密封不良和瓶体破裂等,可能是由运输和存储时受机械力、温度等因素影响导致的。袋装食品的缺陷包括袋子破损、密封不良、异味和异物等,可能是因袋子材质不佳或制造过程中存在瑕疵,运输和存储时受损,封口机器的操作不当或封口时间不足等原因导致的。真空包装食品的缺陷包括真空度不足、包装膜破裂等,可能是由真空包装膜质量不佳或贮运时受损等原因导致的。

食品包装缺陷的产生可能涉及到包装材料、贮运过程、封口操作、包装设计、使用环境和人为因素等。例如,包装设计不合理可能导致包装形态不稳定、结构不牢固等问题;使用环境中的振动、冲击等因素也可能导致包装受损;人为因素如包装操作不当、贮运方式不当等也可能导致食品包装缺陷的出现。食品包装缺陷的产生原因是多方面的,因此,需要对每个环节进行细致的分析和控制,以确保食品包装的质量和安全性。

2 传统视觉检测在食品外包装检测中的应用

在食品外包装缺陷检测技术中,传统的视觉检测方法包括人工视觉检测和基于数字图像处理的方法,以及基于传统机器学习的检测方法。

2.1 人工视觉检测

人工视觉检测是一种传统的食品外包装缺陷检测方法,其基本思路是由人工进行视觉检查,通过目视观察食品外包装表面缺陷来判断是否存在缺陷。人工视觉检测的优点是灵活性高,可以适应不同类型的食品和缺陷;缺点是效率低、人工成本高等。近年来,一些研究人员[2]通过引入计算机辅助人工视觉检测技术,提高了检测效率和准确率。也有研究[3]表明,使用机器视觉检测技术后再由人工进行目检可以提高检测系统的准确性。在机器视觉检测后,人类视觉检测仍然在大多数情况下作为最终检测步骤执行[4]。康耐视公司[5]研究称机器视觉在定量测量结构化场景方面表现出色,因为它具有速度、准确性和可重复性。但是,人类视觉擅长区分物体微妙缺陷和表面的细节变化,故人类视觉在许多情况下成为定性解释复杂、非结构化场景的最佳选择。所以在某些特殊领域,将机器视觉与人工检测相结合可以利用两者的优势来提高检测准确性。

2.2 基于数字图像处理的检测方法

随着计算机技术的发展,机器视觉在食品包装检测方面正逐渐替代人工。机器视觉是一种模拟人类视觉感知系统的技术,其工作流程图如图1所示,先通过相机获取目标的图像,再利用视觉相关处理软件对图像进行处理,获取所需要的有用信息[6],最后完成目标物体的识别、测量、检测等具体任务[7]。

图1 机器视觉技术工作流程图

传统机器视觉中数字图像处理算法的运用,往往决定了视觉检测系统的检测效果,所以选择合适的图像处理算法来针对不同包装检测任务是十分重要的[8]。基于数字图像处理的检测方法是另一种传统的机器视觉食品外包装缺陷检测方法,其基本思路是对食品外包装图像进行数字图像处理,提取缺陷信息,并通过一定的算法对缺陷进行识别和分类[9],常用的图像处理方法有二值化处理、边缘检测、模板匹配等[10]。

但北辰教堂的发展，见证了党和政府对宗教信仰自由政策始终如一的坚守，也见证了昆明市民族团结、宗教和谐的良好局面。

2.2.1 二值化处理 二值化处理也称为阈值分割,是较为常见的图像分割处理方式,可将图像特征部分和背景部分分开,再通过图像的灰度值区分。图像的二值化处理使图像中数据量大为减少,可凸显出目标轮廓[11-12]。针对软包装袋材质柔软,不易固定,生产和使用过程中易起皱变形等问题,李丹等[13]采用了一种基于自适应阈值分割算法,该算法在冰棍包装袋缺陷检测试验中取得了较高的检测准确率和较低的误检率,其优点是简单易实现,适用于各种类型的包装袋,但是对于不同类型的包装袋,需要重新训练分类器,因此有一定的局限性。郑叶欣等[14]提出了基于相位变换(phase only based transition,POBT)的玻璃瓶纹理区域缺陷检测算法,使用了一种基于瓶身规则纹路分割的二值化方法,采用概率修正自适应阈值分割方法对相变后去除纹理留下缺陷的图像进行分割,将瓶身规则纹路分割出来后对分割后的图像进行二值化处理,结果表明,单个瓶子的检测时间可以控制在20 ms以内,误检率3%,检测精度有较大提高,实现了高速、高精度的瓶子缺陷检测,该方法的优点是适用于各种类型的瓶子,且不需要重新训练分类器,但缺点是对厚度不均或微小气泡缺陷等特征不是很明显的玻璃瓶,该算法的检测效果不好。在检测包装罐内壁缺陷方面,王宣银等[15]使用了二值化技术来分割图像获取焊缝的边缘区域,通过膨胀、腐蚀和凸壳等操作获取目标区域图像,再利用多个合格模板图像和被测图像堆叠在一起来解决焊缝区域不一致的问题,该方法误检率在2%以下且可靠性较强,主要应用于解决内壁照明困难所导致的缺陷误检率高问题,但是在实际应用中要考虑应用成本,需要衡量资源和时间的限制。贾真真等[16]在解决食品包装机生产过程中包装质量出现内衬纸漏检等问题时,采用的数字图像处理方法是OTSU算法,灰度图像经二值化后再进行膨胀、腐蚀等形态学处理,在获取二值化处理得到的目标区域图像后进行差分处理,消除可变背景中阴影,通过搜索模型位置和检测目标区域的面积和斑点等进行缺陷判别,该模型检测能力强,各类型缺陷内衬纸的检测准确率均高达95%以上,满足生产线需求,但是这种传统的图像处理算法通常在新的缺陷种类检测并不能达到很好的效果,所以如何提升算法模型的泛化性能还需进一步研究。

这些方法中,OTSU算法作为一种简单有效的图像二值化算法,在食品包装缺陷检测中得到了广泛的应用。同时,通过结合形态学处理,可以有效地去除噪声,提高缺陷检测的准确性和鲁棒性。然而,OTSU算法在处理一些复杂的图像时可能会出现分割不准确的情况,需要结合其他算法来提高分割的准确性。另外,由于食品包装的外观形态多样,对于不同形状、不同颜色的包装,可能需要针对性地选择不同的二值化方法和形态学处理方式,从而提高检测的效率和准确性。

2.2.2 边缘检测算法 边缘检测算法旨在通过提取图像中的交界线条来强调图像中的重要结构特征,并且过滤掉无关信息,以减少数据量,主要有Sobel算法、Laplacian算法、Canny算法3种边缘检测方式。其中,Canny边缘检测算法[17]是一种具有高精度和准确定位优势的经典算法。通过使用Canny边缘检测算法,可以获得图像中交界线的清晰轮廓,有助于进一步分析和处理图像信息。张飞等[18]在解决纸盒表面和内部缺陷的识别、定位、检测困难等问题,使用了Canny算法来检测纸盒的边缘,并通过霍夫(Hough)变换检测出直线,从而得到纸盒的尺寸和位置。该系统具有适用性强、识别定位精度高等特点,但需要一定硬件设备和软件支持,应用成本较高。同样,在使用Canny算子进行边缘检测的研究中,有学者通过彩色图像加权滤波方法[19]对铝塑膜包装图像进行预处理,再采用基于视觉显著性分析[20]的目标分割方法从背景图像中进行分割,用连通域标记方法对Canny算子检测到的包装边缘进行处理,最后利用支持向量机检测是否漏装、残缺、划痕等缺陷[21]。

上述研究人员都成功地应用了Canny边缘检测算法来检测包装边缘,实现了包装的尺寸和位置测量以及缺陷检测。Canny边缘检测算法能够在噪声和保留边缘之间取得最佳平衡,但图像噪声较多时容易出现边缘断裂和不连续的问题,因此在实际应用中需要考虑如何提高算法的鲁棒性和准确性。此外,对于食品包装缺陷检测,还需要进一步探索如何结合其他的特征提取和分类方法,以提高检测的准确性和效率。

2.2.3 模板匹配 模板匹配(template matching)是数字图像处理中最具代表性的方法之一[22],是计算和找出目标图像与模板之间的相同数量的特征,测量图像的相似度,以确定检测到的区域是否与设置的模板相同。通常要事先建立好标准模板库,它从待识别图像中提取若干特征向量与模板对应的特征向量进行比较[23],计算图像与模板特征向量之间的距离,用最小距离法判定所属类别[24]。与此相似的,Xie等[25]提出了一种快速检测PET瓶内包装质量的方法,该方法利用归一化互相关模板匹配(normalized cross-correlation,NCC)算法匹配感兴趣区域(region of interest,ROI)来检测瓶盖,最后通过提取ROI的边缘来检测高覆盖和歪覆盖,以实现PET瓶盖的缺陷检测。尽管该方法检测速度快且缺陷检测率高,但是仍然存在一些问题,例如瓶子的抖动会影响误判率。同样,在解决瓶子相关缺陷问题中,肖飞蛟[26]提出了一种用于在啤酒包装生产线上检测瓶口缺陷检测算法,并设计了一个高速检测系统,解决了无法检测瓶口缺陷的问题。该检测系统使用了模板匹配法的图像识别算法,并在生产线测试中表现出95%以上的准确性,完全符合生产需求,该系统旨在通过最小化成本并消除影响稳定性的因素,解决生产中的技术难题,以提高空瓶检测系统的检测率,为啤酒生产线的稳定性和设备利用率提供基础。另外,Shen等[27]提出了一种低成本的基于模板边缘图像比较的划痕检测方法,用于解决罐盖的缺陷检测问题,该方法利用模板匹配算法实现对瓶盖表面划痕的检测并能够自适应地调整模板的大小,以适应不同尺寸的瓶盖检测。经验证,该方法的检测效果良好,误检率低于1.5%,但对于不同类型的划痕需要使用不同的模板进行检测。同样,在解决罐盖的缺陷检测问题中,Feng等[28]在设计了一种基于机器视觉的双通道检测系统,该系统采用二值化技术和模板匹配相结合的算法实现了对罐盖缺陷的检测。该方法在罐盖表面缺陷检测方面表现较好,具有98.7%的检测准确率和每分钟1 200次的检测速度,然而该检测算法对于缺陷形态、大小的变化较为敏感,对于不同场景需要针对性地设计模板。

这些研究都采用了与模板匹配相关算法来解决包装缺陷检测问题,各自提出了不同的方案并取得了一定的效果。然而,这些方法在实践中都存在一些局限性,例如,对于复杂缺陷的检测效果有待进一步提高,同时针对不同类型的缺陷需要使用不同的模板等,增加了算法的复杂性。因此,未来的改进方向可以考虑采用深度学习技术、多种算法相结合等方式来提高检测的准确性和鲁棒性。这些方法的引入将能够更好地应对不同类型的缺陷,并提升整体检测系统的性能和可靠性。

综上所述,数字图像处理检测方法可以分为以下几个步骤:

(1) 图像预处理:对食品外包装图像进行去噪、滤波、二值化等预处理操作,便于后续算法的处理和分析。

(3) 分类器设计:根据特征提取结果,设计分类器对不同类型的缺陷进行分类识别。

基于数字图像处理的检测方法优点是算法简单易懂,可以解决一些简单的缺陷检测问题;缺点是受噪声和光照等因素的影响较大,对于复杂的缺陷检测问题效果不太理想。总的来说,传统的食品外包装缺陷检测方法存在效率低、准确率不高、受噪声和光照等因素的影响较大等问题,为此,越来越多的研究机构开始尝试引入机器学习和深度学习等新技术来完成食品包装的缺陷检测任务。

2.3 基于传统机器学习的检测方法

近年来,针对食品包装行业的缺陷检测问题,许多学者已经采用了传统机器学习算法进行研究。这些算法包括决策树(decision tree)、随机森林(random forest)、支持向量机(support vector machine,SVM)。决策树易于理解和解释,但容易出现过拟合;随机森林可以有效地减少过拟合,但训练时间较长;SVM可以很好地处理高维数据,但对数据的缩放比较敏感。

研究[29-30]表明,选择合适的算法可以有效地检测出食品包装中的各种缺陷,如破损、污渍和变形等。为了进一步提高检测的准确率,有研究者[31-32]将传统机器学习与深度学习算法相结合,取得了良好的效果。此外,对于图像特征的提取和选择也成为了研究的重点。在这方面,常见的特征包括颜色、纹理和形状等,通过合理的选择和特征提取,可以更准确地描述和区分不同的缺陷类型,从而提高缺陷检测的效果。因此,算法选择和图像特征的处理是食品包装缺陷检测研究中的关键问题。在相关研究中,曾秀云[33]通过采用改进SVM分类器,实现了对包装中不同类型缺陷的检测,为后续的研究奠定了基础。此外,周光祥等[34]使用机器学习基函数对包装封口处纹理图像进行相关处理,取得了较好的检测效果。孙娜等[35]致力于解决卷烟生产过程中条烟包装外观缺陷的问题,提出了一种基于支持向量机(SVM)的条烟包装缺陷图像检测方法,该方法能够高效地识别出96.1%的条烟包装缺陷,且具有通用性和实时性,能够满足条烟异常情况检测的要求。

这些研究提供了可行的方案和技术支持,对提高食品包装生产的质量和效率具有重要意义,但是这些方法的性能仍存在着一定的限制。例如,算法的精度可能受到噪声、光照等环境因素的影响,还需要在实际生产过程中进行进一步的验证;图像特征的提取和分类是关键步骤,需要进一步设计适当的特征提取算法。在以后的工作中可以将传统机器学习算法与深度学习算法进一步结合,提高检测的准确率和稳定性。同时,应该探索更加精细化的特征提取和选择方法,如使用卷积神经网络等深度学习算法。此外,还应该考虑如何将检测结果实时反馈给生产线,实现自动化生产。

3 深度学习在食品外包装缺陷检测中应用

传统机器视觉算法通常需要多种算法进行组合使用才能实现检测模型的最优化。在实际应用中对图像识别算法的设计人员要求很高,尤其是在复杂背景条件下,传统机器视觉算法难以满足生产流水线的检测准确率要求。相比之下,深度学习是一种以人工神经网络为架构,对资料进行表征学习的方法[36],有着出色的可移植性,强大的学习能力以及高适应性等优点[37],近年来,深度学习算法在食品外包装领域逐渐应用,并在解决绿色生产、科学包装、高效检测过程中的质量控制、优化资源配置等诸多问题中提供更有效的解决方式。深度学习作为目前计算机视觉分类、目标检测,语义分割等领域的主流研究方法,表现出强大的竞争力和潜力。

3.1 分类识别

图片分类是将图像按不同类别进行划分的过程,包括二分类和多分类方法。在二分类中,每张输入图像都有一个与之对应的标签,通常是有某物和无某物。然而,这种图片分类方法的缺点是无法对图像中的特定信息进行详细解释。

在相关二分类研究中,针对工业生产中的各种包装缺陷问题,郭克友等[38]利用BP神经网络实现了对啤酒瓶口是否破损的二分类检测。通过计算啤酒瓶口周长、面积、圆度、相对中心距4个特征参数构成特征向量组,并利用BP神经网络模型进行训练,最终实现了啤酒瓶口破损的判断,误检率仅为1.04%。另外,陈卫国等[39]使用改进的卷积神经网络和TRIZ创新理论中的物—场模型工具进行盒装蛋黄酥缺陷进行分类。通过数据增强的方法扩展训练数据集,并使用1 845张蛋黄酥图片进行训练,经过28次迭代,改进的VGGNet成功收敛。最终测试结果显示,615张测试样本的分类率都达到100%的正确率,实现了高精度的目的,而网络生成的模型大小为64 MB,是未改进前网络生成模型的1/8,达到了实时分拣的要求,适用于快速生产的工业环境中。在多分类任务中,陈雪纯等[40]提出了一种基于迁移学习的改进Mobilenet-V2轻量化网络的包装缺陷快速检测方法,利用糖果产线包装质检环节存在的4种表面缺陷,并对其进行测试。测试结果表明,该方法具有检测速度快、缺陷正确检测率高等优点,同时具有一定的泛化性,可以应用于其他类似食品包装缺陷检测,与传统基于显式特征提取的缺陷检测方法相比,该方法通用性更强,能够应对复杂背景下的缺陷检测问题。但是在实际应用中可能会存在一些问题,如大量高质量标准数据的需求和模型解释性的局限性。Sa等[41]提出一种基于ResNet的快速、准确、有效、智能化的包装检测系统,该系统结合了深度学习框架和高可移植性,可以广泛应用于生产过程,但是该方法由于采用双面拍摄的方式,只适用于双面包装,未来需要改进机械结构并采用多摄像头装置,以扩展应用范围。

这些深度学习分类识别方法的应用可以有效减少工厂中包装缺陷检测的人工和管理成本,同时提高检测准确率和效率,对于保证产品质量具有重要意义。

3.2 目标检测

目标检测不仅可以进行目标分类识别,还可以根据标签信息检测感兴趣的区域,因此在食品包装检测领域可以帮助检测人员快速定位各种缺陷。然而,当数据背景复杂、缺陷种类繁多、存在多个感兴趣区域时,检测难度大大增加。

针对传统的人工特征提取食品等外包装缺陷检测方法过于复杂,通用性差,要求专业知识水平高的问题。李建明等[42]提出了一种结合Inception-V3图像分类算法和YOLO-V3目标检测算法的缺陷检测方法。在样本数据较少的情况下,该方法的识别精度可达99.49%,比单独使用Inception-V3算法提高了1.79%,将这两种算法结合,可以有效解决复杂背景下的检测问题,并提高缺陷检测的准确性。另外,彭建忠[43]针对背景复杂的喷码字符难以分割和检测的问题,提出了一种BBE目标检测的方法,利用BuNet和BwNet构建了轻量化检测方法,试验结果表明,该方法具有较高的检测精度(0.998 5)和速度(5万瓶/h),实现了复杂背景下喷码字符的缺陷检测。同样,在轻量化检测模型的研究中,朱为[44]提出了一种用于喷码质量检测的轻量级特征提取网络CodeNet,结合经典SSD算法检测模型实现了对喷码质量的检测,测试准确率达到99.4%,每张数据的处理时间约为36 ms。与ShuffleNet、MobileNet等主流网络相比,CodeNet具有更高的准确率和速度。瑕疵检测是质检环节重要一环,段禄成等[45]基于改进YOLOv3目标检测算法将其应用于酒瓶盖瑕疵检测中。该方法在YOLOv3主干Backbone网络的残差模块中引入SE-Net,应用注意力机制加强对特征的提取。同时,在Neck特征金字塔网络中引入自适应特征融合网络(adaptive feature fusion,ASFF),以融合不同尺度的特征信息,提高模型的预测能力。改进后的YOLOv3-ASFL在自制酒瓶盖瑕疵数据集上取得了92.33%平均准确率(mean average precision,mAP),且单张图像检测时间仅为85 ms,相较于原始YOLOv3在相同数据集上的mAP提升了6.59%。同样在SE-Net与YOLO模型融合的工作中,吴昊然等[46]则是将YOLOv5中的DarkNet-53主干网络与SE-Net进行了融合,用于检测薯片包装中的缺陷,结果表明,该模型在薯片包装缺陷检测方面表现出色,mAP达到94.8%,比单独使用YOLOv5算法提高了7.9%,并且识别速度也得到了显著提升。另外,Adem等[47]通过一个使用独立深度学习方法进行决策的系统对无菌包装密封进行泄漏测试,使用改进后的Faster R-CNN进行训练和测试,正确分类率为99.25%。虽然该研究结果在分类的准确率上令人满意,但考虑到液体食品对人类健康的重要影响,进一步的研究支持是必要的。在最新的YOLO算法的应用中,Vu等[48]则提出了一种基于YOLO算法的实时包装缺陷检测系统,用于帮助自动分类产品质量,并且该系统可以集成到工厂和生产线中,有助于优化效率并节省运营成本。

深度学习目标检测技术在食品包装缺陷检测中的应用研究进展显示,该技术已经能够在实际生产环境中实现高效准确的食品包装缺陷检测,从而显著提升生产效率和产品质量。研究人员通过不断改进算法和优化模型取得了重要进展,包括基于卷积神经网络的缺陷检测算法、基于多任务学习的缺陷检测方法以及自适应数据增强等方法。然而,深度学习目标检测技术在食品包装缺陷检测领域的未来发展还将面临一系列挑战,其中包括如何克服数据稀缺性问题以及进一步提高模型的检测准确性和泛化性等。同时,该技术也将不断发展,从而在更广泛的应用场景中展现更好的性能和更高的价值。

3.3 语义分割技术

语义分割技术利用深度神经网络实现像素级别的图像分割任务。其目标是将图像中的每个像素分配到其相应的语义类别中,以实现对图像更加精细和准确的理解。相对于传统的图像分类和目标检测技术,深度学习语义分割技术可以提供更加精细的图像分割结果,并适应更加复杂多样的图像场景。在训练过程中,深度学习模型会从大规模的标注数据中学习到不同语义类别的特征表达和判别规则。在测试阶段,模型将对新的图像进行像素级别的分类,以获得每个像素的语义标签。目前常用的深度学习语义分割技术包括全卷积神经网络(fully convolutional network,FCN)[49]、U-Net[50]、Mask R-CNN等。这些技术在自动驾驶、医学图像分析、农业和工业检测等领域都得到了广泛的应用。

在食品包装缺陷检测领域,研究人员已开始应用深度学习语义分割技术实现食品包装缺陷的自动化检测。食品包装上的标签文本往往包含着重要信息,田萱等[51]提出了一种基于语义分割的距离场模型(DFM),用于检测食品包装上的食品标签。通过改进模型的结构和损失函数,最终实现了较好的检测效果,在食品包装图像数据集上表现优于其他自然场景文本检测模型。暴泰焚等[52]用纸质包装产品表面缺陷图像数据测试了3种语义分割算法:Deep Lab V3+、U-net和改进的U-net。在迭代相同的次数情况下对比了缺陷检测结果和验证集图像的分割预测效果。试验表明,改进的U-net算法检测纸质包装产品表面的深度划痕缺陷性能提高了,相比之下,Deep Lab V3+算法表现最好,可以更好地检测出纸质包装产品表面的破损缺陷。然而,3种算法在检测小范围且不明显的浅划痕方面表现不佳。

综上所述,深度学习语义分割技术在食品包装缺陷检测方面已经取得了一定的研究进展。然而,在该领域仍存在一些挑战和需要解决的问题。例如,数据集的质量和规模对模型性能的影响,模型的可解释性和迁移性等问题。为了克服这些问题,未来的研究需要进一步改进相关算法,针对不同的缺陷类型,研究人员需要选择合适的深度学习语义分割模型,并对模型进行调优和设计,例如将深度学习语义分割技术与传统图像处理算法进行融合,以提高模型的检测准确率和鲁棒性;在破损缺陷检测方面,可以选择具有较好边缘检测能力的U-Net模型;在色斑缺陷检测方面,可以选择具有强大特征提取能力的Mask R-CNN模型。同时,建立更加全面和丰富的数据集也是推动深度学习语义分割技术在食品包装缺陷检测方面应用的关键。此外,随着技术的不断发展和应用场景的变化,深度学习语义分割技术将会不断地得到完善和提升,为食品包装缺陷检测带来更加广阔的应用前景。

4 总结与展望

文章总结了机器视觉技术在食品外包装缺陷检测中的研究,首先,介绍了传统视觉检测在食品外包装检测中的应用,然后重点讨论了当前的研究热点——深度学习算法。同时,对研究者提出的算法进行归纳总结,并分析了算法在相关应用场景适用性。食品外包装的质量直接关系到产品的竞争力,因此,外包装的检测是企业生产过程中品质控制的重要环节。传统机器视觉算法以高速、高精度、易集成和开发应用等特点,在装配定位、产品有无识别、尺寸检测等方面有一定的优势,但还是存在很多的实际问题。例如,缺陷检测与识别算法开发效率低且难度大,这间接地限制了机器视觉技术在工业领域的广泛应用;对于高复杂度任务的应用也面临较大的困难,因为对外包装进行缺陷检测时,往往需要多个视觉系统共同工作,而目前这些系统的协作性较差,无法实现很好的融合;深度学习相关应用推广较慢,虽然深度学习技术对于复杂背景条件下的缺陷检测有较好的效果,但是在工业应用场景中,视觉处理任务对算法精度、速度以及稳定性要求较高。现有深度学习算法通常具有较多的参数和较大的模型框架,在效率方面难以达到理想效果,所以还有许多问题需要做进一步探讨。

(1) 在生产过程中往往为追求效率,需要有较快的在线检测速度,而深度学习模型的推理速度和检测精度往往不相关。在生产中一般要求不漏检任何一个有缺陷的产品,但是容许无缺陷产品有一定比例被误检,因此模型可以在精度和速度中寻找最佳平衡。

(2) 食品包装在生产过程中形成的缺陷特点在于:缺陷种类多、背景复杂、缺陷占比较小。所以模型如何在众多干扰因素中准确提取到需要的缺陷特征,也需要做进一步研究。

(3) 在样本收集中,通常正样本很多,缺陷样本数量较少,且人工标注成本较高,可以灵活采用监督、半监督、无监督等深度学习方式,使用不同数量级的样本实现更好的检测效果。

(4) 在实际的生产过程中,受工作环境,生产工艺等外在因素影响,视觉成像时往往难以获得高质量的图像,有很多外包装特征采用不同光谱可以得到更多的信息,将多种信息结合可以更准确地检测食品包装各种缺陷问题,因此,如何构建稳定且通用性较强的成像环境来突出图像中目标缺陷特征,也是一个很好的探讨方向。

(5) 随着机器视觉相关技术发展,未来在移动端的应用有着很大潜力,目前机器视觉在移动端未能被广泛应用的原因就是,算法模型过大,检测速度慢,在移动端缺陷检测实现成本过高。所以未来的工作重心还可以聚焦在如何减小缺陷检测算法模型的大小,减少算法的参数并且提升检测速度,以实现针对移动端的食品外包装的缺陷检测等。