基于计算机视觉的医用口罩在线检测系统设计

曾庆好 马亮 马博文

摘  要：针对医用口罩生产过程产生的多种缺陷，文章提出了一种基于计算机视觉技术的医用口罩在线检测系统，该系统采用单相机实现了口罩产品的正反面图像采集，采用计算机视觉技术来自动识别口罩的有无，判断耳带缺陷、鼻条缺陷等不良状况，设计了一套医用口罩在线检测软件来实现系统的功能，软件执行结果表明，文章提出的在线检测系统能够有效识别医用口罩的各种缺陷，实现智能化在线检测，提升口罩产品检测质量，节省口罩生产成本。

关键词：医用口罩;计算机视觉;品质检测;缺陷检测;颜色定位

中图分类号：TP391.4;TP273  文献标识码：A   文章编号：2096-4706（2021）05-0174-07

Design of Medical Mask Online Detection System Based on Computer Vision

ZENG Qinghao，MA Liang，MA Bowen

（Shenzhen Vetose Technology Co.，Ltd.，Shenzhen  518102，China）

Abstract：Aiming at the defects in the production process of medical masks，an online detection system for medical masks based on computer vision technology is proposed. The system uses single camera to realize the medical masks double face image acquisition. It uses computer vision technology to automatically identify whether the mask exists or not，judge the defects of ear band，nose bar and other adverse conditions. This paper designs a medical mask online detection software to achieve the system functions. The software implementation results show that the online detection system proposed in this paper can effectively identify various defects of medical masks，realize intelligent online detection，improve the detection quality，and save the production cost of masks.

Keywords：medical mask;computer vision;quality detection;fault detection;color location

0  引  言

隨着疫情的爆发和全球蔓延，作为疫情的重要防控物资——医用口罩产品做出了重要的贡献，医用口罩产品已经成了必不可少的防疫物资和生活依赖品，医用口罩在大批量生产过程中，由于原材料、生产机器和人员操作等多种原因，会产生很多种缺陷的医用口罩产品，如医用口罩尺寸错误、耳带长短不一、鼻条未安装，医用口罩上有脏污、布料不全等[1]，这种缺陷品如果流出到市场环节，会给使用者带来很多不便，甚至失去原来具备的防疫功能，更会给医用口罩生产商带来巨大的经济损失。

由于医用口罩生产已经全面趋向于自动化，生产要求和质量要求越来越高，一般医用口罩生产商依靠人眼逐个分辨，效率极低，导致目前的医用口罩品质检测过程中，费时费力，且容易对检测人员造成视觉疲劳，使产品存在质量隐患，造成大量产品返工和原材料浪费。本文提出一种医用口罩在线检测系统，旨在解决现有技术中医用口罩通过人工检测效率低、成本高、质量得不到保障的技术问题。

1  系统的检测原理

本文基于计算机视觉技术来实现医用口罩在线检测系统的设计。计算机视觉技术是基于数字图像处理技术发展而来，起源于20世纪60年代，主要研究内容是利用摄像头实现人眼的视觉采集、利用计算机实现人脑的视觉分析功能，从而实现对客观世界的三维场景的感知、学习、识别和理解[2]。计算机视觉的基本流程包括：（1）图像采集;（2）图像预处理：常用的有图像二值化、图像去噪声、图像增强、图像膨胀、图像腐蚀等图像预处理方法[3，4];（3）图像特征提取：常用的有直方图特征、颜色特征、FAST特征、Harris特征、HOG特征、SIFT特征、SURF特征等特征提取方法[5，6];（4）图像分割、图像检测、图像跟踪：图像检测方法中常用的有背景建模、特征+分类器、显著性监测等方法[7，8];图像跟踪方法中常用的有Mean-shift、TLD、粒子滤波、卡尔曼等方法[9];（5）图像识别、图像分类：图像识别方法中常用的有特征识别、机器学习、模式识别、深度学习等方法[10-14]。

计算机视觉技术飞速发展至今，研究产生了很多的学习框架，常用的有OpenCV、Tensorflow、FFMpeg、Caffe等计算机视觉学习框架[15-19]，这些学习框架已经完成了很多基础性的计算机视觉处理工作，采用某种学习框架可以节省研究人员的精力，将有限的研究时间充分利用起来，解决实际问题。

2  系统的构成

本文所提供系统分为硬件和软件两大部分，硬件部分由输送机构、翻转机构、图像采集机构、分选机构、PLC控制系统构成，软件部分由自动控制软件、视觉检测软件、用户操作界面组成，系统结构如图1所示。

2.1  系统硬件组成

系统硬件由输送机构、翻转机构、图像采集机构、分选机构、PLC控制系统构成，如图2所示。

2.1.1  输送机构

输送机构由两条输送皮带、输送电机、检测光纤、吹耳带装置组成。将口罩横放在输送皮带上，利用输送电机驱动输送皮带的运转，当口罩经过某个点时，检测光纤感应到口罩经过。由于口罩耳带在传输过程中可能会卡在传输皮带上或者向内弯曲到口罩本体上，本系统设计了一种吹耳带装置，利用吹气管对耳带进行吹气，从而使得耳带能够向外自然展开，便于口罩缺陷的检测。

2.1.2  翻转机构

翻转机构由翻转电机和翻转杆组成。翻转机构用来将医用口罩进行翻转，达到医用口罩产品双面检测的目的。

2.1.3  图像采集机构

图像采集机构由光源、相机、检测光纤、支架、直线导轨、直线电机组成。直线电机驱动图像采集模组在支架的直线导轨中进行往复运动，光源的光照射向待检测口罩，当口罩经过相机拍照点时，相机对口罩进行实时拍照。

2.1.4  分选机构

分选机构包括不良品处理机构和良品处理机构。不良品处理机构包括与PLC控制系统连接的不良品感应光纤和排废气缸。排废气缸用于将位于输送皮带上的不良品推入至不良品收集箱中。良品处理机构包括与PLC控制系统连接的良品感应光纤、良品打料气缸和良品收集皮带。打料气缸用于将良品推入至良品收集皮带上，良品收集皮带将口罩良品传输至后面工序。

2.2  系统软件组成

系统软件部分由自动控制软件、视觉检测软件、用户操作界面组成，如图3所示，其中自动控制软件是系统硬件按设计动作正常运行的核心，部署在可编程逻辑控制器中;用户操作界面负责系统与用户之间的交互;视觉检测软件是实现自动化检测的关键模块，通过图像采集机构将產品图像转换为图像数据，通过图像处理算法和图像分析算法对图像数据进行实时处理，处理结果反馈给自动控制软件，控制分选硬件实现良品和不良品的分类处理。

2.3  系统数据流向

系统数据流向如图4所示，用户通过“用户操作界面”下达操作指令，“视觉检测软件”收集“图像采集机构”传输过来的图像数据，图像处理完成后，将检测结果反馈给“自动控制软件”，“自动控制软件”通过电控系统对“传输机构”“翻转机构”“分选机构”进行实时控制。

3  系统的在线检测方法

3.1  图像预处理

通过图像采集机构采集检测位无医用口罩产品的图像作为背景图，然后使用图像二值化处理[20，21]得到二值化图像，对二值化图像进行图像膨胀和图像腐蚀处理[22，23]。

3.2  图像识别

输送机构将医用口罩输送至检测位，图像采集机构采集含有医用口罩的检测图，视觉检测软件对检测图进行识别、并与预设的医用口罩标准进行对比，若判断为不良品，则通过分选机构对不良品口罩进行收集，若判断为良品，则通过翻转机构对良品进行180°翻转，输送机构将翻转180°后的良品输送至第二个检测工位。第一个检测位和第二个检测位分别检测的是医用口罩的正面图像和反面图像，检测方法是一样的，下面以第一个检测位为例进行描述。

3.2.1  有无口罩判断

我们将检测图的四个顶点标记为P1（0，0）、P2（w，0）、P3（0，h）、P4（w，h）和中心点Pc（w/2，h/2），如图5所示。

口罩有无的检测步骤为：（1）将检测图转换为检测灰度图;（2）图像二值化处理[24];（3）图像形态学处理;（4）图像轮廓提取[25]，并计算最小外接矩形[26，27]区 域;（5）与标准口罩图像进行比对，判断有无口罩。

处理流程如图6所示。

3.2.2  耳带不良判断

预先设置2个耳带检测区域，在检测区域内对医用口罩正面的耳带缺陷进行检测：采用轮廓提取算法对耳带检测区域的耳带图像轮廓属性进行计算和判断，若耳带图像轮廓属性不在预定的医用口罩标准范围内，则判断为耳带不良。

3.2.3  鼻条不良判断

预先设置一个鼻条检测区域，提取检测区域内的ROI图像，然后对ROI图像内的鼻条缺陷进行检测：（1）采用轮廓提取算法对鼻条检测区域的鼻条图像轮廓属性;（2）进行计算和判断，若鼻条图像轮廓属性不在预设的鼻条标准范围内，则判断为鼻条不良;（3）若鼻条图像轮廓的属性在预设的鼻条标准范围内，采用最小外接矩形算法计算出鼻条的最小外接矩形，并输出鼻条的最小外接矩形的四个顶点坐标和中心点坐标;（4）判断鼻条的最小外接矩形的四个顶点坐标和中心点坐标是否在预设的鼻条标准范围之内，若不在预设的鼻条标准范围之内，则判断为鼻条不良。

3.2.4  良品判断

当检测工位的口罩均未出现耳带不良和鼻条不良时，并且两个检测位置均未检测出口罩存在缺陷时，判断口罩为良品口罩，否则判断为不良品口罩。判断结果发送给自动控制软件，实现口罩产品的分类分选。

4  软件功能实现与执行结果

本文在Visual C++ 2017和OpenCV2.4.13基础上实现了医用口罩在线检测软件，对于常见的医用口罩产品，实现了口罩有无检测、鼻条缺陷检测、耳带缺陷检测。

4.1  口罩定位

由于口罩传输过程中位置不固定，在口罩检测处理过程，首先必须对口罩本体进行定位处理，口罩定位算法较多，由于医用口罩本体一般为蓝色口罩、耳带为白色耳绳，本文对于彩色口罩采用颜色定位方法[28]，提取图像中的蓝色像素数据，即为口罩本体，再对所有蓝色数据采用最小外接矩形提取算法，即可得到口罩本体的四个顶点位置坐标：P11（X0，Y0），P12（X1，Y1），P13（X2，Y2），P14（X3，Y3），如图7所示，还可以得到最小定位区域，如图8所示，口罩定位结果如图9所示。

4.2  检测正常界面

对于所有检测项目均符合初始设置的口罩图像，会在软件界面左上位置显示最后一个检测项的局部检测图像，在软件右上位置显示待检测口罩的全景图像，如图10所示。在软件界面右下位置显示所有检测项目的检测结果（显示检测值、偏移量和状态，状态均为OK），如图11所示。

4.3  无口罩检测结果

相机收到检测触发信号以后，如果检测位置没有采集到口罩产品的图像，此时显示的图像为无产品的背景图像，如图12所示，在软件界面右下位置显示检测结果为定位失败，状态为NG，如图13所示。

4.4  鼻条缺陷检测结果

无鼻条检测：口罩定位成功后，在鼻条检测区域如果没有检测到鼻条，则在软件主界面左上位置显示空白图像，如图14所示，在检测结果区域显示鼻条检测结果（状态NG），如图15所示。

鼻条中心偏移：在鼻条检测区域检测鼻条图像，并且鼻条长度在事先设定的范围后，软件会自动调用鼻条位置检测算法，判断鼻条中心位置和上下位置是否在设定的阈值范围内，如果这些参数不在事先设定的范围内，则在软件界面左上位置顯示鼻条的图像，如图16所示，软件界面右下位置的检测结果区域显示鼻条中心（NG），如图17所示。

4.5  耳带缺陷检测结果

无耳带检测：口罩定位成功后，软件先后在左右耳带区域对耳带进行检测，当在任意一个耳带区域未检测到耳带图像时，在软件界面左上位置显示空白图像，如图18所示，在软件界面右下位置检测结果区域显示耳带检测结果（状态NG），如图19所示。

耳带打结检测：在口罩耳带检测全部正常的情况下，软件会自动调用耳带打结检测算法，主要采用图像平滑度处理算法来检测耳带图像是否有突变，图像突变超过设定值时判断为耳带打结，当检测到耳带打结后，在软件界面左上位置显示耳带打结的图像，并用圆圈对结头位置进行标记，如图20所示，在软件界面右下位置显示检测结果（打结、状态NG），如图21所示。

5  结  论

本文所阐述的基于计算机视觉的医用口罩在线检测系统可实现医用口罩自动输送、耳带位置纠正功能，采用一个相机实现了医用口罩产品的正反面检测，具体自动化程度高、成本低的优点，采用计算机视觉技术代替人眼实现了医用口罩产品的全自动化多项目检测，可有效提高医用口罩产品的产品质量、降低人工成本，可在医用口罩生产车间推广应用。

参考文献：

[1] 李旻，陆珊珊，农耀键，等.国内医用口罩标准研究与产品主要质量问题分析 [J].中国标准化，2020（8）：48-52.

[2] 高文，陈熙霖.计算机视觉——算法与系统原理 [M].北京：清华大学出版社，1999.

[3] 余京蕾.浅谈计算机视觉技术进展及其新兴应用 [J].北京联合大学学报，2020，34（1）：63-69.

[4] 雷林建，孙胜利，向玉开，等.智能制造中的计算机视觉应用瓶颈问题 [J].中国图象图形学报，2020，25（7）：1330-1343.

[5] 蒋蕾，尹业安，常利利.一种基于计算机视觉的织物疵点自动检测方法 [J].计算机与现代化，2008（12）：153-156+159.

[6] 黄雅兰.基于特征点的图像匹配技术研究与应用 [D].赣州：江西理工大学，2014.

[7] 杨少令，刁燕，罗华，等.一种改进的Canny图像分割算法 [J].计算机与现代化，2018（8）：57-60.

[8] 唐英干，邸秋艳，关新平，等.基于最小Tsallis交叉熵的阈值图像分割方法 [J].仪器仪表学报，2008（9）：1868-1872.

[9] 王智军，王建华.多特征融合的图像目标跟踪方法 [J].电光与控制，2017，24（11）：49-52+57.

[10] 韦琪，王连明.基于多尺度轮廓段的形状特征提取与识别 [J].计算机工程与应用，2019，55（5）：187-191.

[11] 袁焦，王珣，潘兆马，等.基于机器学习的列车设备故障预测模型研究 [J].计算机与现代化，2020（12）：49-54.

[12] 徐江河，张飞舟，张立福，等.一种综合利用图像和光谱信息的物体真假模式识别方法 [J].武汉大学学报（信息科学版），2019，44（8）：1174-1181.

[13] 曹燕，李欢，王天宝.基于深度学习的目标检测算法研究综述 [J].计算机与现代化，2020（5）：63-69.

[14] YANN L C，BENGIO Y，HINTON G. Deep learning [J].Nature，2015，521：436–444.

[15] 张广渊，张爱侠，王超.数字图像处理基础及OpenCV实现 [M].北京：知识产权出版社，2014：226-230.

[16] 乔希，埃斯克里瓦，戈多伊.OpenCV实例精解 [M].呆萌院长，李风明，李翰阳，译.北京：机械工业出版社，2016.

[17] 黄睿，陆许明，邬依林.基于TensorFlow深度学习手写体数字识别及应用 [J].电子技术应用，2018，44（10）：6-10.

[18] 李颜，仇洪冰，李燕龙.基于Hadoop的分布式视频车辆检索方法 [J].电视技术，2015，39（22）：95-99.

[19] 李培秀，李致金，韩可，等.基于Caffe深度学习框架的标签缺陷检测应用研究 [J].中国电子科学研究院学报，2019，14（2）：118-122.

[20] 吕俊哲.图像二值化算法研究及其实现 [J].科技情报开发与经济，2004（12）：266-267.

[21] 孙少林，马志强，汤伟.灰度图像二值化算法研究 [J].价值工程，2010，29（5）：142-143.

[22] 杨琨，曾立波，王殿成.数学形态学腐蚀膨胀运算的快速算法 [J].计算机工程与应用，2005（34）：54-56.

[23] 邓仕超，黄寅.二值图像膨胀腐蚀的快速算法 [J].计算机工程与应用，2017，53（5）：207-211.

[24] 邹柏贤，林京壤.图像轮廓提取方法研究 [J].计算机工程与应用，2008（25）：161-165.

[25] 吴晓光，王涤琼，盛慧.一种获取图像区域最小外接矩形的算法及实现 [J].计算机工程，2004（12）：124-125+142.

[26] 向元平，何燕平，危郁林，等.一种快速提取植物叶片最小外接矩形算法 [J].计算机与现代化，2016（2）：58-61.

[27] 田敬波.基于模板算子边缘检测的图像二值化算法 [J].信息技术与信息化，2017（9）：98-101.

[28] 邓冠男，贾永鑫，刘乙鑫.基于颜色特征的单主体图像感兴趣区域提取方法 [J].东北电力大学学报，2020，40（4）：89-94.

作者简介：曾庆好（1977.01—），男，汉族，湖南汉寿人，高级工程师，硕士，研究方向：数字图像处理、工业自动化;马亮（1982.02—），男，汉族，湖南汉寿人，程序员，本科，研究方向：软件设计、图像处理算法;马博文（1996.08—），男，汉族，湖南汉寿人，助理工程师，本科，研究方向：机械设计、工业自动化。