基于机器视觉的药瓶缺陷检测系统设计

胡艳丽 刘团结 李世杰 余礼鑫

摘 要：随着当今社会医药行业的发展，对药瓶缺陷精准检测尤为重要。系统采用S7-1200PLC作为核心控制器，完成了基于机器视觉的缺陷检测系统设计，包括机械结构设计、电气控制系统设计、图像处理设计、上位机软件系统设计四大部分。在分析现有缺陷检测问题的基础上，对四大模块进行设计及对内部原理进行剖析，形成以机械、电气、视觉、软件为一体的智能制造解决方案。系统通过调试，可以实现对塑制饮料瓶缺陷的稳定、精准检测。

关键词：机器视觉;缺陷检测;PLC;图像处理

中图分类号：TP273;TP391  文献标识码：A  文章编号：1673-260X（2021）02-0018-05

随着科技的发展和人们生活水平的不断提高，医疗健康和食品安全问题引起了越来越多的关注。药瓶的质量关系着药品的贮存、销售、运输、和使用等方面，直接影响着药品的有效性和安全性。药瓶的生产过程包含多个环节和流程，每个环节都要进行严格的质检，出厂前药瓶的表面检测就是很重要的环节，即对气线、裂纹、斑点等瑕疵进行检测及瓶身直径测量，不允许有缺陷存在。

传统检测方式为人工灯检，要求工作人员在暗室中进行操作，即通过目视检测药瓶是否有缺陷，存在检查速度慢、操作繁琐、可靠性差和漏检率高等缺点，并且检测人员容易产生疲劳感[1]。因此，检测结果受工作环境和工作人员的状态影响较大。基于机器视觉的缺陷检测方法和人工相比较，速度快、成本低、准确率高和客观因素干扰小[2]。本文以注塑药瓶为对象，针对其在生产过程中可能存在的缺陷，完成了基于机器视觉技术的缺陷检测系统的研究和设计。该设计已申请发明专利（申请号：20201.505839.6）和实用新型专利（申请号：202021030207.0）。

1 机械结构设计

现在大多数产线不论是生产设备还是打包设备都是依靠传送带运输注塑药瓶，加大了瓶底检测的难度。另外，产线运行过程中传输带导轨会造成对药瓶的二次伤害[3]。

视觉检测设备应满足以下检测要求：

（1）检测速度须大于或等于产线生产速度（3-4/s）;

（2）完成瓶身360°全方位无死角视觉检测;

（3）应避免非生产缺陷造成的二次损伤。

本设计在原有传送带上，增加真空吸附装置，可以使饮料瓶在不需要导轨的情况下和传送带紧密吸合。同时通过设计结构小巧的双传送带加持装置，将其架设在原有注塑药瓶产线上，可以轻松解决底部检测问题，并实现生产设备和打包设备之间的无缝连接。

1.1 瓶底检测机构设计

由于注塑药瓶材质极轻，通过对称放置传送带方法，利用传送带的摩擦力，可以实现瓶底悬空并且随传送带移动，在传送带底部架设瓶底工业相机，以及瓶底环形光源，可以充分解决瓶底无法检测的技术难题[4]。瓶底检测机构设计方案如图1所示。

设计时，通过在传送带两端架设对射传感器，利用电气技术实现精准计数，利用图像处理技术实现精准检测，并且在软件系统的调度下，可以充分避免因饮料瓶生产设备速度及节拍变化带来的漏检、误检问题。

1.2 瓶身检测机构设计

在瓶身检测的传送机构上，本设计采用了在原有传送带的基础上开设真空吸附孔策略，当接入的真空泵吸气量大于传送带真空吸附孔进气量，便可在吸附孔附近产生吸力，使瓶身保持稳定，并且不会随传送带的运动而发生相应的抖动，此方案无须再次架设导轨装置，从而充分避免瓶身倾斜或者二次损伤问题。

在瓶身檢测相机及光源架设方案上，设计放弃了以往“单相机+棱镜”的解决方案，而是率先采取多相机同步检测策略[5]。瓶身检测机构设计方案如图2所示。

1.3 瓶口检测机构设计

在瓶口相机布置方案方面，设计选择沿用市场主流方案，在瓶口正上方放置工业相机，相机视野可以覆盖整个瓶口，并且和瓶身检测相机视野能够有重合部分，确保饮料瓶能够被全方位无死角检测。瓶口检测机构设计方案如图3所示。

1.4 剔除机构设计

剔除机构设计采用漫反射传感器和电磁阀相互配合的方式，在底部、瓶身、瓶口完成图像处理后，经由软件系统调度，当接收到漫反射反馈信号时，软件系统控制电磁阀动作，从而剔除次品药瓶。瓶口检测机构设计方案如图4所示。

1.5 机械机构整体设计

根据瓶底、瓶身、瓶口、剔除机构四个部分的设计原则及要求，机械设计总图如图5所示。

在传送带驱动方面，并不需要过大的扭矩，采用步进电机或伺服电机均可以精准控制传送带速度。设计选用的检测方案是非接触式检测，传感器选择非接触式传感器，并且为了保证精准检测及计数，在瓶底和瓶身部分都采用了对射式不可见光传感器，可以充分避免因可见光触感器造成的饮料瓶表面其他光污染情况，便于后期进行图像处理。

2 电气控制系统设计

在电气控制方面，采用PLC作为核心控制器。根据机械部分设计可知系统需驱动两个电机，接收三个传感器信号，并且输出三个执行信号（触发光源、工业相机及电磁阀），所以控制器选用性价比较高的西门子S7-1214 DC/DC/DC型号的PLC，多余的输入输出端口可以用于后期的系统升级改造。

生产设备生产出药瓶后，经由瓶底传送带传输至底部传感器处触发瓶底光源及瓶底相机，随后经由瓶身吸附传送带运送至瓶身传感器处并行触发瓶身挖洞光源-1、瓶身挖洞光源-2、瓶身挖洞光源-3、瓶身挖洞光源-4后，再次触发瓶身相机-1、瓶身相机-2、瓶身相机-3、瓶身相机-4，最终在剔传感器处做出是否次品判断，并动作剔除电磁阀剔除次品，完成在线检测流程[6]。系统控制流程图如图6所示。

3 图像处理系统设计

在机械执行部分和电气控制部分相互配合下，将药瓶精准运输至检测预设区域内，并触发相对应的相机抓拍，然后对抓拍到的图像进行处理。在这几款主流图像处理库OpenCV、Ni Vision、TensorFlow、Halcon中进行比较，Halcon更适合用作本设计的图像处理算法库。

Halcon机器视觉软件是德国MVtec公司的研发成果，开发者可以根据其可视化界面设计使看到每一步算法的处理结果。Halcon拥有Windows、Linux、Mac OS等操作平台可视化开发软件，而且多种编程语言如VB、C、C++、C#和Delphi等都可以调用Halcon函数库进行开发。

在图像处理硬件选型方面，根据检测要求及瓶身大小，选用分辨率为1292*964的大恒水星系列黑白CCD相机，具体型号为：MER-132-30GM/GC。

3.1 图像处理系统设计要求

相机采集图片后，对相应的瑕疵分类，并总结缺陷检测标准：

（1）瓶身尺寸缺陷（瓶身高度、瓶身宽度、瓶口外径、瓶口内径）：检测误差须在2mm以内;

（2）瓶身外观缺陷（气泡、杂质、褶皱、粘连、裂纹、刻痕、擦伤及明显的油脏）：肉眼可见瑕疵须剔除（大于等于0.3mm）;

（3）瓶底缺陷（瓶底漏洞、黑点）：漏洞必须剔除，黑点肉眼可见瑕疵须剔除（大于等于0.3mm）;

（4）瓶口缺陷（裂纹、缺口、破口、圆口不齐）：裂纹、缺口、破口瑕疵须剔除，圆口直径误差应在1mm以内。

3.2 图像处理流程

在读取原有采集图片的基础上，先将塑料瓶检测部分特征进行提取，并且降低工控机负载。然后对目标检测区域进行粗略瑕疵检测提取，粗提取主要针对大于1mm的肉眼明显可见瑕疵部分进行筛选，在无明显可见瑕疵的基础上再次进行精提取，这一做法是出于缩小检测范围以缩短检测时间、降低工控机负载，并且能够大幅度提升检测性能[7]。

3.3 瓶底图像处理

根据图像软件处理中给出的优化原则，首先对瓶底采集的图片进行目标区域提取，利用fast_threshold函数从输入图像中选择其灰度值g满足以下条件的像素：MinGray≤g≤MaxGray。

为了减少处理时间，分两步进行：首先处理位于由其距离Minsize指定的所选水平线上的所有点，其次处理所有先前选择的点的邻域范围：（2*Minsize+1）*（2*Minsize+1）。

在此基础上利用reduce_domain函数对目标区域进行裁剪得到提取结果，然后交由var_threshold函数进行瑕疵提取，设定Maskwidth和MaskHeight定义的过滤器模板的大小确定了要分割的对象的大小，设定缩放，以反映在局部标准偏差用作图像中噪声量度所需的灵敏度。

在图像的均匀区域中，标准偏差低，因此单个灰度值的影响很大。为了降低操作员在均质区域的灵敏度，可以调整AbsThreshold，并通过设定LightDark参数，最终得以提取出瑕疵，如图8瓶底瑕疵提取图。

3.4 瓶身图像处理

由于机械执行部分在瓶身四周架设了四个瓶身相机，且其拍摄视觉相同，故仅以一个视角的拍摄图片进行瓶身图像处理说明。瓶身检测同样利用reduce_domain函数缩小检测目标区域，利用binary_threshold函数检测瓶身是否有较大瑕疵，检测效果如图29所示。在无肉眼可见瑕疵时，使用var_threshold函数对微小瑕疵二次检测，小于0.3mm的瑕疵可以轻松检测出来，能够满足在设计之处要求的瓶身检测精度应大于0.3mm的要求。

3.5 瓶口图像处理

瓶口检测时，利用reduce_domain函數缩小检测区域，再次利用var_threshold函数对瑕疵进行提取，在瓶口内径以内的非必要检测区域干扰的情况下，也能够对微小瑕疵提取，检测图如图10所示。若瓶口无瑕疵，利用edges_sub_pix函数对瓶口进行亚像素提取检测，利用亚像素精度，保证被检测瓶口直径误差能够控制在0.3mm以内，充分满足了图像处理要求中的1mm误差检测精度。

4 上位机软件系统设计

在软件系统设计方面，要完成将电气控制部分需要在软件系统里处理的相关信号进行合理调度，并且能够使图像处理部分顺利在软件系统里嵌入，设计可视化界面，方便操作人员实时查看其检测状态，并打包部署至本地环境。

4.1 上位机系统设计要求

上位机设计时，需考虑到电气控制部分、图像软件处理部分的兼容调度问题[8]，前期设计要求速度须做到5/s，六个相机加在一起也就意味着一秒钟需要处理30张图片，且需实时读写PLC里的数据。难题主要在于不仅需要考虑可视化界面与图像软件处理争夺系统资源问题，还要考虑在读写PLC数据时软件系统的实时性能。

4.2 上位机软件设计

在兼容性方面，本设计将采用C#语言进行软件系统设计并配合VS 2019进行开发，这样就能够很方便地进行可视化界面设计，并且能够很好地适配主流的PLC通讯协议，图像软件处理部分也可以得到很好的兼容，开发难度不大，有助于缩短项目周期。

4.2.1 C#语言优势

C#语言在工业软件开发领域拥有独特的优势，在系统平台方面，C#是基于Windows平台打造，而Windows在工业软件控制领域占据巨大份额。C#语言自带的库非常全面，能够适配各种各样的通讯协议，使得与PLC硬件通讯变的简易，并且拥有可视化的设计界面，能够快速满足定制界面的开发。

4.2.2 开源通讯协议

设计采用Snap7开源通讯协议，Snap7是一个基于以太网与S7系列的西门子PLC通讯的开源库。支持包括S7系列的S7-200、S7-200 Smart、S7-300、S7-400、S7-1200以及S7-1500的以太网通信。

支持32/64位英特尔/AMD的所有平台，例如：Windows、Linux、Oracle Solaris、Apple OSX。支持语言比较广：Pascal、C#、C++、C、LabVIEW、Python、Node.js、Java。

4.2.3 C#联合Halcon

图像处理部分的算法是在Halcon软件开发的，但在实际部署时，需要将halcon代码转换成部署平台语言能够兼容的代码，设计采用C#进行实际部署，故需要将图像处理算法代码到处至C#可以识别的.cs文件，选择存放位置及导出的代码类型，然后在加载至VS软件里，从而完成图像处理部分的代码融合问题。

4.2.4 上位机软件界面

设计中六个相机采集到的画面进行组合，并分别实时显示检测过程，对每个画面的检测结果实时显示，并用醒目的绿色“合格”和红色“不合格”做区分，方便操作人员的实时查看，设计时仅需要一个启动按钮，使用机器简便。

内部通过CPU并行处理能力，采取六个画面实时处理线程，以及一个PLC侦听线程，从而解决因实时性过强导致的系统资源巨大浪费问题，设计的可视化界面如图11所示。

5 总结

基于机器视觉的检测方法作为当前最为流行的无损检测技术之一，其在客观性、准确率、速度上都有着人工目检无法比拟的优势。本文完成了基于机器视觉的药瓶缺陷检测系统的机械结构设计、电气控制系统设计、图像处理设计、上位机软件系统设计。

通过对系统反复调试，系统能够实现对瓶身、瓶底、瓶口的准确检测，误差精度均符合设计要求。药瓶缺陷检测准确率超过97%，检测速度为在15/s，满足系统整体设计要求。由于系统准确率高，检测速度快，运行稳定，因此其具有良好的市场前景和较高的实用价值。

设计将在未来进行持续的优化，尝试采用C++语言的QT平台使速度进一步提升，如果能通过FPGA底层电路，完成一系列的检测，速度将会更快。设计对药瓶图像处理系统也进行了大量的研究，速度和精度可以满足实时检测的生产要求，在未来研究中，可以在保证处理速度的前提下，进一步优化算法细节，使效果达到最佳。

——————————

参考文献：

〔1〕周显恩，王耀南，朱青，吴成中，彭玉.基于机器视觉的瓶口缺陷检测方法研究[J].电子测量与仪器学报，2016，30（05）：702-713.

〔2〕李丹，白国君，金媛媛，童艳.基于机器视觉的包装袋缺陷检测算法研究与应用[J].激光与光电子学进展，2019，56（09）：188-194.

〔3〕许江淳，岳秋燕，任向阳，王晴.基于机器视觉的药片表面缺陷识别与分拣系统设计[J].传感器与微系统，2017，36（06）：90-93.

〔4〕郑魁敬，刘学超，王萌萌.基于机器视觉的手机电池表面缺陷检测[J].制造技术与机床，2020（04）：105-112.

〔5〕王耀南，陈铁健，贺振东，吴成中.智能制造装备视觉检测控制方法综述[J].控制理论与应用，2015， 32（03）：273-286.

〔6〕黄信兵，陈超越.基于PLC技术的指甲钳体外观缺陷检测系统研究[J].液压与气动，2020（05）：138-144.

〔7〕王永强，李庆利，王伟志.基于Hadoop的卫生陶瓷缺陷检测研究[J].制造业自动化，2018，40（08）：1-4.

〔8〕崔光茫，趙巨峰，辛青.基于工业生产设备表面缺陷检测的实验设计[J].实验室研究与探索，2017， 36（04）：164-166+244.