基于机器视觉的酒液智能检测系统研究与开发

周博文 王耀南 张 辉 葛 继

湖南大学,长沙,410082

0 引言

由于生产工艺以及封装技术等原因,酒液中可能存在玻璃碎屑、黑渣、铝屑、毛发和纤维等杂质,杂质对人体所造成的危害非常大,一些有害物质可能被吸收进入人体引起中毒[1-2]。

从现行生产线上看,减少或消除杂质的主要方法是增加灌装过滤工位和空瓶检测工位。灌装设备中安装的过滤网,使液体中的杂质在灌装时不能进入瓶内[3],空瓶检测主要是根据机器视觉原理,使用高速摄像机获取空瓶图像,判断瓶内是否有杂质,并能把含有杂质的次品从生产线上剔除[4]。但从杂质类型和产生杂质的根源上分析,灌装过程中带来的杂质只是酒业中杂质的一部分,也就是说酒的过滤措施只是减少杂质的一个方面,而不能从根本上消除次品酒流入市场。从生产线实际调查研究中发现,成品酒液内存在的杂质很大一部分原因是由于封口扎盖的时候,扎刀的旋转作用力使瓶口部分的小玻屑脱落造成的,并且扎盖过程中有可能掉入橡胶屑和塑料屑等杂质,因此,生产线上针对成品酒的检测是生产过程中的一个重要部分,是控制产品质量的关键环节。

目前,国内各酒厂普遍采用人工检查法,即大量的质检工人在生产线上依靠肉眼对酒进行逐瓶检测,其检测结果主观性强,检测效率低、精度低、范围窄,检测工人劳动强度大且容易疲劳,漏检率更是随之攀升。国外如美国的Bosch公司等正投入大量的人力物力开发液体中杂质检测设备,并已取得了初步成效,但由于国外检测设备存在对玻璃瓶本身要求的质量过高、只能检测特定瓶型、价格过高、与现有生产线的衔接困难等局限性,故至今国内没用采用。

基于机器视觉的酒液智能检测系统涉及机械、电气控制、机器视觉、传感器检测与融合、光学成像、数字图像处理等多学科领域技术。本文开发的系统利用特殊的高速光学摄像系统,借助数字图像分析与处理技术,自动完成酒液检测,具有速度快、精度高和稳定性好的特点,是提高生产效率、解放人力的有效手段。该系统能够识别出国家规定的50μm以上的玻璃屑、纤维和黑渣等各类型可见异物,其检测速度在每小时12000瓶以上,远远超过人工检测速度,能够满足自动化生产线的要求,有着广阔的市场前景。

1 体系结构设计

1.1 机械结构

基于机器视觉的酒液智能检测系统采用直线式传送机构,如图1所示,旋转绞轮把被检测酒瓶分成等间距,导入轮盘将其导入转向轮盘后进入检测链轮。检测链轮上的汽缸推动机械手抓取酒瓶嘴部分翻转180°,当瓶进入黑色杂质检测工位后,通过背光照射和图像采集装置获取其序列图像,利用序列图像中运动与静止对象在时间和空间上的差异性区分瓶身干扰与液体内部异物,判断瓶内是否含有橡皮屑、黑渣、头发丝和蚊虫等杂质。当传送至白色杂质检测工位时,机械手翻转180°使瓶体正置,通过底部照明,摄像机再次获取瓶体序列图像并判断瓶内是否含有玻璃碎屑和纤维等杂质。当酒瓶进入次品分离区域时,可编程控制器根据检测结果控制拨叉运转,把不合格产品和合格产品分离。

图1 智能检测系统机械结构图

瓶体翻转且使瓶内液体平稳流动是液体内杂质检测的一个重要技术要点。当杂质沉淀在瓶底的时候,由于成像角度和光照的影响,视觉系统将无法获取杂质图像而出现漏判。若瓶体为圆柱形,使瓶体高速旋转后急停,这样沉淀在瓶底的杂质将在急停后继续随着瓶内的液体做圆周运动,因此摄像机可以清晰地获取杂质图像[5-6]。但当瓶体为非圆柱形时,高速旋转将产生大量的气泡,因此,对扁平状酒瓶或其他非圆柱形瓶的检测,本系统研发了变速翻转装置,如图2所示。酒瓶通过导入传送带进入检测机柜,导入星轮把导入传送带上的酒瓶送入转向星轮,转向星轮把酒瓶送入检测链轮的一端;进入黑色杂质检测工位时,触发光电传感器,检测链轮上的旋转机械手抓取从转向星轮上传送过来的酒瓶嘴部分,由气缸推动推杆,从而使翻转机械手以瓶嘴部分为圆心翻转180°,使酒瓶倒立;当酒瓶进入检测区域后,触发该位置的光电传感器,通过背光发光二极管(LED)照射和图像采集装置获取其序列图像;酒瓶离开黑色杂质检测工位后,进入白色杂质检测工位,机械手及其抓取的被检测酒瓶由气缸推动以瓶嘴部分为圆心翻转 180°,使倒立的产品正放。

图2 翻转机械手结构

具体翻转方式如图3所示,箭头方向为翻转趋势。图3中最左边图为瓶体的正视图,标号为1～9的翻转均为瓶体的侧视图。通过汽缸的变速推动运动,使机械手夹持酒瓶围绕转轴旋转,从而实现了多个阶段转速的精确控制。从1号位到2号位,先加速翻转,再减速,2号位到4号位为低速并匀速翻转,从4号位到5号位为先加速后减速直到停止。5号位为拍照位置,即在此位置的时候,瓶体停止翻转,摄像机连续获取瓶体4帧图像,图像采集完毕后,翻转动作从5号位到9号位与前1号位到5号位相同。这样可最大程度地减少翻转时产生的气泡,对后续图像处理有重要的意义。

图3 瓶体翻转过程

1.2 电气控制系统

本文设计开发了基于工控机(IPC)和可编程控制器(PLC)的电气控制系统。图4为酒液智能检测系统的电气控制系统结构框图。考虑到整个系统的检测速度要求很快,并且分两个检测工位,特别是拍摄多帧图像需实时处理大量的图像信息,因而使用两台工控机,一台负责黑色异物检测,另一台负责白色异物检测。同时采用一台可编程控制器负责整个系统的底层控制,包括系统协调、传动控制、分拣控制、系统保护等。

图4 电气控制系统结构图

2 检测原理与算法

酒液智能检测系统的检测流程如图5所示。

图5 工作流程图

2.1 光学成像与图像获取

对于基于机器视觉的智能检测系统来说,良好的光照环境和高速光学摄像系统是其重要的组成部分。系统的两个检测工位采用两种不同的给光方式：在黑色异物检测工位,采用背部LED给光,由于光的透射效果,溶液透过光线形成亮区而黑渣、毛发和蚊虫等在图像上呈黑色;在白色异物检测工位,采用底部LED给光,背部采用黑色遮光板,此时在图像上,背景为黑色,而玻璃屑等由于光的反射原理呈白色,摄像机能清晰获取玻璃屑、白色纤维和底部大颗粒沉淀物等杂质图像[7]。两个检测工位光路如图6所示。

图6 检测光路图

2.2 图像定位与检测区域标定

为了节省运算时间,提高可靠性,在检测中需要预先人工标定出要处理的区域。检测算法只对预先设定的区域进行处理,从而大大缩短了处理运算的时间,提高了效率。系统利用安装在各检测位置的光电传感器来触发摄像系统对酒瓶拍照。但由于机械和电气方面的误差,实际拍照的位置与期望的不一样,使得最终图像上酒瓶的位置始终存在不可忽略的偏差,因而必须使用软件算法自动确定被检酒瓶在图像上的精确位置[8]。

系统采用定位瓶壁边缘的方案实现图像定位。由于定位精度要求很高,故需要根据边缘附近多个像素的综合信息来准确确定亚像素级的边缘所在。系统采用一阶微分期望技术实现亚像素边缘定位。主要步骤如下：

(1)对图像进行非线性对比度增强处理。

(2)设预处理后的图像用函数f(x)表示,其一阶微分为

在离散图像中,一阶微分可以用差分来近似。

(3)根据g(x)的值确定包含边缘点区间,也就是对一个给定的灰度图像阈值T,确定满足：

求得x取值区间[xi,xj],i,j=1,2,…,n;n为图像帧数。

(4)得到取值区间后,计算g(x)的概率函数p(x),离散图像 ,得

式中,k为离散值。

(5)计算p(x)的期望值E,并将边缘确定在E处。在离散图像中,期望值为

由于使用了统计特征的期望值,所以可以较好消除由图像中噪声引起的多响应问题,对误检边缘有良好的抑制作用。

确定边缘后,得到一个定位点P,并根据已知的瓶型确定检测区域,如图7所示。

图7 处理区域标定

2.3 杂质检测与识别

杂质检测与识别算法是智能检测系统软件的核心部分。首先在上一步确定的检测区域内进行滤波处理,滤除噪声点,然后利用多帧图像分离出运动目标,并根据运动轨迹识别杂质,最后计算杂质的大小,判别其是否在允许范围内。

图像预处理的主要目的是滤除图像中的各类噪声,提高图像的信噪比。系统采用了一种基于中值的加权均值滤波算法,对图像进行预处理,以保证在滤除成像噪声的同时保留检测目标。

2.3.1 杂质提取

由于瓶壁上本身可能存在花纹、刻度、吸附的各类细小杂质和运输过程中碰撞产生的细纹等多类型干扰。故在设计智能检测系统时,首先使瓶体按照特定的速度翻转,使瓶内溶液运动且翻转动作不产生气泡,然后摄像机、光源和瓶体同步运动,三者相对静止,此时,摄像机获取序列图像,瓶身的干扰在图像中静止而瓶内液体和液体中可能存在的杂质由于瓶体翻转而继续运动,从而根据获得的序列图像识别出微小运动目标。

本文采用累积差分图像的方法分离运动目标,在空间域上采用最小交叉熵法计算阈值,并提取出运动目标。

2.3.1.1 累积差分

设每间隔时间t获取四帧溶液序列图像f(x,y,ti)、f(x,y,ti+1)、f(x,y,ti+2)、f(x,y,ti+3)。f(x,y,ti)为时间轴上第i时刻获取的图像f(x,y)。任意两幅图像之间的差图像为

实际中,由于滤波未能完全滤除全部噪声或机械的振动,故没有发生像素移动的地方也会出现图像间差别不为零的情况,由此,系统采用累计差分判别实际运动目标。

累积差分的基本思想是采用多幅图像,取第一幅图像 f(x,y,t1)作为参考图像,通过参考图像与其后的每一幅图像比较,并把比较后的值叠加,得到累计差分图像(accumulative difference image,ADI),图像中各个位置的值是在每次比较中发生变化的次数的总和。

后面帧和参考图像的绝对差分图像为

累计差分图像为

由此可知,要把背景和运动目标分割,关键是找到灰度阈值T。

2.3.1.2 基于空间最小交叉熵的阈值方法

信息熵是表征信源本身统计特性的一个物理量。将信息熵引入运动目标的检测就是用熵去决定最佳阈值T,使分离出来的图像能正确反映实际运动目标的特性[9-10]。

根据差分图像上像素的空间统计相关性,本文引入最小交叉熵函数来求取最优阈值而使原始差分图像和二值分割图像之间的信息量差异最小。在理想的差分图像中,可以将直方图看成是运动目标与背景两个正态的混合分布,在这种假设下,设图像共有L级灰度,则像素的后验概率为

式(8)中,σt(x)为t时刻背景图像上x点上的均方差值,类内方差可由原始图的灰度直方图h(g)估算出来：

式中,h(g)为直方图上灰度值为g时的像素点个数。

应用最小交叉熵函数,差分图像与二值分割图像的交叉熵为

使 Ψ(T)达到最小熵的 T值即为分割阈值。

2.3.1.3 运动目标分割与杂质判别

获取了背景图像后,很容易得出当前图像的差分图像,从而区分出背景与运动前景。设J 1(x)是由差分图像与时间域上均方差而得到的二值化掩膜,L 1(x)是其掩膜图像,设J 2(x)是由差分图像与空间域的最小交叉熵而得到的二值化掩膜,L2(x)是其对应的掩膜图像。则：

式中,At(x)为t时刻 x点上的当前像素值;Bt(x)为 t时刻x点上的背景像素值;N1、N2分别为八邻域中由式(12)、式(13)判断为前景像素的个数。

这种阈值的设定结合了时间相关性与空间相关性,具有较好的抗噪性,对环境也有很好的鲁棒性。最后得到仅包含运动目标的图像,这样减小了因为干扰引起的不确定性因素带来的误差[11-12]。

在智能检测系统运转时,酒液在传送和翻转等过程中难免产生气泡。而在运动目标提取过程中,由于气泡的形状等特性和其他杂质无明显区别,因而上一步获得的运动目标中,可能含有气泡,使检测极易产生误判,因此系统研究了分离气泡的运动轨迹的目标识别方法。

根据获取的四帧溶液序列图像 f(x,y,ti)、f(x,y,ti+1)、f(x,y,ti+2)、f(x,y,ti+3)分别得到运动目标的三个状态函数 g1(x,y)、g2(x,y)、g3(x,y),计算运动目标的重心坐标O1(x1,y1)、O2(x2,y 2)、O3(x3,y3)：

式中,N 为图像的帧数序列号;x1、x2、x3、y1、y2、y3为直角坐标系中第一象限值。

根据实验数据分析,由于运动目标较小,其重心坐标的变化可以看作是运动方向的变化,故可以根据重心坐标值判别运动目标是往上运动、往下运动还是水平方向运动。运动方向比例系数为

K1=(y2-y1)/(x2-x1)

K2=(y3-y2)/(x3-x2)

根据大量的实验,我们得到一个经验值：K1≥6且K2≥10时,运动目标为气泡;K1≤-3且K 2≤-5时,运动目标为玻璃屑;K 1和K 2为其他情况时,运动目标为纤维等漂浮或悬浮物。

2.3.2 杂质测量

根据生产厂家对酒的质量检测要求,若酒中出现肉眼可见的异物即为不合格。一般来说,人眼可见的最小微粒在50μm左右。因此,系统需对所提取出来的可见异物进行测量。

提取出来的可见异物图像的面积被定义为目标边界所包围的像素点数。通常可以近似地认为,一个边界像素的一半在物体内而另一半在物体外,因此经过修正的图像面积为所有像素减去周长的一半[13],即

A=NO-P/2

式中,A为图像的面积;NO为目标边界包围的像素总数;P为图像周长的像素总数。

设微粒的直径为D,由于微粒粒径较小,并且获取的运动目标的图像存在虚影等原因,故可以以近似圆的直径公式计算,即D= 4A/π。

根据像素与实物的对应比例,即可测出可见异物的等效尺寸。当含有尺寸大于50μm的杂质时,即认为该瓶酒不合格。杂质识别和测量判断过程及结果如图8所示。

3 实验结果及分析

开发了一台基于机器视觉的酒液智能检测系统,如图9所示。该系统安装有导入星轮、检测链轮和导出星轮,能进行实时高速在线检测实验。系统有两台IPC,CPU为P4 3.0G,采用UNIQ公司生产的UC-1830系列摄像机、CCS公司的LED点光源和背光源、西门子公司的s7-300系列PLC。

图8 杂质跟踪识别与测量

图9 酒液智能检测系统实物图

选择劲牌有限公司生产的125mL装保健酒劲酒进行实验,样品中,含黑色杂质的有100瓶,其中黑渣(主要为药渣)50瓶,含蚊虫的 20瓶,含毛发的20瓶,铝屑和漆屑等其他黑色杂质10瓶;白色杂质100瓶,其中含玻璃屑的80瓶,含白色纤维的20瓶;另外还有合格品200瓶。调整好焦距和光照强度,获取清晰图像,分别测试样品得到：黑色杂质检测工位检测单瓶耗时280～300ms,白色杂质检测工位耗时360～380ms。

杂质识别的准确性是衡量检测系统的重要标准。如图10所示,图像1～5为经过预处理以后的图像,在图像中,杂质、气泡和瓶壁上的污点均清晰成像;a～e为运动目标识别结果,从中可看出,瓶壁上的干扰点已经和运动目标准确分离;A～E为杂质识别结果。根据文中提出的算法进行气泡与杂质识别后,得到杂质图像。

图10 杂质识别结果图

图11 给出了部分样本图像。使样本以每小时12000瓶的速度检测10次,并与熟练的12个灯检工在花费同样的时间重检后进行数据对比,获得了比较满意的结果,如表1和表2所示。

图11 部分杂质样品及干扰

表1 检测结果及数据对比

表2 几种类型可见异物的检测结果对比

由表1可见,基于机器视觉的智能检测系统对不合格品和合格品的检测正确率均比人工灯检要高,这主要是由于人工灯检容易受人的疲劳程度和人主观因素的影响,检测结果不稳定。另外,根据厂家的要求,坚决限制不合格品流入市场,智能检测系统尤其是针对不合格品的漏检率非常低,这一点正是智能检测系统相对于人工灯检的主要优点。

再看表2中各种类型杂质的检测结果,黑色杂质明显比白色杂质的漏检率低,主要是因为黑色杂质检测工位上采用背部给光,很大程度上滤除了气泡和瓶壁刮痕等干扰,提高了检测精度和检测速度。从黑色杂质的检测效果来看,蚊虫的检测效果最佳;毛发由于其吸附作用,可能吸附在瓶盖或瓶嘴部分,图像中无法识别;有些黑渣漂浮在液面上而出现漏检。对于白色杂质的漏检：一是因为机器运转可能产生的微小气泡使其误判,二是当玻璃屑为微小片状物时,可能吸附在瓶壁上而出现漏检,三是当条状的玻璃屑成像角度正好在其端面时,玻璃屑在图像上的面积很小,尺寸小于50μm,所以产生漏检;纤维的漏检主要是由于纤维悬浮或漂浮在液体中,在摄像机获取的序列图像中位移很微小,检测算法把其当作瓶壁干扰而引起漏检。与人工灯检的检测结果进行比较,在玻璃屑、纤维和黑渣的检测中,智能检测系统的漏检率比人工检测的漏检率大大降低。

针对酒液智能系统存在的漏检情况,下一步的工作拟从改进图像获取装置和机械装置的稳定性上着手,并进一步提高运动目标识别算法的准确率和加入气泡识别算法以减少误检和漏检的可能性。

[1] 张玉红,肖文龙.市售白酒抽检情况分析[J].黑河科技,2008(1)：41-42.

[2] 李志斌.白酒中晶状沉淀的研究[J].酿酒,2008,35(5)：22-23.

[3] 黄新贵.提高瓶装白酒包装质量的技术措施[J].酿酒科技,2006,143(5)：65-66.

[4] Duan Feng,Wang Yaonan,Liu Huanjun,et al.A Machine Vision Inspector for Beer Bottle[J].Engineering Applications of Artificial Intelligence,2007,20(7)：1013-1021.

[5] 李杨果,王耀南,王威.基于机器视觉的大输液智能灯检机研究[J].光电工程,2006,33(11)：69-74.

[6] Juan L,Yaonan W,Jie Z.On-line Detection of Foreign Substances in Glass Bottles Filled with Transfusion Solution through Computer Vision[C]//Proceedings of the 2008 IEEE International Conference on Information and Automation.Zhangjiajie,2008：424-429.

[7] 杨福刚,孙同景,宋松林.基于机器视觉的全自动灯检机关键技术研究[J].仪器仪表学报,2008,29(3)：562-566.

[8] Zhao Y,Zhang Z,Gao Z.A Simple and Workable Moving Objects Segmentation Method[C]//46th International Symposium on Electronics in Marine,2004.Zadar：IEEE,2004 ：585-590.

[9] Hong S,Feng S.A Real-time Algorithm for Moving Objects Detection in Video Images[C]//Fifth World Congress on Intelligent Control and Automation,WCICA 2004.Hangzhou,2004：4108-4111.

[10] 施华,李翠华,韦凤梅,等.基于像素可信度和空间位置的运动目标跟踪[J].计算机研究与发展,2005,42(10)：1726-1732.

[11] Cheng Y,Yan H,Hui H.A Novel Algorithm for Pixel-target Detection in Liquid Image[J].Acta Photonica Sinica,2002,31(6)：743-747.

[12] 邾继贵,叶声华.基于近景数字摄影的坐标精密测量关键技术研究[J].计量学报,2005,26(3)：207-211.

[13] 窦燕,孔令富.一种基于视觉注意机制的刀具检测方法[J].中国机械工程,2008,19(17)：42-45.