亲亲肠残次品在线视觉检测识别方法

党国辉 王永强 周聪玲

(天津科技大学机械工程学院，天津 300222)

亲亲肠是一种灌肠制品，其生产过程包括较多工序。目前针对亲亲肠外观缺陷的检测主要依赖于人工目检，其主观性较强、检测效率低、检测标准不统一，同时也很难对残次品的类型进行区分与统计。亲亲肠外观缺陷主要包括过小、切断、过长、肠衣破裂和异形(见图1)。

图1 合格品与各类残次品

机器视觉检测技术因其高效、无接触等特点，被广泛应用于食品检测中[1-7]。吴陈陈等[8]采用机器视觉检测技术，根据青豆的圆形度形状特征与G分量下的颜色特征实现了对残次品的在线筛选。林少波[9]采用机器视觉检测技术，根据亲亲肠长度特征与端面圆弧曲率特征实现了亲亲肠部分残次品的在线筛选。谢为俊等[10]应用机器视觉检测技术，根据胡萝卜表面的颜色特征与形状特征实现了胡萝卜的在线分选。目前研究均是根据待检测产品的具体特征以采取特定的检测方法，且现有方法均不能很好地适用于亲亲肠残次品的检测。

研究拟应用机器视觉检测技术，结合硬件机构的设计，以实现对亲亲肠几类常见外观残次品的在线筛选及分类统计，旨在为亲亲肠智能化生产提供依据。

1 检测原理

首先，在产品输送过程中，利用机械装置将亲亲肠梳理成行列分布均匀的矩阵式状态；其次，亲亲肠被平移输送机构输送至图像采集区域(图像采集区域宽度为覆盖三行产品)后，在旋转机构带动下进行自转，以实现在不同角度下分别拍摄3次亲亲肠图像；最后，通过图像处理技术对亲亲肠的外部特征进行提取并分析识别，检测出残次品及其缺陷类别。其在线检测原理示意图如图2所示。

1. 图像采集机构 2. 光源 3. 物料输送机构 4. 传感器 5. 亲亲肠

2 图像采集和预处理

图像采集机构主要包括触发装置、相机、镜头以及光源等部分。同时，采集的图像中包含有多个产品，为了检测每一粒亲亲肠的缺陷特征还需对采集的图像进行单粒产品区域分割以及相应的预处理。

2.1 图像采集

试验主要检测亲亲肠的外观缺陷，故其轮廓信息十分重要。光源与背景的选择需要在图像中同时凸显上述两部分的特征，使目标与背景的对比度增强。物体的颜色特征体现在其对不同波长的可见光具有选择性吸收。亲亲肠填充浆料部分呈粉红色，端部裸露肠衣部分为乳白色，肠体表面光滑。选择低角度红色光源及黑色背景，在凸显目标边缘轮廓的同时也可有效避免由镜面效应造成的图像光斑现象。

亲亲肠的某些缺陷特征(如异形和胀裂缺陷)在不同拍摄角度呈现明显差异。为了获取亲亲肠圆柱面完整的轮廓，在图像采集区采用齿轮齿条机构带动链辊自转，以实现亲亲肠在水平运动的同时实现自身旋转的机械装置，辅助相机拍摄不同角度下的图像信息。其原理如图3所示。

1. 齿条 2. 齿轮 3. 链辊 4. 亲亲肠 5. 触发装置

图像采集实现方式：在图像采集区域，链辊3端部的齿轮2与固定安装在机架的齿条1啮合实现链辊旋转以带动链辊上的亲亲肠自转。图像采集区域设定为能够采集到三行亲亲肠的宽度，在输送机构的一侧安装有触发装置，每经过一行亲亲肠产品，触发相机拍摄一次图像，使得亲亲肠从进入采集区域到离开采集区域恰能获取3幅不同角度下的图像信息。该方法实现了对亲亲肠圆柱面不同角度下图像的获取，从而提高了残次品的检出率。

2.2 图像预处理

图像中亲亲肠产品呈三行多列的矩阵式分布，且目标区域固定。以三行三列的目标区域为例，在对图像进行处理前先对整幅图像按目标区域位置进行单粒化亲亲肠的分割，如图4(a)所示。然后单独对分割后的子区域进行后续处理，单粒化亲亲肠子区域如图4(b)所示。

图4 图像区域分割示意图

子区域图像中会存在图像噪声，需进行预处理。根据图像噪声特点，采用中值滤波，该方法对一定类型的随机噪声能提供良好的祛噪能力，且比相同尺寸的线性平滑滤波器引起的模糊更少，中值滤波算子公式为：

(1)

式中：

Sxy——中心点在(x,y)处、大小为m×m的子图像窗口的一组坐标；

g(s,t)——子图像窗口中某一像素坐标。

采用中值滤波法对子区域图像进行处理，结果如图5所示。

图5 中值滤波后图像

3 缺陷特征提取及识别方法

产品外观缺陷特征集中体现在其边缘轮廓上，选择Canny算子对边缘进行检测，其检测结果如图6所示。

图6 Canny算子边缘检测

亲亲肠残次品外观缺陷特征主要体现在长度、中部区域上下边缘间距的变化以及端部区域的形状变化。为此，通过求取其轮廓的最小外接矩形以及划分区域后分别根据各区域轮廓线的异常变化对缺陷种类进行区分。因为亲亲肠两端部区域的大小与亲亲肠直径大致相当，所以依此对区域进行划分，产品外形轮廓处理过程原理如图7所示。

图7 亲亲肠图像轮廓区域划分

3.1 过长、过小和切断残次品识别方法

合格品亲亲肠的长度L应在一个标准的范围内，即L-Δ≤L≤L+Δ。对于过长、过小和切断3类残次品，其长度均不在规定范围内。采用最小外接矩形的长来定义产品的长度L，如图8所示。

图8 不同类型残次品轮廓最小外接矩形示意图

残次品判别标准为：

(2)

式中：

li——某产品的长度，mm；

L——产品标准长度，mm；

Δ——合格品长度公差，mm。

对于亲亲肠长度缺陷的判别，原则上需通过标定来获取其实际长度。鉴于实践中对尺寸测量的精度要求不高，故根据图像特征设计一种简易的标定方法：在单粒化分割亲亲肠过程中将图像分割窗口设定为确定值的长和宽，并以此作为标尺，在求得亲亲肠最小外接矩形的长和宽后，计算其与所在分割窗口长和宽的占比，便可求得其实际长宽尺寸，如图9所示。

1. 单粒化亲亲肠分割区域固定大小窗口 2. 亲亲肠轮廓最小外接矩形

按式(3)计算亲亲肠长度。

(3)

式中：

Lq——分割窗口区域长度，像素；

Li——亲亲肠最小外接矩形长度，像素；

lq——分割窗口区域实际长度，mm；

li——亲亲肠实际长度，mm。

对于过小和切断残次品仅仅依靠长度特征不能有效区分，还需判断其端部轮廓曲线的变化。合格品在其两个端部区域的轮廓近似圆弧状，而切断类残次品必然有一个端部特征表现为近似直角形状，其左、右端部轮廓线变化区分非常明显。为此，先将端部区域上下等分为3个区域，如图10(a)和图10(b)所示；然后舍去中间区域，分别提取上下区域内轮廓线上像素点的坐标，如图10(c)和图10(d)所示；最后可将轮廓线等间隔划分为若干个直线段，再求取线段斜率，通过比较斜率的变化判断是否为切断。

图10 端部特征区域划分示意图

为了在求取轮廓线像素点坐标的同时还能确保像素之间的相对位置关系，采用链码的方式。根据区域内轮廓线的分布规律，对于亲亲肠左侧端部两个轮廓采取从右至左、从上至下的扫描策略获取到第一个像素锚点P1，再根据锚点采用图11(a)中的八链码扫描策略得到轮廓各点像素坐标；对于右侧端部两个轮廓采取从左至右、从上至下的策略获取第一像素锚点，再采用图11(b)所示的八链码扫略方式获取轮廓各像素的坐标值。

图11 两端轮廓扫略链码示意图

获取端部轮廓点集后根据缺陷特征的大小等间隔划分5个小区域，如图12所示。用最小二乘法拟合直线得出每段拟合直线的斜率。在拟合线段过程中可能会出现斜率无穷大的情况，根据正切函数变化规律和端部轮廓在像素坐标系中的分布情况将拟合线段与行坐标轴角度>80°的斜率设为7。

通过相邻斜率值的差Δci来体现特征轮廓的变化。

图12 端部轮廓线等间隔分段

Δci=|Xi+1-Xi|，

(4)

式中：

Δci——相邻两段拟合直线斜率差；

Xi——第i段拟合直线斜率；

Xi+1——第i+1段拟合直线斜率。

得到一组斜率差Δci后求出其最大斜率差值Δcmax，如果Δcmax>ε则可判断其端部被切断。最后根据相邻线段斜率变化情况，选取合适的阈值ε即可判别其端部是否合格。图13为两端部轮廓等间隔分段拟合直线斜率变化图。

图13 端部轮廓线斜率变化图

3.2 破裂、异形残次品识别方法

对于破裂和异形两类残次品，其共同的缺陷特征是亲亲肠中部区域上下两边缘间的距离变化不均匀。根据缺陷特征，对亲亲肠轮廓区域的划分，截取中间上下两边缘图像，如图14所示。

截取中部边缘区域后计算其连通域，用以过滤区域中可能存在的像素杂点。采取等比例间隔抽取两边缘对应点并得到其距离xi，然后计算其标准差τ用以分析两边缘采样点距离的离散程度。

(5)

式中：

τ——距离的标准差值；

xi——抽样边缘距离，像素；

n——抽样个数。

图14 中部轮廓截取示意图

对图14中的轮廓等比例间隔得到上下两边缘距离，计算抽样距离的平均值并得到上下边缘距离与平均值的相对变化，如图15所示。

图15 抽样距离与其平均值相对变化

标准差只能反映亲亲肠中部是否存在缺陷，不能反映具体的缺陷类型，因此需要其他缺陷特征用以区分残次品类型。对于异形类残次品，其缺陷特征表现为中部轮廓凹陷，其轮廓如图16所示。

图16 异形缺陷产品轮廓示意图

根据该缺陷的形状特征，使用凸壳的方法对该类缺陷进行判别。凸壳是包含集合中所有对象的最小凸集，其顶点必为点集中的点，其可以看作是轮廓的最小外包围轮廓，结果如图17所示。

图17 异形缺陷凸壳图

得到凸壳轮廓后，按式(6)计算亲亲肠实际轮廓包围面积与凸壳所包围面积的比值T，根据比值可判断其是否为异形缺陷。

T=A实/A包，

(6)

式中：

T——亲亲肠实际轮廓包围面积与凸壳包围面积之比；

A实——亲亲肠实际轮廓包围面积；

A包——凸壳轮廓所包围面积。

4 试验与分析

4.1 残次品筛选阈值选取

(1) 亲亲肠长度范围统计：挑选出过长、过小、切断与合格品亲亲肠各500粒，其长度范围如图18所示。

图18 亲亲肠合格品与残次品长度统计

由图18可知，合格品亲亲肠长度均值μ为45.002 mm，方差σ为2.97，其长度频率分布如图19所示。根据3σ原则令合格品公差范围Δ=3σ，即Δ=8.91。

图19 合格品长度频率分布图

(2) 端部切断残次品判别阈值的选取：由图20可知，合格品端部轮廓拟合线段斜率差的极大值最大≤3，因此可将阈值ε设为3，>3则定义为端部缺陷。

图20 合格品与切断最大斜率差值统计图

(3) 破裂与异形残次品判别阈值的选取：合格品、破裂和异形残次品亲亲肠各500粒，由图21可知，合格品亲亲肠距离标准差<10，因此可将阈值τ设为10，>10则可能是破裂或异形缺陷。

图21 亲亲肠中部轮廓距离标准差统计

通过标准差不能区分破裂与异形残次品，因此还需通过亲亲肠实际轮廓包围面积与凸壳所包围面积的比值T进行判别，破裂和异形残次品的面积比T如图22所示。由图22可知，胀裂缺陷亲亲肠的面积比T≥0.97，因此可将阈值T设为0.97，当T<0.97时为异形缺陷。

图22 破裂和异形残次品实际轮廓与凸壳

4.2 亲亲肠残次品种类识别

根据不同的缺陷特征对残次品进行分类，其分类流程见图23。

图23 亲亲肠残次品分类流程图

选取合适的阈值，使用试验检测方法分别对合格品、异形、破裂、切断、过小和过长样品各500粒进行识别，结果见表1。

表1 试验结果

由表1可知，试验检测方法对合格品和各类缺陷产品的识别均有较高的正确率。对合格品的错误识别是由于其端部肠衣占比超过亲亲肠直径的1/3，使其误判为端部不合格产品。

5 结论

应用机器视觉检测技术实现了亲亲肠外观残次品的在线检测与分类识别。该方法算法简便、实用性强，能够较好地满足亲亲肠在线检测的要求，同时可实现对于残次品判别的量化标准。缺陷的在线分类统计可实时反映出亲亲肠生产线设备的运行状况，有效指导生产过程。为满足实际生产要求后续还需进行大样本试验。