基于机器视觉的鲍鱼风味片残次品在线检测方法

向宇航 周聪玲 王永强

(天津科技大学机械工程学院，天津 300222)

鲍鱼风味片是皮料、馅料按一定比例加工灌注而成的鱼糜制品[1]。在生产过程中设备的状态以及操作工艺对产品质量影响较大，常有残次品产生(鲍鱼风味片合格品与各类残次品如图1所示)。目前针对残次品的筛选，仍采用人工方式，效率低、成本高，极易出现漏检、误检。机器视觉检测技术是一种无损检测技术，适用于对产品的形状、颜色、纹理的检测，具有检测效率高，非接触的特点。针对食品类非精密产品的缺陷检测已有大量研究，张震[2]通过建立果蔬的面积和圆度模型的方法实现了果蔬的分选；吴陈陈等[3]通过提取青豆黑色像素的占比并进行圆形度分析，完成了青豆的残次品筛选；梁宁[4]针对红枣病害与裂纹缺陷提出了缺陷轮廓的最小外接旋转矩形长宽关系的检测算法。但现有方法对鲍鱼风味片的残次品特征检测并不适用。

图1 鲍鱼风味片合格品与各类残次品Figure 1 Image of Baoyu-flavor-slices

研究拟采用机器视觉检测技术，通过获取鲍鱼风味片图像，经过图像处理后，提取与缺陷相关的形状特征并进行分析，在线识别合格品与残次品，并自动区分边缘残损、内部气孔以及皮料厚度异常三类缺陷，旨在为生产管理提供大数据支持，有效降低次品率。

1 检测原理

生产过程中由于鲍鱼风味片产品呈无序堆叠状，不利于单粒图像采集，因此首先要经过硬件梳理装置将堆叠粘连的鲍鱼风味片分离为单粒阵列式排布，然后再进行图像采集、图像处理，完成残次品的检测。硬件装置结构如图2所示，其中，根据实际生产效率要求，水平输送带尺寸为150 cm×40 cm，平稳运行速度为0.1 m/s；暗箱尺寸为40 cm×20 cm；CCD相机置于视场中央位置，选用500 W像素的工业相机，获取图像像素为2 448×2 048。

1. 水平输送带 2. 产品 3. 光电传感器 4. 环形光源灯箱 5. 机架图2 硬件装置结构示意图Figure 2 Schematic diagram of hardware device structure

2 图像处理

2.1 图像分割

所采集的图像中包含有若干个阵列排布的产品，每次对其中一列进行图像处理。为了方便后续处理，将待检测的单行鲍鱼风味片图像分割为若干ROI区域[5]，每个区域内仅包含一片完整的产品，ROI区域分割如图3所示。

图3 鲍鱼风味片ROI区域分割示意图Figure 3 ROI region segmentation diagram of Baoyu-flavor-slices

由于在线采集的图像背景中可能存在水渍、食物残渣等干扰因素，影响鲍鱼风味片产品的边缘提取，试验采用大津法自动阈值分割方法[6]，对ROI区域进行背景分割，图4为其中某个ROI区域的分割结果。

图4 背景分割Figure 4 The segmented image

2.2 灰度拉伸

由于鲍鱼风味片的缺陷检测是针对形状特征的，因此后续的ROI区域产品缺陷特征的提取必需精确界定皮料的内边界。然而产品图像中馅料区域与皮料区域灰度值差异不明显，因此通过灰度值拉伸的方法[7]，扩展灰度值范围，使图像的灰度值分布充满整个灰度级范围，以提高边缘提取的准确性。灰度值拉伸前后如图5所示。

图5 灰度拉伸前后图像Figure 5 Gray stretch before and after images

2.3 边缘提取

边缘提取的目的在于区分数字图像中亮度变化明显的点来组成目标区域的边缘[8]。采用Canny算子提取边缘特征[9]。经过高斯滤波器平滑图像、计算梯度的幅值和方向、非极大值抑制、双阈值算法检测和连接边缘等步骤后得到皮料内外轮廓及气孔边缘。合格品及3种缺陷产品的边缘提取结果如图6所示。

3 残次品特征识别

将产品轮廓的圆形度、皮料厚度、气孔面积等特征值作为三类缺陷的特征阈值，如存在任意一种缺陷特征，则认定为不合格产品，并根据缺陷特征划分残次品类别，实现缺陷分类。

图6 鲍鱼风味片边缘提取结果Figure 6 Results of edge extraction of Baoyu-flavor-slices

3.1 残损检测

以圆形度作为鲍鱼风味片外观是否存在残损的判断依据，表征鲍鱼风味片外轮廓与标准圆的相似程度[10]，其计算公式见式(1)。

(1)

式中：

S——鲍鱼风味片面积，mm2；

P——鲍鱼风味片周长，mm；

Cr——圆形度。

如图7所示，相较于正常产品，内凹型残损产品的面积减小，残损处轮廓向内凹陷，周长增加。根据式(1)残损品圆形度Cr小于正常产品。

对于残损品边缘为平直切口的产品如图8所示。根据式(1)，平直切口残损的鲍鱼风味片圆形度Cr与切口对应的圆心角θ的关系为：

(2)

根据式(2)，圆形度与圆心角的曲线关系见图9。如表1所示，平直切口类残损切口弦长对应的圆心角范围为80°～120°，其圆形度在(0.91，0.96)区间，圆形度在合格品圆形度阈值范围内，被判定为合格品。

通过对圆形度公式优化，以鲍鱼风味片的最小外接圆的周长代替其实际外轮廓周长，进行圆形度的检测。

(3)

式中：

图7 内凹型残损鲍鱼风味片边缘Figure 7 Damaged edge of Baoyu-flavor-slices

图8 平直切口型残损鲍鱼风味片边缘Figure 8 Flat cut damaged edge of Baoyu-flavor-slices

图9 平直切口残损鲍鱼风味片圆形度曲线Figure 9 Flat cut damaged the circularity curve of Baoyu-flavor-slices

R——鲍鱼风味片最小外接圆半径，mm。

3.2 皮料厚度均匀性检测

以鲍鱼风味片最小外接圆的圆心为原点建立直角坐标系，从原点向任意方向发射的射线与内、外轮廓相交，交点间的距离即为此方向上的皮料厚度，如图10(a)所示。A、B两点间距离即为θ角度方向上的皮料厚度，其中，角度θ的取值范围为0～2π。为了便于计算图像中皮厚，在原图像直角坐标系原点上建立极坐标系[11]，如图10(b)所示，横坐标表示射线旋转角度θ，纵坐标表示内外轮廓上的点到原点的距离。皮料内、外轮廓的坐标(x,y)在极坐标系下(ρ,θ)，其中

表1 切口型残损鲍鱼风味片圆形度统计

图10 直角坐标系及极坐标系下鲍鱼风味片内外轮廓Figure 10 Contour of Baoyu-flavor-slices in rectangular coordinate and polar coordinate system

(4)

(5)

式中：

x、y——直角坐标系下轮廓坐标；

ρ——极径，mm；

θ——极角，rad。

角度θ一定，内、外轮廓曲线对应ρ的差值，即为鲍鱼风味片的皮料厚度。图11为皮料过厚产品的厚度曲线。合格产品皮料厚度在设定的合格区间波动，当检测产品的皮料厚度超过阈值上限或者低于阈值下限则判定为皮料厚度异常，为不合格品。

图11 鲍鱼风味片皮料厚度Figure 11 The wrapper thickness of Baoyu-flavor-slice

3.3 气孔区域检测

通过边缘轮廓提取鲍鱼风味片中所有的气孔边缘轮廓，计算闭合轮廓围成的区域面积S[12]。计算前文提取气孔轮廓围成的面积，当所有气孔面积之和S小于设定的允许值时，为合格品；反之，判定为不合格品，如图12所示。标记区域表示识别出的气孔区域面积大小，经计算其面积为55 mm2大于设定值的允许值，为气孔缺陷不合格品。

图12 气孔区域特征检测Figure 12 Holes area feature detection

4 试验与分析

选取10 000片鲍鱼风味片，其中包括数量相同的合格品、外观残损品、皮料厚度异常品以及气孔残次品，将样本均分为两组，其中，样本组一5 000片为阈值选取样本，样本组二5 000片为测试样本。

4.1 阈值选取试验

从样本组一中选取2 500个合格样品进行统计，圆形度频率分布如图13所示。分析可知，合格品鲍鱼风味片圆形度均值μ为0.945，标准差σ为0.024。根据3σ原则，圆形度阈值选取范围如表2所示。通过对比图13中的数据，鲍鱼风味片圆形度取μ±3σ，合格品圆形度阈值下限为0.869。

图13 鲍鱼风味片圆形度统计Figure 13 Statistical chart of circularity of Baoyu-flavor-slices

表2 圆形度阈值范围

对样本组一中2 500片合格品进行皮料厚度统计，皮料厚度分布如图14所示。合格品鲍鱼风味片皮料厚度均值μ为2.5，标准差σ为0.59。皮料厚度阈值选取范围如表3所示。通过对比图14中的数据，鲍鱼风味片皮料厚度取μ±3σ，合格品皮料厚度阈值上限为4.3 mm，阈值下限为0.7 mm。

图14 鲍鱼风味片皮料厚度统计Figure 14 Statistical chart of the wrapper thickness of Baoyu-flavor-slices

从样本组一中选取1 000气孔缺陷样品进行气孔面积统计试验，气孔特征的像素面积分布如图15所示。根据统计结果设定合格品中允许的气孔面积最大为35 mm2。

表3 皮料厚度阈值范围

图15 气孔缺陷鲍鱼风味片面积统计Figure 15 Statistical diagram of holes area of Baoyu-flavor-slices

4.2 验证实验

采用样本组二中7 000个样品进行验证实验，阈值选取试验的结果为设定值，检测准确率统计如表4所示，残次品识别与分类结果如图16所示。由图16可知，针对鲍鱼风味片的残损、皮料厚度的检测未出现检测错误，针对鲍鱼风味片气孔的检测准确率达98.65%。

表4 残次品检测结果统计

图16 鲍鱼风味片合格品与残次品数据统计Figure 16 Statistical graph of experimental data of Baoyu-flavor-slices

由表4可知，对7 000片样品进行检测，正确识别6 973片，该方法对合格品与残次品的识别准确率达99.6%，且对于残次品的分类有较高的准确率。对未检测出的气孔缺陷产品进行分析，如图17所示。采集的产品图像中存在一个面积较大气孔，为不合格品，受光斑影响鲍鱼风味片单个连通气孔区域被误判为两个独立气孔区域，图17(b)中区域1与区域2，每个气孔区域像素面积都小于设定阈值，被判定为合格品。此类误检可通过改善光源环境，采用分布更均匀的环形光源以提升检测准确率。

图17 气孔特征误判产品Figure 17 Holes pixel area qualified product

5 结论

试验提出了基于机器视觉的鲍鱼风味片残次品在线筛选方法，使用Canny边缘提取算法提取鲍鱼风味片的轮廓信息，通过分析残次品的特征信息，对产品中存在的不合格品进行识别与分类检测，同时将残次品中的残损品、皮料厚度不均匀产品、气孔缺陷产品进行分类。结果表明，在检测速率0.1 m/s的情况下，鲍鱼风味片的残次品识别准确率达99.6%，残次品分类准确率可达100%，证明此方法的可行性。在图像处理算法中，特征检测的精度受光照的影响，系统鲁棒性还有待提高，在实际生产应用中需要进一步提升系统稳定性。