基于双目视觉的软包香烟条形码检测方案设计

2022-01-19李建华马瑞杰

机械设计与制造工程 2021年12期

李建华，马瑞杰

(广西中烟工业有限责任公司, 广西南宁 530001)

条形码是香烟的“身份证”，由一组宽度不等的黑白平行线及标记符号组成[1]，大多采用EAN-13(European article number)编码。香烟条形码作为机器可读信息，可有效实现人机交互，保证卷烟生产、销售及物流等环节信息统计的准确性。香烟条形码的识别和检测是对采集的条形码信号进行整形处理，进而获得香烟条形码所代表的信息。

目前，现代卷烟企业在生产过程中已广泛采用机器视觉技术[2]，该技术在香烟条形码识别与检测方面也有一定应用。然而，由于采集的香烟图像通常会包含与条形码无关的其他内容，因此基于机器视觉的香烟条形码识别与检测包含条形码定位和条形码识别两部分。在基于图像的条形码定位研究方面，李少波等[3]采用基于Halcon的改进亚像素轮廓边缘检测算法，有效地提高了商品条形码的定位精度和速度；Wang等[4]用局部二值模式和灰度直方图提取条形码图像的纹理特征，并采用支持向量机(support vector machine, SVM)训练正负样本，建立了基于机器学习的分类器，从而实现了在复杂环境下的条形码定位。常用的条形码识别方法有边缘检测法、模板匹配法、波形分析法及深度学习法等。严小红[5]运用Canny边缘检测和Hough变换实现条形码的识别与检测；彭楷烽等[6]采用主成分分析法(principal component analysis, PCA)对图像梯度方向进行筛选，并利用形态学法对条形码进行识别。曾欣科等[7]在卷积循环网络中融入全局优化方法，有效提高了条形码的识别精度。

鉴于香烟在传送带上存在位置不正和表面不平整导致的条形码扭曲等问题，本文基于双目视觉检测原理，设计了软包香烟的条形码识别与检测方案。首先通过软包香烟上方的左、右相机采集香烟条形码的图像；其次采用基于旋转不变性的局部二值模式(local binary pattern,LBP)算子和SVM分类模型分别在左右图像中进行条形码定位。在此基础上，采用SIFT算法提取和匹配左右图像的条形码特征，实现软包香烟条形码的识别与检测。

1 系统组成

根据软包香烟的生产流程，基于双目视觉的检测方案如图1所示。当光电传感器感应到待测软包香烟进入检测区域时，双目相机启动识别与检测工作。若检测合格，软包香烟进入下一道工序；反之将其推出传送带。各部分主要功能如下。

1)主控计算机：根据软包香烟双目图像识别与检测条形码，控制传送带和剔除气缸。

2)双目相机：采集软包香烟条形码图像，含LED光源，用以消除阴影及反光。

3)传送带：输送待测软包香烟，并将合格软包香烟送入下一道工序。

4)光电传感器：感应是否有软包香烟由传送带送入检测区域。

5)编码器：检测传送带位置，用于反馈软包香烟是否处于检测和剔除区域。

6)剔除气缸：将条形码不合格或不属于该批次的软包香烟剔除出传送带。

图1 基于双目视觉的检测方案

2 双目视觉原理

双目视觉是基于视差原理并由多幅图像获取物体三维几何信息的方法，模型示意图如图2所示。基于双目视觉的条形码识别和检测利用待测软包香烟左、右两侧的相机采集图像，根据几何关系还原出其条形码的信息。

图2 双目视觉模型示意图

单目标定和双目标定是基于双目视觉条形码检测方法的关键，决定了软包香烟条形码识别与检测的精度[8]。单目标定用于获取左、右相机的内、外参数，相机内参数包括焦距、图像中心及畸变系数等，相机外参数主要是相机的旋转矩阵和平移矩阵。双目标定获取的是左、右相机的平移旋转关系。单目标定得到左、右相机的旋转矩阵为R1和R2，平移矩阵为T1和T2，则双目视觉的旋转矩阵R和平移矩阵T分别为：

(1)

3 双目视觉检测方案

基于双目视觉的条形码检测是软包香烟包装品质保障的关键。利用烟包上方安装的左、右相机采集装置分别获取烟包的左目和右目图像，并传输至主控计算机进行条形码识别与检测。主要步骤有图像采集、图像预处理、条形码定位、特征点提取、特征点匹配、识别与检测等，如图3所示，其核心是在软包香烟图像中进行条形码定位，以及左、右图像特征点提取与匹配。

图3 双目视觉检测流程

3.1 条形码定位

软包香烟上除了条形码，还可能包含品牌、支数、商标等很多其他信息，因此需要在灰度化、二值化、均值滤波、形态学及图像平滑等预处理后的图像中对软包香烟条形码进行定位。

图像的纹理特征利用像素及其周围空间邻域的灰度分布来表示，很好地联系了周围环境。局部二值模式是经典的描述图像纹理特征的算子[9]，以某像素点为中心，选择半径为1的环形邻域上的8个点来描述纹理特征，LBP算子L(·)计算公式如下：

(2)

式中：gc为中心点像素灰度值；gi为邻域像素灰度值。s(·)的表示式为：

(3)

式中：δ为阈值。此时，软包香烟图像上的各像素点由八位二进制数表示，范围为0～255。

香烟在传送带上运输时会出现偏转，而LBP本身不具有旋转不变性，陈东岳等[10]引入形状数概念，提出了旋转不变鲁棒LBP特征提取算法(rotation-invariant robust LBP, RRLBP)。RRLBP算法过程如图4所示，经循环移位和处理，此时特征值由256个减少为36个，不仅提高了运算效率，同时具有很好的旋转不变性。

SVM将输入向量通过非线性变换映射到高维空间，从而构造一个最优分类超平面[11]。将软包香烟图像的RRLBP特征作为SVM的输入向量x，得到如下最优分类函数：

图4 RRLBP运算过程示意图

(4)

3.2 条形码匹配

尺度不变特征变换(scale invariant feature transform, SIFT)具有对尺度、亮度及旋转变化等特性保持不变的特点，被广泛应用于立体图像的匹配中。SIFT的特征提取主要包括尺度空间极值检测、特征点定位、特征点方向及特征点描述等。若I(x,y)为软包香烟条形码的图像灰度值，则其多尺度空间表达式L(x,y,σ)为：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(5)

式中：σ为尺度因子；G(x,y,σ)为高斯核函数；*表示卷积运算。

为了高效率获取软包香烟条形码图像中稳定的条形码特征点，采用高斯差分方程(difference of Gaussian, DoG)进行卷积运算，其表达式D(x,y,σ)为：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*

I(x,y)=L(x,y,kσ)-L(x,y,σ)

(6)

式中：k为相邻尺度空间的尺度因子。

在软包香烟条形码的多尺度空间建立后，将每个像素点与同尺度邻域内的n个像素点进行比较，判定是否为极值点。进一步，将该点与(n+1)个像素点进行比较，若仍为极值点，则认定该像素点为软包香烟条形码的特征点。为了保证特征点具有旋转不变性[12]，利用软包香烟条形码的各特征点邻域像素的梯度方向分布特性作为其方向参数。以特征点为中心、以3×1.5σ为半径在其领域内计算软包香烟条形码图像中各个像素点的梯度幅角和幅值，然后使用直方图对梯度的幅角进行统计。其中直方图的横轴是梯度方向，纵轴为梯度方向对应的梯度幅值的累加值，直方图中最高峰所对应的方向即为软包香烟条形码的特征点方向。

将直方图的坐标轴旋转为软包香烟条形码特征点的方向，并以特征点为中心的16×16窗口计算像素的梯度幅值和方向。进一步将窗口内的像素分成16块，在每块中进行8个方向的直方图统计，最终形成128维的软包香烟条形码特征向量。

软包香烟条形码的特征点匹配就是将左目图像特征点与右目图像特征点对应，常用的方法是最近邻匹配法。若左目图像其中一个特征点与右目图像特征点的欧氏距离最小，同时比值小于某个阈值，则认为是一对匹配的特征点。

4 测试效果

将本文设计的方案在某卷烟生产企业进行应用测试，软包香烟的传输速度为600包/min。测试数量为10 000包，其中人为放入5%的异常软包香烟，包括条形码污损、条形码与符号不一致、条形码批次不符、条形码扭曲、烟包位置不正等情况，测试结果见表1。由表可知，整体检测成功率达到99.97%，不合格品的剔除率达到100%。经分析，个别烟包检测失败的主要原因是条形码的污损区域小于2 mm×2 mm。