基于机器视觉的复杂背景下QR码检测

赵志伟,柳 鸣,张 根

（中南民族大学计算机科学学院，武汉 430074）

0 引言

自21世纪以来，智能制造技术引起了发达国家的关注和研究，纷纷制定“重返制造业”的发展方向，例如欧盟在2014实施“2020地平线”计划，将智能型先进制造系统作为创新研发的优先项目。随着以人工智能、大数据、区块链为代表的新一代信息技术与制造业的加速融合，“十四五”期间，我国智能制造将从制造工艺、硬件设备、软件架构等多个维度持续推进，保持我国制造业朝着数字化、网络化、智能化发展的方向不变，加快制造业高质量发展进程。而QR码作为一种全新的自动识别技术，被应用于工业制造的产品检验和分拣过程中。例如在快递分拣时，我国快递公司还存在着自动化水平和机械化程度低等问题，在分拣系统中急需解决人工扫码速度慢的难题；在牛奶生产阶段，生产日期作为食品安全的一项重要标准，在喷印过程中不可避免的出现多种生产日期喷码字符缺陷，如漏印、缺印、错印、墨迹污染等。如何快速定位识别出产品上的QR码是一个值得研究的问题。因此，本文通过机器学习融合图像处理的方法来实现工业流水线上的QR码的高效定位与识别。

1 问题描述及相关工作

随着“工业4.0”时代到来，QR码作为连接智能生产系统与供应商和决策部门的纽扣，也遇见了不少问题。因为其应用环境的多样性和复杂性，对QR码的识别在一定程度上增加了难度。QR码是按照一定的规律在平面上分布的黑色与白色相间的图形记录符号，识别QR码需先定位图案，再是功能性数据，识别由数据码和纠错码共同组成的数据信息。

QR码从被发明至今，国内外学者对QR码的定位研究没有间断过。在实现QR码定位的研究中，张民提出了利用QR码其自身符号的特征来进行定位识别，扫描QR码图像寻找QR码的3个位置探测图形，确定QR码所在的四边形区域从而进行校正和信息提取。同样，朱仁欢等根据QR码的位置探测图形满足三层包围关系这一连通域特征，寻找图像中的3个位置探测图形来进行定位。上述基于QR码的3个位置探测图形的定位方法，仅仅在图像背景简单和位置探测图形清晰的情况下有良好的表现，但面对图像中有干扰因素时效果往往不太理想。在面对QR码图像存在模糊、过度曝光等复杂背景时，Xu等通过编码曝光算法，估计模糊参数，利用反卷积来消除运动模糊的图像，解决了模糊的QR码的定位问题；Sun M等通过将一幅完整的QR码图像来进行切分，然后对各个图像块提取其局部二值模式（Local Binary Pattern，LBP）的特征，最后用Spatial Boost算法训练分类器，筛选出QR码的候选块进行合并。Chen C等对QR码图像通过查找器模式进行边缘检测，然后进行霍夫变换来寻找QR码图像。这些方法在使用于QR码的复杂背景时的适应性较差，比如QR码出现畸变、过度曝光、文字背景干扰时，定位识别效果欠佳。

综上所述，现有的QR码定位算法虽然有一定的应用效果，但仍然在面对工业上产品材料时，面对反光、文字背景干扰和相机角度引起的QR码图像模糊畸变等问题时，存在定位结果较差的情况。

2 OMQR识别检测方法

基于MQR（Microvision QR）识别检测方法，本文提出一个OMQR（Optimized Microvision，QR）识别检测方法。针对工业流水线场景的需求，通过工业相机采集图像制作成人工数据集，利用方向梯度直方图（Histogram of Oriented Gradient，HOG）特征和支持向量机（Support Vector Ma⁃chine，SVM）分类器实现对QR码数据集的初分类，将数据集中的不包含QR码或QR码信息残缺的负样本图像去除。是针对实际场景遇到采集图像中负样本较多的问题所提出的解决方案。再通过图像处理的方法对QR码实现定位。

在OMQR中，图像处理部分采取常规的图像预处理的操作，例如高斯滤波进行平滑、对QR码图像进行对比度增强、边缘检测、腐蚀膨胀等处理。根据预处理后的效果采取针对性的QR码定位方法进行定位。在QR码定位的基础上，对QR码图像发生旋转的情况，计算图像与水平或者垂直的角度，再根据角度进行相应的旋转后得到校正后的QR码图像。在畸变复原方面，本文采用透视变换加双线性插值法。策略具体流程如图1所示。

图1 OMQR检测流程

2.1 基于HOG和SVM去除负样本

通过工业相机采集到的图像因为相机曝光等原因的影响，会出现图像中不包含QR码或QR码信息不全等情况。因为采集到的图片数量庞大，如果人工筛选或将图像全部进行后续QR码的识别处理，会大大影响对产品检测的整体速度。为了解决这一问题，本文提出一种基于HOG和SVM分类相结合的负样本去除方法，通过HOG算子计算QR码正负样本数据集的图像特征，将其对SVM分类器进行训练，最后保留完整QR码信息的图像。

方向梯度直方图的基本特征是梯度直方图的统计。

HOG描述符先将图像划分为小区域单元，然后捕获每个像素点的梯度直方图单元，最后把该直方图组合起来构成HOG特征描述符。详细实现HOG特征提取的过程如下：

（1）标准化Gamma空间和颜色空间。首先进行Gamma标准化处理整个图像。Gamma压缩公式为

（2）计算图像的梯度。对QR码图像中的像素点(,)进行计算，其梯度幅值和梯度方向为

式（4）和（5）中，G（，）、G（，）、（，）分别代表输入QR码图像中的像素点（，）处水平和垂直方向的梯度值以及像素灰度值。

（3）梯度方向直方图构建。计算每个细胞单元的梯度大小及方向，将像素梯度幅值作为权值，然后进行投影，用梯度方向决定向哪一维进行投影，就可以得到对应单元的梯度方向直方图。

（4）收集HOG特征。在对单元格进行梯度强度计算后对所有扫描结束后得到的特征进行归类，总结得到图像中QR码的外形特征，便于后续支持向量机对QR码的分类使用。

支持向量机SVM是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。因此可以利用SVM根据QR码的训练样本做出最佳分类预测。分类步骤如下：

（1）准备正负样本数据集。正样本是包含完整QR信息的图像，负样本是指包含缺失的QR码或者不包含QR码的图像。为了提高分类的准确率，在本文中，正负样本的数量分别为400和380。

（2）对QR码数据集进行训练。经过对正负样本集的HOG值进行计算进而存入到HOG特征矩阵，将其输入到SVM分类器中进行训练。

（3）训练好的SVM分类器中加入测试集进行测试，设置阈值ans的值，分别为0.5，0.6，0.7，0.8，0.9。为了达到分类效果最佳，最终选择设置ans的值为0.7。测试效果如图2所示。

图2 QR码分类结果

2.2 QR码的定位

经过HOG特征加SVM分类器将工业相机采集的图像数据集经过初分类后，留下包含完整QR码信息的图像。但是由于会受到诸多外界环境因素的干扰，最终得到的图片可能与现实的图像并不一致。通常表现为图像畸变、模糊、对比度过小或过大、过度曝光或者亮度不够、噪声干扰等各种问题。为了得到较好的定位结果，需要进行相应的预处理操作。具体工作流程如图3所示。

图3 QR码定位流程

受光照或产品自身材料等因素的干扰产生的高斯噪声，需要使用高斯滤波将整个图像进行加权平均处理来去除噪声。针对图像经过去噪之后亮度不够，本文基于直方图均衡化来增强整个QR码图像的对比度。

为了减少由于光照不均或者存在文字背景等复杂场景下噪声的干扰，使用形态学中的基础运算腐蚀与膨胀对增强后的QR码图像进行操作。具体公式如（6）和（7）所示：

其中，（，）表示处理后灰度图像，D表示结构元素的定义域。对QR码图像进行膨胀运算，每个结构元素的位置上，这一点的膨胀值是在跨度D的区间内（，）于之和的最大值，结果是图像中黑色模块的区域减小而白色模块的区域增大；腐蚀运算则是每个结构元素的位置上，这一点的膨胀值是在跨度D的区间内（，）于之和的最小值，结果会使黑色模块区域增大而白色模块的区域减小。经过腐蚀和膨胀运算后的QR码图像如图4所示。

图4 QR码形态学处理

边缘检测是检测图像周围灰度像素中是否存在阶跃性变化，并将这些特征边缘连接成完整的像素边界。Canny算子的误检和漏检概率较小且检测到边缘点的位置距离实际边缘点的位置最近。因此本文选取Canny算子作为本次实验的边缘检测方法，以达到检测QR码边缘特征的目的。将QR码的图像经过Canny算子边缘检测后，结果如图5所示。

图5 边缘检测后的QR码

经过边缘检测后的QR码信息清晰可见，下一步就是根据边缘检测出的图像找出QR码的3个位置探测图形。基于QR码自身特征，根据位置探测图形之间的距离关系来确定出位置探测图形。QR码的3个位置探测图形，分别位于QR码的右上角、左上角和左下角，符合1∶1∶3∶1∶1的比例，并且随着QR码图像的大小和旋转，这一比例并不会发生改变，所以可以根据这一特征来寻找位置探测图形的位置。具体实现步骤如下：

（1）扫描图像每一行，并保存黑白模块的长度。

（2）记录具有连续5个像素颜色的行，计算和提取其比例。

（3）检查是否符合1∶1∶3∶1∶1的比例，且第一个像素模块为黑色。

（4）找到位置探测图形的中心位置，并保存该点位置，直到找到3个位置探测图形。

本文方法检测的QR码位置探测图形如图6所示。

图6 检测出3个位置探测图形

接着，需要根据3个位置探测图形的坐标判断QR码图像第四个角点的位置信息，从而利用包围盒将QR码图像框住。具体实现步骤如下：

（1）基于找到的3个位置探测图形位置，计算3个定位图案之间的距离，推算出当前QR码的方向，判断顶点定位图形。

（2）根据当前QR码的方位以及3个定位图案的对应关系。获取所有定位图案的4个顶点的坐标。

（3）根据4个顶点的坐标，对QR码第4个角点的位置进行推算。

（4）通过形态学进行透视变换，规范QR码的位置。

定位及定位框进行校正结果如图7所示。

图7 QR码定位结果

3 实验结果及分析

本文基于实际的机器视觉设备，进行实验来验证本文提出的OMQR方法的有效性。实验采取维视智造的MRP300机器视觉运动旋转实验开发平台，驱动电机带动图像采集系统以及LED照明系统，实现图像的实时采集。图像采集系统中的工业相机选用维视智造的MVEM120C千兆网相机，使用维视智造的AFTRL5428-38的LED环形光源作为照明系统。

3.1 实验硬件环境

实验所用到的硬件环境设备以及相关参数详细见表1—表3。

表1 MV-EM120C工业相机参数

表2 AFT-1236ZMP可变焦工业镜头参数

表3 环形光源参数

3.2 实验场景

针对工业流水线上QR码的定位识别，模拟产品在生产过程中的QR码遇到的检测问题。维视智造在这方面已经取得了进展，通过工业相机对流水线上产品的QR码进行采集定位，与市面上主流使用的方法，比如Halcon软件的datacode等进行了对比，定位识别效果好。因此，本文工作选择维视智造的MQR码识别方法进行对比实验。

3.3 数据集

本实验真实模拟工业流水线上产品采集的QR码图像制作人工数据集，工业相机进行实时采集，采集到的图像共2540张，经过分类后留下的正样本图像作为本实验数据集共1680张。数据集中的一些图像如图8所示，包含过度曝光、光线过暗、模糊等复杂背景。

图8 存在复杂背景的QR码

3.4 实验结果

当QR码处于复杂背景下，比如文字干扰、畸变、暗光、模糊程度较大时，MQR码识别方法找不到位置探测图形从而导致定位失败，而本文提出的OMQR方法能取得较好的效果（如图9所示）。原因是MQR方法在寻找QR码的位置探测图形时对图像的扫描角度出现了问题，QR码边界像素比较密集，导致边缘两条直线相交不到边缘顶点，找不到对应的顶点从而导致识别失败。而本文方法是针对整个图像进行扫描，从而提高了对位置探测图形的检测效果，所以定位识别效果更好。

图9 QR码定位结果对比

按照数据集中的QR码图像中复杂背景种类进行详细对比，包括无复杂背景、存在文字背景干扰、过度曝光、暗光、畸变、模糊。以定位准确率为衡量标准，计算方法如式（8）所示。

详细结果如表4所示。

表4 QR码定位结果

综上可知，本文提出的OMQR方法相较于MQR码识别方法，在检测准确率方面有较大的提升，尤其是针对在应对复杂背景下的QR码，定位准确率有明显的提高，且识别速度也有不小的提升。

4 结语

为了提高工业上产品查验的效率，确保产品的生产质量，将智能制造技术和QR码技术引入到产品质量检测的生产过程中，对QR码进行扫描从而确定产品在生产过程中是否发生纰漏从而导致产品质量有问题。以维视智造Microvi⁃sion为基础，针对其对QR码存在复杂背景时产生QR码定位识别难等问题。本文采用HOG特征加SVM分类器去除工业相机采集到的负样本图像，再对QR码进行对比度增强、形态学处理等图像处理后，对采集到的图像中的QR码进行定位。实验证明，与MQR相比较，OMRQ在识别的准确度上有较大提升。下一步工作是引入深度神经网络，对QR码的定位方法进行改进，改善当图像存在多个QR码、模糊程度大或畸变系数大时，定位识别效果较差的情况。