运动图像中QR码分割与识别

陈超， 徐和根(同济大学 电子与信息工程学院， 上海 201800)

运动图像中QR码分割与识别

陈超， 徐和根
(同济大学 电子与信息工程学院， 上海 201800)

针对QR(Quick Response)码解码，提出了一种在运动视频图像中进行有特定边框的QR码分割与识别的方法。先通过训练C4.5决策树实现对图像中QR码ROI Region of Interest)的自动提取和图像分割，再经自动QR码图像畸变校正后，对QR码进行解码。验证结果表明，该方法能有效地增强解码器对环境、背景及图形畸变的鲁棒性，提高了QR码的解码正确率。

QR码； C4.5决策树； 畸变校正； ROI分割

0 引言

在复杂背景环境下的运动视频图像中进行QR(Quick Response)码检测解码时，由于受环境光照变化、运动模糊、图像畸变及QR码在图片中的大小和位置不确定等因素的影响，往往会出现QR码识别率较低的问题。

针对光照变化的问题，目前普遍采用的方法是用白平衡进行预处理[1,2]；对于图像畸变需要进行的畸变校正中使用较多的方法是Hough直线检测[3,4]和角点检测[5,6]算法；对于ROI的提取方法有基于HSV颜色空间[7]或者RGB颜色空间的彩色图像分割、基于聚类算法的图像分割[8]、基于颜色直方图的图像分割[9]。采用Hough变换和角点检测的算法对图像进行校正的时候在图片背景单一，并且QR码占整张图片比例较大的情形下可以取得比较好的效果。但是在本文的应用场景中因为彩色图片背景的复杂，以及QR码所占图片的比例比较小且位置不定的情况下使用Hough直线检测和角点检测取得的效果都不是很好，不能很好的定位出QR码的关键点，从而使得校正结果不理想。而在ROI (Region of Interest)分割的时候由于光照的变化，使用基于HSV或RGB颜色空间的图像分割的效果都不是很好，因为使用这些方法对图像进行分割的时候都要对各个颜色通道进行划分阈值的选取，而阈值的选取只能选取固定值，很难做到自适应。使用颜色直方图进行图像分割时也涉及到了分割阈值的选取问题，在光线不定且图像背景复杂的情况下也不能很好的对QR码进行分割。在有些图片中有可能出现QR码所占图片较小的情况，且在背景中会出现较接近蓝色的像素，这会干扰使用聚类算法对图像进行分割。

针对环境光照变化、图像畸变及图片中QR码大小和位置不确定等问题，本文提出了一种基于C4.5决策树[10-11]ROI自动提取及基于QR自身定标点的畸变自动校正方法。

1 总体构成

1.1 有特定颜色边框的QR码ROI分割

为将有特定颜色边框的QR码ROI提取出来，本文采用基于C4.5决策树算法的来实现颜色的自动提取和QR码ROI的自动分割，以增强对环境变化的鲁棒性。其过程如图1所示。

图1 使用C4.5决策树提取ROI过程

构建决策树前，需要采集训练样本，为方便起见，采用了图2所示模板，用于训练识别某个特定颜色，如图2所示。

图2 蓝色训练模板

图2模板选取蓝色和非蓝色作为训练色，理论上该方法也同样适用于其他颜色。训练样本图片的色彩空间采用RGB颜色空间。

将此训练模板放置于不同光照和背景的环境中，利用摄像头从各个角度采集训练样本图片。样本图片经人工标记出蓝色区域和非蓝色区域(蓝色标记为1，非蓝色标记为0) 。

为降低计算量，在数据用于训练决策树之前，可对样本像素进行抽样和离散化处理[12-14]。另外，由于噪声等因素的干扰，可能会导致图像中具有相同RGB分量的像素标记值却不同的矛盾，因此需要对同一图片的数据进行前剪枝预处理[15-16]。其方法是先分别统计矛盾数据出现的概率，根据少数服从多数的原则，剔除概率出现少的矛盾数据。

预处理后的数据输入C4.5决策树算法进行训练。训练步骤如下：

a) 对每个样本中的各像素，对属性(R、G、B)计算各自信息增益率；

b) 排序增益率，选取最大值作为该级分支属性；

c) 生成该级分支树；

d) 对次级样本中的各像素，计算剩下的属性的各自信息增益率；

e) 排序增益率，选取最大值作为下一级分支属性；

f) 如此反复，直至所有属性全部使用完毕(即为树叶)；

g) 进行后剪枝[17]，形成决策树。

本文在不同环境下采集了200个样本图片参与决策树训练，生成的决策树即可用于待检样本的颜色提取。

为了验证基于C4.5决策树的颜色提取效果，本文使用基于HSV颜色空间阈值的颜色提取作为实验对照组。之所以选用HSV颜色空间是因为HSV颜色空间更符合人眼的感知特性，另一方面HSV是均匀的颜色空间更加适合彩色图像的颜色提取[7]。

分别使用HSV颜色空间进行颜色提取(S通道的固定阈值为70-255，H的固定阈值为50-180，V不设阈值)和使用C4.5进行颜色提取的效果对比，如图3所示。

从图3中可以看出，对于各种不同的光照条件以及不同的背景情况， C4.5决策树法比HSV颜色空间法拥有更好的自适应性和鲁棒性。

利用C4.5决策树对QR码ROI的提取过程，如图4表示。

原图HSV滤波C4．5滤波样本1样本2样本3

图3 两种颜色滤波效果对比图

(c)确定ROI(d)ROI区域提取并归一化

图4 用C4.5决策树进行QR码ROI

图4(a)是待检样本，图4(b)为图4(a)在使用决策树后得到的滤波效果。在此基础上使用连通域检测的方法就可以确定QR码在整个图片中的ROI(如图4(c) 所示) 。进而提取出QR码并缩放到设定的大小(本文统一将图片高度缩放为256个像素，宽度等比缩放)如图4(d)所示。

1.2 QR码畸变的自动校正

校正前，需要先确定QR码的方位。本文采用的方法是，先找出QR码的3个定标点的位置，然后根据这3个定标点计算出第四个点的办法来定位QR码。

由于QR码中有3个图形分别处在QR码的3个角上，如图5所示。

(a)定标点(b)QR码示意图

图5 QR码位置探测图形示意图

每个位置探测图形由黑色、白色、黑色、白色、黑色的次序构成(如图5(a)所示)，各颜色的相对宽度的比例为1∶1∶3∶1∶1[18]。通过对QR码图像的行和列进行像素点统计，记录满足条件的点，最后可以确定QR码的3个位置探测图形，从而计算出每个位置探测图形的中心，即3个定标点(图5(b)中的A，B，C点)[18]。

以A为扫描起点，向上逐点扫描。根据位置探测图形的特征，当检测到扫描点的像素值变化轨迹为深浅深浅时，根据QR码的四周都是空白区，可以确定此时已扫描到QR码的上边界。再向左依此检测像素点变化可以得到图形的左边界，依此可以确定左上角顶点a，同理可以依此得到左下角顶点c和右上角顶点b。根据左下角顶点和右上角顶点可以定位出右下角顶点坐标，以b为坐标原点，以直线bc为起始位置不断的改变直线的斜率直到直线上的像素由较多的深色跳变为几乎全部的浅色就可以确定bd边，同理可以确定cd边，如图6所示。

(a)原图(b)校正后的图形

图6 畸变校正示意图

从而确定它们的交点d，如图6(b)所示。

校正的依据就是通过坐标变换，将畸变的QR码恢复成正方形的形状。可以利用解决透视变形的“连接点”法来对图形进行校正。校正前后坐标对应关系为[5]式(1)。

(1)

其中，(x,y)为畸变图形的坐标，(u,v)为校正后图形的坐标。式(1)中含有8个未知参数。通过上述步骤获得的畸变QR码的4个顶点的坐标a1(x0,y0),b1(x1,y1),c1(x2,y2),d1(x3,y3)，以及期望校正后的4个相应点坐标a2(u0,v0),b2(u1,v1),c2(u2,v2),d2(u3,v3)，可利用这4对已知的定标点坐标来求解这些未知参数(如图6所示)，其矩阵的形式如[5]式(2)。

(2)

(3)

由式(1)可得到式(3)，通过式(3)对原图与校正后图像各像素的坐标进行一一映射，从而得到校正后的图片，如图7所示。

(a)校正前(b)校正后

图7 畸变校正

2 验证与分析

本文测试的场景是在一辆20多厘米高的AGV小车上装有一个斜向下的摄像头，实现的功能是使小车在不同环境条件下及随机行驶过程中准确找到并解码出地面上的带有蓝色外框的二维码。实验环境的软硬件参数，如表1所示。

表1 实验环境的相关参数

为了验证本文提出的图像预处理的方法是否对于QR码的解码率有提高作用。本文随机从小车获取的测试场景中提取了150幅带QR码的图片进行解码实验，解码流程图如图8所示。

图8 总体流程图

解码直接使用Google 的C++版zxing算法。

图片预处理分成5种不同的情况：

第一种情况是不使用其他任何图像预处理直接解码；

第二种先使用了白平衡然后采用基于HSV颜色阈值的ROI分割，再对分割出来的图像进行解码；

第三种先采用了基于C4.5的ROI分割，在对图像进行解码；

第四种，在第二种预处理的基础上再进行畸变校正，然后在进行解码；

第五种，在第三种预处理的基础上再进行畸变校正，然后在进行解码。

这5种不同方法分别解码150幅图片的结果，如表2所示。

表3 各种预处理方法实验结果

从表2实验结果中可以看出使用了图像预处理后图像的解码率是有了比较大的提高，在没有使用图像预处理是解码率是比较低的，对环境的鲁棒性差。单独使用ROI提取和畸变校正都对提高解码率有帮助，特别是使用了ROI后解码率的提高比较大。而同时使用ROI和畸变校正后使得解码率有了更大的提高。此外，对于图片中有多个QR码的情况，也可以采取这种方法将二维码自动逐个的分割出来，再分别进行自动校正和解码。

但是，使用C4.5算法提取ROI的图片预处理过程时间明显高于HSV。

3 总结

本文提出了一种在运动视频图像中进行QR码分割与识别的方法，先通过训练C4.5决策树实现对图像中具有特定颜色边框的QR码ROI的自动提取和图像分割，然后通过自动畸变校正后进行解码。实验证明：结合这些方法，有效地增强理解码器对环境、背景及图形畸变的鲁棒性，提高了QR码的解码正确率。

本方法的不足之处包括：

1. QR码需要添加特定颜色的边框，以便用C4.5决策树进行ROI提取和图像分割。

2. 使用决策树对图像进行颜色识别时，训练样本过少会使形成的决策树枝叶稀疏，样本过多则会出现过度拟合，从而导致颜色漏检或误检。

3. 构建决策树时没有使用光源强度和图片亮度等信息，有造成误剪枝的可能。

4. 使用决策树进行ROI分割时，预处理的时间过长，算法以及算法的实现代码有待优化。

5. 在畸变校正的处理过程中虽然绝大多数的情况下都可以找到三个定标点，但在实验过程中也出现定标点寻找失败的情况，从而导致无法自动校正畸变。

[1] 韩强, 戎蒙恬, 刘文江. 图像信号处理器中的自动白平衡的算法研究[J]. 信息技术,2009,11:55-59.

[2] 史榕. 自动白平衡算法的研究与实现[J]. 信息技术,2012,3:85-89.

[3] 王景中，贺磊.一种快速有效的QR码定位方法[J].计算机技术与发展,2015,25(8):84-90.

[4] 卫晋伟，戴曙光，穆平安.基于形态学和Hough变换的QR码校正和定位算法[J].电脑与信息技术，2010，18(6):32-36.

[5] 黄珂，薛月菊，陈瑶，陈汉鸣，李鸿生. QR码图像几何校正算法的研究[J]. 计算机工程与应用,2014,50(20):192-197.

[6] 龚平，刘相滨，周鹏.一种改进的Harris角点检测算法[J].计算机工程与应用,2010,46(11):173-175.

[7] 张国权,李战明,李向伟,魏伟一. HSV空间中彩色图像分割研究[J].计算机工程与应用,2010,46(26)：179-181.

[8] 林开颜,徐立鸿,吴军辉. 快速模糊C均值聚类彩色图像分割方法[J]. 中国图像图学报, 2004,9(2):159-164.

[9] 陈坤,马燕,李顺宝. 基于直方图和模糊C均值的彩色图像分割方法[J]. 计算机应用与软件,2012, 29(4):256-260.

[10] Kusrini, Hartati S, Wardoyo R, Harjoko A. Efficient C4.5 [J]. IEEE Transactions on Knowledge and Data Engineering, 2002, 14(2): 438-444.

[11] Thakur D, Markandaiah N, Raj D S. Reoptimization of ID3 and C4.5 decision tree[C]. 2010 International Conference on Computer and Communication Technology (ICCCT 2010), 2010, 448-450.

[12] 刘耀南. C4.5算法的分析和应用[J]. 东莞理工学院学报,2012,19(5):47-52.

[13] 李孝伟，陈福才，李邵梅. 基于分类规则的C4.5决策树改进算法[J]. 计算机工程与设计，2013，34(12):4321-4326.

[14] 苗煜飞，张宵宏. 决策树C4.5算法的优化与应用[J]. 计算机工程与应用,2015,51(13):255-259.

[15] 魏红宁. 决策树剪枝方法的比较[J]. 西南交通大学学报,2005,40(1):44-48.

[16] Chen Fucai, Li Xiaowei, Liu Lixiong. Improved C4.5 decision tree algorithm based on sample selection [C]. Proceedings of 2013 IEEE 4th International Conference on Software Engineering and Service Science(ICSESS 2013), 2013,779-782.

[17] Zhang Wenchao, Li Yafen. “A Post-Pruning Decision Tree Algorithm Based on Bayesian”[C].2013 International Conference on Computational and Information Sciences, 2013, 988-991.

[18] 肖翔. QR码图像的校正与定位方法研究[J]. 计算机科学,2007,34(11):217-219.

SegmentationandRecognitionofQRCodeinMovingImage

Chen Chao, Xu Hegen
(College of Electronics and Information Engineering, Tongji University, Shanghai 201800)

A segmentation and decoding method for QR (Quick Response) code with a specific color border from a moving image is proposed. First, the ROI (Region of Interest)of QR code is extracted and segmented from the image using the C4.5 decision tree . Then the QR code is decoded after automatic distortion correction of the ROI image. Experimental results show that this method can effectively increase the robustness and the decoding accuracy of decoder for environmental variation and image distortion.

QR code； C4.5 decision tree； Distortion correction； Segmentation of ROI

TP311

A

2017.03.27)

国家自然科学基金(61273284)。

陈超(1991-)，男，硕士研究生，研究方向：自动检测与机器视觉。

徐和根(1972-)，男，博士，副教授，研究方向：自动检测与机器视觉。

1007-757X(2017)10-0001-04