改进Niblack算法的光照不均匀QR码识别研究

李 健，申利未，胡雅婷※，李瑞钊，任虹宾，丁小奇

改进Niblack算法的光照不均匀QR码识别研究

李 健1,2，申利未1，胡雅婷1,2※，李瑞钊1，任虹宾1，丁小奇1

（1. 吉林农业大学信息技术学院，长春 130118；2. 吉林省生物信息学研究中心，长春 130118）

QR码作为农产品可追溯体系的信息载体，一直是农业领域的科研热点。在实际应用中，溯源环境的复杂多变易使设备采集到光照不均匀的QR码图像而增加解码流程中二值化的难度，影响后续解码。该文针对原始Niblack算法自适应性不足的缺陷，提出一种自适应邻域窗口和修正系数的Niblack算法，该算法依据QR码图像的分辨率和灰度值，动态调整修正系数和邻域窗口，进行自适应二值化处理。分别用改进Niblack算法，原始Niblack算法和Otsu算法处理设备无法识别的不同光照环境下、不同程度的光照不均匀QR码图像，试验数据表明经改进算法处理后的识别成功率为74.2%，高出原始Niblack算法18.4%，高出Otsu算法71.7%，具有较高的鲁棒性。这一结果对农产品在各种光照不均匀环境中的溯源提供了参考。

图像处理；光照；识别；农产品可追溯体系；QR码；二值化；Niblack算法

0 引 言

QR码因具有信息存储量大、保密性好、追踪性高等特性[1]，被应用在农产品可追溯体系的终端，如赵丽等开发了基于手机二维条码的农产品质量安全追溯系统[2]；孟猛等基于二维码技术设计了热带水果质量安全追溯系统[3]；潘孜萍设计了基于二维码的云冠橙质量防伪追溯系统[4]；董玉德等借助二维码建立了基于农产品供应链的质量安全可追溯系统[5]。

在实际应用中，溯源环境复杂多变，易使设备采集到局部高亮或含有阴影的图像。在二值化过程中，光照不均匀QR码图像的目标像素易被误判为背景像素或背景像素被误判为目标像素而丢失图像信息，导致识别率降低，一定程度上限制了查询者的诉求。图像二值化算法根据阈值的选取可分为全局阈值法和局部阈值法[6]。以Otsu算法为代表的全局阈值法适用于灰度直方图具有明显双峰[7]和光照均匀的图像，在处理光照不均匀的图像时保真度较低[8]。Niblack 算法作为一种局部阈值二值化算法在分割光照不均匀的图像时能较好地保留图像细节[9],但原始Niblack算法自适应性较低。针对这种情况，王丽丽等提出了自适应修正系数的Niblack算法[10]，能较好提取温室中成熟的番茄；黄莅辰提出了一种改进的Niblack算法，较好地分割了文本图像的文字笔画[11]；李鑫等提出了一种基于粒子群优化方法的 Niblack 设备红外图像分割算法，有效提高了电力设备红外图像分割的精度[12]；Tong等介绍了一种Niblack算法和FCM算法结合的二值化方法，相较于原始算法有更好的分割效果[13]。

上述改进的Nibalck算法在特定的环境中均有较好的分割效果，但分割效果依赖于对邻域窗口或修正系数的预先设定。如果修正系数或邻域窗口被预设为固定值，容易造成某种场景中使用的修正系数或邻域窗口无法适用于另一种场景。为使QR码在复杂光照溯源环境中被稳定识别，本文提出一种自适应邻域窗口和修正系数的Niblack算法。

1 QR码识别流程

QR码识别的成功与否直接关系到溯源者能否获取农产品的相关信息。QR码识别流程主要包含图像预处理和译码环节（如图1）：

图像预处理包括图像校正、图像灰度化和图像二值化[14]。图像校正>[15]用于校正采集到的扭曲畸变图像。由于采集的QR码图像一般为彩色图像，而在处理彩色图像时既占用大量内存又消耗大量时间[16]。图像灰度化能够在保留图像整体和局部亮度等级分布特征的同时，减少彩色图像的信息量和后续的运算量[17]。图像二值化[18]通过在灰度图像上设定分割阈值，将灰度图像中所有的像素点划分到目标像素与背景像素2大类中。目标像素的灰度值置为0，视觉表现为黑色；背景像素的灰度值置为255，视觉表现为白色。当像素点的灰度值大于等于设定的分割阈值时，将被划分到背景像素类；当小于设定的分割阈值时，将被划分到目标像素类。

图1 QR码识别流程

二值化的关键在于阈值的选取[19]，图像二值化的质量直接关系到QR码识别的准确率[20]。

2 图像二值化算法

2.1 最大类间方差法（Otsu法）

Otsu[21]法是一种经典的全局阈值分割，该算法于1979年基于最小二乘法原理推导出。依据图像灰度分布和统计分布规律，Otsu算法能无监督自适应地选取最佳分割阈值[22]，因此被广泛应用于各种需自动选取图像阈值的问题之中[23]，算法的核心公式可表示为

图2 原始图像及Ostu算法分割图像

分析图2知，Otsu算法误将许多背景像素点划分为目标像素点，分割后的图像有大片连续的黑色区域，QR码仍然无法被识别，结果表明Otsu算法仅仅考虑了图像的灰度信息,而未充分考虑图像的空间信息[24]，在处理直方图没有明显双峰的光照不均匀QR码图像时，不能根据像素点周围空间的灰度值信息动态地调整阈值，导致误分率很高，分割后的图片保真度较低，未能保留原始图像的特征与重要信息,因此不适宜分割光照不均匀的QR码图像。

2.2 Niblack算法

从上述公式来看，对于每一个像素点，Niblack算法都能结合其附近的灰度值动态地计算出该像素点相对应的分割阈值。相较于Otsu算法，Niblack算法在分割光照不均匀的图像时能达到更好的效果，如图3所示

图3 原始图像，Ostu算法和Niblack算法处理后图像

对于局部窗口，取值较小（如=3）时，领域内的像素点就会偏少，计算出的阈值就会有一定的局限性，分析图4e可知分割后的图像中背景区域有很明显的条纹；取值较大（如=149）时，会失去“局部阈值”的意义，增大误分的概率，如图4f所示。

注：k为修正系数，w为领域窗口。

3 自适应邻域窗口和修正系数的Niblack算法

由上述分析可知，传统Niblack算法的自适应性较低，分割图像的效果严重依赖对邻域窗口和修正系数的预先设定。而在实际中，应用环境的复杂多变和QR码尺寸的不同造成了图像光照不均匀程度的不同和采集图像分辨率的不同，因此用固定的修正系数和邻域窗口值去分割各种分辨率不同且光照不均匀程度不同的QR码图像将难以达到理想效果。

基于以上问题，本文提出了一种自适应邻域窗口和修正系数的Niblack算法，该算法依据QR码图像的分辨率指导邻域窗口大小的选取,依据图像整体与局部的灰度值信息动态地调整修正系数的值。算法可用如下公式表示：

由此，邻域窗口和修正系数就由固定的值变成了根据图像分辨率和图像灰度值信息动态变化的值。当邻域窗口内的灰度均值大于中心点像素的灰度值时，为了避免极端情况的出现（例如有5个像素的灰度值分别为3，7，6，9，200，则邻域内的平均灰度值为45，而实际上大部分像素的灰度值没有超过灰度均值，与此种情况相对应的很可能是强光照射导致图像的局部区域过曝），根据式（10），修正系数此时会自动调整为负数，去抑制阈值的增加，从而达到削弱极端情况所导致的阈值偏大对分割效果产生负面影响的目的。同理，当中心点像素的灰度值大于邻域窗口内的灰度均值时，极有可能是光线过暗导致图片的部分区域有阴影，修正系数此时会自动调整为正数去主动增加阈值，从而减小背景像素被误分为目标像素的概率。

用自适应邻域窗口和修正系数的Niblack算法和原始Niblack算法分别处理分辨率为500´500、260´260和150´150的无法识别的光照不均匀QR码图像（图5a，5b，5c），其中，原始算法邻域窗口的取值为21，修正系数的取值为-0.2，原始Niblack算法的分割结果（图5d, 5e，5f）和自适应邻域窗口和修正系数的Niblack算法的分割结果（图 5g，5h，5i）如下：

对比2种算法的二值化图，可以直观的感受到自适应邻域窗口和修正系数的Niblack算法对QR码编码区域和定位区域的分割效果明显好于原始Niblack算法，而这两个区域正是解码成功与否的关键。用流行的微信扫一扫功能分别对原始算法和自适应邻域窗口和修正系数的Niblack算法分割后的图像进行识别，结果表明，用自适应邻域窗口和修正系数的Niblack算法处理后的QR图像的识别时间都在毫秒级别，但原始Niblack算法处理后得到的图5d不能被识别，图5f能被识别出来，不过需要花费较长时间。

注：最后一行为自适应邻域窗口和修正系数的Niblack算法分割图。

4 试验仿真及结果分析

4.1 样本获取与试验设备

由于目前没有权威的QR码图像集用以测试本文提出的情况,本文展示的光照不均匀QR码图像和试验样本均是由光照效果模拟算法仿真模拟所得。该算法以光源位置，光源作用半径为变量，模拟了现实中在光照不足环境下采集的局部昏暗的QR码图像和在光照过强环境下采集的局部高亮的QR码图像。该光照模拟算法可表示为

式中为常数，用来控制光照不均匀的程度，表示光源的作用半径，（0，0）光源的坐标。ori_img(，)表示坐标为(，)像素点的原始灰度值，img(，)表示受光照影响后坐标为(，) 像素点的灰度值。当式(13)的运算符号为加号时，模拟的是光照过强的环境，当为减号时，模拟的是光照不足的环境，即用该光照模拟算法处理后的图像能模拟现实中在不同环境，不同光源照射位置和不同光照强度下获取的光照不均匀图像

4.2 结果对比与分析

为验证本文所提出算法的优越性，分别采用Otsu算法、原始Niblack算法、自适应邻域窗口和修正系数的Niblack算法去二值化上述的120张样本图像，其中原始Niblack算法邻域窗口和修正系数的值设置为2.2节中展示的分割效果较好的21，-0.2。然后用比较流行的微信扫一扫功能去识别二值化后的QR码图像，最后得出经Otsu算法处理后能被识别的图片数量为3张，经原始Niblack算法处理后能被识别的图片数量为67张，经自适应邻域窗口和修正系数的Niblack算法处理后能被识别的图片数量为89张。试验结果如表1所示：

表1 试验结果

从表1的数据可以看出，原始Niblack算法相较于最大类间方差法（Otsu法）在处理光照不均匀的QR码图像时，具有很大的优势，其原因在于最大类间方差法（Otsu法）的阈值是固定的，导致误分率很高；而Niblack算法结合QR码图像的灰度信息和空间信息，动态调整阈值。由于原始Nibalck算法的邻域窗口和修正系数选取的是2.2节中展示的分割效果较好的21，-0.2，是固定值，所以在处理4.1节中选取的不同分辨率，不同环境下采集和光照不均匀程度不同的QR码图像样本时，就出现了在某一场景中使用的修正系数或邻域窗口无法适用于另一种场景的情况，原始Niblack算法自适应能力低的缺点也随之凸显。但经自适应邻域窗口和修正系数的Niblack算法处理后的QR码图像识别率达到74.2%，高出原始Niblack算法18.4%，高出Otsu算法71.7%，说明了改进算法在一定程度上克服了原始算法自适应低的缺点，减小了光照不均匀QR码图像在二值化过程中其背景像素被误分为目标像素或目标像素被误分为背景像素的概率。改进算法在分割不同分辨率和不同环境下采集的不同光照不均匀程度的图像时展现出了较高的自适应性，使得分割后的二值化图像较好的保留了原图像的特征和重要信息；另一方面，自适应邻域窗口和修正系数的Niblack算法的邻域窗口会随着原始图像分辨率的增大而增大，这会增加运算量，所以在平均用时上会略长于原始算法。

5 结 论

1）针对原始Niblack算法自适应能力低的缺点，本文提出了一种自适应邻域窗口和修正系数的Niblack算法，该算法依据QR码图像的分辨率调整邻域窗口的大小,依据图像整体与局部的灰度值信息动态调整修正系数，来降低传统算法邻域窗口和修正系数值固定对图像二值化造成的负面影响，实现对不同环境下、不同分辨率和不同光照不均匀程度QR码图像的自适应分割。

2）通过试验验证，经自适应邻域窗口和修正系数的Niblack算法处理后的QR码图像识别率为74.2%，高出原始算法18.4%，高出最大类间方差法（Otsu法）71.7%。这一结果表明本文提出的算法具有较高的鲁棒性，对应用在复杂溯源环境中的QR码识别有一定的借鉴意义。

3）自适应邻域窗口和修正系数的Niblack算法对邻域窗口的选取会随着原始图像分辨率的增大而增大，这将导致图像分割时间的加长，这是该算法需要进一步改进的地方。

[1] 唐艳薇，郭中华，李树庆，等. 基于QR码的清真牛羊肉质量安全信息追溯系统的设计实现[J]. 江苏农业科学，2014，42(10)：395－397.

[2] 赵丽，邢斌，李文勇，等. 基于手机二维条码识别的农产品质量安全追溯系统[J]. 农业机械学报，2012，43(7)：124－129. Zhao Li, Xing Bin, Li Wenyong, et al. Agricultural products quality and safety traceability system based on two- dimension barcode recognition of mobile phones[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(7): 124－129. (in Chinese with English abstract)

[3] 孟猛，孙继华，邓志声. 基于二维码技术的热带水果质量安全追溯系统设计与实现[J]. 包装工程，2014，35(5)：13－20.Meng Meng, Sun Jihua, Deng Zhisheng. Design and realization of tropical fruit quality safety traceability system based on 2-Dimensional code techonology[J]. Packaging Engineering, 2014, 35(5): 13－20. (in Chinese with English abstract)

[4] 潘孜萍. 基于二维码的云冠橙质量防伪追溯系统设计与实现[D]. 济南：山东大学，2015.Pan Ziping. Design and Implementation of Yunguan Orange Quality Anti-counterfeiting Traceability System Based on Two-dimensional Code[D]. Jinan: Shandong Unive­rs­ity­, 2015. (in Chinese with English abstract)

[5] 董玉德，丁保勇，张国伟，等. 基于农产品供应链的质量安全可追溯系统[J]. 农业工程学报，2016，32(1)：280－285. Dong Yude, Ding Baoyong, Zhang Guowei et al. Quality and safety traceability system based on agricultural product supply chain[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(1): 280－285. (in Chinese with English abstract)

[6] 梁盛辉. 复杂环境下手持设备QR码清晰化解码技术的研究与应用[D]. 杭州：浙江工业大学，2016.Liang Shenghui. Research and Application on the Clarity of QR Code Decoding Technology of Handheld Devices in Complex Environment[D]. Hangzhou: Zhejiang University of Technology, 2016. (in Chinese with English abstract)

[7] 孙俊，宋佳，武小红，等. 基于改进Otsu算法的生菜叶片图像分割方法[J]. 江苏大学学报(自然科学版)，2018，39(2)：179－184.Sun Jun, Song Jia, Wu Xiaohong, et al. Image segmentation method of lettuce leaf based on improved Otsu algorithm[J]. Journal of Jiangsu University (Natural Science Edition), 2018, 39(2): 179－184. (in Chinese with English abstract)

[8] 彭启伟，罗旺，冯敏，等. 改进二维Otsu法和果蝇算法结合的图像分割方法[J]. 计算机应用，2017，37(S2)：193－197. Peng Qiwei, Luo Wang, Feng Min, et al. Novel method for image segmentation based on improved two-dimensional Otsu and fruit fly algorithm[J]. Journal of Computer Applications, 2017, 37(S2): 193－197. (in Chinese with English abstract)

[9] 石为人，方莉，陈舒涵. 基于改进Otsu和Niblack的图像二值化方法[J]. 世界科技研究与发展，2013，35(3)：395－398. Shi Weiren, Fang Li Chen Shuhan. Algorithm for image binarization based on improved Otsu and Niblack [J]. World Sci-Tech R & D, 2013, 35(3): 395－398. (in Chinese with English abstract)

[10] 王丽丽，魏舒，赵博，等. 基于Niblack自适应修正系数的温室成熟番茄目标提取方法[J]. 农业工程学报，2017，33(增刊1)：322－327. Wang Lili, Wei Shu, Zhao Bo, et al. Target extraction method of ripe tomato in greenhouse based on Niblack self-adaptive adjustment parameter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 322－327. (in Chinese with English abstract)

[11] 黄莅辰. 非均匀光照下文本图像分割算法研究[D]. 长沙：湖南科技大学，2015. Huang Lichen. Segmentation Algorithm Research for Non-uniform Illumination Document Image[D]. Changsha: Hunan University of Science and Technology,2015.(in Chinese with English abstract)

[12] 李鑫，崔昊杨，霍思佳，等. 基于粒子群优化法的Niblack电力设备红外图像分割[J]. 红外技术，2018，40(8)：780－785.Li Xin, Cui Haoyang, Huo Sijia, et al. Niblack’s method for infrared image segmentation of electrical equipment improved by particle swarm optimization[J]. Infrared Technology, 2018, 40(8): 780－785. (in Chinese with English abstract)

[13] Tong Lijing, Chen Kan, Zhang Yan. Document image binariza-tion based on NFCM[C].International Congress on Image and Sig-nal Processing, 2009: 1769－1773.

[14] 王雄华，张昕，朱同林. 快速定位的QR码校正方法[J].计算机工程与设计，2015，36(8)：2185－2190. Wang Xionghua, Zhang Xin, Zhu Tonglin. QR code correction method by rcal-time location[J]. Computer Engineering and Design, 2015,36(8): 2185－2190. (in Chinese with English abstract)

[15] Ahmed M T, Farag A A. Nonmetric calibration of camera lens distortion: Differential methods and robust robust estima­tion[J]. IEEE Transactions on Image Processing, 2005, 14 (8): 1215－1230

[16] 段茵. 基于QR二维码的识别技术研究与实现[D]. 西安：西安理工大学，2018.Duan Yin. Research and Implementation of Recognition Technology Based on QR Code[D]. Xi'an: Xi'an University of Technology, 2018. (in Chinese with English abstract)

[17] 阮秋琦. 数字图像处理学[M]. 北京：电子科学出版社，2007.

[18] Mala C, Sridevi M. Multilevel threshold selection for image segmentation using soft computing techniques[J]. Soft Computing, 2016, 20 (5): 1793－1810.

[19] 杨佳丽，高美凤. QR码图像二值化的研究[J]. 计算机工程与应用，2009，45(35)：176－178,195. Yang Jiali, Gao Meifeng. Research on binarization algorithm for QR code[J]. Computer Engineering and Applications, 2009, 45(35): 176－178,195. (in Chinese with English abstract)

[20] 甘志坚，方俊彬，关贺元，等. 复杂光照下QR码图像二值化算法研究及应用[J]. 应用光学，2018，39(5)：667－673. Gan Zhijian, Fang Junbin, Guan Heyuan, et al. Research and application of binarization algorithm of QR code image under complex illumination[J]. Journal of Applied Optics, 2018, 39(5): 667－673. (in Chinese with English abstract)

[21] Otsu N. A threshold selection method from gray level histogram[J]. IEEE Trans. On Systems, Man and Cybernetic SMC, 1979, 9(1): 62－66.

[22] 屈卫锋，徐越，牛磊磊，等. 光照不均QR二维码图像的高效处理方法研究[J]. 软件，2015，36(6)：47－52. Qu Weifeng, Xu Yue, Niu Leilei, et al. A study of an efficient method for the processing of uneven illumination QR code images[J]. Computer Engineering & Software, 2015, 36(6): 47－52. (in Chinese with English abstract)

[23] 蔡健荣，周小军，李玉良，等. 基于机器视觉自然场景下成熟柑橘识别[J]. 农业工程学报，2008，24(1)：175－178. Cai Jianrong, Zhou Xiaojun, Li Yuliang et al. Recognition of mature oranges in natural scene based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2008, 24(1): 175－178. (in Chinese with English abstract)

[24] 徐超，黄风华，毛政元. 一种改进的二维Otsu阈值分割算法[J]. 电子技术应用，2016，42(12)：108－111. Xu Chao, Huang Fenghua, Mao Zhengyuan. An improved two-dimensional Otsu thresholding segmentation method[J]. Application of Electronic Technique, 2016, 42(12): 108－111. (in Chinese with English abstract)

[25] Niblack W. An introduction to digital image processing[M]. Denmark: Strandberg Publishing Company, 1985.

Research on illumination uneven QR code recognition based on improved Niblack algorithm

Li Jian1,2, Shen Liwei1, Hu Yating1,2※, Li Ruizhao1, Ren Hongbin, Ding Xiaoqi1

(1.,130118,;2.130118,)

As the information carrier of agricultural product traceability system, QR code has always been a research hotspot in the agricultural field. In practical applications, the complexity of the traceability environment makes it easy for the QR code scanner to acquire locally highlighted or shaded QR code images. In the process of binarization, the target pixels of these uneven illumination QR code images are easily misjudged as background pixels or background pixels are misjudged as target pixels which cause the image information lost, resulting in lower recognition rate, this limits the inquirer to some extent. According to the selection of the threshold, the image binarization algorithms can be divided into global threshold methods and local threshold methods. By setting the segmentation threshold on the grayscale image, all the pixels in the grayscale image are divided into two categories: The target pixel and the background pixel. The gray value of the target pixel is set to 0, and the visual representation is black; the gray value of the background pixel is set to 255, and the visual representation is white. When the gray value of the pixel is greater or equal to the set segmentation threshold, it will be divided into the background pixel class; when it is smaller the set segmentation threshold, it will be divided into the target pixel class. The global threshold method represented by the Otsu algorithm is suitable for an image with a clear bimodal and uniform illumination in a gray histogram, but since the threshold is a fixed value, the fidelity is low when processing an image with uneven illumination. As a local threshold method, the Niblack algorithm can dynamically calculate the neighborhood center threshold in combination with the gray mean and variance in the neighborhood window. That is, for each pixel, the Niblack algorithm can calculate the corresponding threshold. Therefore, there is a good effect in splitting an image with uneven illumination, but the segmentation effect depends on the preset of the local window and the correction coefficient value. Since the correction coefficient and neighborhood window are fixed values selected according to experience, it is easy to cause the correction coefficient or neighborhood window used in some scenes to be unsuitable for another scene, so the original Niblack algorithm is less versatile. This paper proposes a Niblack algorithm that adaptive neighborhood window and correction coefficient. The algorithm dynamically adjusts the size of the neighborhood window according to the resolution of the QR code image, according to the gray mean and variance of the pixel points in the neighborhood window. The gray value information of the whole image is dynamically adjusted and corrected to realize adaptive binarization processing. Experiments show that compared with the original Niblack algorithm, the algorithm can more effectively segment the uneven light QR code image that the device cannot recognize. After the algorithm is processed, the recognition success rate of the unrecognizable QR code image reaches 74.2%, which is 18.4% higher than the original Niblack algorithm and is 71.7% higher than Otsu algorithm. The study has certain reference significance for the traceability of agricultural products in the uneven illumination environment.

image processing;illumination; recognition; agricultural products traceability system; QR code; binarization; Niblack algorithm

10.11975/j.issn.1002-6819.2019.13.022

TP391.4

A

1002-6819(2019)-13-0191-06

2019-03-22

2019-06-28

国家自然科学基金项目（41601454）

李 健，博士，副教授，主要从事生物信息学、物联网方面研究。Email：liemperor@163.com

胡雅婷，博士，副教授，主要从事模式识别、农业大数据方面研究。Email：huyating79@163.com。

李 健，申利未，胡雅婷,李瑞钊，任虹宾，丁小奇. 改进Niblack算法的光照不均匀QR码识别研究[J]. 农业工程学报，2019，35(13)：191－196. doi：10.11975/j.issn.1002-6819.2019.13.022 http://www.tcsae.org

Li Jian, Shen Liwei, Hu Yating, Li Ruizhao, Ren Hongbin, Ding Xiaoqi.Research on illumination uneven QR code recognition based on improved Niblack algorithm [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 191－196. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.13.022 http://www.tcsae.org