基于特征分类的麻将图像光照不均校正方法
2017-11-28王财盛胡文文徐鑫涛
王财盛 ,朱 威,2,胡文文,徐鑫涛
1.浙江工业大学 信息工程学院,杭州 310023 2.浙江省嵌入式系统联合重点实验室,杭州 310023
基于特征分类的麻将图像光照不均校正方法
王财盛1,朱 威1,2,胡文文1,徐鑫涛1
1.浙江工业大学 信息工程学院,杭州 310023 2.浙江省嵌入式系统联合重点实验室,杭州 310023
针对麻将排版视觉检测装置采集到的图像存在光照不均问题,提出了一种基于麻将特征分类的自适应图像校正方法。通过对麻将的排版特征进行分析,采用背景差分法和投影法将整体排版麻将灰度图从采集图像中分割出来;将整体排版麻将划分为多个单个麻将,并通过对单个麻将的光照特征进行分析,将单个麻将按光照类型分为均匀类麻将、阴影类麻将和高光类麻将共三类;对阴影类麻将和高光类麻将进行均值归一化处理,再对麻将图像进行整体锐化,并结合色度分量增强麻将的图案特征;根据麻将噪声特征,基于空域幅值统计去除阴影类麻将中的图像噪点。实验结果表明,与现有方法相比,该方法能更好地改善麻将图像光照不均现象,处理后的图像有效地提高了麻将排版识别率。
麻将图像;光照不均;图像锐化;色度分量;局部去噪
1 引言
麻将包装是麻将生产线的最后一道工序,需要检测麻将的整体排版是否正确,目前基本以人工检测方式来完成。在长时间工作情况下,人工检测麻将排版的方式容易因人眼疲劳而出现错检和漏检,同时人工检测也存在人力成本高和检测速度慢等问题。随着机器视觉技术的快速发展,“机器眼睛”[1]正逐渐代替人工实现更高准确率的视觉检测,在这样的趋势下,麻将包装过程中的麻将排版检测方式正在发生转变,新一代的麻将排版视觉检测装置正在兴起。然而,在视觉检测过程中,麻将本身对光线的吸收和反射性不同,并且由于受到拍摄设备本身和拍摄环境的影响[2],采集图像中常出现光源照射不均的现象。这种光照不均现象将会影响图像特征的提取精度[3],在麻将图像特征提取过程中引起信息缺失,导致机器视觉识别失败。
为了解决视觉检测过程中光照不均现象产生的一系列问题,提高识别精度同时降低识别复杂度,必须对采集到的图像进行必要的校正处理,增强图像有效信息,减少或者消除无效信息[4]。目前的图像光照不均校正方法有很多,常采用的经典的方法有灰度变换方法[5],基于照明反射模型的同态滤波法[6-7]和Retinex方法[7-9]等。灰度变换方法的典型代表是直方图均衡化[7,10],该方法在拉伸对比度方面的效果非常显著,整个过程自动完成,无需设置参数,但是无法控制增强的区域,存在灰度级合并现象,容易引起有用细节的丢失。同态滤波虽然能够将光照信息分离出来进行处理,有效地保留了图像中的细节部分,但是不太适用于光照强度变化剧烈的场合,且滤波器参数较难设置,难以估计照射分量和反射分量。Retinex不仅能使图像得到很好的动态范围压缩,而且保证了图像的色感一致性,但是该方法对于高光细节信息效果不佳,且容易发生部分颜色扭曲现象。国内外已有文献提出了一些光照不均校正新方法,文献[11]提出了一种盲反向伽马校正方法,通过分析图像的高频相关性,估计伽马校正系数,该方法在不显著改变图像外观的情况下,很好地增强了图像的对比度,但是图像清晰度较低。文献[12]针对医学图像,提出了一种Retinex方法和基函数拟合相结合的光照补偿方法,该方法能有效校正光照不均现象且较好地保存原图像信息,但是该方法仅对皮肤镜图像有较好效果。
在麻将检测及打包系统的研发过程中,发现上述校正方法并不能很好地处理麻将图像光照不均现象。本文在充分研究各类校正方法的基础上,通过对麻将图像进行特征分析,提出了一种基于特征分类的光照不均麻将图像校正方法。该方法的主要思路如下:(1)分析麻将的排版特征,将整体排版麻将灰度图从采集图像中分割出来;(2)将整体排版麻将划分为多个单个麻将(以下简称单麻将),并基于单麻将的光照特征,对单麻将进行分类处理;(3)对麻将图像进行自适应的整体锐化,使图像更加清晰;(4)充分利用麻将图像色度信息,对麻将图案特征进行增强;(5)设计适合于麻将图像的去噪方法,使最终图像的二值化效果更好。
本文方法具有以下优点:(1)根据麻将图像的光照特征对麻将进行分类处理,减少计算复杂度同时也提高了处理精度;(2)充分利用麻将的色度信息,增强麻将图案特征,尤其对于光照较强部分,具有较好的增强效果;(3)通过分析麻将的噪声特点,针对带阴影的麻将,进行四邻域统计去噪,在有效地保留麻将图像信息的同时获得较好的去噪效果。
2 麻将图像光照不均特征分析
2.1 光照不均现象分析
图1所示为麻将打包机的麻将排版视觉检测装置设计示意图,排版好的麻将随着黑色传送带从左往右通过,并在工业摄像头正下方由挡板1控制停下,摄像头拍下此时的麻将图像,本设计中采集到的图像色度空间格式为YUV。采集图像经视觉识别算法检测,若排版正确则挡板1上移,麻将继续向右通过;若排版不正确,则用挡板2将麻将往错误通道推掉。由于拍摄背景内容基本保持不变,可预先拍摄一幅背景图像,取其Y分量图像作为背景图像灰度图(以下所有的灰度图均为Y分量图像),采用背景差分法[13],将采集图像灰度图与背景图像灰度图相减取绝对值并二值化,容易提取得到整体排版麻将的坐标位置,进而从采集图像中分割得到整体排版麻将灰度图。但是此装置会受到周围电线遮挡、金属挡板反光以及麻将本身凹凸不平且各种颜色吸收反射光照能力差异等因素影响,分割得到的整体排版麻将灰度图常出现光照不均现象,显著地降低了麻将图像排版识别率,因此非常需要对麻将图像进行光照不均校正处理。
图1 麻将打包机视觉检测装置
麻将图像光照不均现象大致可以分为两种,一种是有阴影现象,阴影使麻将图像亮度大幅度下降,也使麻将背景像素点亮度不一,图2(a)所示,右上角有明显的阴影区域。另一种是高光失真现象,由于光照位置和角度的影响,部分麻将图像发生反光现象,产生高光区,使麻将图像失真,如图2(b)所示,麻将的“万”字部分高光失真严重。这两种现象对麻将图像识别均会产生较大影响,是图像识别的难点,因此,本文方法主要针对这两种情况做光照不均校正处理。
图2 不同类型光照的整体排版麻将灰度图
2.2 麻将图像特征分析
图3 灰度投影曲线图
在分析完麻将图像的全局特征后,继续分析其局部特征。图4给出了三种不同光照特征的单麻将:图4(a)为受阴影影响的麻将,其麻将背景的灰度值较小,且各个灰度值离散程度较高;图4(b)为光照均匀的麻将,其麻将背景灰度值较大,各个灰度值离散程度较低;图4(c)为高强度光照的麻将,其麻将背景灰度值较大,各个灰度值离散程度更低。考虑到这三种情况下单麻将的麻将背景灰度值数据相差较大,使用麻将背景灰度值的均值和方差快速区分单麻将的光照类型,实现对单麻将的分类,为研究麻将图像光照不均校正处理提供了新思路。
校正方法大致可以分为两个方向,一个是全局校正,另一个是局部校正。由于拍摄角度,拍摄距离及图像本身反光性质的关系,整体排版麻将灰度图中的各个部分光照程度不一,使用全局校正算法容易丢失图像局部细节。由于单麻将的面积较小,同一麻将的光照程度较为接近,而最终需要的识别也是基于单麻将的,因此使用基于单麻将的局部校正较为合适。
由图2观察可得,麻将整体呈矩形排列,且每一个单麻将的图案部分(以下简称麻将图案)均处于中心位置,麻将行与行、列与列之间存在麻将背景部分(以下简称麻将背景)。由于麻将背景的灰度值较大,麻将图案的灰度值较小、采集图像灰度图与背景图像灰度图的差值绝对值图像(以下简称差值图)的背景灰度值也较小,因此可以通过投影法得到图像的位置特征信息。图3(a)为差值图的灰度值竖直投影图,图3(b)为差值图的灰度值水平投影图,其中横坐标为投影位置,纵坐标为该位置的投影值归一化后的幅值。从图中分析可得,这两幅图中幅值为零的曲线是由差值图的背景部分(以下简称图像背景)投影得到,分布在前景整体排版麻将的两侧。基于这一特征,容易得到整体排版麻将的上下左右边界位置坐标,从而分割得到整体排版麻将灰度图。在图3中,波峰代表整体排版麻将灰度图的麻将背景,波谷代表麻将图案。波峰中心轻微的凹陷表示麻将行与行、列与列之间存在的空隙,但是峰谷值较为复杂,单一阈值难以很好地将单麻将划分开来,因此使用投影方式划分单麻将并不适合。
3 麻将图像光照不均校正方法
根据前一章对光照不均麻将图像的特征分析,本章提出了一种麻将图像的光照不均校正方法,该方法的处理流程如图5所示。首先对输入的采集图像进行预处理,分割得到整体排版麻将灰度图;接着,基于麻将图像的整体特征将所有单麻将划分开来;然后,基于单麻将图像的麻将背景特征,对单麻将进行光照类型分类;再对分类后的高光类麻将和均匀类麻将进行均值归一化处理;然后对整体排版麻将灰度图进行统一的锐化和色度增强;最后针对所有受阴影影响的单个麻将进行去噪处理,输出校正后的最终图像。
图5 本文方法流程框图
3.1 图像预处理
采集图像预处理的目的是为了从中分割得到整体排版麻将灰度图,主要步骤包括灰度化、背景差分、二值化和前景坐标提取。由于采集到的图像常会包含光源、视觉检测装置的金属挡板和线材等,图像背景部分十分复杂,常用的前景提取方法费时且效果不佳。本文利用拍摄背景不会发生显著变化的图像特性,使用了背景差分方法和差值图二值化法,将整体排版麻将灰度图从采集图像中提取出来。
首先预先采集一幅背景图像,保存背景图像灰度图。接着,每次将采集图像灰度化后得到的采集图像灰度图与已保存的背景图像灰度图对应位置相减并取绝对值,得到一幅背景为黑色的差值图,如式(1)所示:
式中,Ireal为采集图像灰度图,Iback为背景图像灰度图。
此时该差值图中的图像背景较黑,灰度值较低,而麻将部分较白,灰度值较高,由于图像背景的灰度值和麻将背景的灰度值相差较大,很容易得到整体排版麻将在采集图像中的位置坐标,进而将整体排版麻将分割出来。为提高处理效率,本文直接使用阈值Tinit作为划分图像背景和图像前景整体排版麻将的阈值来遍历该差值图,得到该差值图的二值图,如式(2)所示:
式中ΔId(h,v)为差值图的二值图中坐标为(h,v)的灰度值,255表示该位置颜色被置为白色,0表示该位置颜色被置为黑色,Tinit根据实验分析选取,其值越大,麻将图案信息保留越多,但同时噪声也越多,其值越小,麻将图案信息越容易丢失,但噪声也越少,本文选取的典型值为100。
由于整体排版麻将排列为矩形,根据前一章的分析,可通过投影方式得到整体排版麻将上下左右边界坐标,具体步骤如下:首先利用式(3)对差值图的二值图进行水平投影,再利用式(4)对差值图的二值图进行竖直投影:
式中Am×n为差值图的二值图分布矩阵,m为竖直像素个数,n为水平像素个数,HORm×1和VER1×n分别为水平投影矩阵和竖直投影矩阵,Cn×1和R1×m分别为元素全为1的列向量和元素全为1的行向量。在水平投影矩阵HORm×1中,从上到下出现的连续num个投影值均大于Tc的起始位置记为上边界的竖直坐标,从下到上连续num个投影值均大于Tc的起始位置记为下边界的竖直坐标,num和Tc的取值大小会影响得到的整体排版麻将的边缘分割,它们的取值越大,得到的整体排版麻将的边缘越容易落在理想边缘的内部,而取值越小,得到的整体排版麻将的边缘越容易落在理想边缘的外部。结合图3的实验分析,本文中num取为50,Tc取为0.3。同理,利用竖直投影也能得到左右边界的水平坐标。使用这些坐标可以将整体排版麻将灰度图从采集图像中分割出来。
3.2 单麻将光照类型分类和归一化处理
式中IEi,j(k)为整体排版麻将中第i排和第 j列的均匀类单麻将的属于麻将背景的第k个像素点的灰度值,numew表示该单麻将中属于麻将背景的像素点的个数,麻将背景已由大津法划分得到。为了提高校正的鲁棒性,对所有uew进行排序,取其中值作为校正基准值avgbase。
接着,计算高光类麻将和阴影类麻将的麻将背景均值。由于不同麻将,光照不均程度不一,为增加校正精度,每一个高光类麻将和阴影类麻将的麻将背景均值都要计算,如式(6)所示:
对于一幅整齐排列的光照不均麻将图像,将处理单元细化到单麻将,不仅能降低处理难度,也能增加校正精度。由于麻将整体模版固定,麻将整体的行列数也是固定不变的已知数据,因此本文采用等间距法划分单麻将。在预处理中可以获得整体排版麻将的像素宽度和像素高度,将麻将整体的像素宽度与麻将整体的行数作商,即可得到单麻将的像素宽度,同理也可得到单麻将的像素高度,从而可等间距地将所有单麻将划分开来。
本文根据单麻将白色背景的灰度值特征,将单麻将按光照类型分为三类,即高光类麻将、均匀类麻将和阴影类麻将。分类的具体步骤包括:(1)使用大津法(Otsu[14])计算出划分麻将图案和麻将背景的整体阈值TWseg,若当前像素点灰度值大于TWseg,则认为该像素点属于麻将背景,否则属于麻将图案。(2)分析单麻将白色背景灰度值的均值和方差,若均值大于Tavg,且方差小于Tvar,则将该麻将记为高光类;若均值大于Tavg,且方差大于等于Tvar,则记为均匀类;不满足以上两种情况的,则记为阴影类。Tavg和Tvar取值大小直接影响单麻将的分类,从而影响后续进行均值归一化的单麻将数目。为使实验结果更佳,Tavg应取较大值,Tvar应取较小值,使均匀类麻将归类更为严格。经实验统计分析,均匀类麻将和高光类麻将的麻将背景灰度值均值都较大,且高光类麻将的方差基本小于12,因此本文Tavg取250,Tvar取12。
高光类麻将由于反光等原因,其部分图像灰度值均值过高,产生失真;而阴影类麻将由于挡板遮挡等原因,其图像存在阴影,灰度值离散程度较高。针对这些特征,本文采用均值归一化法对这两类麻将进行校正处理,具体步骤如下:
首先利用式(5)计算每一个均匀类麻将中麻将背景部分的均值uew:式中IHi,j(k)为整体排版麻将第i排和第 j列的高光类或阴影类单麻将中属于麻将背景的第k个像素点的灰度值,numue-wh表示该麻将中属于麻将背景的像素点个数。
然后,利用式(7)计算每一个高光类或阴影类麻将的校正量:
最后,利用式(8)得到每一个高光类或阴影类麻将经均值归一化校正后的每一个像素的灰度值Gadj(x,y):
式中Gorg(x,y)为当前单个麻将中坐标为(x,y)位置像素点的原始灰度值。
3.3 图像锐化
观察图2可知,由于拍摄设备和拍摄距离的局限性,麻将图案清晰度不高,需要采用图像增强方法增强图案。图像增强算法可以改善图像的视觉效果,提高清晰度[15]。在图像处理领域中,图像增强的常用方法是图像锐化。锐化是指对图像进行清晰度的加强,锐化处理的主要目的是突出灰度的过渡部分[7],补偿图像的轮廓,增强图像的边缘,使图像变得清晰,可分空域处理和频域处理两大类。由于频域处理需要空域转频域和频域转空域处理,计算复杂度较高,因此本文采用了空域处理法。空域处理的经典方法有梯度锐化法、拉普拉斯锐化法和USM锐化法。梯度锐化法处理后的图像仅显示轮廓,而灰度变化比较平缓的图案则显得很黑;USM锐化法需要设置锐化参数,较为复杂。拉普拉斯算法是偏导数运算的线性组合,具有增强边缘信息精确定位的优点。综合考虑计算复杂度和处理精度,本文采用四邻域拉普拉斯算法,其基本表达式如式(9)所示,利用式(10)可得锐化后灰度值Gsharpen(x,y),其中Gadj(x,y)为经过均值归一化处理后的整体排版麻将灰度图在坐标为(x,y)位置的像素点的灰度值。
图6(a)所示为锐化前整体排版麻将灰度图,图6(b)所示为锐化后整体排版麻将灰度图,比较可得,锐化效果十分明显,麻将图案变得更加清晰,图像质量得到较大提升。
图6 锐化前后整体排版麻将灰度图
3.4 色度增强
图像锐化不可避免地造成了图像信息的部分丢失,麻将图案线条变细而产生断裂现象,尤其是灰度值较高的部分,这部分麻将图案线条本身就较细,麻将图案线条分段现象更为严重,因此,需要对灰度值较大部分的像素点进行增强处理。图7(a)所示为未经任何校正的整体排版麻将灰度图,图7(b)所示为整体排版麻将V分量色度图,分析这两幅图像可得,在相同光照条件下,颜色鲜艳的红色图案的亮度更高,灰度值更大。基于这个特性,本文设计了色度增强法,通过分析整体排版麻将的V分量色度信息,补偿红色对应的图案部分,改善锐化后图像的质量。
图7 整体排版麻将灰度和色度图
由于本文采集图像的色度空间为YUV格式,因此容易得到反映图像红色成分的色度分量V。对整体排版麻将灰度图的每个像素点,若其在采集图像中对应位置像素点的色度分量V数值大于等于THc,则将该像素点的灰度值大小进行减半处理,暗化红色图案。THc取值大小影响麻将图像的红色图案区域大小,其取值过大,得到红色图案区域就过小,色度增强效果就不明显,其取值过小,得到红色图案区域就过大,部分非红色图案被划分到红色图案区域,色度增强过度,麻将图案信息产生失真,影响后续识别。经实验分析,本文THc取140。如图8所示,图8(a)为未进行色度增强校正的整体排版麻将灰度图,图8(b)为色度增强校正后的整体排版麻将灰度图,比较可得,图8(b)中“万”字麻将的红色部分亮度变暗,与黑色部分更为接近,有利于后续识别过程的二值化,很好地增加了识别精度。
3.5 图像去噪
图像去噪的目的是从受噪声污染的图像中恢复得到图像的有效信息,经典的图像去噪方法有均值滤波、中值滤波、维纳滤波[7,16]以及形态学滤波[7,17]等。其中,均值滤波能够很好地抑制图像中的颗粒噪声,但容易使图像变模糊;中值滤波是一种非线性的滤波技术,它可以克服均值滤波等线性滤波方法带来的模糊现象,在去除噪声的同时也能较好地保护图像边缘,但容易丢失一些图像的细节信息;维纳滤波采用最小均方误差准则,能根据图像的局部方差调整滤波平滑效果,善于保留图像的边缘和其他高频部分,尤其适用于去除白噪声。
图8 色度增强前后对比图
本文去噪是为了提高后续麻将图像二值化的精度,需要提高麻将背景和麻将图案的对比度,而一般去噪方法在去除噪声的同时容易模糊麻将图案,无法很好地提高二值化精度。因此本文针对这一需求,设计了一种能增强麻将背景和麻将图案对比度的去噪方法,提高后续二值化的精度。通过分析麻将图像特征,发现其噪声一般位于有光照阴影的区域,本文只对带阴影的麻将进行去噪处理,既减少了计算复杂度,又避免了非阴影麻将的图像失真。由于麻将图像的噪声普遍表现为椒盐噪声,在充分研究各类去噪方法的基础上,本文设计了一种基于幅值的四邻域统计局部去噪方法,对整体排版麻将灰度图中的每一个单麻将处理步骤如下:
步骤1判断待处理单麻将是否为带阴影麻将,若是,则进行步骤2,若否,则结束处理。
步骤2计算单麻将的噪声阈值TNseg,为了尽可能保留麻将图案特征,这个阈值应取稍大点的值。本文将单麻将的麻将背景中灰度值小于THwh的灰度均值作为TNseg,本文根据实验分析选取的THwh典型值为220。
步骤3统计当前像素点及其四个空间相邻的灰度值,若灰度值小于TNseg,则令numblack+1;若灰度值大于TNseg,则令 numwhite+1。
步骤4比较numblack和numwhite的值,若numblack≤numwhite,则将当前像素点判断为噪声,将其灰度值直接置为最大值255,即白色;若numblack≥numwhite,则不作处理。
如图9所示,图9(a)所示为未进行图像去噪处理的整体排版麻将灰度图,图9(b)所示为采用了基于幅值的四邻域统计局部去噪处理的整体排版麻将灰度图。从图中可以看出,图像上方阴影区域的噪声得到了很大的抑制,图像对比度得到了较好的增强。
图9 去噪前后效果对比图
4 实验结果与分析
本文方法在Window系统平台上用Matlab2011a编程实现,为检验该方法对光照不均麻将图像的处理效果,本章实验对分辨率为720P的摄像头采集的一组整体排版麻将图像进行光照不均校正,并与文献[7]中的全局直方图均衡化、局部直方图均衡化、同态滤波和多尺度Retinex这四种方法进行比较。
图10所示,图10(a)为受阴影影响严重的麻将图像原始灰度图,其中四个角落位置的麻将有不同程度的阴影。图10(b)为采用全局直方图均衡方法处理图10(a)后的图像,从效果上看,阴影面积扩大了,而且麻将图像变得更加模糊,图像质量更差。图10(c)为采用局部直方图均衡方法处理图10(a)后的图像,观察可知,局部直方图均衡法效果相比全局直方图均衡化方法有所提升,但阴影现象并未消除,右上角仍存在较为严重的阴影区域,这是因为局部直方图均衡化与全局直方图均衡化方法一样,只能在整体上提升图像的对比度,但是无法兼顾图像细节,图像细节十分粗糙,图像质量较差,效果不是很理想。图10(d)为采用Retinex方法处理图10(a)后的麻将图像,从图上可以看出Retinex方法能有效消除麻将图像的光照不均现象,但图像整体亮度也降低下来,尤其是麻将白色背景部分变成了灰色,经分析发现出现这种现象是该方法的必然结果。Retinex方法认为物体的颜色是由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定的,物体的色彩不受光照非均匀性的影响,以色感一致性(颜色恒常性)为基础。该方法将图像分解为入射图像和反射图像两部分,入射图像是光照产生的,而反射图像是物体的内在属性,其光照不均校正的基本思想是去除或降低入射图像(该部分变化较为缓慢,对应图像的低频分量)的影响,尽量保留能反映物体本质的反射属性图像。由于该方法为了消除光照影响,削弱了图像的低频分量,而麻将的背景区域是白色,其灰度值是基本恒定的,属于低频分量,因此麻将白色区域被削弱了,导致图像信息出现严重失真。图10(e)为采用同态滤波方法处理图10(a)后的图像,同态滤波在一定程度上改善了图像质量,但是难以消除阴影带来的不均匀现象。图10(f)为使用本文方法处理图10(a)后得到的图像,本文方法在均衡图像光照的同时,较好地保留了图像的细节信息。观察图10(f)可见,经本文方法处理后,麻将图像四个角落的阴影被有效消除了,而且图像变得更加清晰,视觉效果更佳,图像质量得到了较大的提升。
图11为处理高光类麻将的结果图,观察原始灰度图11(a)可知,图像中间部分光照强度大,高光现象严重,尤其是“万”和“中”字图案的亮度值过大,图像细节信息丢失,导致后续二值化效果不佳。观察图11(b)可知,全局直方图均衡化能降低“万”和“中”字图案的亮度,但是同时也使得图像上方的花牌麻将图案变得很模糊。由图11(c)可知,局部直方图均衡化方法对于高光类麻将图像效果不明显,与原图相比,图像质量并未发生太大变化。由图11(d)可知,Retinex方法能在一定程度上抑制高光现象,但是图像的整体亮度也下降较多,效果不佳,尤其是麻将白色部分失真尤为严重。观察图11(e)可得,同态滤波方法能有效抑制高光现象,但是麻将图像比原始图像稍显模糊,特别是图像上方的花牌麻将图案明显变模糊。图11(f)为本文方法处理高光类麻将的效果图,观察可得,本文方法有效抑制了“万”和“中”字图案的高光现象,而且图案变得更加清晰,图像质量得到了有效的提升。
图10 各类方法处理阴影类麻将的结果
图11 各类方法处理高光类麻将的结果
从图10和图11观察可知,在全局直方图均衡化、局部直方图均衡化、多尺度Retinex和同态滤波这四种方法中,同态滤波对于麻将图像光照不均校正的效果更佳,为进一步分析本文方法的效果,实验进一步选取了四幅图像,使用同态滤波和本文方法进行校正效果比较,如图12所示。从图中可以看出,同态滤波方法对于麻将图像的校正稳定性较差,其中高光类麻将图像校正后效果较佳,如图12(h)所示,而阴影类麻将图像校正效果不佳,如图12(b)、(e)、(k)所示。本文方法对于麻将图像的校正稳定性较佳,不论是高光类麻将还是阴影类麻将,校正后的图像对比度得到很好的提升,图案更为清晰。
图12 实验结果比较
5 结束语
图像光照不均的问题在工业视觉领域十分常见,它也是提高麻将打包机中麻将排版检测准确率的一个难点。本文提出了一种基于特征分类的麻将图像光照不均校正方法,该方法先对整体排版麻将图像进行分割,再对单麻将进行划分和分类,然后对不同光照类型麻将设计不同的图像处理,同时利用麻将图像的自身特征,进一步改善麻将光照不均现象。与直方图均衡化、同态滤波和Retinex等经典方法相比,本文方法基于麻将图像特性进行光照不均校正,不仅具有较好的校正效果,而且鲁棒性更佳,对于麻将光照阴影和高光现象均适用,可以有效地提高后续麻将识别的准确率。在本文方法的基础上,下一步将研究低复杂度高准确率的麻将排版检测方法。
[1]杨祖彬,代小红.基于图像配准的食品包装印刷缺陷检测与实现[J].计算机科学,2015,42(8):319-322.
[2]曾凡锋,付亚南,李良旭.基于区域的光照不均文本图像校正方法[J].计算机工程与设计,2014,35(12):4233-4237.
[3]吴金杰,杨翠荣,杨勇,等.一类光照不均图像的特征提取方法[J].计算机系统应用,2011,20(12):79-82.
[4]马超玉.光照不均匀条件下图像增强算法研究[D].长春:长春理工大学,2014.
[5]Bhukhanwala S A,Ramabadran T V.Automated global enhancement of digitized photographs[J].IEEE Transactions on Consumer Electronics,1994,40(1):1-10.
[6]Fries R W,Modestino J W.Image enhancement by stochastic homomorphic filtering[J].IEEE Transactionson Acoustics,Speech and Signal Processing,1979,27(6):625-637.
[7]Gonzalez R C,Woods R E.Digital images processing[M].3rd ed.Beijing:Publishing House of Electronic Industry,2007.
[8]Jang J H,Bae Y,Ra J B.Contrast-enhanced fusion of multisensorimagesusing subband-decomposed multiscale retinex[J].IEEE Transactions on Image Processing,2012,21(8):3479-3490.
[9]Lee S.An efficient content-based image enhancement in the compressed domain using retinex theory[J].IEEE Transactions on Circuits and Systems for Video Technology,2007,17(2):199-213.
[10]Abdullah-Al-Wadud M,Kabir M H,Dewan M,et al.A dynamic histogram equalization for image contrast enhancement[J].IEEE Transactions on Consumer Electronics,2007,53(2):593-600.
[11]Farid H.Blind inverse gamma correction[J].IEEE Transactions on Image Processing,2001,10(10):1428-1433.
[12]Agarwal T K,Tiwari M,Lamba S S.Modified histogram based contrast enhancement using homomorphic filtering for medical images[C]//2014 IEEE International Advance Computing Conference(IACC),2014:964-968.
[13]曹倩霞,罗大庸,王正武.光照突变场景中结合Phong模型的分层差分前景检测[J].计算机科学,2015,42(2):283-286.
[14]Zhang Z,Zhou N.A novel image segmentation method combined Otsu and improved PSO[C]//Advanced Computational Intelligence(ICACI),Nanjing,2012:583-586.
[15]李成,鞠明,毕笃彦,等.基于视觉特性的非锐化掩模图像增强[J].光电工程,2009,36(9):110-117.
[16]张瞳,朱虹,张然,等.复小波域维纳滤波与偏微分扩散相结合的图像去噪方法[J].中国图象图形学报,2009,14(5):848-852.
[17]钱素琴.基于最优形态学滤波的面料缝纫加工检测[J].中国图象图形学报,2008,13(10):1902-1905.
WANG Caisheng1,ZHU Wei1,2,HU Wenwen1,XU Xintao1
1.College of Information Engineering,Zhejiang University of Technology,Hangzhou 310023,China 2.United Key Laboratory of Embedded System of Zhejiang Province,Hangzhou 310023,China
Uneven illumination correction of mahjong image based on feature classification.Computer Engineering and Applications,2017,53(21):195-202.
To solve the uneven illumination of mahjong image for the visual detection of mahjong arrayal,an adaptive correction method of mahjong image based on the feature classification is proposed.Firstly,according to the feature analysis of mahjong’s arrangement,the background subtraction and projection methods are used to segment the whole mahjong image from the capture image.Secondly,the whole mahjong is divided into single mahjong,which is further divided into three types:highlight mahjong,shadow mahjong and uniform mahjong by the feature analysis of illumination.Thirdly,mean normalization is performed for the highlight mahjong and shadow mahjong.Fourthly,the whole mahjong image is sharpened,and its characteristics are strengthened by using the chrominance component.Finally,it uses the local method of analyzing the amplitude around to remove the noise of the shadow mahjong based on the feature of the noise.Experimental results show that the proposed method has better correction for the uneven illumination of mahjong image than state-of-art methods and can improve the recognition rate effectively for the mahjong arrayal detection.
mahjong image;uneven illumination;sharpening;chrominance;local denoising
A
TP391
10.3778/j.issn.1002-8331.1604-0369
国家自然科学基金(No.61401398)。
王财盛(1991—),男,硕士生,研究领域为机器视觉算法;朱威(1982—),男,博士,副教授,研究领域为视频编解码和图像处理,E-mail:weizhu@zjut.edu.cn;胡文文(1991—),男,硕士生,研究领域为嵌入式系统与应用;徐鑫涛(1991—),男,硕士生,研究领域为嵌入式图像处理。
2016-04-26
2016-07-04
1002-8331(2017)21-0195-08
CNKI网络优先出版:2016-09-29,http://www.cnki.net/kcms/detail/11.2127.TP.20160929.1618.010.html