高光去除的聚类算法改进①

2020-01-15许丽,宋滢

计算机系统应用 2020年1期

许丽,宋滢

(浙江理工大学信息学院,杭州 310018)

在计算机视觉的许多应用中,如边缘检测[1]、目标或者场景的识别[2,3]、特征匹配[4],基于图像的多视角几何三维重建[5],处理的物体或者场景的图像都是基于理想的朗伯表面假设,当用这些算法处理非朗伯表面时效果往往并不理想,由于拍摄的物体或场景的图像含有高光区域,这时会出现无法检测识别场景和物体,特征点少,以及重建出的几何不完整的现象.双色反射模型[6]提出,图像是镜面反射分量和漫反射分量的线性组合.漫反射和镜面反射是由光和物体表面之间不同的物理相互作用形成的.在非均匀光照条件下,物体表面会出现高光现象,这是物体表面强反射造成的.为了提高这些算法在计算机视觉领域的精确性,去除单张图像中的高光部分很有必要.

Tan 等人[7]提出近似于仅含漫反射的无高光图像,迭代地将高光位置的色度替换为相邻像素的最大漫反射色度,直到算法收敛.利用漫反射分量与镜面反射分量的差别达到去除镜面反射分量的目的,但是这种方法非常耗时.Shen 等人[8]使用改进的SF 图像MSF 图像(Modified Specular-Free image,MSF),MSF 图像色度的计算比Tan 等人[7]的SF 图像计算出的色度更具鲁棒性,然后利用最小二乘法分离镜面反射分量和漫反射分量去除图像中的高光.Shen 和Cai[9]根据镜面区域与漫反射区域边界平滑过渡的准则对镜面反射分量进行调整,此方法没有进行耗时的迭代处理,使计算更简单,但是效果一般.Shen 等人[10]在最小最大色度空间对像素点进行聚类,将每个类的像素点的最大强度值与最大强度值和最小强度值差值之比升序排列,取序列中值作为该类所有像素点的统一的强度比值,用于分离镜面反射分量.Souza 等人[11]发现相关像素点在最小最大色度空间中的分布呈三角形,故选出固定的3 个种子点将相关像素点聚类为3 类,估计出每个类的统一的强度比,去除图像中的镜面分量.以上方法都不同程度的存在图像颜色失真和纹理丢失的问题.Li 等人[12]利用黑色素和血红蛋白的模型表示面部皮肤的漫反射颜色变化,并用这个物理模型约束高光去除的解决方案,这就不需要摄像机颜色校准,可以对在多种光照环境中的人脸图像进行高光去除,但这种方法需要人体皮肤和面部的物理和统计的先验知识并且只局限在脸部高光的去除.Yang 等人[13]利用多视角图像序列去除镜面反射分量,但通常没有场景或物体的多幅多视角图像.Ren 等人[14]将RGB 颜色空间转换到球形坐标系下,通过聚类像素点去除高光.Yang 等人[15]将最大漫反射色度估计值作为低通滤波器的值域,处理后的最大漫反射色度用于镜面反射分量去除.Wang 等人[16]利用强度比去除高光分量的方法产生高光区域的图像掩码,随后进行图像修复工作,但这只针对海洋表面图像的解决方法.

本文针对高光图像颜色失真或者纹理缺失的现象对像素聚类算法做了相关的改进,像素聚类的方法使用不需要用户指定分类数的聚类方法x-means,自动确定像素点的分类数.实验结果表明,该方法能够有效的去除图像高光和改善图像颜色失真的现状.

1 双色反射模型

大多数非均匀材质的物体,如塑料制品、丙烯酸树脂制品等,都同时表现出漫反射和镜面反射.漫反射是由于物体表面和物体内部折射率的变化引起的,而镜面反射主要是由于物体表面和空气折射率的不同引起的.根据双色反射模型[6],假设光照颜色是均匀的,数码彩色相机拍摄的非均匀物体图像的像素x 位置处的RGB 颜色向量 I (x)可以表示成式(1):

Shen 等人[10]定义色度(Chromaticity)表示像素点颜色的归一化,色度定义为式(2):

2 高光去除相关理论

本文去高光过程如图1 所示.首先计算MSF 图像(b),根据MSF 图像计算所有像素点的最小漫反射度(c),最大漫反射(d).在最大最小色度空间对高光区域相关像素点进行x-means 分类(e),根据分类结果估计强度比分离漫反射分量(f)和镜面反射分量(g).

2.1 强度比

对于同种颜色的非均匀材质的表面,可分为仅含有漫反射分量的像素和同时有漫反射分量和镜面反射分量的像素,Shen 等人[10]在此基础上,提出了强度比的概念,即利用漫反射像素点的最大强度值与强度范围值(最大强度值减去最小强度值)之比,对于颜色非均匀的表面根据强度比值在最小最大色度空间中对像素进行聚类,用来去除图像中的高光.

图1 高光去除过程

文献[10]将强度比Iratio(x)的定义为式(4):

通过上述式(4)可知,漫反射像素点强度比的计算仅和漫反射色度值有关,并且高光区域像素点强度比值大于只含有漫反射的像素点.由于高光附近区域的漫反射像素点依然受到高光的影响,因此这些漫反射像素点的强度比值难以估计.

2.2 漫反射色度估计

Shen 等人[8]提出用MSF 图像计算漫反射色度.输入的图像减去 Imin加上 Imin的均值得到MSF 图像Isf(x)=md(x)(Λ(x)−Λmin(x))+.通过 Isf图像可以计算像素点的漫反射色度其中 c ∈{r,g,b}.漫反射点的强度比仅依赖于最小漫反射色度和最大漫反射色度高光去除针对的是高光区域以及与之相关的区域,与高光无关的像素不应参与后续计算.当 Imin(x)>时认为该像素点与高光区域有关,否则认为不含有高光分量,在后续计算中应被丢弃.

3 像素聚类方法的改进

文献[10]计算未分类的像素点与所有类中心点的色度距离,但是需要设置阈值控制像素点的分类,这导致分类结果依赖于阈值.文献[11]选取初始的3 个种子点,将相关像素点转换到最小最大漫反射色度空间,迭代两次K-means 算法[17]将每张图像高光相关像素点分为3 类,估计出每类稳健的强度比,用于去除高光.然而这种方法有一定的局限性,两次K-means 算法迭代不一定达到收敛的状态或者收敛到局部最优解.

本文提出使用x-means 聚类算法[18]进行相关像素的分类,该算法使用kd-tree 算法(k-dimensional tree)[19]对K-means 算法的每一轮迭代进行了加速,根据贝叶斯信息准则分数(Bayesian Information Criterion score,BIC)确定一个最优分类数K,无需用户指定.每一轮迭代对每一类只进行了2-means 分类,2-means 分类对局部最优解不敏感,所以能够达到更好的分类效果,分类效果如图1(e)所示.

本文在最小最大漫反射色度空间用二范数定义两个像素点的距离为式(5):

文献[10]提出镜面反射分量S (x)为式(6):

这时 Imax(x)=Iratio(x)∗Irange(x)会导致S (x)为零.故使用x-means 对像素进行分类后,将每类像素点的强度比升序排列,取中值作为每类稳健的强度比估计值,将每个类的像素点强度比设为该值,可以解决S(x)为零的问题,从而分离镜面反射分量如图1(g)所示,得到的无高光图如图1(f)所示.

x-means 算法如算法1.

算法1.x-means 聚类算法1)随机选取一个聚类中心点c(x,y).xi dΛ(xi,c)2)计算所有像素点与中心点的漫反射色度距离进行初始分类.3)得到初始分类结果后,再依次找每一类的两个相对离得较远的点作为初始中心点,然后对当前类运行一次K-means (K=2)算法.4)计算每个类分裂前与分裂后的BIC 分数,BIC 值越大越好,以此决定保留分裂前的状态还是分裂后的状态.5)回到2)进行迭代,如果前后两次迭代中心点的数量一样,则结束整个分类过程.

4 实验结果与分析

文献[10,11]都是基于强度比去除镜面反射分量,为了验证本文方法的有效性,在Shen 和Zheng[10]的数据集上,将本文实验结果与这两篇文献做比较.本文实验平台为Intel(R)Core(TM)i5-4590 CPU @ 3.30 GHz 12 GB RAM,使用OpenCV 2.3.1 库[20]进行测试.

本文测量标准高光去除数据集[10]中50 幅图片的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR).表1为本文方法与文献[10,11]方法的PSNR 值比较,PSNR值越大说明结果图像越接近原图像.结果显示,本文的方法在3 幅图像上的PSNR 值与文献[10,11]比均有所提高.图2 为本文方法与文献[10,11]可视化结果的比较,可见本文在视觉效果上也有明显改善.Shen 和Zheng等人[10],Souza 等人[11]在处理图像时会有明显的颜色不一致现象,如animals 图2(c)、图2(d)框选处,本文与[10,11]相比在框选处皆有明显的改善,最大程度的保留了图像纹理和颜色.

表1 不同方法的PSNR 值

表1 中对比了3 个算法的峰值信噪比.对于animals图本文方法比Shen 等人[10]的峰值信噪比提高了0.99,比Souza 等人[11]峰值信噪比提高了0.67,峰值信噪比越高表明图像越接近真实图像.对于cups 图,本文方法比Shen 等人[10]的峰值信噪比提高了0.52,比Souza等人[11]峰值信噪比提高了0.91.对于mask图,本文方法比Shen 等人[10]的峰值信噪比提高了1.44,比Souza等人[11]峰值信噪比提高了0.79.