一种基于SLIC的超像素快速色彩传递算法*

滕秀花，胡文瑜，陈 敏

(福建工程学院)

1 预备知识

色彩传递技术的是将源图像色彩意境传递给目标图像．该文提出的基于SLIC的超像素快速色彩传递算法，不但可以实现彩色图像之间的颜色校正;也可以将一幅彩色图像的彩色信息转移到灰度图像，即实现灰度图像彩色化．在实际应用中存在大量的黑白图像资料，如老照片、经典电影、一些医学图像等，给这些黑白的图像彩色化处理可以大大提高这些资料的视觉吸引力，增加图像的层次感，并且可以突出图像的一些细节特征、增加图像蕴涵信息．因此色彩传递是一项重要而富有意义的工作．

近年色彩传递的研究工作一般以Reinhard算法［1］提出基于像素点权值匹配的为基础，针对Reinhard算法在像素点的权值评价等方面存在的局限性，目前已经有了一系列的改进工作．滕等人提出利用色彩传递过程中获得的部分彩色纹理信息［2］辅助色彩传递，一定程度上提高了匹配精度;在此基础上，又提出了像素点多维特征向量的概念［3］并结合 ANN［4］搜索技术进行色彩传递，提高了搜索速度;在后续的工作中，提出在传递结果的基础上，加入了误传递检测机制［5］，同时提出了自身校正的策略，大幅减少了椒盐噪声，结果更为平滑．Levin等人［6-9］基于像素的空间自相关性，人工获取少量彩色像素点的基础上，实现彩色信息的相似区域生长，但是这类算法较大程度的依赖于边界的检测．

目前对于色彩传递的研究工作基本上为了特定的应用领域，如何更加有效的发现和描述图像的特征信息，如色彩渐变性［8］等，以便更加有效的区分图像间的不同纹理信息，使像素点的匹配更加准确．由于目前的色彩传递算法本身无法知道像素点描述的准确性、像素点的误匹配情况以及最后色彩传递后的误差，因此算法运行的效果及效率都有一定的局限性．

提出的基于SLIC的超像素的快速色彩传递算法保持了像素点匹配类算法的优点，同时克服了该类算法速度较慢的缺点．该文算法的主要思想如下:首先基于SLIC技术实现源图像和目标图像的超像素分割;然后根据超像素本身亮度及亮度变化情况，在自适应阈值范围内搜索，在源图像和目标图像之间寻找最相似的超像素对，由此进行匹配超像素对之间色彩传递．该算法有两个方面的创新:一是将超像素技术应用到色彩传递领域;二是提出了超像素的自适应阈值匹配，特征相似度达到自适应阈值时，就不再继续搜索，这样可以减少搜索匹配超像素的迭代次数，不仅提高了算法效率，同时进一步改善了传递效果，保证了源图像主色调的平滑传递．其工作是基于超像素匹配传递，实验中加入少量像素级的椒盐噪声，对传递结果没有影响，因此该算法具有一定的椒盐抗噪能力．整个传递过程都是全自动完成，没有任何的人工干预．

2 l*a*b* ［10］颜色空间

在色彩传递过程中，颜色空间的选择对算法传递效果具有很大的影响．色彩传递算法常常用到是l*a*b*颜色空间，其中，L*表示亮度信息，a*分别表示红绿和b*黄蓝信息．采用这个颜色空间主要是因为它的三个分量近似正交，能够最大限度的减小一个分量的变化给另外两个分量造成的影响．该文算法从SLIC分割的预处理，到超像素的匹配传递，都是在l*a*b*空间基础上实现的．

在进行颜色处理之前必须先将图像从RGB颜色空间转化到l*a*b*颜色空间，具体步骤如下:

(1)先将RGB空间转化到LMS空间

(2)将LMS空间转换到l*a*b*空间

(3)当图像处理结束后，要重新显示输出时，还须将l*a*b*空间转化为LMS

(4)最后LMS转化RGB

图1 不同尺寸的SLIC分割

3 基于SLIC的超像素分割

超像素［11-12］是对图像进行过度分割，在既定的区域周围，将图像中同质的内容归为一类，即为一超像素，如图1所示．超像素分割通常不会覆盖图像目标和背景的边界区域，即一幅图像划分为一系列超像素后，极少有超像素跨越目标和背景的边界，大多数超像素要么分布于目标区域，要么分布于背景区域．基于像素点的色彩传递算法，为了提高效率，需要样本采集，通常是在均分网格内随机取样．该文算法基于SLIC技术实现超像素分割后，在超像素中心采样，由于超像素是同质的，因此比均分网格采样更为完整，但是样本数更少．超像素模式可以简化图像的特征描述，是一种有效的加速工具．该算法所基于的SLIC［9］技术可以很好地保持了图像结构之间的边缘．

SLIC核心算法有描述如下:

图2 SLIC搜索区域

(2)每j类迭代处理过程:以该类重心为中心，逐一计算在2s*2s邻域内(如图2)各像素与该类中心点之间距离D，若D＜dis(i)，则i暂时归为该类j，D=dis(i);重新调整该类．其中

公式(1)不仅考虑了像素点之间的空间距离，还考虑了亮度其彩色信息的差异性．

4 自适应阈值

特征向量之间的距离计算有多种方式，如联合概率，欧氏距离等．当向量的距离计算用于匹配计算时，通常选取距离最小的两个向量作为匹配向量，但是本算法没有采取这种最小距离模式，而是为不同的源图像的整体亮度变化情况计算了阈值T:

5 基于SLIC的快速色彩传递算法

提出的基于SLIC的快速色彩传递算法，源图像和目标图像都进行了超像素分割，基本完整地提炼了图像的代表元素，在自适应阈值T的范围内实现了搜索匹配，不但提高了搜索速度，也改进了效果．其具体算法描述如下

(1)将源图像与目标图像的颜色空间转换到1*a*b*颜色空间．

(2)利用SLIC方法对源图像和目标图像进行超像素分割．

(3)目标图像进行亮度分布归一化处理，使得两幅图像的亮度分布在统一域段，在实验中发现如果目标图像不经过归一化处理，匹配效果基本失效，图像内容大片雾化．

(4)提取超像素中心像素点构成样本点集合，该文算法选取样本点亮度以及邻域方差代表超像素的纹理特征．

(5)计算两幅图像样本点之间的相似性距离，其公式如下．

(6)在自适应阈值T范围内，即Dis(q)T≥T，若相似性距离达到了最小，则结束搜索，将源图像匹配样本点彩色通道αβ信息传递到匹配的目标图像样本点．

(7)目标图像以获取了彩色信息的样本点为种子，将种子像素的彩色通道αβ信息延伸至同一超像素的其他像素．

(8)恢复目标图像的亮度信息，并将图像的颜色空间转换回RGB，完成了色彩传递．

6 实验验证与结论

6．1 实验结果比较

该算法基于 OpenCV2．4．4进行了实验，比较了像素点匹配的其他算法及该文算法的自适应阈值以及非自适应阈值的运行结果，两组实验结果比较如图3．

图3 两组实验结果比较

实验数据表明，传统的像素点匹配方法在传递过程中容易出现小颗粒椒盐噪声，如果后期利用检验机制实现自身校正，一定程度上可以减少椒盐噪声，但是占用了一定时间开销．该文提出的算法在SLIC超像素分割基础上，兼顾了相似图像内容之间的邻域相关性，保证样本信息完整的情况下，样本点总数大幅下降，不但提高了速度，传递效果也得到了改善．

同时实验表明，固定的距离阈值不能满足不同图像对之间有效传递，因此本算法的阈值根据公式(2)进行了自适应调整，速度方面进一步提高了，又保证源图像主色调的传递．在实验中人工设定的阈值如果超过了自适应的阈值，就会出现实验附图中的如下情况:(1)整体色调被削弱;(2)错误匹配，出现超像素噪声;如果设定的比自适应的阈值小，色调则过于强烈，超像素噪声也会相应增加，影响了整体效果．实验证明了的自适应阈值可以很好的适应不同图像对的有效传递．

6．2 算法的时间性能比较

实验对不同尺寸的图像运行时间都进行了计算，图4显示了图3两组实验图像的不同算法运行时间(seconds)，该文算法的运行速度最快．

图4 1024×768图像各种算法运行时间(secods)

该文算法的运行不需要任何先验知识，没有任何的人工干预，自动完成整个传递过程，速度比单纯像素点匹配算法快很多．但是该算法仍存在几个方面的不足:(1)较大程度依赖于超像素分割后边缘保持的完整性;(2)该算法在纹理方面的考虑占有一定的权值，因此对卡通图像传递会失效．因此该算法后续工作可以从两种方式进行改进:(1)寻找一种更为适合的超像素特征的描述方式，进一步改进复杂场景的传递效果;(2)在传递结束后，寻找一种超像素级校正机制，以期得到进一步的改善效果．

［1］ Reinhard Erik，Ashikhmin Michael，Gooch Bruce．Color transfer between images［J］．IEEE Computer Graphics and Applications，2001，21(5):34-41．

［2］ 滕秀花，陈昭炯，叶东毅．一个利用色彩纹理信息的灰度图像色彩传递方法［C］．计算机研究与发展，2005，42(A):256-259．

［3］ 滕秀花，陈昭炯，叶东毅．一个新的基于多维特征向量和ANN搜索技术的灰度图像色彩传递算法［J］．计算机应用，2006，26(12):2866-2868．

［4］ Arya S，Mount DM，Silverman R．An optimal algorithm for approximate nearest neighbor searching in fixed dimension［J］．Journal of the ACM，1998，45(6):891-923．

［5］ 滕秀花，陈昭炯．一种利用源图自身校正的图像色彩传递算法［J］．贵州大学自然:科学版，2009，26(12):2866-2868．

［6］ Wang Meiyu，Chen Zhaojiong．A Color Transfer Algorithm Based on Neighborhood Correlation and Optimization Techniques［C］．In proceeding of Computation Intelligence and Design，2011．31-34．

［7］ Levin A，Lischinski D，Weiss Y．Colorization using optimization［C］．In proceeding of ACM SIGGRAPH，2004．689-694．

［8］ Chen Zhonjiong，YE Dongyi，Zhao Xin．A new Colorization Transfer Algorithm Based on Dynamic Neighbor-relevant Chromatic Channel Information［J］．Journal of Algorithm ＆Computational Technology，2008，2(1):49-59．

［9］ Yoshio Yanagihara，Kumiko Komatsu，Shoji Tatsumi．A study of Color Transfer Methods with Color Gradation and Distribution of Nature Picture［C］．IEEE International Conference on In proceeding of Control System，Computing and Engineering，2012:23-25．

［10］ Welsh T，Ashikhmin M，Mueller K．“Transferring Color to Greyscale Images”．In Proceedings of SIGGRAPH ，2002．277-280．

［11］ Radhakrishna Achanta，Appu Shaji，Kevin Smith．SLIC Superpixel Compared to State-of-the Art Superpixel Methods［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(11):2274-2281．

［12］ Wang Jie，WangXiaoqiang．Simple and Efficient Superpixels Using Edge-Weighted Centroidal Voronoi Tessellations［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34(6):1241-1247．