基于随机森林和超像素分割优化的车载红外图像彩色化算法

沈振一，孙韶媛，侯俊杰，赵海涛



基于随机森林和超像素分割优化的车载红外图像彩色化算法

沈振一1,2，孙韶媛1,2，侯俊杰1,2，赵海涛3

（1. 东华大学 信息科学与技术学院，上海 201620；2. 东华大学 数字化纺织服装技术教育部工程研究中心，上海 201620；3. 华东理工大学 信息科学与工程学院，上海 200237）

为了将红外图像中所包含的信息更加友好、直观地呈现给用户，改善用户对于红外图像的理解效果，针对车载红外图像的特点，提出了一种基于随机森林分类器和超像素分割算法相结合的车载红外图像彩色化算法。首先对原图的各个像素点进行特征提取，然后训练随机森林分类器，使它能够对待测试图像的各个像素点进行正确的分类。再使用超像素分割与直方图统计相结合的方法对分类结果图像进行优化。最后将优化后的分类结果图像转换到HSV色彩空间进行对应的色彩传递。通过实验证明该方法能够在很好的对红外图像进行彩色化处理的同时，保证色彩传递的正确性和实时性。

车载红外图像；图像彩色化；随机森林；超像素分割

0 引言

红外图像的主要研究内容包括目标检测[1-2]、深度估计[3]、彩色化[4]等。近年来随着图像彩色化研究的不断深入，如基于标签转移算法的图像分类彩色化技术[5]和分层分割技术[6]以及使用局部特征描述符和条件随机场（CRF）相结合的图像分类彩色化技术[7]。但在红外图像彩色化研究的领域中，主要依然停留在基于图像分割基础上的红外图像彩色化算法[8]，导致最终的彩色化结果过分依赖于图像分割的结果。基于标签转移的彩色化算法则需要建立大量匹配图像库，且随着库中的图像增多，算法进行图像匹配所花费的时间也越多。

本文提出了一种基于随机森林和超像素分割优化的红外图像彩色化算法，该算法具有输出结果稳定，实时性能优越等特点，避免了基于分割算法中只要出现分割错误而出现大面积的色彩错误传递的问题。首先需要对样本图像进行特征提取，并对随机森林分类器进行训练。将训练好的上述分类器用于对测试图像像素点的分类，根据图像的特点分类器将像素点分成天空、地面和树木3个类别。由于在分类器输出的结果中存在很少部分的像素点被错误分类的情况，从而出现分类输出结果不连续的现象。需要对分类器的输出结果进行优化，去除那些被错误分类的像素点。将最终分类图像的色彩空间转为HSV空间，根据对应的分类赋予对应的色调，并将原图像的灰度值转为最终彩色图像的层的值。

1 随机森林及特征提取

1.1 随机森林算法

随机森林算法由Leo Breiman[9]和Adele Cutler[10]提出，其实质是一个包含多个决策树的分类器。基于Bootstrap方法的重采样，产生多个训练集。随机森林算法在构建决策树时采用了随机选取分裂属性集的方法。当测试数据进入随机森林时，即让每一棵决策树进行分类，最后取所有决策树中分类结果最多的那类为最终的结果。

1.2 基于Law’s掩膜的多尺度特征提取

对于每个像素点而言，需要计算一系列的特征值来捕捉每个像素及其周边一定范围内的像素所蕴含的视觉特征，同时需要对还需要结合该像素点的位置信息等。借鉴于文献[11-12]中的特征提取方法，使用Law’s掩膜对图像进行3个尺度的特征提取，其特征如图1所示。

图1 Law’s掩膜

图2即为Law’s特征掩膜，在特征提取时使用Law’s掩膜分别在上述训练图像的3个不同尺度上进行卷积，输出结果为F(,)，＝1,2,…,9。定义每个超像素块上的纹理能量如下式：

其中，当＝2,4时的E()分别代表了像素纹理的能量和峰度特性。因此每个像素有9×3×2＝54个特征，最后再结合像素点上的、位置信息，那么对于每个像素提取了一个56维的特征与之对应。

2 超像素分割和直方图统计优化算法

由于随机森林的输出结果图中包含了部分不连续的错误分类的点，所以本文使用超像素分割对原始的分类图进行分割，分割成超像素块。再对超像素块内部进行直方图统计。在超像素内部统计到的分类属性最多的那一类，最终标记为超像素所在的最终分类。

2.1 SLIC超像素分割

SLIC超像素分割由Radhakrishna Achanta等人[12-14]提出，与其它超像素分割算法[15-16]相比，该算法分割速度快、内存使用效率高、算法效果好，非常适合对于车载红外图像的优化处理。具体生成超像素算法如下：

2）在每个超像素中心位置的2范围内计算每个像素点到中心的距离。其距离计算公式如下式：

式中：c为色彩上距离；s为空间距离；用来调整c和s之间的比例关系。

3）每一个像素点都被归为与它距离¢最小的类别。重新计算每个超像素的中心位置，重复步骤2）。

2.2 超像素内部分类结果直方图统计

为了去除随机森林分类结果中存在部分像素点错误分类的情况，增强像素点之间分类结果的连续性。在超像素分割之后，在超像素内部使用直方图统计，整个超像素的所属分类结果将被标记为统计结果中出现频率最大的类别。若天空、地面、树林和行人的所属分类分别用数值0～3表示，超像素中包含某种分类结果的数量用()(Î0,1,2,3)，某超像素块所属分类用Sup表示那么超像素直方图统计公式如下所示：

()＝max(),Î0,1,2,3Sup＝(3)

3 红外图像彩色化算法

首先创建和原始图像大小一致的RGB图像，将图像的色彩空间转换至HSV色彩空间。设1＝max{,,}，2＝min{,,}，RGB转换为HSV色彩空间公式如下式：

式中：为彩色图像的色调层；为彩色图像的饱和度层；为彩色图像的亮度层。在彩色化中根据先验知识，根据最终优化后的分类输出的分类结果，将对应的色调和饱和度赋予对应的像素点，其取值范围均为0～1之间。

本文选用在自然界中最常用的天空、树木、道路的色调，并且将行人作为重要的目标物用红色予以警示。如天空的色调值为0.55，树木的色调为0.32，道路的色调为0.09，对应的饱和度都为0.65，行人的色调值为0.016，饱和度值为0.92。关于色调与饱和度的取值可以有多种，彩色化后可以根据用户的视觉习惯相应调整。色调、饱和度亮度值如表1所示。

表1 彩色化色调、饱和度亮度值选用

由于红外图像主要为亮度信息，因此需要在彩色化后的图像中保留这一至关重要的信息，因此将原红外图像的亮度值赋予给最终彩色化后的图像的层。使得最终彩色化后的图像保留了红外图像的原始信息。

4 实验步骤及结果分析

4.1 算法步骤总结

1）特征提取并训练随机森林分类器。

2）测试图片输入训练好的随机森林分类器进行分类，获得分类结果图。由于随机森林分类器分类输出的结果只是根据局部像素点周围的特征进行分类，而局部特征缺少了对整个图像全局信息和梯度变化等信息的把握，因而有必要引入超像素分割来从全局角度对图像进行处理。

3）对分类结果图进行超像素分割，将局部的像素点聚类成超像素块，进而对超像素块进行处理，并在超像素内部进行直方图结果统计，最终确定超像素块的所属分类。

4）将色彩空间转为HSV空间，根据对应的分类赋予对应的色调，并将原图像的灰度值转为最终彩色图像的层的值。

算法流程图如图2所示。

图2 算法流程框图

4.2 实验结果

本文所使用的训练图像的尺寸大小为344×132像素，去除边后所使用的尺寸大小为340×128像素。本实验使用8幅图像作为训练图像，700幅图像为测试图像。训练用的8幅样本图像和对应的分类图像构成了最原始的训练集。训练所使用的图像的3个不同尺度的图像与对应像素分类图如图3所示。

图3(a)～(c)分别为训练图的3个不同尺度，不同尺度上的图像包含的信息不同，尺度较小时包含的信息更加趋向于全局信息，大尺度则包含的局部信息更加丰富。(a)为图像的原始尺度，图像(b)为原始图像在横纵坐标上按照2:1的比例采样，采样后再经过缩放处理，所以(a)与(b)拥有相同的图像尺寸，但尺度减小了1/4。同理图像(c)在图像(b)的基础上进行2:1采样，在图(b)的基础上缩小了1/4。训练用的8幅样本图像和对应的分类图像构成了最原始的训练集，如图3(d)所示。

图3 训练用图的3个不同尺度与分类图

将原始图像中的像素通过人工标定的方式得到如图3(d)为训练图像所对应的分类图。根据人的经验将原始图像的像素分类为不同的类别。对于图像中像素的分的种类不同可以用不同的数字量表示，由于是灰度图像因此每个像素点最多可以分出256种类别的分类。但是由于红外图像的分辨率和所包含的颜色信息不充分，所以分类的种类数目受到限制。

本文将训练图像的像素点分成天空、树木、道路、和行人4个类别，每一个像素点的特征向量输入随机森林分类器后都将归为上述类别中的一种。在训练图中将对应的类别量化处理，将天空像素分类用数值0表示、树木像素分类用100表示、道路像素分类用200表示、行人目标用像素值255表示。

在原始的训练图像上进行特征提取，详细方法如1.2节中所述。根据1.2可知，每个像素均有一个56维的特征向量代表该像素点与其周围一定范围内图像的特征。

将700幅测试图像输入随机森林分类器中，根据所有的700幅原始图像中选择典型的9个场景作为示例，并且依照场景的时间顺序排序。如图4中第1行所示即为从车载红外视频中选取的原始图像。如图4中第2行所示为原始图像经过训练完毕的随机森林分类器处理后输出的分类图像，通过分类器输出后原始图像中的每一像素都被标记为对应的所属类别。

超像素分割算法对分类器输出的图像进行分割并在超像素块内进行直方图统计。优化结果如图4中第3行所示，图像通过超像素分割与超像素内部直方图统计优化之后去除了那些不连续的错误分类的像素点，增强了分类图像的连续性。本文中由于红外图像的原始尺寸仅有340×128像素，所以若将超像素初始边长参数设置过小则无法去除噪点，同样若参数的设置过大则可能会造成分割后超像素块过大的问题，所以通过计算边界准确率来确定参数的最优值[14]。本文中将初始的超像素边长大小值为＝10，即初始超像素块中包含10×10＝100个像素点。

最终将优化的结果图像进行彩色化处理最终的效果图如图4第4行所示，原始的车载红外图像根据对应的分类赋予对应的色彩。

4.3 算法效果对比分析

本文算法与基于Fisher评价函数的多阈值红外图像分割彩色化算法[8]进行比较，结果如图5所示。

由于像素点的错误分类率将直接影响彩色化的效果，设定当错误分类像素占图像所有像素数目5%以上的情况为错误的像素点超过阈值，因而不适合彩色化。因此分别通过统计700幅图像中发生的错误分类的像素点的数目若小于5%则可以进行彩色化。达到彩色化要求的图像的比例如表2所示。

由于基于Fisher评价函数的多阈值图像分割彩色化算法，其最后彩色化结果严重依赖于分割的正确率，若分割错误则将产生大片的错误分类的像素，导致最后彩色化结果出现大面积的对应像素的色调不正确，如地面出现了天空的色调。而文本的算法基于像素级别的分类，错误的分类只会影响该像素，而不会导致其周围的像素出现问题。再结合超像素分割和直方图统计算法，将进一步有效的遏制错误像素错误分类的情况，进而使得最终的红外图像的彩色化更加准确。

在实时性能方面，基于双核I5-3470CPU和8GB内存，本算法处理每一帧图像的耗时大约为1.5～1.7s。

5 结语

本文对于车载红外图像彩色化提出了一种新的算法，经过实验证明该算法对红外图像进行彩色化处理的同时保证了色彩传递的正确性和实时性。由于红外图像的纹理信息较为单一，且只有亮度信息，所以目前阶段对于车载红外图像的场景比较简单的情况进行分类。且分类的种类比较单一，后续将对车载红外图像彩色化做进一步的研究。

Fig.4 The results of the experiment

图5 彩色化算法效果对比

Fig.5 Comparison of the algorithm results

表2 分类错误像素小于5%的比例

[1] 孙宁, 翟尚礼, 赵春光. 扫描型红外图像实时目标检测研究[J]. 中国图象图形学报, 2011(4): 600-605.

Sun Ning, Zhai Shangli, Zhao Chunguang. Studies on real-time target detection of scanning infrared images[J]., 2011(4): 600-605.

[2] 王艳, 鲍建跃, 林晓春, 等. 基于FPGA的红外图像目标检测[J]. 西安电子科技大学学报, 2003(5): 403-407.

Wang Yan, Bao Jianyue, Lin Xiaochun, et al. Infrared image target detection based on FPGA[J]., 2003(5): 403-407.

[3] 孙韶媛, 李琳娜, 赵海涛. 采用KPCA和BP神经网络的单目车载红外图像深度估计[J]. 红外与激光工程2013, 42(9): 2348-2352.

Sun Shaoyuan, Li Linna, Zhao Haitao. Depth estimation from monocular vehicle infrared images based on KPCA and BP neural network[J]., 2013, 42(9): 2348-2352.

[4] 邹芳喻, 孙韶媛, 席林, 等. 具有深度视觉感的车载红外图像彩色化方法[J]. 激光与光电子学进展, 2013, 50(1): 106-112.

Zou Fangyu, Sun Shaoyuan, Xi Lin, et al. Color stereo vision method of vehicular infrared images with depth perception[J]., 2013, 50(1): 106-112.

[5] Ce Liu, Yuen, J: Nonparametric Scene Parsing via Label Transfer[J]., 2011, 33 (12): 2368-2382.

[6] Yang Y, Hallman S, Ramanan D. Layered object models for image segmentation[J]., 2012, 34(9): 1731-43.

[7] Yang Yiqing, Li Zhouyuan, Zhang Li. Local label descriptor for example based semantic image labeling[C]//, 2012, 7578: 361-375.

[8] 代中华, 孙韶媛, 许真, 等. 一种车载红外视频彩色化算法[J]. 红外技术, 2010, 32(10): 0595-0600.

Dai Zhonghua, Sun Shaoyuan, Xu Zhen, et al. A colorization algorithm for vehicle infrared vehicle infrared video[J]., 2010, 32(10): 0595-0600.

[9] Breiman L. Random forests[J]., 2001, 45(1):5-32.

[10] Andy L, Matthew W. Classification and regression by random forest[J]., 2002, 2(3):18-22.

[11] Saxena A, Sun M, Aanrew Y Ng. Learning 3-D scene structure from a single still image[C]//11, 2007: 1-8.

[12] Saxena A, Sun M, Aanrew Y Ng. Make 3D: Learning 3-D scene structure from a single still image[J]., 2009, 31(5): 820-840.

[13] 王春瑶, 陈俊周, 李炜. 超像素分割算法研究综述[J]. 计算机应用研究, 2014, 31(1): 0006-0012.

Wang Chunyao, Chen Junzhou, Li Wei. Review on superpixel segmentation algorithms[J]., 2014, 31(1): 0006-0012.

[14] Achanta R, Shaji A, Smith K, et al. SLIC Superpixels compared to state-of-the-art superpixel methods[J]., 2012, 34(11): 2274-2282.

[15] Felzenszwalb P F, Huttenlocher D P. Efficient graph-based image segmentation[J]., 2004, 59(2): 167-181.

[16] Liu M Y, Tuzel O, Ramalingam, et al．Entropy rate superpixel segmentation[C]//, 2011: 2097-2104.

The Vehicle Infrared Image Colorization Algorithm Based on Random Forest and Superpixel Segmentation

SHEN Zhen-yi1,2，SUN Shao-yuan1,2，HOU Jun-jie1,2，ZHAO Hai-tao3

（1.，，201620，；2.,，，201620，；3.，，200237，）

In order to improve the effect of the information contained in the infrared image which makes the infrared image much more friendly and intuitive to users. According to the characteristics of the vehicular infrared image, this paper proposes a vehicular infrared image colorization algorithm, which is combined of random forest classifier and superpixel segmentation algorithm. Firstly this method extracts the original characteristic of each pixel, and then trains the random forest classifier which can make sure that each test image classified correctly. Secondly it can use the combination of superpixel segmentation and histogram statistics to optimize the classification results. Finally it can convert the optimization of classification result images to HSV color space and do the corresponding color transfer. The experiments prove that this method can be very good in dealing with infrared image colorization, and at the same time, it can ensure the accuracy and timeliness of color transfer.

vehicular infrared image，image colorization，random forest，superpixel segmentation

TN219

A

1001-8891(2015)12-1041-06

2015-05-11；

2015-07-15.

沈振一（1990-），男，浙江嘉兴人，硕士研究生，研究方向为红外图像处理、机器学习。E-mail：szy1900@qq.com。

孙韶媛，女，副教授。E-mail：shysun@dhu.edu.cn。

国家自然科学基金资助项目，编号：61072090，61205017，61375007。