Bayer格式图像的实时彩色复原

罗 潇，孙海江，陈秋萍，陈 静，王延杰

（中国科学院长春光学精密机械与物理研究所，吉林长春130033；2.中国科学院研究生院，北京100039）

Bayer格式图像的实时彩色复原

罗 潇1，2，孙海江1，2，陈秋萍1，2，陈 静1，2，王延杰1

（中国科学院长春光学精密机械与物理研究所，吉林长春130033；2.中国科学院研究生院，北京100039）

为了减少算法的计算量，保证系统的实时性，本文针对Bayer格式图像提出了一种有效的彩色复原插值算法。插值过程中利用了人眼的视觉特性，能够更精确地得到图像的亮度信息和边缘信息。利用彩色图像的边缘特性更精确地复原了边缘处的R、G、B值。算法最终解为一系列5×5大小稀疏的线性滤波器，其复杂度低，实现简单，能在计算机各种嵌入式处理器中完成实时处理。实验证明，本算法的峰值信噪比（PSNR）比通常采用的双线性算法高4～6 db，且有效地减少了插值算法中出现的锯齿现象，使图像彩色的复原性和实时性比双线性算法更优越，具有一定的应用价值。

彩色滤波阵列；去马赛克；彩色复原；插值算法

1 引 言

单CCD相机已广泛应用于工业控制的各个领域。这种单CCD相机通过彩色滤波阵列（Color Filter Array，CFA）来获得图像的彩色信息，但这样采集的图像在每个像素的位置上只能获得一种颜色分量，要获得另外两种缺少的颜色分量就必须通过相邻像素来估算，这个过程叫CFA插值。通过CFA插值获得全彩色图像的过程即彩色复原。

在过去20年中，彩色复原使用的方法一直是图像处理的研究热点。一般来说，彩色复原算法可以分为两类：第一类是不利用颜色通道之间相关性的算法，包括邻域插值法、双线型插值法、卷积插值法等，其规律是未知的绿色像素分量仅由周围已知的绿色分量进行插值估算，对红色和蓝色通道亦是如此。这一类算法容易实现，在平滑区域内可以得到比较满意的效果，但在高频区域尤其是在边界区域却失真明显。第二类则是利用多通道相关性进行插值，这一类算法常常结合了对图像细节的分析判断以及颜色通道之间的相关性，插值效果要明显优于前一类。例如，基于边界的算法、加权系数法、交互式插值法、最优化恢复法等，这些算法通常能得到比较满意的效果，尤其是清晰的边界与细节特征，但往往算法较复杂，无法应用于数字摄像机系统［3～7］。因此，怎样找到一个还原效果好，计算复杂度较低的算法运用在嵌入式平台中成为迫切需要解决的问题。针对这一问题，本文运用图像边缘的特性，针对Bayer格式图像提出了一个计算量少、复原效果好的算法。通过Matlab仿真实验，发现此算法的峰值信噪比（PSNR）比常用的双线性算法的PSNR高4～6 db，在满足实时处理要求的同时，还原效果取得了较大的提高。

2 常用算法与改进的算法

选择好的插值算法对获取高质量图像非常重要，一般来说，选用的方法越复杂，插值产生的质量越高，但需要的处理时间也越长。为了达到实时显示的目的，实际应用中很多摄像机系统不采用计算量比较大的插值方法，而是在性能和复杂度上取一个能接受的平衡。双线性插值算法在平滑区域实现插值相对简单、效果较好，并且得到了广泛的应用，也成为权衡新算法优劣的标志。

2.1 双线性插值算法

双线性插值算法是广泛应用的插值算法之一，对于图1所示的最常用的Bayer彩色滤波阵列［1］，双线性插值算法的流程如下：

其它各点的R、G、B值都可以类似得出。可以看出，双线性算法实现非常简单，在平滑区域可以预见得到比较好的效果；但在边缘区域，因为像素的取值具有方向性，不能简单地由周围的像素计算平均值得出（详见基于梯度的算法）。因此，对边缘区域采用双线性插值将产生极大的误差，呈现锯齿状，称为拉链效应。

2.2 改进算法

众所周知，双线性算法在边缘区域会出现拉链效应，如果将已还原的彩色图像R、G、B 3个通道重新分开，会发现绿色通道拉链效应尤为明显。这是因为在CFA排列中，绿色像素总数比红色、蓝色像素多一半，进而，在插值中，绿色能体现更多的细节，所以在插值过程中，如果能更精确地恢复绿色像素值，就能减少拉链效应。

在双线性插值中，例如红色像素处，绿色像素值可由式（4）得出：

改进的算法基于这样一个事实：在边缘处，边缘处的亮度信息比色度信息多得多。这样，在估算红色像素处的绿色像素值时，已知的红色像素值并不舍去。与双线性插值相比，红色像素是一个有用的信息，用它与周围红色像素值的均值比较，如果两者差值比较大的话，表明该点在边缘处，亮度信息会有明显的跳变。这样，就可以利用这个差值来修正该点所要求的绿色像素值。最简单的方法就是用一个常数与这个差值相乘，然后加上双线性插值求得的像素值，可用式（5）表示：

其中：

其中，ĝB（i，j）代表双线性插值得出的G值。本算法在双线性插值的基础上增加一个修正值来更加精确地估算出像素值。在估算插值B位置的G值和插值R位置的G值时，根据对称性可以采用相同的方法得出，不过修正值变为ΔB（i，j）。

同理，在G位置估算R值时，可由下式得出：

在B位置估算R值时，可以由下式得出：

根据对称性，同样可以估算出G位置和R位置的B值。

下面的问题是，如何确定一个合适的α、β、γ，使插值的结果与真实的图像最接近。Malvar利用维纳方法得出，当α=1/2，β=5/8，γ=3/4时，利用上式在测试图片上得出的新图像与原来测试图像的差异最小［2］。这样，就可以设计一系列线性滤波器。此时，滤波器的解不是唯一的，理论上模板越大越好，但模板越大计算量越大，与实时性的要求相背离。此算法需要计算两个颜色向量的双线性插值，模板最小需要5×5大小。实际应用中就采用了5×5大小的模板，Malvar也提出了一系列5×5大小的滤波器，并对其中的修正值有更加复杂的判断，但随之而来模板中的非0值更多，计算量变大。

本算法简化了其中对修正值的某些复杂的判断，力求使模板中非零值越少越好，图2为本文设计的滤波器。

3 实验结果与分析

本算法最终的解为一系列5×5的线性滤波器，并且为稀疏矩阵，复杂度很低，实时性也能够满足实际工程应用的要求。

为了验证算法的性能，采用了图像处理中评价重构图像质量最常用的两种方法：均方根误差（Mean Squared Eerror，MSE）与最高峰值比（Peak Signal-to-Noise Ratio，PSNR）。

在式（10）中，PSNR是单个通道的值，即真彩色图像可以分成R、G、B三通道独立比较，它反映了原始图像与重构图像相符合的程度，PSNR越大，两者越接近。

在实验中，首先采用柯达真彩图片集中较典型的测试白房子图片将本算法与双线性算法进行主观比较，见图3；然后，对所有的柯达真彩图片进行客观评价，见图4。

从图3中可以明显看出，采用本文提出的算法处理后，其边缘部分比双线性算法更清晰，更接近原真彩测试图片。

表1为采用本文算法与双线性算法计算相同24幅柯达真彩图片各个通道的PSNR值。

从表1可以看出，本算法对每幅图像中每个通道得到的PSNR都比双线性算法高，其中对R通道本算法比双线性算法高3.957 db；对G通道本算法比双线性算法高5.559 db；对B通道本算法比双线性算法高6.406 db。

4 结 论

低，实现简单，能在计算机和各种嵌入式处理器中完成实时处理。与双线性算法比较，本算法的PSNR比双线性算法高4～6 db，使图像彩色的复原性和实时性比双线性算法更优越，在实际的工程应用中可取得更好的效果。

在实验中发现，固定的α、β、γ值对不同的图像相对于双线性算法在PSNR方面有不同的提升，本文下一步工作将找出对不同的图像运用的不同的α、β、γ，这样在PSNR方面可以有更大的提高。

［1］BAYER B E.Color Image Array：US，3917015［P］.1976.

［2］MALVAR H S，HE LW，CUTLER R.High-quality linear interpolation for demosaicing of Bayer-patterned color images［C］/IEEE Int′L Conf.on Acoustics，Speech，and Signal Processing，Montreal，Canada，May 2004.

［3］CHANG L L，TAN Y P.Hybrid color filter array demosaicing for effective artifact suppression［J］.J.Electron.Imaging，2006，15（1）：013003.

［4］COK D.Signal processingmethod and apparatus for sampled image signals：US.4630307［P］.1986.

［5］COK D.Signal processingmethod and apparatus for producing interpolated chrominance values in a sampled color image signal：US，4642678［P］.1987.

［6］FREEMAN TW.Median filter for reconstructingmissing color samples：US，4724395［P］.1988.

［7］LAROCHE L，PRESCOTTM.Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients：US，5373322［P］.1994.

［8］LUKAC R，MARTIN K，PLATANIOTISK N.Colour-difference based demosaiced image postprocessing［J］.Electronics Lett.，2003，39（25）：1805-1806.

［9］GUNTURK B K，GLOTZBACH J，ALTUNBASK Y，et al..Demosaicing：color filter array interpolation［J］.IEEE Signal Proc.Mag.，2005，22（1）：44-54.

［10］LIX.Demosaicing by successive approximation［J］.IEEE Trans.Image Process.，2005，14（3）：370-379.

［11］CHUNG K H，CHAN Y H.Color demosaicing using variance of color differences［J］.IEEE Trans.Image Process.，2006，15（10）：2944-2955.

通过实验说明了本算法不论从主观评价还是客观评价都优于双线性算法，并且复杂度低，实现简单，实时性更强。

本文提出了一种有效的Bayer格式图像彩色复原的算法，它利用彩色图像的边缘特性更精确地复原了边缘处的R、G、B值，算法最终的解为一系列5×5大小稀疏矩阵的线性滤波器，复杂度

Real-time demosaicing of Bayer pattern images

LUO Xiao1，2，SUN Hai-jiang1，2，CHEN Qiu-ping1，2，CHEN Jing1，WANG Yan-jie1
（1.Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.Graduate University of Chinese Academy of Sciences，Beijing 100039，China）

This paper presents an effective interpolation restoration algorithm for color images in Bayer format to reduce the computational complexity and improve its real time property.Based on the characteristics of human visual system in the interpolation process，themore accurate brightness information and edge information of the image can be obtained.Owing to edge information，more accurate values of R，G，B can be recovered.The final solution of the algorithm is a series sparse linear filterswith sizes of5×5.Ithas a lower complexity and can be processed easily in the embedded processors of computers in real time.Experiments show that the Peak Signal to Noise Ratio（PSNR）of this algorithm is higher4-6 db than that of the common bilinear algorithm.Furthermore，it effectively reduces the sawtooth phenomenon occurred in the interpolation algorithm and shows that its recover ability and real time property is superior to thatof the traditional bilinear interpolation.

color filter array；demosaicing；color restoration；interpolation algorithm

TP391.4；TN919.8

：A

1674-2915（2010）02-0182-06

罗 潇（1983—），男，湖南岳阳人，硕士研究生，主要从事视频图像处理技术方面的研究。 E-mail：luoxiao405＠163.com

2010-02-05；

2010-03-28