Quadbayer图像传感器的去马赛克方法

张枫

（深圳市慧鲤科技有限公司上海分公司 上海市 200233）

1 引言

随着科学技术的不断发展，越来越多的数字设备如手机、数码相机开始集成越来越先进的图像传感器，以满足人们日益对相机成像越来越高的图像质量的要求。传感器厂商为了降低生产难度与成本，会在生产时在每个像素的位置上只放置一个颜色滤光片阵列（Color Filter Array，CFA），最常见的CFA格式由1976年柯达公司的设计工程师布莱斯·拜尔(Bryce Bayer)提出，通过这种CFA采集到的数据也被称之为bayer格式数据。由于每个像素只过滤并记录三种颜色的一种，因此并不能从单个像素的信号中完整恢复RGB型号。为了得到完整的图像通常会利用周围相同颜色的像素信息，采用插值的方式恢复当前缺失的像素值，这个过程被称之为去马赛克（demosaicing）。

虽然大部分CFA格式依然是bayer的，但是近些年越来越多的出现其他种类的CFA格式以满足不同的需要。例如2007年柯达（Eastman Kodak）公司提出的全色单元，通过增加一个对所有可见光波长敏感的全色单元来提高图像传感器对光的敏感度。这种设计传感器可以收集更多的光线，以改善暗光条件下的成像能力。富士（Fujifilm）公司提出的X-Trans的格式，与标准bayer不同的是X-Trans通过在每行的像素中使用红色、蓝色和绿色的滤光片来减少摩尔纹伪色的产生，使用这种CFA可以在没有抗锯齿滤光片的情况下制造。Sony推出的四bayer阵列（quadbayer）首次在2018年时华为发布的P20 pro中。该CFA相邻的2×2区域的像素颜色相同。通过四合一操作会合成一个更大的像素，像素的进光量得到提高，而且四个像素可以采用不同的曝光时间，单幅图像的动态范围也可以提高。quadbayer的优势突出，很快的就在市场上得到了普及。

如图1所示，由于quadbayer的采样周期为4×4，采样频率低于bayer格式的采样频率，因此直接进行去马赛克的任务会比较困难。目前传感器厂商为了兼容后续ISP的处理，提供两种方式可以转换到bayer：一个是通过每2×2个像素进行四合一操作，但这样会降低图像的分辨率。另一种是通过传感器自带的算法进行重马赛克，可以输出原始尺寸的bayer，但重马赛克过程会造成原始像素信息的丢失，实际效果也依赖于重马赛克的算法。理论上这两种方法都存在信息丢失的问题。

图1：（左）四合一去马赛克（中）重马赛克 （右）直接去马赛克

2 相关工作

通常的图像的去马赛克方法通常是利用周围像素的信息来对当前缺失的像素进行估计，最简单的方法就是线性插值法，这种方法只是简单的利用了像素之间的空间信息进行估计恢复。由于忽略了真实图像的纹理信息，因此恢复出来的彩色图像常常存在伪色(false color)，锯齿(zipper)等画质问题。后来又有很多算法来改善这些问题。如Hamilton利用了二阶导数梯度信息，分别沿水平与垂直方向进行插值。Pekkucuksen等结合梯度与光谱相关性信息提出了基于梯度的无阈值插值算法(GBTF)，GBTF首先对绿色平面方向插值，然后通过色比来对缺失的像素进行恢复。Kiku 等提出了RI算法。RI算法先通过引导滤波对RGB进行插值，然后通过预测的值与真实值的计算出残差，通过残差插值改善效果。后续提出的MLRI与ARI在RI上进行了改进，MLRI进一步采用拉普拉斯残差插值替代色差插值，而ARI是改进了G通道的插值方式。

近年来，随着数据与算力的不断增长，神经网络的方法在机器视觉与图像处理领域大放光彩，效果遥遥领先于传统算法。基于神经网络的底层视觉的相关研究有：SRCNN首次利用卷积神经网络来做图像超分的工作，整个结构分为三个部分，分别为特征提取与表示层，非线性映射层与重建层，通过使用了三层卷积神经网络来输出高分辨率得到图像。DemosaicNet是联合了去马赛克与降噪任务的深度卷积神经网络。在网络设计中它借鉴了ResNet中的增加特征层直连的机制，在训练数据的生成上也提出一种方法，将容易出错的样本进行整理后重新训练，可以有效的提升模型的泛化能力。KPN（kernel predict network）是最近用于对图像进行降噪的神经网络，主干结构上采用深度残差U型网络，输入图像经过一系列的下采样与上采样后进行输出。与一般神经网络不同的是，KPN并不是直接回归出最后的结果，而是通过对输出空间进行约束，预测一个滤波的卷积核。

本文提出来的方法结合了前面所示方法的优势，提出了QDNET（quadbayer demosaic network）并首次运用到了quadbayer的去马赛克任务上。整体设计思想是结合缺失像素周围的空间与纹理信息，利用神经网络预测插值核，然后将插值核作用到原始的输入上以达到去马赛克的目的。该方案是一个端到端的方法，实验结果表明，该方法可以根据纹理区域的特性生成适合该区域插值核，客观主观测试效果良好。

3 本文算法

3.1 整体结构

本文介绍的QDNET算法网络结构如图2所示。

图2：QDNET的网络结构示意图

QDNET主要有数据前处理，特征提取，图像重建等部分构成。

3.2 数据前处理

由于传感器采集到马赛克数据是在线性RGB空间，而人眼感知的颜色空间并不是线性的，为了呈现更好的主观视觉效果，需要进行白平衡与非线性拉伸，转换到sRGB空间。具体公式如下：

f(x,y)表示当前的马赛克输入的RGB像素值，如果该位置像素没有对应的值即为0。k,k,k为对应的RGB的白平衡增益值，一般情况下k的值保持为1，而k,k与拍摄场景的环境光照有关。得到g(x,y),g(x,y),g(x,y)依然是在线性RGB空间，通过如下公式（2）转换到sRGB空间：

3.3 特征提取

特征提取是采用的是类似于编码器解码器的网络结构设计，由基础映射块，上采样，下采样，跳远连接组成。每个基础映射块包含有三层卷积和relu激活的组合，所有的卷积核大小均为3×3，步长为1，填充为1，因此基础映射块的输入与输出具有相同的维度，初始化首个基础映射块为64通道。下采样模块采用的是均值池化的操作，在网络中第2-5个基础映射块的输入采用一层下采样，同时将通道数量翻倍，这样可以在保留信息的同时提高模块的映射能力。后面6-8个基础模块采用对特征图进行双线性上采样方式恢复到原始分辨率。前后模块之间增加了跳远连接，这样的连接可以很好的解决网络层数过多时导致的梯度弥散与消失的问题，使网格更容易收敛。同时由于跳远直连的方式可以充分融合低级特征与高级特征，使得信息在前向传播时不会丢失，最终网络的学习表达能力会更强。

3.4 图像重建

图像重建部分由生成插值卷积核与去马赛克两部分组成。生成插值卷积核是由前面特征提取层进行生成，输出KN个通道，通过数据重排可以形成N个K×K个卷积核。对于每个N都有如下的公式如下：

v(x)表示像素P的K×K邻域中的像素，f表示与当前像素点P对应的插值卷积核，Y表示插值卷积后的结果。由于每个像素位置RGB三个通道中缺失两个通道的信息，因此每个点需要生成2个线性的插值核，为了实现简单起见，我们实际生成的是3组插值核，实现RGB三通道输出（实际有一个通道并不需要插值，结果也直接采用原始的输入）,在本实验中的配置N=3，K=7。

去马赛克就是将生成卷积核作用到输入的马赛克图像上，为了保证插值过程中只用到同颜色的像素信息，需要将马赛克的输入分离为三个通道，分别在三个通道上使用对应的插值核即可得到去马赛克的结果。

3.5 损失函数

本文提出的QDNET的损失函数是与基准(ground truth)图像进行对比,包含有两项，一项是基于像素亮度值差异，计算L2的距离。另一项是基于图像的梯度值差异，计算L1的距离。如下列公式所示：

3.6 网络训练

由于真实图像传感器采集的quadbayer并没有基准图像，故无法有效的生成训练数据对。因此本文的实验采用在合成数据集上进行训练，选用网上开源的DIV2K中的数据集作为训练网络的训练集，DIV2K包含有800张高清的SRGB图像，通过随机将图像进行旋转裁剪等操作，生成128×128的数据块共20万张图像作为训练集。为了模拟真实quadbayer的输入，本文对训练集进行马赛克采样得到输

入的马赛克图像，标签为采样前的图像。实验中训练所用图像块尺寸为128，batch size设置为32，学习步长为5e-4，优化函数选择Adam，模型训练大概需要2天，取得了较好的结果。

4 实验与分析

4.1 测试集

本文采用网络公开的Kodak数据集作为测试数据集。Kodak数据集由柯达公司提供，包含有24张未经压缩的PNG格式的图像，每个图像的分辨率为768×512。该数据集也被广泛的应用到去马赛克任务的效果评估上。由于在quadbayer上并没有相关的研究工作，因此本文对比了QDNET与传感器厂家推荐的四合一后利用不同去马赛克算法的效果。

4.2 客观结果比较

如表1所示。

表1：客观结果比较

4.3 主观效果比较

本文进一步在真实传感器采集的数据上进行验证。选用效果最好的去马赛克的方法demosaicnet，对比了四合一，厂商重马赛克以及本文的方法，如图3所示。实验证明该方法不仅仅在客观指标上处于领先地位，而且在主观效果上也远远优于四合一去马赛克以及重马赛克的效果。由于图像通过四合一会丢失细节信息，导致再去马赛克算法后图像均比较模糊。重马赛克的方法清晰度较高，但是由于丢失了一些原始信号以及受限于厂商自研的重马赛克的算法，会有产生严重的伪色。QDNET不仅可以保持原始分辨率，而且充分利用了图像的信息，保留更多的细节纹理与边缘。

图3：（左）四合一 （中）重马赛克 （右）本文方法

5 结束语

针对近些年出现的quadbayer的图像传感器，本文提出了一种基于卷积神经网络的图像去马赛克方法。本文通过采用编码器解码器的网络结构用于特征提取，与一般网络不同的是并不直接回归到最终像素值，而是通过预测插值卷积核，对输出空间进行约束，最后将预测的卷积核作用到分离的三通道马赛克图像上，得到去马赛克后的结果。实验证明本文所提出的QDNET效果显著，无论是主观结果还是客观结果都会明显优于四合一后去马赛克的效果，同时也优于硬件。