基于光源估计的多摄系统白平衡一致性转换方法

黄浩，廖宁放，赵长明，李玉梅

（北京理工大学 光电学院 颜色科学与工程国家专业实验室, 北京 100081）

彩色数字相机通过对光信号进行处理，最终成像，为了获得准确的色彩，白平衡和颜色校正起着重要作用. 多摄成像系统以其特有优势被广泛应用[1-3]，但不同摄像头使用的相机模组光学特性多有不同，对不同摄像头的成像颜色一致性提出挑战.

白平衡作为相机成像中的关键性技术，国内外进行了大量研究，在早期的白平衡算法中，以灰度世界法[4]和完美反射法[5]为主；为了减少色块对图像增益的影响，又提出了标准加权法[6]和利用边缘检测模型的边缘白点白平衡方法[7]；为了较为准确地估计光源的色度信息，又提出了光源色差估计法[8]，对图像的色彩偏差有较好的校正效果. 目前随着图像信号处理（image signal processing，ISP）技术和人工智能的发展，新型的白平衡算法不断出现，包括光源色温估计法[9]、神经网络白平衡算法[10]、光源复合白平衡算法[11]、多帧比较法[12]和仪器辅助法[13]等.

现有的多摄成像系统多使用多个不同光学特性的相机模组，但使用相同的白平衡算法，当固定机位拍摄同一场景时，由于不同相机模组视场角等的差异，导致用于白平衡算法校正的统计点有较大差异，例如视场角的差异会导致像面成像内容不同，一些极端景物的统计点会导致其中某个相机模组的白平衡出现误判，导致算法估计的光源不同，不同相机的图像颜色出现差异. 为了保证多摄成像系统的白平衡一致性，在拍摄同一场景，切换相机后，白平衡不出现明显的跳变，需要找到不同相机模组之间的白平衡结果转换关系，将多摄系统主摄像头的白平衡计算结果提供给其他几颗摄像头.

为解决上述问题，本文提出了基于光源估计的白平衡一致性转换方法，使用决策点转换方法、查找表方法、分类决策点转换多种方法进行白平衡决策点转换. 为比较不同算法的转换精度，提出了色度比例差异、白点色差和全色块色差三个指标，并在多种验证光源下对转换算法进行分析和讨论.

1 基本原理

以手机三摄像头成像系统为例，如图1 所示，原始相机模组为主摄广角相机，参考相机模组为长焦和超广角相机，在影像系统工作过程中，仅主摄广角相机运行白平衡算法，长焦和超广角不运行白平衡算法，通过转换关系，将主摄广角白平衡算法计算得到的白平衡决策点转换给长焦和超广角相机，节省运行功耗的同时，可最大程度保证多摄成像系统的颜色一致性.

图1 手机三摄像头成像系统成像示意图Fig. 1 The imaging diagram of mobile phone triple camera imaging system

将光谱特性已知的环境光加入到式（4）中参与计算，可得到基于光源估计的多摄系统白平衡一致性转换方法，为了尽可能减少算法实际工程化应用过程中调试人员的工作量，转换方法使用32 种标准黑体光源和12 种CIE 标准光源参与计算. 黑体发光的颜色与它的温度有密切关系，根据普朗克公式可以计算出对应于某一温度的光谱功率分布，如下式所示

按麦勒德（ μrd）等间距，将32 种不同色温下黑体光谱功率分布模拟的光源作为已知光源纳入计算，色温分别为1 515，1 563，1 613，1 667，1 724，1 786，1 852，1 923，2000，2 083，2 174，2 273，2 381，2 500，2 632，2 778，2 941，3 125，3 333，3 571，3 846，4 167，4 545，5 000，5 556，6 250，7 143，8 333，10 000，12 500，16 667，25 000 K，为了兼顾常用的商业、办公和家居场景，加入12 种CIE 典型荧光灯光源，即CIE 标准F1～F12 光源，根据色度学公式计算各个色温下光源的三刺激值以及色品坐标，在CIE 1931 色度图上绘制出44 种光源的色品坐标如图2 所示.

图2 1931-xy 色度空间上的光源特性Fig. 2 Light source in CIE 1931-xy chromaticity space

决策点转换算法(M32)使用32 种黑体模拟光源，可分别仿真计算得原始相机和参考相机在32 种光源下，拍摄色卡时，色卡第20 个色块的 [R/G,B/G]通道比值，以此作为该相机在该环境光下的理论白平衡决策点，并将色温按照25 000 K 为最大值进行归

分类决策点转换算法(C LF)考虑到不同光源类型的发光机理不同，对32 种模拟光源和12 种CIE 荧光灯光源，参照式（8）分别计算转换关系，得到两个转换矩阵，由于荧光灯特殊的发光机理会出现不同于连续光谱的光谱类型，实际使用过程中，可通过额外的光谱传感器或者其他类型硬件传感器，对拍摄场景的实际光源进行区分，例如现在手机影像系统多配有光谱传感器，可对拍摄光的光谱特性进行检测. 当环境光是连续光谱或LED 光源时，使用32 种模拟光源计算得到的转换矩阵进行白平衡决策点转换，当环境光是荧光灯光源类型时，则使用CIE 荧光灯光源计算得的转换矩阵. 最终的转换矩阵为根据光源类型，j可分为连续光谱或LED 光源和荧光灯光源两类.

单位变换(I)将式（6）中的转换矩阵变为单位矩阵，如下所示，这表示将使用原始相机模组的白平衡决策点作为参考相机模组的决策点，进行白平衡校正，从而与其他转换方法进行对比.

2 实验与分析

2.1 实验条件

实验使用索尼IMX582、三星HMX、佳能5DM4三颗相机模组对算法进行验证，使用Newport 单色仪对三个相机模组各通道的光谱灵敏度进行测量，测量结果如图3 所示，由图可知，三个相机模组除G通道外，R通道和B通道的光谱灵敏度均显著不同，这会导致在拍摄同一场景时，其相机白平衡决策点[R/G,B/G]响应不同. 利用SpectralLight QC（SPL）灯箱中的7 种光源和Image Engineering（IE）灯箱中的D65光源计算三个相机模组的 [R/G,B/G]响应，如图4 所示，同一光源下，佳能5DM4 的响应与其余两颗模组相比，差异较大，这与图3 中的光谱灵敏度差异结果一致，即佳能5DM4 的光谱灵敏度曲线较其他两颗模组有明显的不同. 由图4 还可观察得到，即使是色温相近的情况下，相机之间的响应差异也会有明显不同，例如 IE D65 和SPL D65 光源，即使色温同样在6 500 K 左右，但三个模组之间的响应仍有较大差异.实验使用IMX582 作为原始相机模组，三星HMX 和佳能5DM4 作为参考相机模组，使用上节介绍的转换方法，根据硬件特性，将原始相机模组的白平衡计算结果转换给参考相机模组.

图3 相机光谱灵敏度响应曲线Fig. 3 Spectral sensitivities of the cameras

图4 3 个相机在8 种光源下在[R/G, B/G]色度空间的色度分布Fig. 4 Chromaticity distribution of three cameras in [R/G, B/G] color space under eight light sources

为充分验证在实际应用中，转换算法在各个光源下的稳定性，验证实验使用的光源包括Spectral-Light QC 灯箱中的人造标准光源，CIE 标准光源，商场中的多种室内光源，以及北京夏季在上午9 点，中午12 点，和下午4 点的户外自然光，共21 种光源，与上述44 种光源（黑体模拟光源和CIE 标准光源）不同，验证光源均为相机系统实际拍摄过程中的典型场景光源，如表1 所示，使用柯尼卡美能达CL-500A测量每个光源的光谱功率分布.

表1 实验中使用的验证光源Tab. 1 Verification light source used in experiment

2.2 评价方法

2.2.1 色度比例差异

2.2.2 CIEDE2000 白点色差

CIEDE2000(ΔE00)色差公式[16]是由CIE 推荐并被广泛使用的色差公式. 将图像数据转换到sRGB 空间，再转换到CIE L*a*b*空间，然后在CIEDE2000 颜色空间进行色差计算. 根据颜色特性化原理，利用色卡数据，使用最小二乘法可计算得到 3×3的颜色校正矩阵TRGB2sRGB， 从而将传感器的RGB 数据SRGB经过白平衡校正之后，转换到sRGB 空间，得到SsRGB，再通过TsRGB2L*a*b*转换到CIE L*a*b*空间[14]，如下式所示

将色卡的第20 个色块定义为图像白点，由上式可计算得到经过转换算法之后的参考模组第20 个色块的SL*a*b*,c和 经过实际仿真计算得到的SL*a*b*,ref，其计算过程如下

2.2.3 CIEDE2000 全色块色差

与E2直接计算色差不同，E3.1和E3.2对各个验证光源下每个色块的色差大小进行分类统计，分类标准通过观察者实验得到，使用Imatest 图像分析软件对市场上高端手机实拍图片进行CIEDE2000 色差计算，并组织10 名色觉正常的观察者，进行观察者实验，根据色差大小的感知差异，将色差分为4 个等级，分别为无差异、低差异、中差异和高差异，如表2 所示，分类可以满足移动设备影像的应用需求.

表2 根据色差大小划分等级Tab. 2 The classification of color difference

2.3 实验结果与讨论

已知三个相机模组的光谱灵敏度，使用表1 中的21 种验证光源，通过计算和仿真可以得到各个模组在每种光源下色卡中每个色块的响应，使用上述评价标准对转换方法进行分析和讨论，结果如表3～表6 所示.

表3 三星HMX 相机模组的色度比例差异(E1)数据Tab. 3 The chromaticity ratio difference(E1) data of Samsung HMX

表4 佳能5DM4 相机模组的色度比例差异(E1)数据Tab. 4 The chromaticity ratio difference(E1) data of Canon 5DM4

表5 三星HMX 和佳能5DM4 相机模组的CIEDE2000 白点色差(E2)数据Tab. 5 The CIEDE2000 white point color difference (E2) data of Samsung HMX and Canon 5DM4

表6 三星HMX 和佳能5DM4 相机模组的CIEDE2000 全色块色差(E3.1 和E3.2)数据Tab. 6 The CIEDE2000 full-color color difference (E3.1&E3.2) data of Samsung HMX and Canon 5DM4

索尼、三星和佳能相机模组具有较高的市场占有率，制造工艺不同，选用三个不同品牌的相机模组进行算法验证，实验结果可认为适用于较大范围的商用相机模组. 结果表明，在所有转换方法中，分类白点转换方法(C LF)优于其他几种转换方法，其次是查找表方法(L UT)方法，组织移动影像行业的专业测试人员和普通用户进行主观观察评价，转换结果可以满足商用使用需求. 分类白点转换方法(C LF)通过将连续光谱和不连续光谱的光源进行区分，可以提升整体的数据稳定性，这说明光谱类型会很大程度影响到转换精度，在移动影像设备算法实际使用过程中，可以进一步对光源类型进行统计分析，例如手机设备在成像过程中，当拍摄环境光的亮度很高时，此时多为户外场景，场景的光源多为自然光，可以单独建立自然光的转换关系，以提升户外的白平衡的转换精度，解决大部分拍摄场景. 查找表方法(L UT)方法在不依赖外部传感器进行光源分类，仅使用仿真光源进行算法计算的情况下，算法表现也较为稳定，可以满足使用需求，目前很多移动影像设备由于成本的限制，并不配有环境光传感器，此类设备更适合使用查找表方法，上面的查找表方法在每种色温下仅使用一种黑体模拟光源进行转换矩阵的计算，如每种色温根据使用场景增加光源数据，可进一步提升算法的转换精度.

通过数据分析，发现经过白平衡转换方法转换后，三 星HMX 在E1和E2中 的 最 大 值 以 及 在E3.1和E3.2中的色差分布要明显优于佳能5DM4，数据整体表现更好，从图3 可以观察到，与佳能5DM4 相比，三星HMX 各个通道的光谱响应更接近索尼IMX582，这说明参考模组的光谱响应与原始模组越接近，转换精度越好. 移动影像成像模组的光谱灵敏度影响因素主要包括：光学镜头各波段光谱透过率曲线、红外截止滤光片的各波段光谱透过率曲线、相机模组的R、G、B各颜色通道的各波段光谱透过率曲线和光电传感器光电转换效率曲线，实际多摄成像系统硬件选型和光学设计时，可以通过优化光学镜头的镀膜工艺、各模块的光谱透过率、尽可能选用同一品牌的光电传感器等措施来修正模组最终的光谱响应，从而减小多摄系统不同模组之间的光谱灵敏度差异，进而提高转换算法的精度，提升白平衡的一致性.

3 结 论

针对多摄成像系统的白平衡一致性问题，提出基于光源估计的白平衡一致性转换方法，基于相机的成像原理，使用决策点转换方法、查找表方法、分类决策点转换多种方法将原始相机的白平衡决策点转换给参考相机. 使用索尼IMX582、三星HMX 和佳能5DM4 三颗相机模组进行的算法验证，以索尼IMX582 为原始相机模组，其他两颗为参考相机模组，完成三者的白平衡一致性转换，并使用色度比例差异、白点色差和全色块色差三个指标，在多种光源下对白平衡一致性进行评价. 结果表明本文提出的转换方法可有效地提升多摄相机的白平衡一致性，分类决策点转换方法可提供较好的转换结果，当移动设备等多摄成像系统无环境光传感器时，可使用查找表法. 转换算法在实际工程化应用过程中，仅需测量相机模组的光谱响应，使用已知光源进行转换算法的计算，应用方便且节省调试人力. 从不同相机模组的转换结果差异可得，相机的光谱灵敏度响应越接近，最后的转换结果越好，从而可以指导硬件的设计和选型.