亮度估计驱动的监控图像色彩还原性测试方法

姚晨　沈赟洁　朱佳敏

摘   要：色彩还原性表征了不同色温条件下在标准显示设备上真实还原图像景物各种色彩的能力。然而实验室环境下的测试方法是一种有参考且对测试软件有严格要求的方法，无法在实际图像监控系统得到应用。通过色彩还原色卡在实验室环境下的亮度估计，获得不同色彩还原值和色卡图像亮度值，通过机器学习获得两者的对应训练模型，通过对实际监控图像亮度估计最终获得实际监控环境下的色彩还原参考值。

关键词：色彩还原性;监控图像;亮度估计;机器学习;训练模型

中图分类号：TP391.4                                        文献标识码：A

Survelliance Image Color Error Testing Driven

by Illumination Estimation

YAO Chen？SHEN Yun-jie，ZHU Jia-min

（The Third Research Institute of Ministry of Public Security，Shanghai 200030，China）

Abstract：Color error represents real color reproduction ability on survelliance image within different color temperature. However，testing method in lab is reference-based and high demanded，which can not be applied for real image survelliance system. An illumination estimation of color check-check chart is obtained in lab. Meanwhile，color error value also is computed. A machine-learning method is used for compute the training model for illumination and color error value. Finally，we get color error value for real surveillance image through image illumination estimation and trained model.

Key words：color error;surveillance image;illumination estimation;machine learning;trained model

色彩還原性是安防摄像机行业标准《安全防范视频监控摄像机通用技术要求 GA/T 1127-2013》中的重要性能指标，该指标直接反应了监控图像真实还原外部自然场景色彩的能力。然而在实验室环境下的测试指标由于受到测试环境，如：测试灯箱、测试色卡、测试软件等限制无法在实际安防工程中大面积推广。这导致在行业主管部门会同第三方检测机构对部分已建视频监控系统开展监督抽查工作中发现诸多问题，甚至存在竣工验收后用不符合标准规范的低劣设备更换原有设备、系统设备拆除或挪作他用等情况。纯粹通过人力开展监督检查工作显然无法成为长期稳定可靠的监管模式。如何对实际安防监控工程的图像进行有效、高效的色彩还原性评价成为亟待解决的问题。

受到无参图像质量评价和图像色彩恒常性启发，通过建立图像亮度和色彩还原性的相关性模型来推导实际监控场景下的图像色彩还原性。

1   经典测试方法

在实验室环境下目前Imatest的ColorChecker[1]对色彩还原性进行分析。X-Rite的色彩检查卡是8×11inch大小，包含24个色块如图1和图2所示，光学密度范围是[0.05，1.50]。

在实验室环境下，分别不同的色温摄取色彩还原测试卡，在截图后由Imatest来判断，每个色块中的截取面积大于等于30%。最后，在图像颜色空间Lab中计算色彩还原性ΔE，计算公式如下：

ΔE = ■  （1）

L1，L2分别图像颜色空间L通道的原始图像和测试图像，a1，a2分别图像颜色空间a通道的原始图像和测试图像，b1，b2分别图像颜色空间b通道的原始图像和测试图像。

因此，从上述实验环境下的测试方法可以总结出以下的依赖性问题：

1）需要ColorCheck的测试卡支持

2）对于投射式需要测试灯箱的支持

3）需要人工截图不同颜色patch的面积

4）需要Imatest测试软件的支持

上述四个依赖性问题对于色彩还原性计算在实际视频监控系统中的应用带来的巨大的障碍。因此，如何在去除上述依赖的条件下通过有效关系映射达到和实验室测试结果一致效果成为需要研究的问题。

2   测试去依赖方法

受到无参考图像质量方法启发，如果能够对ColorCheck的测试卡图像如图3所示，进行一些颜色特征提取拟合到Imatest的标准测试结果如图4所示，则我们可以去除上述的四个依赖性问题。

2.1   图像无参考质量评价相关工作

目前，图像无参考质量评价在不用访问原始参考图像的基础上实现了对图像质量的人眼感知估计。图像无参质量评价通常包含两个步骤：特征提取和回归训练。以往的很多特征提取都是基于自然场景统计。在空间域和转换域的自然场景统计模型被应用于质量评价的特征图。最近，随着深度学习的发展，很多基于深度置信网、卷积神经网路的特征提取方法也逐渐应用于质量评价的特征提取过程。在特征回归的设计中通常采用支持向量机的回归器（SVM regressor，SVR）[2-6]。

2.2   特征提取

如何进行有效的特征提取成为本文的重要工作。色彩还原性的本质是对图像采集后的颜色恒常性的评估，是摄像机在白平衡后颜色差异的评价。颜色恒常性是指当照射物体表面的颜色光发生变化时，人们对该物体表面颜色的知觉仍然保持不变的知觉特性。颜色恒常性问题是一个典型的病态反问题。通常对一个给定的色偏图像通过光源颜色的估计获取色度空间的匹配。目前，经典的方法包括颜色RGB通道平均或最大响应的基于灰度世界的方法，还有假设在不同颜色通道中平均反射差异一致的灰度边界的方法等[7-9]。

因此，考虑采用颜色恒常性中的亮度估计作为ColorCheck色卡图像中的全局特征，同时RGB空间的SIFT点作为局部特征[10]。

2.3   亮度估计

首先对图像进行对数空间变换，变换公式如下所示，

ILOG = LOG（IR，G，B）      （2）

IR，G，B为原始图像，ILOG是变换后的图像，LOG是对数空间算子。

受到方法[11]启发，在图像ILOG中获取颜色空间的灰度像素点[11]，对图像中像素块大小为N = 7 × 7计算标准差变化，公式如下所示，

differ = （SDiN（x，y） - SDN（x，y））2       （3）

SDiN（x，y）为以像素点坐标（x，y）为中心的像素块的标准差。

然后对标准差归一化获得灰度指数GP，统计中图像中GP值为0的像素点获取最终的灰度像素点。考虑到像素块计算的误差干扰，选取最终的1%像素点P作为最终的计算对象。最终的亮度特征为P （r，g，b）。

局部特征计算我们采用SIFT来计算RGB通道的SIFT特征点，计算公式如下，

ISIFT = sift（ILOG）         （4）

最终，获得的特征向量的集合为，

{（ f1，cr1），（f2，cr2），…，（fk，crk）}      （5）

通过回归训练器SVR获得最终的

训练模型

整个训练算法流程如下：

1）读取ColoCheck色卡图像和色彩还原值;

2）图像对数空间变换;

3）依次计算7×7的像素块的标准差，标准差阈值小于0.1获得候选像素点

4）对候选像素点由小到大排序选取1%的像素点，计算亮度均值，写入特征向量

5）计算RGB空间sift特征点写入特征向量

6）馈入回归器计算训练模型

整个推理算法流程如下：

1）读取监控图像和训练模型;

2）图像对数空间变换;

3）依次计算7×7的像素块的标准差，标准差阈值小于0.1获得候选像素点

4）对候选像素点由小到大排序选取1%的像素点，计算亮度均值，写入特征向量

5）计算RGB空间sift特征点写入特征向量

6）根据训练模型获得相应的色彩还原值

3   实验分析

实验通过测试灯箱上的颜色还原卡获得不同色温、不同摄像机型号的ColorCheck数据，具体测试环境如图5所示，整个数据集由250幅色彩还原性图像组成如图6所示，采用Imatest对250副图像进行色彩还原性计算，计算方式采用公式（1），如图7所示。对所有的测试数据采用8 ∶ 2的比例进行训练数据和验证数据的构建。

对色彩还原性的预测值的准确性采用三个相关系数评估，分别是：SROCC（Spearman rank order correlation coefficient）、KROCC（Kendall rank order correlation coeffient）和PLCC（Pearson linear correlation coefficient）。三个系数的结果如表1所示。将算法和三个传统经典的无参质量评价方法IL-NIQE[12]、NIQMC[13]和BRISQUE[4]做了比较，从测试结果可以发现，本方法在三个指标上都取得了最佳的效果，从实验结果可以发现面向监控场景的图像传统的方法表现较差，拟合度均低于0.5，因为传统方法多基于自然图像分布的先验假设来做特征设计，而监控场景的图像采集与消费级的图像采集在CCD/CMOS和编码方式上都有较大差异，导致最终的特征拟合失效，而新提出的方法符合監控场景的图像先验概率分布具有较好的特征学习结果。因为所有算法在visual studio 2017下c++实现，单幅图像的预测时间小于1 s，具备实际的应用的能力。在此基础上，实际监控图像如图8所示进行实际场景的分析。在分析之前请3位技防专家对300幅实际监控图像进行了色彩还原性打分，参考MOS评分系统（1-5分评价），5分为还原性最好，1分为最差。将亮度特征和SIFT特征拟合到1-5分的评价系统来判断模型在实际系统中的准确性，在实际监控图像中实验发现拟合度大约在0.75左右，从而验证了本方法在实际监控系统中评价色彩还原性的有效性。

3.1   存在問题和下一步工作

Imatest的分析结果科学性还有待验证，摄像机在实际测试过程中不同型号相机的配置一致性如果保证也是在未来研究需要解决的问题。尽管本方法比传统的质量评价方法优越，但是拟合度依然低于80%还有较大的改进空间，未来需要在色彩还原科学标注、更好的特征选取上深入开展工作来进一步提升实际的应用效果。因为监控图像覆盖的图像范围较大包括了：白天、黑夜、室内、室外等多场景，未来希望在不同场景下建立更多的训练和测试数据集。

4   结   论

通过实验建立了一种基于亮度估计的监控图像的色彩还原性的测试方法，克服了目前实验室环境下测试色彩还原性的强依赖问题，具有在实际视频监控系统中测试的价值，可以提升视频监控系统的验收和评价水平。通过构建实验室环境下ColoCheck数据集，验证了方法的有效性。考虑从实验室场景到工程场景图像模态的差别，又建立监控场景的数据集及相关标注。通过实验验证了算法的可行性。未来期望在数据集构建和特征提取上深入开展工作，进一步提升监控场景下色彩还原性预测的准确率。

参考文献

[1]    https：//www.imatest.com/docs/colorcheck/.

[2]    LIN W，KUO J.Perceptual visual quality metrics：a survey[J]. Journal of Visual Communication and Image Representation，2011，22 （4）：297-312.

[3]    SHAO L.Non-distortion-specific no-reference image quality assessment[J]. A Survey，Information Sciences，2015，301：141-160.

[4]    MITTAL A，MOORTHY K，BOVIK C.No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing，2012，21 （12）：4695-4708.

[5]    SAAD A，BOVIK C，CHARRIER C.Blind image quality assessment：A natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing，2012，21 （8） ：3339-3352.

[6]    MITTAL A，SOUNDARARAJAN R，BOVIK C.Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters，2013，20 （3） ：209-212.

[7]    BEIGPUR S，VANDEWEJER J，RIESS S，et al.Multi-illuminant estimation with conditionalrandom fields[J]. Image Processing，IEEE Transactionson，2013，23（1）：83-96.

[8]    BIANCO S，CIOCCA G，CUSANO C，et al. Improvingcolor constancy using indoor-outdoor image classification[J]. Image Processing，IEEE Transactions on，2008，17（12）：2381-2392.

[9]    BIANCO S，SCHETTINI R. Adaptive color constancy usingfaces[J].  Pattern Analysis and Machine Intelligence，IEEE Transactions on，2014，36（8）：1505-1518.

[10]  LOWE D. Object recognition from local scale-invariant features[J].  International Conference on Computer Vision，1999：1150-1157.

[11]  YANG K，GAO S，LI Y，et al. Efficient illuminant estimation for color constancy using grey pixels[J].  Computer Vision and Pattern Recognition，2015：2254-2263.

[12]  ZHANG L，BOVIK C.A feature-enriched completely blind image quality evaluator[J]. IEEE Transactions on Image Processing，2015，24 （8） ：2579-2591.

[13]  GU K，LIN W，ZHAI G，YANG X.No-reference quality metric of contrast-distorted images based on information maximization[J].  IEEE Transactions on Cybernetics，2017，47 （12） ：4559-4565.