一种低光照度下的彩色数码设备色彩还原能力评价方法
2020-05-06王晓岩
王晓岩,李 野,岳 丹
(长春理工大学 理学院,吉林 长春 130022)
1 引 言
图像色彩作为图像显示效果的一个重要方面,取决于彩色数码设备的色彩还原能力[1]。随着光电成像器件的迅速发展,彩色数码设备在可见光条件下的色彩还原能力日趋完善,如何提高低光照度[2-3]下彩色数码设备的色彩还原能力成为目前的研究热点。目前,市面上涌现了诸多新型的彩色数码设备,其目的是为了提高在低光照度下的拍摄效果。但这些彩色数码设备在低光照下的色彩还原能力具体如何,尚未形成一种有效的测试方法。
对彩色数码设备色彩还原能力进行评价是个相对复杂的问题,目前市面上大多利用Imatest和Color Checker进行评价。Imatest是一套图像质量分析软件[4],被广泛应用于各种彩色数码设备色彩还原能力的客观评测。虽然Imatest各个功能模块能够得出许多参数,但在不同环境、用不同的测试图卡得出的参数值也不尽相同,这使得对彩色数码设备的评价变得复杂。德国影像工程公司Image Engineering通过使用分光光度计测量Color Checker,将仪器读出的参考数据与相机拍摄的图像一起提供给分析软件,通过计算颜色误差等差异评测了2017年以后上市的相机产品,对其色彩还原能力进行了严谨的测试及评价,其方法虽简便却不具有可重复性。因此,为了使其评价更加简单快捷并具有可重复性,本文将直接使用各种彩色数码设备输出图像来进行彩色数码设备色彩还原能力的现场评价。
目前国内外采用的对彩色数码设备输出图像质量评价方法主要分为两类:主观图像质量评价方法和客观图像质量评价方法[5]。主观图像质量评价方法选择大量评测者在特定环境中对同一目标图像进行评价打分,并对其分数进行加权平均从而得到图像质量评价结果。客观图像质量评价方法是指脱离人的主观意识判断,依据人眼的主观视觉系统建立一个数学模型,对待评图像进行相关的处理运算,从而得到待评图像的质量值。2000年,汪孔桥等[6]提出了一种简化的图像质量评价模型 ,基于人眼感兴趣区域特性对传统的PNSR方法进行改进,划分人眼视觉感兴趣区域并赋予对应的加权值进行质量评估。2006年,Shnayderman 等[7]提出了一种基于奇异值分解的图像质量度量方法,该方法可以图形方式用作二维工具,也可以在数值上用作标量度量,使多种损伤类型图像都能获得较好的评价效果。2007年,Chandler等[8]提出了一种基于人类视觉的近阈值和超阈值特性来量化自然图像视觉保真度的有效指标,该方法是基于物理亮度和视觉角度,因此可以用来评价不同视觉条件的图像质量。2011年,Zhang等[9]针对人眼视觉系统(HVS)主要根据图像的底层特征来理解图像,提出了一种新的全参考IQA特征相似度(FSIM)指标。在6个基准IQA数据库上进行的大量实验表明,FSIM能够比最先进的IQA指标获得更高的主观评价一致性。主观图像质量评价方法虽然结果可靠,但需要评测者对图像做多次反复性试验,无法应用于所有场合,不便于图像系统的集成和实现。而客观评价方法是利用算法代替人眼视觉来感知和评价图像质量,省时省力,实施稳定,应用领域广,评价结果具有重现性,不受主观因素的影响。因此,使用客观评价方法相对于主观评价方法更有意义。
本文在低光照度条件下采用客观质量评价方法对各种彩色数码设备色彩还原能力进行评价,通过建立评价模型来计算标准色卡图像和彩色数码设备所采集图像的差异,作为彩色数码设备图像质量的评测标准,从而实现对彩色数码设备色彩还原能力的有效评价。首先选取符合评价需求的色彩空间及构建色彩空间理论转换模型,然后构建彩色数码设备色彩还原能力度量标准,最后通过VC++软件平台实现彩色数码设备色彩还原能力评价方法,其方法计算简单、意义明确,具备可操作和可重复性。本文提出的彩色数码设备色彩还原能力评价方法,对于研究低光照度下彩色数码设备色彩还原能力具有较大的理论意义和实际应用价值, 同时对微光夜视设备色彩还原能力的评价也具有重要的指导意义和参考价值。
2 色彩还原能力评价方法
2.1 色彩空间的选取及转换
通常彩色数码设备用的RGB三基色颜色空间是面向硬件的模型[10],用于建模物理设备的输出,是与设备相关的色彩空间,无法直接用于各种彩色数码设备色彩还原能力的评价。而CIELAB颜色空间是一种与设备无关的颜色系统[11],也是一种基于生理特性的颜色系统,以数字化方式来描述人的视觉感应。在表达色域范围上,CIELAB色彩空间具有最宽的色域范围,它适用于一切光源色体或物体色的表示与计算。当色彩从色域范围大的色彩模型向色域范型围小的色彩模型转换时,色彩不会损失,避免了色彩损失带来的误差。本文采用CIELAB颜色空间作为彩色数码设备输出图像的评价空间。
基于色度学理论,本文采用以下方法建立从显像RGB颜色空间到CIELAB颜色空间理论转换模型:
RGB颜色空间不能直接转换到CIELAB颜色空间,需要借助XYZ颜色空间。首先将RGB颜色空间转换到XYZ颜色空间,再将XYZ颜色空间转换到CIELAB颜色空间。
RGB颜色空间到CIEXYZ颜色空间的转换模型如公式(1)所示:
(1)
但该转换矩阵与具体的显示系统硬件相关。基于该模型,针对彩色数码设备特点,通过颜色标定方法对转换矩阵中的参数进行修正及优化。
CIEXYZ颜色空间到CIELAB颜色空间的模型如公式(2)所示:
(2)
其中:
X、Y、Z为颜色样品的三刺激值,Xn、Yn、Zn为标准照明体照射在完全漫反射体上后反射到观察者眼中的三刺激值。
2.2 评价指标的建立
针对彩色数码设备图像特点,选定颜色空间内构建彩色数码设备色彩还原能力评价度量标准,实现对彩色数码设备色彩还原能力的全面客观的量化评价,从而为系统设计性能的优劣提供可靠的客观量化指标。
2.2.1 色差CIEDE2000
由于人眼与色差计在色度图中不同位置的色彩评估方法和形状上的差异,引起了许多色彩评定时测量数据与目测结论不匹配的问题。在2000年,经过国际照明技术委员会对现有色差公式和视觉评价数据的分析与测试,提出了一个新的色彩评价公式,称为CIEDE2000色差公式,简称CIEDE2000,色差符号为ΔE00[12]。CIEDE2000是到目前为止最新的色差公式,该公式与CIE94相比复杂得多,其在各个色差范围都表现优异,同时也大幅提高了精度。因此本文基于CIEDE2000色差公式,构建待评价图像自身对比度及与标准色样图像之间的色彩还原度度量模型,实现对系统产生图像的质量评价。
CIEDE2000色差公式如公式(3)所示:
(3)
其中,L表示人类视觉的亮度响应,用于量化图像的亮度;C是饱和度,H是色调,这两者都用于定量人类视觉的色彩响应。ΔL′、ΔC′、ΔH′分别表示亮度差、饱和度差和色调差,具体表达式如公式(4)所示:
(4)
式中:b和s分别表示颜色样品和标准色样。亮度L′、彩度C′和色调角h′均可由CIELAB值转换得到,转换公式如式(5)所示:
(5)
其中:a′=a*(1+G),b′=b*,G表示为红绿轴的调整因子,权重函数SL、Sc、SH用来校正颜色空间的均匀性,其值取决于颜色在标准CIE颜色空间中的位置。
基于CIEDE2000色差公式,本文中提出的彩色数码设备图像质量度量标准包括对比度模型及色彩还原度模型,分别如公式(6)、(7)所示:
(6)
(7)
对于同一图像的两个部分对比度的值越大,从视觉上就越容易区分这两个部分。色彩还原度是将系统产生图像与可接受的标准图样进行比较,其值越小,表示系统的色彩还原度越高。
2.2.2 MSE和PSNR
均方误差(Mean Square Error, MSE)[13]和峰值信噪比(Peak-Signal to Noise Ratio, PSNR)[14-15]都是通过计算待评图像与参考图像之间像素灰度值误差的大小来全局衡量待评图像质量好坏。MSE的值越小,表明待评图像质量越好。而PSNR的值越大,表明待评图像与参考图像之间的失真越小,待评图像质量越好。其计算公式如下:
(8)
(9)
其中:x与y分别表示参考与失真图像,N是参考或失真图像中像素点总数,L是图像中最大亮度值,通常为255。
2.2.3 RMSE
均方根误差亦称标准误差[16],其计算公式如下:
(10)
式中:m、n为图像像素大小,RMSE的值越小表示得到的散点偏离拟合线的程度越小,拟合效果也就越好,图像质量越好。
2.2.4 SSIM
结构相似度(SSIM)是一种衡量电视、电影或者其他数字图像、视频的主观感受质量的一种方法[17]。SSIM算法是用来测试两幅图像的相似性,其评价图像的质量是基于未压缩的或者无失真的图像作为参考。SSIM是一种基于感知的计算模型,它能够考虑到图像的结构信息在人的感知上的模糊变化,该模型还引入了一些与感知上的变化有关的感知现象,包含亮度变化和对比度变化,结构信息指的是像素之间有着内部的依赖性,尤其是空间上靠近的像素点,这些依赖性携带着目标对象视觉感知上的重要信息。指定两个图像x和y,则两张图像的结构相似性可按公式(11)和(12)求出:
(11)
其中:
(12)
3 实验过程与结果
3.1 实验方法
该阶段所涉及的实验部分是对所构造出来的图像质量评价算法编写相应的数值程序,包括仿真测试程序及上位机软件程序。
在仿真测试阶段,基于MATLAB软件平台编写程序[18],对提出的图像质量评价算法进行仿真分析。主要是针对所研究的彩色数码设备进行系统修正及优化色彩空间转换模型参数,同时基于实验结果,对建立的质量评价模型进行修正,最终得到符合彩色数码设备特点的色彩还原能力评价模型。
在完成MATLAB仿真测试后,设计并实现基于VC++编程语言的MFC界面的上机测试软件[19]。其上机测试软件的设计思想是模块化、清晰化和有效化。通过使用VC++面向对象技术,对图像质量评价方法的各类功能进行分解,并用类的方式实现各类功能。图1给出了彩色数码设备的图像质量测试软件设计示意图。
图1 图像质量测试软件设计示意图Fig.1 Schematic diagram of image quality test software design
图2 VC++ MFC评价界面显示Fig.2 VC++ MFC evaluation interface display
其中,数据采集模块主要实现对设备输出彩色图像的采集;色彩空间转换模型是实现待评图像由RGB颜色空间到CIELAB颜色空间的转化;图像质量度量标准是实现对图像质量的评价;图像存储和参数管理是测试软件中主要的数据结构部分,负责相应的内存管理;界面操作部分是提供参数设定以及计算结果显示功能。
图2为设计出的VC++ MFC界面,主要分为图像显示、评价数据、评价指标3部分。其中图像输出为标准图像及测试图像的导入显示,评价数据为各图像指定区域平均RGB及LAB值,评价指标为色差CIEDE2000、对比度(Contrast)、均方误差(MSE)、均方根误差(RMSE)、峰值信噪比(PSNR)、结构相似性(SSIM)等。
3.2 实验过程及结果
实验环境:暗室,环境照度小于5 lx,温度21~25 ℃,湿度20%~60%,中性灰白色墙面。
实验设备:Lenovo IdeaPad Yoga13,三脚架,标准光源D65,佳能EW-73D数码相机,良田高拍仪,华为mate7手机,华为P10手机,华为mate20Pro手机,iPhone6手机,照度计,美侬24色标准色卡。
为更好地测试、表征及校准彩色数码设备图像显示系统,利用如图3所示的美侬24色标准色卡作为观测图像。它能为真实还原任何照明条件下任何介质上的图像色彩提供参照,其中的每块色块都代表了自然物体的真实色彩,而且反光率与真实物体相同。基于上述观测目标,利用评价指标实现对系统产生的彩色图像进行量化评价,从而为彩色数码设备色彩还原能力评价提供可靠的客观量化指标。
图3 美侬24色标准色卡Fig.3 Beauty 24 color standard color card
3.3 实验过程
(1)设置各彩色数码设备参数,关闭闪光灯。确保实验环境全黑且无反光,照度均小于5 lx。
(2)将被评测的彩色数码设备分别瞄准置于中性灰背景中的标准色卡,使其处于各彩色数码设备取景器视场的中央,并尽可能充满视场(标准色卡应占取景器视场面积的70%以上),取20°~45°的入射角进行拍摄,拍摄完成后将图像存为BMP格式。
(3)将所拍摄的图像导入计算机中,然后上机程序进行评测。打开程序,点开图像导入按钮进行图像导入,并点击其他参数按钮进行图像质量测评。实验设置如图4所示。
图4 实验设置Fig.4 Experimental setup diagram
3.4 实验结果分析
使用各种彩色数码设备拍摄标准色卡并选取指定区域进行色彩还原能力评价。以24色美侬标准色卡的理想值作为参考标准,分别用佳能EW-73D数码相机、良田高拍仪、华为mate7手机、华为P10手机、华为mate20Pro手机拍摄标准色卡的颜色值与理想值比较,通过所得到的色差、均方误差、峰值信噪比、均方根误差、结构相似性大小来判断彩色数码设备的色彩还原能力。色差值和对比度值越小,说明彩色数码设备的色差还原能力越好;均方误差MSE的值越小,表明图像质量越好;而峰值信噪比PSNR的值越大,表明待评图像与参考图像之间的失真越少,图像质量越好,彩色数码设备的色彩还原能力越佳;结构相似性SSIM值越大,说明数码相机的色差还原能力越好。图5是低光照度下各种彩色数码设备评价指标数据曲线图。
(a) 色差CIEDE2000曲线图(a) CIEDE2000 curve
(b) 对比度曲线图(b) Contrast curve
(c) 均方误差曲线图(c) MSE curve
(d) 均方根误差曲线图(d) RMSE curve
(e) 峰值信噪比曲线图(e) PSNR curve
(f) 结构相似性曲线图(f) SSIM curve图5 低光照度下各种彩色数码设备评价指标数据曲线图Fig.5 Curves of evaluation index data of various color digital devices under low illumination
分析色差值ΔE00及对比度C,从图5(a)和(b)数据中可得出各彩色数码设备色彩还原能力为:华为mate20Pro>佳能EW-73D数码相机>良田高拍仪>华为P10>iPhone 6>华为mate7。分析均方误差MSE及均方根误差RMSE,从图5(c)和(d)数据中可得出各彩色数码设备色彩还原能力为:华为mate20Pro>佳能EW-73D数码相机>良田高拍仪>华为P10>iPhone 6>华为mate7。分析峰值信噪比PSNR,从图5(e)数据中可以得出各彩色数码设备色彩还原能力为:华为mate20Pro>佳能EW-73D数码相机>良田高拍仪>华为P10>iPhone 6>华为mate7。分析结构相似度SSIM,从图5(f)数据中可以得出各彩色数码设备色彩还原能力为:华为mate20Pro>佳能EW-73D数码相机>良田高拍仪>华为P10>iPhone 6>华为mate7。
由上分析可知,在低光照度的情况下,华为mate20Pro的色彩还原能力最好,以下依次是佳能EW-73D数码相机、良田高拍仪、华为P10手机、iPhone6手机、华为mate7手机,该实验结果与人眼主观视觉感受相吻合,具有一定的可靠性。
4 结 论
彩色数码设备色彩还原能力不仅受到本身色彩还原能力算法的影响,而且在实际测评过程中还会受到拍摄环境、光源等影响。本文从评价低光照度下彩色数码设备色彩还原能力的需求出发,利用色差公式CIEDE2000等度量指标,基于VC++平台编写图像质量评价算法和相应的数值程序,设计出一款色彩还原能力评价软件系统。现场实验结果表明,此方法可以实现对低光照度下彩色数码设备色彩还原能力的全面客观量化评价,能为各类数码设备设计性能的优劣提供全面可靠的评价指标,同时对微光夜视设备色彩还原能力的研究也具有指导意义和参考价值。