HDRI合成中新的相机响应曲线算法

舒 妮，陈孝威

（贵州大学 计算机科学与信息技术学院，贵州 贵阳550025）

0 引 言

现实世界是一个动态范围很大的场景。如正午日光与夜晚星光就相差高达10个亮度等级。这种大动态范围的场景，对于目前已经得到广泛使用的CCD/CMOS这类图像传感器来说，很难获得理想的图像。太亮的区域，摄像机为饱和输出。太暗的区域，从图像中根本无法分辨出被摄对像。严重影响了基于图像的后续处理技术的效果，如基于图像的建模和绘制技术［1－2］，基于图像序列的全景图拼接技术［3－4］等。

高动态范围图像（high dynamic range image，HDRI）［5］是一种新的图像格式，其记录的数据正比于实际场景中对应点的实际亮度值，它可以逼真地描述亮度大范围变化场景的光学信息，有效呈现自然世界的真实色彩。常见的HDRI存储格式有Radiance的RGBE格式，ILM的OpenEXR格式，Pixar的log－encoded TIFF格式等［6］。本文采用32bit/pixel的RGBE格式存储高动态范围图像。

高动态范围图像最常用的获取方式是通过对同一场景不同曝光量图像序列的合成。为此，我们需要根据场景不同区域的亮度调节曝光时间拍摄多幅图像，一幅图像只能逼真描述某一亮度范围。然后采用高动态范围图像技术，将多幅图像合成为一幅高动态范围图像，用这一幅图像就可以逼真地描述亮度大范围变化的场景。

1 高动态范围图像合成的基本原理

1.1 高动态范围图像合成的一般过程

高动态范围图像目前的获取方式［7－11］主要是通过对同一场景不同曝光量图像序列的合成。主要有以下两个过程［12］：①通过图像序列标定出相机响应曲线［13］，即获得相机的曝光量H与图像像素值V之间关系曲线。②通过相机响应曲线，求得真实场景亮度值E。由于曝光量H是场景亮度值E与曝光时间t的乘积，通过相机响应曲线，很容易求得场景亮度值E。

合成出的高动态范围图像，最终在低动态显示设备（即普通显示设备）或者高动态显示设备上显示出来。基本流程图如图1所示。

图1 高动态范围图像合成基本流程

本文主要研究高动态范围图像合成中的相机响应曲线拟合算法。

1.2 相机响应曲线的拟合

设像素值V与相机获得的曝光量H之间具有如下关系

式中：f—— 一个非线性函数，i——图像中像素位置的索引，j——图像的索引。通常，曝光量越大，获取的图像像素值就越大。所以我们可以把函数f看成是一个单调增函数。

对式 （1）求反函数，得

因为Hij＝Ei△tj，其中Ei为相机在第i个位置接收到的照度，即场景的真实亮度。△tj为拍摄第j幅图像时的曝光时间。则式 （2）可以表示为

两边同时取对数并令F（Vij）＝lnf－1（Vij），则

式中：△tj、Vij——已知的，F（Vij）、Ei——未知的，由于Vij是0－255的整数，所以我们只要计算出256个F（Vij）就可以了。我们通过求解最小二乘目标函数 （5）来求解。

式中：M——图像的幅数，N——采样点的个数。为了使拟合的曲线更平滑，我们加入平滑项F" （v）＝F（v－1）－2F（v）＋F（v＋1）。由于像素值靠近0与255的像素点的曝光往往不够稳定［14］，因此可以加上一个三角权值函数来加以约束，其表达式为

形成的最终表达式为

在式 （7）中，需要求解的未知量为256个F（v）和N个lnEi，共256＋N个。

由式 （7）可知，每一幅图像的每一个采样点对应一个方程式，共有N＊M个方程式。设像素值128拥有单位曝光量，即F（128）＝0，则共有M＊N＋1个方程式。只要满足式 （8）

则方程个数大于等于未知量个数，我们就可以用奇异值分解的方法求解这个最小二乘解，求解出相机的响应曲线，即F（V）。

采样点的选取是非常微妙的。有学者提出，好的采样点应具备以下一些特性［15］：①空间分布比较均匀。②尽量覆盖图像的所有亮度。③来自比较平滑的区域。

但通常很难获得同时满足这些条件的点。

目前一般采用随机采样并对采样点加以梯度限制或者均匀分布采样并对采样点加以梯度限制对图像序列进行采样，这种采样方式没有充分利用每幅图像像素信息及图像序列之间像素值的关系，拟合出的相机响应曲线不够平滑，而且随着采样点的变化曲线变化大，不稳定。

1.3 高动态范围图像的合成

融合所有的M幅原图像来计算每个像素照度值E的对数lnE

2 本文的相机响应曲线算法

相机响应曲线是相机获得的曝光量H与图像像素值V之间的关系曲线，是合成高动态图像的关键技术。理想的相机响应曲线是平滑的，并且是单调不减的。目前，通常先对图像采样，然后利用相机响应曲线拟合算法拟合出相机响应曲线。这种方式没有充分利用每幅图像像素信息及图像序列之间像素值的关系，拟合出的相机响应曲线不够平滑，而且随着采样点的变化曲线变化大，不稳定。

为了得到更加平滑的相机响应曲线，合成出高质量的高动态范围图像，本文提出一种不需要对图像序列采样的相机响应曲线拟合技术。该技术先利用最小二乘法拟合出图像序列中每幅图像与第1幅图像像素值之间的关系曲线，利用该曲线再一次采用最小二乘法拟合出相机响应曲线。

2.1 理论基础

设同一场景不同曝光量的两张图像A和B，曝光时间分别为⊿ta和⊿tb，设⊿tb大于⊿ta。像素值V是随相机获得的曝光量H单调不减的，所以，图像B中像素值应大于等于图像A中相应位置像素的像素值。如果图像B中像素值小于图像A中相应位置像素的像素值，认为是噪声点，应去除。

图像A与图像B是用不同的曝光时间获得的同一场景的两幅图像。我们可以认为图像B是在图像A的基础上延长一定曝光时间得到的图像，因此我们可以认为图像B中的像素值是图像A中相应位置像素值的函数，通过曲线拟合，可以得到这两张图像像素值之间具有的关系曲线。同一场景曝光时间更长的图像，都可以认为是在图像A的基础上延长一定曝光时间得到的图像，获得的像素值是图像A中相应位置像素值的函数。这正是本文算法的理论基础。

2.2 本文的相机响应曲线算法

彩色图像红、绿、蓝3个通道相机响应曲线的拟合是一样的，本文以红色通道为例对本文的相机响应曲线拟合算法作详细阐述。

设Q表示曝光时间按单调递增排列的红色通道的图像序列，则

式中：vij——第j幅图像中第i个位置的像素值，⊿tj——第j幅图像的曝光时间，M——图像总数，n——每幅图像像素数。

我们先对图像序列去除噪声，噪声点的判断准则如下

即不满足式 （10）的像素为噪声。

设第j幅图像与第1幅图像对应位置i像素值之间的关系为hj（vi，1）

式中：vi，1——第1幅图像中第i个位置的像素值，l——多项式次数，aj，k——多项式系数。设

采用最小二乘法求解式 （12），可解得使P最小的hj（v），即第j幅图像与第1幅图像像素值之间的关系曲线hj（v）。h1（v）＝v。

理想的关系曲线hj随着v的增大先单调增加，当hj（v）增加到255时维持平衡不再变化。关系曲线通常在高像素值部分有小幅震荡，我们可以根据此特性做细小调整。

拟合出图像序列中每幅图像与第1幅图像像素值之间的关系曲线后，利用该曲线进行相机响应曲线拟合。

根据前面1.2节介绍的原理，在式 （7），用hj（v）（其中v为0～255）代替采样点像素值Vij，可得

式中：⊿tj——拍摄第j幅图像的曝光时间；F" （V）——一个平滑函数，其表达式为F" （V）＝F（V－1）－2F（V）＋F（V＋1）；w（V）是一个三角权值函数，其表达式见式 （6）；hj（v）是第j幅图像与第1幅图像像素值之间关系曲线，在本文实验中，图4（a）从下至上分别为图像2（a）～图2 （f）与图像2 （a）的关系曲线hj（v）（1≤j≤6），横坐标为像素值v，v的取值范围为0～255，纵坐标为hj（v）的值。

Ev为相机在图像序列第1幅图像中像素值为v的像素接收到的照度；F（V）是需要求解的相机响应曲线，这两者是需要求解的未知量。

我们设像素值128为单位曝光量，即F（128）＝0，只要满足式 （8），就可通过奇异值分解的方法求解式 （13）得到解出相机响应曲线，即F（V）。

拟合出相机响应曲线后，根据式 （9）即可恢复出场景的高动态范围图像。

3 实验及对比

图2是同一场景的6幅图像，红、绿、蓝3个通道像素值范围都为0～255，曝光时间分别为1/250，1/125，1/60，1/30，1/15，1/8，图像来源于 The Hebrew University of Jerusalem。

图3（a）是采用随机采样并加以梯度限制的采样技术，拟合出的R、G、B这3个颜色通道相机响应曲线 （采样点个数为256），分别用虚线、实线、点划线表示。横坐标表示像素值V，纵坐标表示曝光量H的对数lnH。3个通道的相机响应曲线都不平滑，尤其是高像素值部分；图3（b）是根据图3（a）相机响应曲线合成出的高动态范围图像，从细节图3（c）可以看出，窗外的柱子以及室内灯光部分泛绿色。

按照本文算法，先利用图像序列噪声判断准则对图像序列去噪，然后利用最小二乘法拟合出图像序列与图像2（a）的关系曲线 （其中拟合的多项式次数l＝10），如图4所示。图中，横坐标和纵坐标都表示像素值V。

图4（a）～图4（c）分别为红、绿、蓝3个颜色通道的关系曲线hj（v）；每幅图中，从下至上分别为图像2（a）～图2 （f）与图像2 （a）的关系曲线hj（v）（其中1≤j≤6）。

拟合出关系曲线hj（v）后，通过奇异值分解的方法求解式 （13），即可求解出相机响应曲线。图5（a）是拟合出的R、G、B这3个颜色通道的相机响应曲线，分别用虚线、实线、点划线表示。横坐标表示像素值V，纵坐标表示曝光量H的对数lnH。对比图3（a）可以看出，这种方式拟合出的相机响应曲线更加平滑，优于随机并加以梯度限制这种采样方式拟合出的相机响应曲线，尤其是高像素值部分。

图5（b）是根据本文算法合成出的高动态范围图像。图2的前3幅图像，室内的画框、天花板等暗区域细节表现不清晰，后3幅图像，窗外处于阳光直射处等亮区域的细节表现不清晰，而在图5（b）中，无论是暗区域还是亮区域，细节特征都能很好的表现出来。从细节图5（c）可以看出，图像的整体颜色表现更加自然，窗外柱子部分及室内灯光部分细节特征表现得更好，优于随机并加以梯度限制这种采样方式拟合相机响应曲线并最终合成出的高动态范围图像。

4 结束语

相机响应曲线的拟合是合成高动态图像的关键技术，决定了合成的高动态范围图像质量好坏。本文算法根据图像序列成像特点对图像序列去噪；充分利用每幅图像像素信息，采用最小二乘法拟合出图像序列与第一幅图像像素值关系曲线；利用该曲线进行相机响应曲线拟合。减少了对图像序列采样的过程。避免了拟合出的相机响应曲线随采样点的变化曲线变化大、不稳定。实验中，通常选取整体亮度较低，但像素值基本覆盖0－255中所有像素值的图像作为拟合相机响应曲线图像序列的第一幅图像。实验表明该技术拟合出的相机响应曲线平滑，合成出的高动态范围图像效果好。

［1］Debevec P E，Mcmillan L.Image－based modeling rendering and lighting ［J］.IEEE Comput Graphics and Appl，2002，22（2）：24－25.

［2］HUA S G，OU Z Y，WANG X D.Constructing full view panoramic image based on spherical model［C］.Tianjin：Proceedings of SPIE the International Conference on VR and Application in Industry，2003：117－122.

［3］SHUM H，Szeliski R.Construction of panoramic mosaics with global and local alignment［J］.International Journal of Computer Vision，2002，36 （2）：101－130.

［4］Brown M，Lowe D.Recognising panoramas［C］.Proceedings of the 9th International Conference on Computer Vision，2003：1218－1225.

［5］Reinhard E，Ward G，Pattanaik S，et al.High dynamic range imaging：Acquisition display and image based lighting ［M］.San Francisco：Morgan Kaufmann Publishers，2005：96－105.

［6］Ward G，High dynamic range image encodings［EB/OL］.http：//www.anyhere.com/gward/hdrenc/hdr－encodings.html，2011.

［7］WANG Zhongli，ZHAO Qingjie.Technology of high dynamic range image reconstrucion ［J］.Optical Technique，2006，32（Zl）：279－285 （in Chinese）.［王忠立，赵清洁.高动态范围图形获取技术 ［J］.光学技术，2006，32 （Zl）：279－285.］

［8］Nayar S K，Branzoi V.Adaptive dynamic range imaging：Optical control of pixel exposures over space and time ［C］.Proceedings of the Ninth IEEE International Conference on Computer Vision，2003.

［9］Nayar S K，Vlad Branzoi，Terry E Bouh.Programmable imaging using a digital micromirror array ［C］.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004.

［10］Kavadias S，Dieriekx B，Scherer D，et a1.A logarithmi response CMOS image sensor with on－chip calibration ［J］.IEEE Journal of Solid，State Circuits，2000，35 （8）：1146－1152.

［11］Mitsunaga T，Nayar S K.High dynamicr range imaging：Spatially varying pixel exposures ［C］.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2000：472－479.

［12］ZHU Xiuming.Research on construction and visualization of high dynamic range image ［D］.Hangzhou：Zhejiang University，2008（in Chinese）.［朱秀明.高动态范围图像的合成及可视化研究 ［D］.杭州：浙江大学，2008.］

［13］Grossberg M D，Nayar S K.What is the space of camera response functions［C］.IEEE Conference on Computer Vision and Pattern Recognition，2003：602－609.

［14］Berkin A，WANG Meng.A review of high dynamic range imaging on static scenes［R］.Boston：Boston University，2008.

［15］SA Asla，CARVALHO Paulo，VELHO Luiz.High Dynamic Range Imaging Reconstruction ［M］.San Rafael，Calif：Morgan ＆Claypool Publishers，2007.