高动态范围(HDR)影像技术应用概述
2016-05-14刘霞张砚
刘霞 张砚
摘要:高动态范围图像比起普通图像,它所能表现的画面层次更加丰富,光影效果也更加逼近现实。近年,随着高动态范围技术的革新与发展,其应用领域也再不断的扩大。目前高动态范围技术应用主要集中在影像制作、虚拟现实、遥感探测、医学检测等领域,对客观世界最真实光线的再现能力的优越性,决定了未来对高动态影像技术的追求必然会是大势所趋。
关键词:HDR 宽容度 曝光 采样
中图分类号:TP391 文献标识码:A 文章编号:1007-9416(2016)08-0253-02
1 HDR介绍
高动态范围(High-Dynamic Range,高动态范围)HDR是对同一场景采用不同的曝光值进行采样,融合成局部自适应曝光的高动态范围图像。比起普通图像,它所能表现的画面层次更加丰富,场景中的高亮度区和低亮度区的细节信息都能很好的保留下来,可以得到更加逼近现实的光影效果。高动态范围图像在影像制作、虚拟现实、遥感探测、医学检测等领域将有巨大的应用价值[1-2]。
近年随着影像技术产业的应用需求,诸多企业和研究学者都在为高动态范围图像的技术发展做出自己的努力。而对于HDR影像技术的研究,国外的科研机构主要针对硬件技术和软件实现方面,国内研究学者则主要集中在HDR的应用研究方面。
2 HDR应用现状
2.1 影像制作领域
高动态范围成像技术自20世纪30至40年代由美国摄影师查尔斯·威科夫首先提出,在20世纪晚期由美国南加州大学Paul Debevec博士公开提出了组合多个不同曝光量影像以生成HDR影像的技术,纵使感光器件或者胶片的宽容度有限,却仍然能够通过多次成像来得到高动态范围的影像[3]。富士、尼康、佳能、宾得以及索尼等公司近年也都大力发展HDR技术,努力改进CCD的生产技术,解决HDR功能内置时,由于提高相机感光度,而产生的噪点增多等诸多问题。
在HDR连续影像记录方面,Soviet Montage 2010年前首次提出双机同步拍摄方案使用2台5DII单反照相机,用个分光棱镜把影像分成两个并分别进入两个相机,使不同位置的相机没有视差,以获取HDR的视频短片,该方案主要针对稳定画面拍摄,以确保画面像素的重合效果[4]。RED公司HDRx技术,同时获取“正常曝光”和“高光保护”即过曝光两幅画面来达到HDR效果。越来越多的商家都在致力于HDR的商业化应用,大家都在期待着值得推广的技术方案出炉,届时摄影、摄像等相关产业的发展也许将会发生重大的变革。
2015年美国CES国际消费电子展会,在这个世界最大、影响最为广泛的消费技术产业盛会上,在图像拍摄领域被熟知的高动态范围(HDR)技术,也开悄然地开始被电视所采用。HDR电视的最高亮度可达1000尼特,这使得场景色彩更加生动,画面更加清晰,影像效果更加真实。这项技术的应用被认为有可能会引发电视领域的一次新的变革。
陈军[5]研究了视频应用前沿技术达芬奇平台的程序开发过程,针对基于达芬奇的HDR图像合成进行了探讨,开发基于 RGB 和 YUV 色彩空间的 HDR 图像处理算法仿真程序,并对高动态范围图像处理算法在达芬奇平台上如何进行移植,进行了方案设计和尝试,该研究工作为高动态范围图像在达芬奇平台上的应用提供了有价值的参考。
2.2 虚拟现实领域
曾珂[6]等提出了改进的虚拟环境实HDR光照工作流及相关模型,通过对实时光照渲染中的HDR光照渲染技术及实时阴影渲染中的高复杂度大规模阴影区域虚拟环境实时阴影渲染技术的相关研究和实现,来提高虚拟世界对真实场景模拟的逼真程度。
赵磊[7]提出了一种基于动态HDR背景下的透明物体渲染方法,在互动虚拟展示系统中展现了实时观看复杂产品外观、内饰在动态真实HDR背景光照下材质光影特性变化的功能,为虚拟现实领域中针对复杂对象的真实感和实时性呈现问题提供了一种可借鉴的解决方案。
李可嘉[8]定义了9个用来渲染HDR效果的独立的纹理渲染目标对象来实现HDR算法,并将其配置好的合成器脚本运用到大规模海洋实时渲染技术研究中,运用HDR技术来提升海洋渲染的真实感[9]。
丁颖浩[10]在轨道无人机三维视景仿真技术研究中为了避免在标准光照流程计算下产生的结果会受到轨道空间环境剧烈变化亮度影响而发生失真,而利用带有色调映射算法的高动态范围光照(HDR Tone Mapping)来达到接近真实的光照效果,有效地提高了轨道无人机视景仿真画面的真实感[11-12]。
赵再骞[13]通过 HDR技术渲染交会对接电视仿真图像,对各像素点的亮度值进行重新分配来突出图像的细节,以此来提高决定航天员完成实际太空飞行任务的熟练度与精准度的仿真图像质量,使载人手控交会对接任务完成的更加顺利。
2.3 遥感探测领域
李山山[14]等为了获取更加接近真实景物的遥感影像,对亮度范围高于普通遥感图的高位动态影像(High Dynamic RangeImages,HDR)进行了重点研究,提出了基于分段线性变换(PLT)的算法,使极暗区域和极亮区域得到有效扩展,尽量多的捕获符合原始地物特点的细节纹理,使图像的整体质量得到明显得提高[15]。
王华[16]针对近年来开始应用于军事和空间探测等领域的CMOS 图像传感器的 HDR 技术的工程实现方法进行了研究,对于集成度高,功耗低,抗辐射能力强,但动态范围不高的CMOS 图像传感器,在HDR模式下,将图像传感器的每个像素进行三次不同时间的曝光,后再进行合成输出,以获取高动态的影像,对提高CMOS 图像传感器在探测等领域的使用价值具有重要意义。
张春华[17]等结合使用专用相机拍摄的高动态范围HDR的星空观测图像的特性,提出基于局部直方图Gauss拟合的方法进行星图背景参数估计,提出基于最优Gamma变换的弱小目标增强算法进行高亮恒星灰度动态范围的压缩和星图中空间弱小目标成像对比度的增加,以降低HDR星空观测图像中恒星成像对空间目标检测的干扰[18-19]。
2.4 医学检测领域
在现实环境场景中存在很宽的动态范围,普通照片所能记录的范围是有限的,有些细节会被淹没掉,使照片所呈现的影像效果与真实感知存在一定差异,那么,在医疗影像的成像系统中也会存在同样的问题,在保证整体最优化的状态下,有些细节可能就很难得保障了。试将HDR的高动态范围优势,迁移至医学影像的获取中,来提高医学成像的质量,提高对疾病检测的准确性。
罗年[20]提出利用痰涂片连续视野进行结核菌的动态智能检测,重点对显微图像动态范围扩展与其中结核菌目标的提取进行了研究,通过改变图像获取设备的曝光度的方法,获取结核菌不同细节的图像,再进行图像的融合,即获取比一般图像具有更宽动态范围的HDR结核菌数字图像,将人眼所无法感知的结核菌也提取出来,提高了检测的准确性[21-25]。
吴云飞[26]在对医学影像数据的高清体绘制研究中,提出了一种基于特征分析的局部特征加强体绘制方法,对体数据进行局部特征分析和局部特征加强绘制进行两个过程的处理,对采样光线上大部分的特征区域执行加强累积,使最终的累积颜色值处于一个高动态范围(High Dynamic Rang,HDR),并基于自适应等方法来完成高动态范围图像的正常显示[27],实现对体数据的快速高质量特征绘制。
边青山[28]等根据膝骨性关节炎病灶点断面图像数据运用计算机图像重建技术将二维图像转换为三维数字模型,进行膝部经筋循行区域、病灶点及经筋的三维可视化影像研究。研究中使用含有的高对比光照信的HDR图像来代替虚拟灯光效果,来提升渲染图像的对比度,增强影像的真实感。该研究为中医学科诊断病情实现三维诊断分析、为中医学科临床治疗方法选择提供了科学依据。
刘宾[29]从系统控制设计、数据采集、图像融合及显示方面展开高动态范围X射线成像检测技术的研究,以线性递变高压射线源控制配合探测器曝光时间间隔的调整,来自动获取不同管电压间隔的透照图像序列;利用相邻管电压间隔图像对应厚度重复率约束的思想对原始透照数据进行二次抽样,提取不同厚度区域对应的有效信息;再通过一系列运算处理后,最终获得融合后的高动态范围图像,对不同材质、厚度分布的大厚度比物体均具有较强的适用性。该方法一定程度上改善了X 射线数字成像在检测大厚度比物体时,由于传统固定管电压成像模式出现过曝光和欠曝光共存现象而导致图像中数据信息严重缺失,结构信息无法完整再现的问题[30-31]。
2.5 其他领域
何海冉[32]对红外图像发展的新方向高动态红外图像(High Dynamic Range Infrared Images)进行了研究,基于线性映射方法对高动态红外图像进行可视化后图像细节的增强[33-34],利用 CLAHE 算法[35-36]对有大尺度变化信息特点的基础层进行增强处理,利用Gamma 算法对变化不明显的细节层进行像素的非线性的调整[37-38]来达到增强的目的。
戴价[39]在多台投影机无缝拼接校正中减弱和消除多台投影机由于亮度叠加后所产生的亮度差异的亮度校正中,采用了基于相机HDR(High Dynamic Range,HDR)的方法先求出相机的亮度响应曲线,再以相机的亮度响应曲线为基础,使相机的输入为投影机的输出,从而间接求得投影机的亮度响应曲线,这种方法缩减了求出投影机亮度曲线的时间需求和价格需求,而得出的亮度曲线测量与直接使用照度计比较,结果相差在10%以内。
杨中东[40]提出基于高动态(High Dynamic Range, HDR)成像的三维视觉测量系统,来提高激光扫描三维视觉测量的精确度,在光学空间实现对三维视觉测量成像系统的高动态成像扩展,采用 HDR 图像作为三维视觉测量系统图像处理软件的输入进行坐标位置的解算,从根源上解决由于图像采集质量而影响视觉测量系统的精度问题。
3 讨论
高动态范围影像技术应用越来越广,除了影像制作领域外,已逐步扩展到了虚拟现实、遥感探测、医学检测等领域。为了实现现实场景的宽动态范围,对高动态范围技术的追求将会是大势所趋,而随着高动态范围影像技术的自身发展,必将会影响到更多领域,而HDR这个能够对客观世界最真实光线再现的优势技术必也将会给我们带来全新的视觉感受。
参考文献
[1]谢一凇,方俊永.高动态范围图像色调映射技术的发展与展望[J].照明工程学报,2011.22(5),11-17.
[2]Debevec P. Image based lighting[J]. IEEE Computer Graphics and Applications, 2002,22(2):26-34.
[3]赵阳.高动态范围连续影像技术的发展及前景[J].现代电影技术,2013,6:42-46.
[4]Li Y.,SharanL.Adelson E.H. Compressing and companding high dynamic range images with subband architectures[J]. ACM Trans. Graph,2005,24(3):836-844.
[5]陈军.基于达芬奇平台的HDR图像合成算法研究[D].上海交通大学,2012.
[6]曾珂.分布交互虚拟环境真实感渲染的关键技术研究[D].电子科技大学,2009.
[7]赵磊.面向复杂对象的实时虚拟展示关键技术研究[D].浙江大学大学,2009.
[8]李可嘉.基于图形引擎的大规模海洋实时渲染技术研究及应用[D].电子科技大学,2011.
[9]Kei Iwasaki.Efficient Rendering of Optical Effects within Water Using Graphics Hardware.0-7695-1227-5/01,2001, IEEE:277-284.
[10]丁颖浩.轨道无人机三维视景仿真技术研究[D].电子科技大学,2012.
[11]陈雷霆,蔡洪斌,王国锦等.基于HDR的延迟光照技术[J].电子科技大学学报,2007, 36(5):817-820.
[12]Ulf Assarsson,TomasMoller.Optimized View Frustum Culling Algorithms for Bounding Boxes.journalsof graphics tools,2000,1-10.
[13]赵再骞,晁建刚,王金坤等.交会对接电视图像高动态范围仿真技术[J]. 计算机辅助设计与图形学学报,2015,27(2):279-286.
[14]李山山,彭嫚,孙小芳等.高位动态遥感影像可视化算法研究[J].安徽理工大学学报(自然科学版),2008,28(1):6-8,15.
[15]ERIK REINHARD,PAUL DEBEVEC,GREG WARD. High Dynamic Range Imaging: Theory andPractice[J].SIGGRAPH,2006,Course(5):21-23.
[16]王华.基于CMOS图像传感器的HDR图像采集技术研究[D].中国科学院研究生院,2012.
[17]张春华,张红雷,袁博等.星空观测图像背景估计及其在HDR星图增强中的应用[J].遥测遥控,2013,34(4):22-27,38.
[18]张科科,傅丹鹰,周峰.空间目标可见光相机探测能力理论计算方法研究[J].航天返回与遥感,2006,27(4):22-26.
[19]Payne T E, Gregory S A, Kim L. Electro-Optical Signatures of Geosynchronous Satellites[C]. Proc. 2006 IEEE Aerospace Conference,(2006):6-11.
[20]罗年.显微图像动态范围扩展及其在结核菌智能检测中的应用研究[D].东华大学,2011.
[21]ZHONGPing,LUONian,etal.ApplicationofMicroscopicImageDyna
micRangeEnhancementinSputumSmearTuberculosisIntelligentExam
ination,SPIE,2009,7382.
[22]MannS,RosalingW.Picard.Onbeing`”undigital” withdigital cameras:extendingdynamicrangeby combiningdifferently exposedpictures[A].In IS&Ts48thAnnualConference[C].1995.
[23] MannS,PicardRW.Onbeing “undigital”withdigitalcameras:extending dynamic rangeby combiningdifferently exposed pictures[C] Proceedingsof IS&Ts 48thAnnualConference.WashingtonDC; SocietyforImagingScienceandTechnology,1995:422-28.
[24] MartinCalik,MichaelWimmer. EvaluationofHDRtone mapping methodsusingessentialperceptualattributes: Computers&Graphics, 2008(32):330-349.
[25]王忠立,赵清洁.高动态图像获取技术[J].光学技术,2006,32(1):279-285.
[26]吴云飞.医学影像数据的高清体绘制算法研究[D].浙江工业大学,2012.
[27]YuanX, Nguyen M.X, Chen, B, et al. HDR VolVis:High Dynamic Range Volume Visualization[J]. IEEE Transaction on Visualization and Computer Graphics,2006, 12(4):433-445.
[28]边青山,张志星,李春日,等.膝骨性关节炎经筋病灶点医学图像三维可视化研究[J].中华中医药学刊,2014,32(11):2595-2598.
[29]刘宾.高动态范围X射线成像技术与系统[D].中北大学,2014.
[30]华顺刚,王丽丹,欧宗瑛.同一场景不同曝光图像的配准及HDR图像合成[J].中华中医药学刊,2007,15(11):1362-1366.
[31] Li Y.,SharanL.Adelson E.H. Compressing and compandinghigh dynamic range images with subband architectures[J]. ACM Trans. Graph,2005,24(3):836-844.
[32]何海冉.红外视频图像细节增强的并行算法研究[J].浙江理工大学,2012.
[33] Francesco Branchitta, Marco Diani, Giovanni Corsini. New technique for thevisualization of high dynamic range infrared images[J]. Optical Engineering,2009,48(9).
[34]刘松涛,王维,殷福亮.基于动态广义直方图均衡的红外图像增强方法[J].系统工程与电子技术,2010.32(7).
[35]Phillip David Ferguson, TughrulArslan Ahmet T, Erdogan Andrew Parmley. Evaluation of Contrast Limited Adaptive Histogram Equalization Enhancement on a FPGA[C].IEEE International SOC Conference. Jan.2008.
[36]杨有,李波.CLAHE 和细节放大相结合的档案图像增强方法[J].中国图象图形学报, 2011,16(4):522-527.
[37]魏永毅,李海峰,刘旭.液晶投影机自动 Gamma 校正系统[J].浙江大学学报.2005,39(11).
[38]Texas Instruments.Implementing the Gamma Correction Algorithm Usingthe TMS320C2xx DSP[M].1997.
[39]戴价.基于HDR的投影机亮度曲线标定[J].现代计算机,2013,12:54-56.
[40]杨中东.高速扫描三维测量系统宽动态自适应成像方法研究[D].天津大学,2014.