利用DMD获取高动态范围图像技术

（中国科学院长春光学精密机械与物理研究所，吉林 长春 130033）

（中国科学院长春光学精密机械与物理研究所，吉林 长春 130033）

高动态范围的图像可用于同时探测具有较大对比度的亮暗目标，利用数字微镜（DMD）获取高动态范围图像是目前最为先进的一种技术。本文在分析DMD工作原理的基础上，设计了一种像素级的高动态范围图像获取系统，该系统由光学系统、机械系统、DMD像素级调光算法及成像单元组成。光学系统采用二次成像光路，其中第一次成像物镜采用像方远心光路，第二次成像的转置镜头采用放大倍率近似1∶1的准对称结构，机械系统采用光学元件的包边设计和定心车工艺，达到秒级的光学装配精度；DMD像素级调光算法采用搜索单个微镜像素在图像帧周期间的控制权值实现，成像单元可同时兼顾科学级12 bit sCMOS和8 bit CCD，设计完成的原理样机验证了系统设计的正确性，其获取的图像动态范围可达140dB以上，远高于传统摄像机78dB的动态范围。

成像系统；高动态范围图像；数字微镜器件；调光

1 引言

自然界中，由于光照、环境等因素的影响，一般会形成动态范围很大的自然场景，即同时存在极亮的目标和极暗的目标。由于人眼的光强感知能量范围最大可达200dB，因此人眼可以轻松的获取图像，而对于广泛使用的图像传感器，如CCD、CMOS器件，其动态范围仅可达78dB［1］，因此在使用这些图像传感器获取这种高动态范围的图像时，效果往往不甚理想。

为实现高动态范围图像的获取，通常采用基于时间序列图像合成的方法，该方法通过连续获取多帧不同积分时间的图像［2-4］，经“后期”图像融合实现高动态范围图像的获取，该方法相对简单，可应用于静态图像的获取，但这种“事后处理”的方式仍无法满足实时成像探测的需求［5-6］。

数字微镜（DMD）作为一种光强调制器件，具有高光效、高可靠性、精确的光强调节等级等优点［7-8］，在红外场景生成技术［9］、三维成像领域［10］和光栅曝光照明领域［11］都有重要应用。文献［1］对采用DMD实现高动态范围图像的获取技术进行了理论介绍，指出利用DMD获取高动态范围图像的技术是目前最先进、实现最复杂的一种方式。国外在DMD应用方面也进行了大量研究［12-14］，美国Shree K.Nayar等人使用分辨率为800 pixel×600 pixel的DMD和8 bit的分辨率为640 pixel×480 pixel的CCD，并采用DMD分区域调光的方式获得了一种高动态范围图像［15］。H.D.Zhang等人采用DMD“Discovery 1100 and 4100”获得了加速器的束晕像，完成的系统动态范围达107以上［16］。B.C.Riddick等人使用DMD“Discovery 1100”和像素数为765 pixel×510 pixel的CCD以及一片分光镜获取了光阴极的量子效率图［17］，国内研究人员在DMD方面也开展了相关的研究工作［18-20］。

本文利用TI公司生产的DMD设计了一种高动态范围图像的获取系统，该系统由光学系统、机械系统、DMD像素级调光算法及成像单元组成。本文对各个系统进行了详细的阐述，设计完成的原理样机动态范围可达130dB，验证了该系统的正确性。

2 高动态范围图像获取系统

2.1 DMD工作原理

DMD由上百万个正方形微小反射镜组成，各个微小反射镜可单独寻址，具有“开态”和“闭态”，对应“ON”和“OFF”状态。本文采用的DMD其“ON”状态对应的微小反射镜旋转+12°，入射光线可进入后续光学系统，其“OFF”状态对应的微小反射镜旋转-12°，入射光线不再进入后续光学系统，而是进入吸收装置。本文设计采用的DMD为DLP 7000，尺寸为14mm×10.5mm，对应的微镜像元数量为1 024pixel×768pixel，像元间距为13.68μm，其旋转轴为微镜的对角线，旋转示意如图1所示。

图1 DMD绕对角线旋转Fig.1 Rotation of DMD diagonal

DMD最高摆动频率达20 000 Hz，当选用CMOS图像传感器时，可以对明暗目标亮度差为1 700万倍的目标同时成像和探测［5］。

2.2 高动态范围图像获取系统

为了获取高动态范围的图像，将光强调制器件DMD置于成像物镜的像面上，实现将场景目标经成像物镜成像在DMD上，然后通过转置镜头将DMD光强调制后的图像再次二次成像于成像单元即图像传感器（CCD/CMOS）上，从而获得高动态范围的场景目标图像，DMD的光强调制方式通过调光算法实现，无用的光线会进入光强吸收装置，系统的工作原理如图2所示。

图2 系统的工作原理示意图Fig.2 Principle schematic of the system

由于DMD旋转轴为对角线，且稳定的“开关”状态位于±12°方向，因此转置镜头及光强吸收装置将位于±24°的方向，且两者的连线垂直于DMD旋转轴，由于空间的限制，当在±24°方向无法布置转置镜头或光强吸收装置时，则需考虑在适当的位置增加折转反射镜［5，7］。

3 系统设计

高动态范围图像获取系统涉及两组光学系统，一组为成像物镜光学系统，另一组为转置镜头光学系统，两组镜头在DMD所在位置耦合。系统要求DMD的像素点与图像传感器的像素点之间一一对应，因此要求光学系统的MTF≥0.5。

为达到MTF的要求并保证两组光学系统的光瞳重合，对成像物镜光学系统设计采用像方远心光路。若成像单元选用对角线尺寸16.64mm，像素大小为13μm的CMOS图像传感器，则转置镜头为物像放大倍率近似1∶1的光学系统，设计采用准对称型的光学结构，由于光学系统离轴，成像单元所在的像面会有一定的偏角，图3为设计完成的光学系统，图4为设计完成的光学系统传函函数曲线图。

成像单元组件由图像传感器及其支撑结构组成，支撑结构兼顾CCD和sCMOS两种图像传感器，且为便于装调，在支撑结构上设计了腰槽孔，同时前端与转置镜头采用H7/g6的最小间隙配合。

图3 光学系统结构示意图Fig.3 Schematic of the optical structure

图4 传递函数曲线图Fig.4 Curves of MTF

图5 成像物镜的机械结构Fig.5 Mechanical structure of the imaging objective lens

高动态范围图像获取系统的机械系统根据光学系统的要求进行设计，由于成像物镜的光学系统要求达到秒级的装配精度，因此设计采用高精度的光学元件固定方法即光学件包边和定心车工艺，同时每个光学件的机械壳体在进行定心车时，采用同一个尺寸的螺纹胎进行定心车削，如图5所示，6个光学元件均通过包边固定在机械壳体中包边后的组合件预留单边0.5mm的定心车加工量，同时为保证定心车时的轴线不变，在每个机械壳体上都设计了相同的内螺纹胎，定心车时只需在定心车床上装卡一次外螺纹胎即可实现6个组合件直径和端面的精加工。

4 DMD像素级调光算法

DMD调光算法可以有效调节单个微镜在“开关”状态的时间长短，实现对成像单元中图像传感器对应的单个像素点不同程度的光强调节，将光子数的区域和光子数饱和的区域同时调节至图像传感器的最佳响应区域。

图6 DMD掩膜示意图Fig.6 Schematic of DMD masks

DMD调光通过控制一个权值实现，该权值为两帧图像之间平均的二进制值，如图6所示。若某时刻成像单元（CMOS/CCD）获取的图像为M，该图像可作为DMD的母掩膜，该图像有n帧子掩膜图像mi组成，mi中的二进制数0和1代表单个微镜的两种状态，mi的作用时间为ti，T为母掩膜周期即图像传感器的帧周期，则DMD单个微镜（x，y）处的权值r（x，y）可表示如下：

式中：pi（x，y）为子掩膜mi中坐标（x，y）处的二进制值。此时，图像传感器坐标（x，y）处的像素灰度值E（x，y）如下：

式中：L（x，y）为图像传感器（x，y）处获得的场景目标灰度值，r（x，y）为DMD在（x，y）处的光强调节权值，δ（x，y）为其他影响因子，可认为常数。E（x，y）的收敛值应当小于图像传感器的饱和值，r（x，y）的收敛速度决定着E（x，y）的收敛速度，我们设计采用试探搜索的方法确定r（x，y）［7］。

5 实验与讨论

图7为高动态范围图像获取系统的原理样机，该原理样机可放置在桌面上，主要由主壳体、成像物镜、转置镜头和光强吸收装置等组成。

图7 高动态范围图像获取系统原理样机Fig.7 Prototype of the high dynamic range image obtaining system

为验证高动态范围图像获取系统的正确性，本文进行了相关实验，其中成像单元采用的图像处理器为科学级sCMOS，像元数2 048 pixel×1 536 pixel，分别对明暗亮度相差较大的射灯目标和高亮度的激光进行了拍照实验。

图8（a）为DMD未调光时图像传感器获取的射灯图像，图8（b）为DMD调光后图像传感器获取的射灯图像，图8（c）为权值搜索收敛时DMD的掩膜图像，图8（d）为图8（b）和图8（c）合成恢复后的真实高动态范围图像，图9（a）为DMD全置即无调光时图像传感器sCMOS获得的激光照射在物体上的图像，从图像中只能看到激光照射的极亮光斑，图9（b）为DMD调光后经合成恢复获得的高动态范围图像。

图8 射灯试验Fig.8 Experiment of the spotlight

从图8中可以清晰地看到射灯灯丝的形状，成像效果远好于图像传感器直接获得的图像，从图9中不仅可以看到激光照射的光斑，而且可以清晰地看到激光的束核，该实验结果验证了高动态范围图像获取系统的正确性。

由于本实验采用的图像传感器为科学级16bit sCMOS，因此通过DMD后获得的图像为16bit图像，而DMD的掩膜为12bit图像，因此最终合成恢复后的图像可以达28bit，图像的动态范围可达168dB。而对于普通具有12bit的CMOS图像传感器，则图像的动态范围可达144.4dB，可使普通图像传感器动态范围增加一倍。

图9 拍摄激光照射的试验图片Fig.9 Experiment images of laser

6 结论

本文涉及一种像素级的高动态范围图像获取系统，该系统包含的关键技术点有像方远心光路的成像物镜光学系统、二次成像的转置镜头光学系统、光学元件的包边设计和定心车工艺、DMD调光算法的实现等。设计完成的原理样机成像清晰，效果明显，获取的高动态范围图像可达140dB以上，约为传统摄像机动态范围的2倍，该系统在航天观测、侦查等领域具有广阔的前景。

［1］王忠立，赵清洁.高动态图像获取技术［J］.光学技术，2006，32（8）：279-282.

WANG ZH L，ZHAO Q J.Technology of high dynamic range image reconstruction［J］.Optical Technique，2006，32（8）：279-282.（in Chinese）

［2］ROBERTSON M A，BORMAN S，STEVENSON R L.Estimation-theoretic approach to dynamic range enhancement using multiple exposures［J］.J.Electron.Imaging，2003，12（2）：219-228.

［3］GOSHTASBY A A.Fusion of multi-exposure images［J］.Image and Vision Computing，2005，23（6）：611-618.

［4］SZELISKI R.System and process for improving the uniformity of the exposure and tone of a digital image：US，6687400［P］，2004-02-03.

［5］吕振伟，刘伟奇，魏忠伦，等.基于DMD的高动态范围成像光学系统设计［J］.红外与激光工程，2014，43（4）：1167-1171.

LV ZH W，LIU W Q，WEI ZH L，et al.Design of high dynamic range imaging optical system based on DMD［J］.Infrared and Laser Engineering，2014，43（4）：1167-1171.（in Chinese）

［6］王延杰，陈怀章，刘艳滢，等.数字微镜器件在高动态辐射场景成像探测系统中的应用［J］.光学 精密工程，2014，22（9）：2508-2517.

WANG Y J，CHEN H Z，H LIU Y Y，et al..Application of DMD to high dynamic scene image detection system［J］.Opt.Precision Eng.，2014，22（9）：2508-2517.（in Chinese）

［7］陈怀章，王延杰，孙宏海，等.DMD结合图像传感器的高动态场景成像探测［J］.红外与激光工程，2013，42（12）：3402-3409.

CHEN H ZH，WANG Y J，SUN H H，et al..High dynamic range imaging detection based on DMD and image sensor［J］.Infrared and Laser Engineering，2013，42（12）：3402-3409.（in Chinese）

［8］余卿，余晓芬，崔长彩，等.并行共焦测量中的并行光源技术综述［J］中国光学，2013，6（5）：652-659.

YU Q，YU X F，CUI CH C.Survey of parallel light source technology in parallel confocal measurment［J］.Chinese Optics，2013，06（05）：652-659.（in Chinese）

［9］李卓，钱丽勋，李平，等.动态红外场景生成技术及其新进展［J］.红外与激光工程，2011，40（3）：377-383.

LI ZH，QIAN L X，LI P，et al..Technologies of dynamic infrared scene projection and its new development［J］.Infrared and Laser Engineering，2011，40（3）：377-383.（in Chinese）

［10］彭进业，金浩强，石剑虹，等.高速单像素相机数据采集系统［J］.光学 精密工程，2014，22（04）：837-843.

PENG J Y，JIN H Q，SHI J H，et al..Data acquisition system for hing speed single-pixel camera［J］.Opt.Precision Eng.，2014，22（4）：837-843.（in Chinese）

［11］刘华，卢振武，熊峥，等.绝对式光栅尺母尺刻划曝光系统［J］.光学 精密工程，2014，22（7）：1814-1819.

LIU H，LU ZH W，XIONG ZH，et al..Exposure optical system in lithographic main scale of absolute optical encoder［J］.Optics and Precision Engineering，2014，22（7）：1814-1819.（in Chinese）

［12］SHENG B，NING X，KING W C L，et al..Design and Implementation for image Reconstruction of Compressive Sensing Using FPGA［C］.Proceedings of the 2013 IEEE International Conference on Cyber Technology in Automation，Control and Intelligent Systems.Nanjing，China，2013：320-325.

［13］ICHIKAWA A，ARAI F，FUKUDA T.Optical temperature control of multiple microheaters using digital micromirror device［C］.IEEE MEMS 2006，Istanbul，Turkey，2006：390-393.

［14］REFAI H H，DAHSHAN M H，SLUSS J J.Precise Control over the individual DMD micromirror for volumetric three-dimensional display application［C］.IEEE 3DTV-CON＇08，Istanbul，Turkey，2008：297-300.

［15］NAYAR S K，BRANZOI V，BOULT T E.Programmable imaging using a digital micromirror array［C］.IEEE CVPR＇04，Washington，DC USA，2004.

［16］ZHANG H D，FIORITO R B，SHKVARUNETS A G，et al..Beam halo Imaging with a digital optical mask［J］.Physical Review Special Topics-accelerator and Beams，2012，15（072803）：1-15.

［17］RIDDICK B C，MONTGOMERY E J，FIORITO R B，et al..Photocathode quantum efficiency mapping at high resolution using a digital micromirror device［J］.Physical Review Special Topics-accelerator and Beams，2013，16（062802）：1-4.

［18］邱基斯，樊仲维，唐熊忻.超高斯平顶分布光束空间整形技术研究［J］.光电子·激光，2014，25（2）：233-238.

QIU S J，FAN ZH W，TANG X X.Research on spatial shaping technology of super-Gaussian flat-topped distributed beam［J］.J.Optoelectronics·Laser，2014，25（2）：233-238.

［19］涂龙，于锦，樊仲维，等.基于数字微镜的并行激光共焦显微检测技术研究［J］.激光与光电子学进展，2013，50（101702）：1-8.

TU L，YU J，FAN ZH W.Research on the technology of parallel laser confocal microscopy detection based on digital micromirror device［J］.Laser＆Optoelectronics Press，2013，50（101702）：1-8.

［20］艾琪，陈笑，田淼，等.基于数字微镜器件的多通道C波段可调谐光纤激光器［J］.光学学报，2014，34（4）：0414001-6.

AI Q，CHEN X，TIAN M，et al..Multi-channel C-band-tunable fiber lasers based on digital-micromirror-device processor［J］.Acta Optica Sinica，2014，34（4）：0414001-6.

吕 涛（1984—），男，河南济源人，博士，助理研究员，2009年于北京航空航天大学获硕士学位，2014年于中科院长春光机所获博士学位，主要从事空间环境目标模拟光学设备和空间光学仪器的研究。Email：lvtao1984@gmail.com

付东辉（1966—），男，吉林长春人，高级实验师，1987年毕业于中央广播电视大学，主要从事空间环境目标模拟光学设备和的研制。E-mailfudonghui2009@sina.com

陈小云（1966—），男，四川重庆人，本科，副研究员，1990年于长春理工大学获学士学位，主要从事太阳模拟器高精度电源的研制。E-mail：chenxy@ciomp.ac.cn

刘 杰（1962—），女，吉林长春人，本科，工程师，1987年毕业于中央广播电视大学，主要从事太阳模拟器的研制。E-mail：liujieciomp@163.com

利用DMD获取高动态范围图像技术

吕 涛*，付东辉，陈小云，刘 杰

High dynamic range imaging technology using DMD

LÜ Tao*，FU Dong-hui，CHEN Xiao-yun，LIU Jie
（Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）
*Corresponding author，E-mail：lvtao1984@gmail.com

In some scenarios，very bright objectives and very dark objectives exist at the same time.The traditional imaging device can not detect these objectives，and then high dynamic range image acquiring system is needed to detect them.Digital Micro-mirror Devices（DMD）is used to get high dynamic range image，which is the most advanced technology at present.In this paper，a pixel level high dynamic range imaging system is designed based on DMD.The system is composed of optical system，mechanical system，DMD pixel level dimming algorithm and imaging unit.The secondary imaging system is used in the optical system.The first imaging optical structure is image space telecentric system，and the second imaging optical structure is magnification 1：1 quasi-symmetric system.Wrapping technology of optical elements and centering machining process are used in mechanical system，and the optical assembly precision reaches second level.The method searching for single DMD pixel＇s controlling weight is used in dimming algorithm.The science class 12 bit sCMOS and 8 bit CCD can be used simultaneously in imaging unit.The correctness of the system is proved by the prototype.The image dynamic range can reach 140 dB，much higher than 78 dB dynamic range of traditional cameras.

imaging system；high dynamic range image；digital micro-mirror device；dimming

2095-1531（2015）04-0644-07

TN911.73；TN27 文献标识码：A doi：10.3788/CO.20150804.0644

2015-02-19；

2015-04-13

国家高技术研究发展计划（863计划）资助项目（No.2013AA7031010B）

book=650,ebook=138