EMCCD真彩色成像方法与验证

白 玉，陈远金,2，张猛蛟,2，王岭雪，蔡 毅,3



EMCCD真彩色成像方法与验证

白 玉1，陈远金1,2，张猛蛟1,2，王岭雪1，蔡 毅1,3

（1. 北京理工大学光电学院 光电成像技术与系统教育部重点实验室，北京 100081；2. 华东光电集成器件研究所，江苏 苏州 215163；3. 中国兵器科学研究院，北京 100089）

针对夜天光包含的大量近红外辐射，本文从理论和实验上研究了基于近红外波段全透的红、绿、蓝滤光片的EMCCD真彩色成像方法。夜天光在近红外波段的能量均被EMCCD吸收，再结合EMCCD的电子倍增功能获得较高亮度和信噪比的红、绿、蓝分量图像，最终通过彩色融合等图像处理方法获得真彩色EMCCD图像。本文进行了全月、半月、1/4月和晴朗星光照明条件下的真彩色成像色彩仿真，在此基础上制作了彩色滤光片，测试了典型样本的光谱反射率，搭建了真彩色EMCCD实验装置并开展外场试验。工作结果表明：该方法获得了色彩丰富、空间深度感较好、信噪比较高的真彩色EMCCD图像。

真彩色EMCCD；夜天光；真彩色成像；近红外；彩色滤光片

0 前言

基于电子倍增技术的低照度电荷耦合器件（Electron-Multiplying CCD, EMCCD）具有灵敏度高、信号增益高、噪声低、体积小、分辨力高、性能稳定的特点，而且还有片上防饱和功能，可在全日光到星光的大范围照度条件下连续工作，真正实现全天时使用。色彩是图像的重要描绘子之一，使得场景分割、图像识别等任务更加容易，Cavanillas等人[1]的研究表明：色彩能提高场景理解能力、缩短反应时间、帮助人们更准确和快速地识别目标。因此，色彩被引入夜视成像技术并相继发展了伪彩色和假彩色技术路线的彩色夜视技术。近年来，随着夜视成像器件灵敏度的提高和微光学加工技术的发展，真彩色夜视成像逐渐成为研究热点。真彩色图像与人类的视觉认知一致，有助于使用者利用大脑中存储的色彩经验来识别物体。Tenebraex公司[2]使用像增强器和彩色滤光片旋转扫描的方式在2012年开发了ColorPath真彩色夜视成像仪。SPI公司[3]宣称使用固体成像器件和宽光谱薄膜阵列（Broad Spectrum Thin Film Array, BSTFA）技术开发了低照度彩色摄像机。

EMCCD真彩色成像技术也在持续发展。2006年，Ball航空公司[4]提出将彩色摄像机使用的经典Bayer彩色滤光阵列（Color Filter Array, CFA）进行改装，通过低于4%稀疏分布的微型彩色滤光片和色彩渲染、空间滤波等图像处理方法开发了彩色EMCCD摄像机。Ball的方法具有超高的光子利用率，图像色调正确，能在晴朗的无月夜天空下（约1.0×10－3lx照度）成彩色图像，但色彩的饱和度有损失，图像颜色具有空间突变性。2010年，Jason M等人[5]研制了非制冷红外热像仪和真彩色EMCCD的彩色融合装置，其中真彩色EMCCD采用青-黄-品-绿（Cyan-Yellow- Magenta-Green, CYMG）模式的彩色滤光阵列，在约1.0×10－2照度下能获得真彩色图像，但该彩色模式下由于C、Y、M、G通道的光谱响应曲线存在较多的重叠区域，会带来色域小、色彩丰富程度较低的问题，同时，在处理近红外成分对色彩保真度的影响时，需要“额外的滤光片以及色彩优化算法”。2015年，韩国Son等人[6]的实验表明：采用RGB模式Bayer滤光阵列的普通彩色CCD在照度降到5 lx时就无法成像，而采用同样滤光阵列的EMCCD能在0.3 lx照度下进行彩色成像。在前人研究的基础上，本文针对夜天光包含的大量近红外辐射，研究基于近红外波段全透的红、绿、蓝滤光片的EMCCD真彩色成像方法。夜天光在近红外波段的能量均被EMCCD吸收，再结合EMCCD的电子倍增功能获得较高亮度和信噪比的红、绿、蓝分量图像，最终通过彩色融合等图像处理方法获得真彩色EMCCD图像。

1 夜天光的亮度和光谱

在24h的一个地球自转周期中，地面景物环境光照的强度和光谱成分都在发生巨大变化。太阳光的照度高达1.0×105lx，无月星光的照度则低至1.0×10－3lx。月光（Moonlight）、明亮行星光（Bright Planets）、黄道光（Zodiacal Light）、恒星光（Integrated Starlight）、大气辉光（Airglow）、散射的银河系光（Diffuse Galactic Light）和宇宙光（Cosmic Light）等共同组成夜天光。由于月光的亮度是星光和大气辉光的100多倍，因此夜天空亮度受月相的影响很大[7]，表1是不同月相时地面景物的照度值[8]。

表1 不同月相时的地面景物的照度值

夜天光光谱的测量研究首先集中在可见光波段，例如1922年Meinel[9]在《自然》上发表论文，称在夜天光中测量到黄绿波段的极光谱线以及H和K夫朗和费谱线；之后随着探测器技术的发展，夜天光光谱的测量延伸至红外波段，例如1953年A. Vallance Jones[10]使用硫化铅红外探测器测量了夜天光在1200～2000 nm波段的光谱分布情况。相比太阳光光谱，夜天光光谱更为复杂，至今仍没有统一的表征方法。图1给出了0.89月、0.50月、0.25月和无月星光下夜天光的光子辐射通量分布图[11]，可以看出：①夜天光包含大量近红外辐射（780～1100nm）；②月相从0.89月变为0.50月、0.25月、无月时，夜天光中的可见光（380～780nm）迅速减弱，而1000～1100 nm波段的近红外辐射变化不明显。

图1 不同月相时夜天光的光子辐射通量分布图

2 EMCCD真彩色成像方法

2.1 EMCCD真彩色成像原理

为获得丰富的色彩，传统真彩色成像系统要求彩色滤光片对近红外截止，但是这种系统用于夜天光条件时，图像信噪比低，甚至会由于光能量少而无法成像，另外没有充分利用夜天光中的近红外成分。针对这些情况，本文一是使用带有电子倍增功能的EMCCD（光谱响应范围：380～1100nm），二是采用近红外波段全透的红、绿、蓝滤光片，即R＋NIR、G＋NIR、B＋NIR滤光片，真彩色成像原理如图2所示，透过3个滤光片的光能量到达EMCCD产生光电转换后获得R¢（R＋NIR1）、G¢（G＋NIR2）、B¢（B＋NIR3）通道的数据，这3个通道的数据再映射到RGB颜色空间作为红、绿、蓝分量进行融合。经反复分析，R¢、G¢和B¢通道的近红外成分满足NIR1＝NIR2＝NIR3时，EMCCD在3个通道的近红外响应不会影响景物的基本色调。

图2 EMCCD真彩色成像原理框图

2.2 EMCCD真彩色成像的滤光片设计

在设计EMCCD真彩色成像滤光片的透过率曲线时主要考虑以下两点：

1）可见光波段的透过率符合传统真彩色成像的要求。

为获得较好的颜色复现（color reproduction）效果，传统真彩色成像系统的滤光片透过率曲线是根据人眼3种彩色视觉细胞的光谱灵敏度曲线来设计的[12]，常用的红、绿、蓝滤光片的峰值波长分别为550nm、540nm、450nm，峰值半宽高分别为50nm、50nm、40nm[13]。

2）近红外波段的透过率尽量高，以便充分利用夜天光的近红外能量，而且近红外波段的起始波长尽量重合。

基于以上考虑，本文制作了可见光波段具有带通滤光性质、近红外波段具有长波通性质的滤光片，在K9玻璃表面镀制多种组合膜系达到相应的光谱透过率，并在表面镀制增透膜提高滤光片的透光能力。滤光片的物理参数如表2所示，光谱透过率曲线如图3(a)所示，实物图如图3(b)所示。忽略大气传输、光学镜头等因素的影响，EMCCD对红、绿、蓝通道的光谱灵敏度函数由滤光片的光谱透过率（图3(a)）与EMCCD的相对光谱灵敏度曲线（图3(c)）相乘得到，如图3(d)所示。

3 EMCCD真彩色效果的色彩仿真

为比较本文方法在不同照度夜天光下的色彩还原能力，暂不考虑光源的能量、仅考虑光源的相对光谱功率分布，并假设光学镜头透过率为1，以标准24色麦克白色卡（Macbeth Color Checker chart）与6种典型物体为样本，对本文方法的EMCCD真彩色效果进行仿真。

3.1 样品的光谱反射率的测量

本文使用标准24色麦克白彩色卡作为测试目标样本，该色卡采用特殊配置的涂料，能模拟大范围的颜色和色调。除此之外，本文还使用“混凝土”、“干草”、“绿色涂料”、“红色玫瑰”、“黄色玫瑰”、“绿叶（新鲜的）”6种实际物体进行研究。新鲜的植物叶片由于对近红外辐射有较高的光谱反射率，因此重点加以研究。标准24色麦克白色卡的24个色块、“红色玫瑰”、“黄色玫瑰”、“绿叶”总共27个样品在380～1100nm波段的光谱反射率使用美国Perkin Elmer公司的Lambda 19分光光度计测量，测量前首先测量标准白板并用其数据校正其他颜色的数据。27种样品的光谱反射率曲线如图4(a)所示。“混凝土”、“干草”、“绿色涂料”3种物品的光谱反射率从加利福尼亚技术研究所的ASTER光谱库[13]查到。6种实际物品的光谱反射率如图4(b)所示。图4(c)为24色麦克白色卡和6种实际物品在CIE D65光源、CIE1931标准观察者条件下的色彩效果。

表2 本文彩色滤光片的物理参数

图3 本文彩色滤光片透过率光谱和EMCCD响应光谱

3.2 色彩仿真过程

令表示波长，()表示夜天光的相对光谱功率分布，()表示样本的光谱反射率，()表示滤光片的光谱透过率，()表示EMCCD的归一化光谱灵敏度，则反射率为()的样本在()照明下经过滤光片()滤光后，EMCCD输出的R¢G¢B¢通道的信号由下式表示：

式中：1、2分别为积分的上限和下限波长；式中变量的下标R¢、G¢、B¢分别表示R¢、G¢、B¢通道，常数R′、G′、B′分别是红、绿、蓝通道相互独立的增益系数。

色彩仿真时所取的数据为：

1）()取自图1，并对数据做关于550nm波长的归一化处理；

2）()取自图4(a)和图4(b)样品的光谱反射率；

3）R′、G′、B′分别取图3(a)滤光片R＋NIR、G＋NIR、B＋NIR的光谱透过率；

图4 样品的颜色及光谱反射率曲线图

Fig.4 Color and spectral reflectance curve of samples

4）1、2选（380nm，780nm）和（380nm，1100nm）两组；

5）R′、G′、B′是R¢、G¢B¢通道相互独立的增益系数，设置为固定值，以便系统在拍摄中性物体时R¢、G¢和B¢通道可以得到相等的信号值，即R′＝G′＝B′。本文对增益系数的求解方法是：针对麦克白色卡的第19个色块（纯白色），R¢、G¢和B¢通道的信号值取R′＝G′＝B′＝255，利用式(1)解出R′、G′、B′。

3.3 色彩仿真结果

图5给出了0.89月、0.50月、0.25月和无月星光4种夜天光条件下真彩色EMCCD的色彩仿真效果,其中图5(a)、(c)、(e)、(g)为380～780nm波段的仿真结果，代表了真彩色EMCCD所能达到的最理想的色彩效果（相当于系统增加了近红外截止滤光片）；图5(b)、(d)、(f)、(h)为380～1100nm波段的仿真结果，代表真彩色EMCCD真实的色彩效果，反映了图像色彩受近红外的影响。

由图5可以看出，380～780nm的仿真结果与标准24色卡（图4(c)）对比，样品的颜色接近真实，说明滤光片在可见光波段的参数设计合理；从380～1100nm的仿真结果中发现，EMCCD增加的近红外响应对颜色有“冲淡”作用，色彩的饱和度降低，这种影响随着夜天光中月光照明的减弱（近红外在整个响应波段中占的比重增加）而增强，但样品基本的色调（红、绿、蓝）是正确的。

绿色植物对近红外辐射的反射率较高，其在夜天光条件下的R¢、G¢B¢通道信号主要是近红外辐射的响应，因此3个通道的信号值基本相等，所以绿色植物的颜色偏向于灰色。图5(b)、5(d)、5(f)、5(h)中最后1行代表“新鲜绿叶”的最后1个色块的颜色始终是灰色的，而在同一行中代表“绿色涂料”的第3个色块在0.89月和0.50月时还能呈现绿色，这说明本文彩色成像方法在一定照度条件下还具有识别新鲜绿叶和伪装目标绿色涂料的能力。

图5 本文真彩色EMCCD实验装置的色彩仿真结果图

4 EMCCD真彩色成像方法的实验验证

4.1 EMCCD真彩色成像实验装置

本文设计的R＋NIR、G＋NIR、和B＋NIR滤光片加装在滤光轮上，实验时针对特定场景旋转滤光轮一周，EMCCD相机分别获得R¢、G¢、B¢通道的模拟视频图像，再由数字摄像机（DV）显示并存储，实验装置示意图见图6。使用MATLAB软件对R¢、G¢、B¢通道的图像数据进行融合得到真彩色图像。

4.2 实验结果与分析

图7是实验装置全月夜晚在北京凤凰岭地区拍摄的图像效果（图7(a)）以及相同照度条件下的色彩仿真结果（图7(c)），图7(b)是图7(a)中色卡的放大图。可以看出：虽然真实拍摄的图像噪声较大，但真彩色效果与仿真结果一致，这表明本文的真彩色EMCCD成像方法具有较好的色彩复现能力。

图8～图11给出了更多的室外拍摄效果。图8拍摄于2016年7月6日21:30，地点在北京理工大学6号教学楼附近，照度：～10－1lx，共进行了3组实验，每一组实验的图(a)～(c)分别对应R¢通道、G¢通道和B¢通道的图像，图(d)为本文EMCCD真彩色成像方法结果，图(e)为白天的彩色图像（使用普通彩色CCD在白天拍摄得到）。图8中EMCCD拍摄R¢、G¢、B¢通道图像时的增益相同。

图9拍摄于2016年3月20日23:30，地点为北京理工大学中心花园，照度：～10－1lx，EMCCD拍摄R¢、G¢、B¢通道图像时的增益有变化。图10拍摄于2016年3月18日21:00，地点为北京理工大学6号教学楼附近，照度：～10–1lx，EMCCD拍摄R¢、G¢、B¢通道图像时的增益有变化。图11拍摄于2016年3月21日21:30，地点为北京郊外的凤凰岭，照度：～10–1lx，EMCCD拍摄R¢、G¢、B¢通道图像时的增益有变化。

图6 实验装置的结构示意图

Fig.6 Schematic diagram of experimental device

图7 麦克白24色卡的色彩仿真结果以及实验装置拍摄效果图

（时间：2016-07-06 21:30；地点：北京理工大学6号教学楼附近；照度：～10－1lx）

Fig.8 True-color imaging results in this paper and reference images taken by a color CCD in daytime

(Time: 2016-07-06 21:30; Location: No.6 Teaching Building of BIT;Illuminance: ～10－1lx)

从图8～图11的实验效果可以看出：图(c)的B¢通道图像最暗、噪声最大，说明夜晚蓝色波段的能量最低；相比较于图(a)～图(c)的灰度图像，图(d)的本文真彩色结果具有较丰富的纹理细节、较高的图像亮度和信噪比，色彩也较为丰富。总的来说，本文EMCCD真彩色成像方法获得了较好的夜视彩色成像效果，丰富的色彩使得图像更具空间深度感，使复杂的场景更具层次感，不同物体间的区分度增加，从而降低复杂场景中目标识别的难度，而且真彩色效果有利于人眼长时间观察避免视觉疲劳。

图9 本文真彩色成像方法的其他更多结果（时间：2016-03-20 23:30；地点：北京理工大学中心花园；照度：～10－1 lx）

(Time: 2016-03-20 23:30; Location: Center Garden of BIT; Illuminance: ～10－1lx)

图10 本文真彩色成像方法的其他更多结果（时间：2016-03-18 21:00；地点：北京理工大学6号教学楼附近；照度：～10－1 lx）

(Time: 2016-03-18 21:00; Location: No.6 Teaching Building of BIT; Illuminance: ～10－1lx)

图11 本文真彩色成像方法的其他更多结果（时间：2016-03-21 21:30；地点：北京凤凰岭（郊区）；照度：～10－1 lx）

(Time: 2016-03-18 21:00; Location: Beijing Phoenix Valley (suburb) ; Illuminance: ～10－1lx)

5 结论

本文EMCCD真彩色成像方法在红、绿、蓝3个通道中增加近红外响应，虽然损失了一定的色彩真实性，但系统的光子利用率和图像信噪比提高，方法简便易实施，并能获得较好的夜视彩色效果，对提高夜视系统性能具有一定的理论意义和实用价值。下一步，将完善真彩色EMCCD的色彩仿真工作，参考文献[14]中Farrell等人的研究成果，综合考虑照明场景的光谱能量信息、光学系统的参数及探测器的参数等许多重要因素，以得到更为完备的仿真结果。此外，后续还将对成像效果的色彩优化和真彩色评价[15-16]进行研究。

[1] Cavanillas J A A. The Role of Color and False Color in Object Recognition with Degraded and non-degraded Images[D]. Monterey: Naval Postgraduate School, 1999.

[2] The Official Magazine of the United States Marine Corps. See color at night[EB/OL]. http://marinesmagazine. dodlive.mil/ 2012/03/12/ color- nvgs/.

[3] SPI Corp. Color Low Light Night Vision Camera [EB/OL]. http:// www. x20.org/color-night-vision/.

[4] Heim G B, Burkepile J. Low-light-level EMCCD color camera[C]//, 2006, 6209: 62090F.

[5] Kriesel J M, Gat N. True-color night vision (TCNV) fusion system using a VNIR EMCCD and a LWIR microbolometer camera[C]//, 2010, 7697: 76970Z.

[6] Son J, Kang M, Min D, et al. EMCCD color correction based on spectral sensitivity analysis[J]., 2016, 75(13): 7589-7604.

[7] 李蔚, 常本康. 夜天光下景物反射光谱特性的研究[J]. 兵工学报, 2000, 21(2): 177-179.

LI Wei, CHANG Benkang. A study on the characteristics of reflection spectrum of field of view under night-sky radiation[J]., 2000, 21(2): 177-179.

[8] 金伟其. 辐射度 光度与色度及其测量[M]. 北京: 北京理工大学出版社, 2006.

JIN Weiqi.,[M]. Beijing: Beijing Institute of Technology Press, 2006.

[9] Meinel A B. Spectrum of the night sky[J]., 1958, 182(4632): 361.

[10] Jones A V, Gush H. Spectrum of the night sky in the range 1.2-2mm[J]., 1953, 172(4376): 496-496.

[11] Carapezza E M. Multi-capability color night vision HD camera for defense, surveillance, and security[C]//, 2015, 9451:94511Y.

[12] Luther R, Aus Dem Gebiet der Farbreizmetrik, Technol Z.[M]. Michigan: University of Michigan library, 1927, 8: 540-558.

[13] Quan S. Evaluation and Optimal Design of Spectral Sensitivities for Digital Color Imaging[D]. Rochester: Rochester Institute of Technology, 2004.

[14] Farrell J E, XIAO F, Catrysse P B, et al. A simulation tool for evaluating digital camera image quality[C]//, 2003, 5294: 124-131.

[15] Hawley C T. Technical assessment of low light color camera technology[C]//, 2010, 7687: 76870H.

[16] Richards A, Richardson M. EMCCD and CMOS imaging systems confront color night vision[J]., 2013, 49(2): 38-42.

Method and Demonstration of True-Color Imaging by EMCCD

BAI Yu1，CHEN Yuanjin1,2，ZHANG Mengjiao1,2，WANG Lingxue1，CAI Yi1,3

（1. Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education of China, School of Optoelectronics, Beijing Institute of Technology, Beijing 100081, China; 2. East China Institute of Optoelectronic Integrated Device, Suzhou 215163, China; 3. China Research and Development Academy of Machinery Equipment, Beijing 100089, China）

In the light of a great deal of near-infrared radiationin the night sky, the true-color imaging method of EMCCD based on the red, green and blue optical filters with all fully transmitting NIR is studied through experiment and theory in this paper. EMCCD with electron multiplier function, can take full use of near infrared radiation in the night sky, and obtain the images of red, green, and blue channel with high brightness and signal-to-noise ratio. Ultimately, true-color EMCCD image can be obtained through comprehensive image processing methods including the color image fusion. This article makes color simulation under the conditions of the full-moon, half-moon, quarter-moon and bright-star night sky and carries out a series of studies on the production of color filters, the spectral reflectance measurement of samples, the construction of true-color EMCCD experimental device and the field tests. The experimental results show that based on the method in this paper, true-color EMCCD images with rich color, good spatial depth and high signal-noise ratio can be obtained successfully.

true-color EMCCD，night sky，true-color imaging，NIR，color filters

TN223

A

1001-8891(2017)04-0329-12

2016-08-22；

2016-09-14.

白玉（1991-），女，云南玉溪人，硕士研究生，主要从事彩色夜视成像和图像处理的研究。E-mail：yuxiaobai927@163.com。

王岭雪（1973-），女，云南石屏人，副教授，博士，主要从事红外成像、图像处理和红外光谱等方面的研究。E-mail：neobull@bit.edu.cn。

国家自然科学基金项目（61471044）。