适用于昼夜视觉的微光CIS

潘京生，郭一亮，顾 燕，李燕红，孙建宁，张勤东，苏德坦



适用于昼夜视觉的微光CIS

潘京生1,2，郭一亮1,2，顾 燕1,2，李燕红1,2，孙建宁1,2，张勤东1,2，苏德坦1,2

（1.北方夜视技术股份有限公司，江苏 南京 211102；2.微光夜视技术重点实验室，陕西 西安 710065）

CMOS图像传感器（CIS）相比于CCD图像传感器具有可集成更多功能和集成度以及更小的系统尺寸、重量和功耗及成本（SWaP-C）的优势，CIS技术的最新进步，特别在低读出噪声和高灵敏度的突破，使其不仅达到了相当于CCD图像传感器的图像性能，同时也将其微光使用限定推进到了微光条件，介绍了一种高灵敏度低噪声大动态范围的微光CIS组件，具备从白天到多云残月夜晚的实时单色成像能力，可作为一种在微光成像性能和SWaP-C优选的可见光近红外（VIS-NIR）昼夜成像器件。

微光夜视；互补金属氧化物半导体；有源像素传感器；CMOS图像传感器；微光CMOS图像传感器

0 引言

虽然微光像增强器目前仍然是具有最佳微光探测能力的成像器件，增强CCD（ICCD）和电子轰击CCD（EMCCD）（包括ICMOS或EBCMOS）也可直接提供视频甚至数字信号，但基于像增强器的系统不能昼夜通用，且不能实现彩色成像，因此需要寻求一种具有可相当于像增强器的微光成像性能，并满足昼夜通用彩色成像要求的固态成像器件。

CMOS图像传感器可集成更多功能并具有更小的系统尺寸、重量和功耗及成本（SWaP-C），特别是低于2e-RMS甚至是亚电子相当的低噪声读出电路的开发[1-3]，使微光CMOS图像传感器的使用限定推进到微光条件[4-7]。

介绍了一种可用于昼夜视觉的低噪声高灵敏度大动态范围的CMOS图像传感器，可作为一种在微光成像性能和SWaP-C优选的VIS-NIR昼夜通用成像器件。

1 夜视技术与夜天空辐射

夜视技术源于在夜晚为获得战术优势而采用辅助视觉的需要。夜视技术分为红外热成像和微光像增强。热成像能够获得远距离的定点目标，具有穿透烟、尘、雾、霾和识别伪装能力，但不符合人眼视觉习惯，对场景亮度变化不敏感，体积重量都很大，多用于战车战机。微光像增强符合人眼对亮度变化的感知习惯，可提供目标所在场景的细节信息，多用于单兵头盔和武器枪瞄具，但相比于热成像，视距较短，特别是在恶劣条件下，难以取得较好的观察效果。

夜天空的辐射由各种自然辐射源综合形成，月光、星光、气辉及太阳光、月光和星光的散射光等是夜天空的主要自然辐射源。黄昏黎明时的暮曙光照度约在1lx左右。满月在天顶时的晴朗夜晚，地面照度大约是0.2lx；多云残月时地面的照度为2×10－3lx（night level 3），无月晴朗星光时降低到大约8×10－4lx，而在无月多云的夜晚时的照度仅相当于无月晴朗星光时的1/4。图1所示的是不同夜天空在VIS-NIR光谱部份的光子立体角密度[8]。

图1 夜天空的VIS-NIR光子立体角密度

无月夜晚的多色辐射组份除来自于星光或银河、行星之间的粒子反射阳光，更多来自于称之为夜气辉的大气层发光。气辉的主要峰值在SWIR波段的1.3mm和1.6mm[9]。晶格区配的In0.53Ga0.47As灵敏于0.9～1.7mm波段，其可得到的信号相比于可见光信号高出180倍，相比于像增强器灵敏范围信号也高出近20倍[10]。

新一代的步兵夜视头盔系统，包括武器枪瞄具，将采用可见光近红外（VIS-NIR）、短波红外（SWIR）和长波红外（LWIR）的多传感器[11]，以确保在日光、夜间、恶劣天气包括雾霾和尘土等多种环境条件，为士兵提供近和远视的高分辨力的多光谱彩色融合图像显示，同时还可通过无线传输使班队成员分享目标图像，实现士兵间的视觉协作，提高士兵甚至班队级战斗单位的战场环境意识及探测、辨别和确认战斗威胁的能力。图2所示的是无月夜气辉下光子立体角密度与人眼及多种探测器的相应的灵敏范围。

图2 无月夜气辉下的光子立体角密度及多种探测器的灵敏范围

通过片上电路结合非均匀校正（NUC）的无热电制冷（TEC）热平衡工作，目前基于InGaAs焦平面阵列（FPA）的SWIR传感器和基于VO微测辐射热计的LWIR传感器在功能性和SWaP-C都获得了实质性突破[12-13]，InGaAs FPA在整个响应波段可具有超过70%的量子效率，和室温工作下的极低的暗电流。并且SWIR成像具有与可见光相同的成像方式，可显示景物阴影和对比度，在分辨率和细节方面可以与可见光图像相媲美。因此需要寻求一种具有可相当于像增强器的微光成像性能并满足SWaP-C及昼夜通用彩色成像要求的固态成像器件。

2 微光固体成像器件

2.1 CCD和CMOS图像传感器

CCD和CMOS图像传感器是固体成像器件的2个主要类型，两者都是利用了硅的光电效应原理，不同点在于光敏单元光生电荷的转移和读出方式。图3所示的是一个行间转移结构CCD原理示意。入射光子由光探测器转换成为电荷并在曝光时间内累积，在随后的读出时间，累积的电荷依次转换进入垂直和水平CCD，最后转移到芯片级输出放大器，在这里被转换成为电压信号，并通过片外的相关双采样（CDS），以消除传感节的复位噪声[14]。

CCD的这种电荷包依次读出方式限定了其读出速度，并且CCD是一个高电容器件，而在读出期间需要所有的像素在相同的时间全部高电压的转换，这意味需要消耗更多的功耗。进一步，在CCD上无法集成CMOS电路，相机的大部分功能需要在CCD芯片之外来实现。

图3 行间转移CCD结构

CMOS图像传感器通过反向偏置PN结在积分工作模式下的光电流收集[15]，采用CMOS电路来实现传输并进行处理，CMOS图像传感器克服了许多CCD图像传感器所无法克服的困难，像素的随机存取成为可能，如图4所示，从而实现快速读出，并可选择感兴趣的窗口读出，且仅消耗非常低的功耗。同时，可在相同的芯片基底上集成图像传感器的驱动电路以及模拟信号处理和模数转换电路，实现单芯片图像捕获和处理的集成，甚至单芯片数字相机及图像处理系统，显著减少系统的SWaP-C[16]。

图4 CMOS图像传感器结构

早期的无源像素传感器（PPS）像素中仅集成了一个开关晶体管，而有源像素传感器（APS）则在像素中引入了MOS源跟随器[17]。随着CMOS制程的进步，APS像素可集成更多的MOS管，从而在像素内直接进行更多的数据处理功能。但导致每个像素的电压转换机制难以保持一致。CMOS图像传感器相比于CCD存在较严重的固定图案噪声（FPN）。

随着亚微米CMOS制作技术的进步，更多数量的晶体管集成进入像素以进行更多的处理，特别是像素中的CDS，和应用于APS CMOS的高量子效率低暗电流低读出噪声的Pinned photodiode（PPD）的开发成功和日臻完善，APS CMOS的图像质量达到了CCD的水平[18]，成为目前称为CIS的图像传感器技术和CCD的一个实用替选。

图5所示的一个3T APS和4T APS，相比于3T结构，一个晶体管MX被增加进入串联在4T APS的浮置扩散（FD）和PPD之间，随着传输门TX合适的时序驱动，晶体管MX可从PPD转移电荷到浮置节。在积分时间开始前，通过电荷转移机制PPD被清空，通过MOSFET（命令信号RST）重置读出节，经SF在参考通道的列读出电路取样和保持，在积分时间结束后，PPD的积分电荷转移（命令信号TG）到读出节。相应的积分电荷的电压级别，通过信号通道的列读出电路取样和保持（命令信号SHS）。视频信号电压级别产生于2个取样相减（参考和信号）即得到视频信号电压级别，由此实现真正的像素中的CDS，消除重置噪声，同时也减轻了FPN[19-20]。

图5 3T ASP像素和4T APS像素结构

APS CMOS因集成了多个晶体管导致的填充因子的损失，可通过采用微透镜阵列将入射辐射聚焦到光二极管的光转换区域来弥补，相似的方法也用于行间转移CCD。而CCD和CMOS都是借助于在像素阵列上覆盖一个彩色滤光片阵列来实现彩色成像，只是CMOS更多的采用CMYK补色分色法来替代Bayer模式的RGB原色分色法，以一定程度的改善量子效率和空间响应。

CCD和CIS一直致力于模仿人眼视网膜的光子收集和处理功能与习惯，其设计和制造工艺都尽可能的降低其对NIR的敏感程度，而要实现微光成像，在最小化器件暗噪声的同时，优化灵敏度特别是NIR波段的灵敏度显得尤其必要。

2.2 微光CCD和EMCCD

硅材料本身就是一个对NIR光捕获的优选的材料，但在VIS-NIR不同波段上吸收深度的变化，限定了可同时利用VIS-NIR光谱两端的硅探测器的设计。较长的波长的光子需要穿透更深的深度方能被吸收，同时，仅在耗尽层中的光生电子空穴对有一个较高的概率分离，而最大可能耗尽层的厚度是外延掺杂度和反向偏压的关系。CCD在具有较厚外延层的同时，能够很好地保持空间分辨能力，并且CCD还可通过像素偏压和外延浓度的相应调整形成更厚的外延，而改变偏压或外延掺杂度将会影响CMOS模拟和数字电路的运作，并且通过增加外延层厚度来改善NIR敏感度会导致CMOS图像传感器MTF的降低。

某些NIR CCD的外延厚可达100mm甚至更多，而CMOS成像器的外延厚度仅为5～10mm。图6是一个200mm外延厚度的NIR CCD的量子效率。但CCD是一个串联读出器件，只有通过降低读出速度或制冷来获得低读出噪声特性，如果片上读出放大器工作在高速度而不采用制冷，放大器产生的热噪声将严重的损害了CCD在微光级的灵敏度[21]。

图6 近红外CCD的量子效率

电子倍增CCD（EMCCD）通过在水平读出寄存器和读出放大器之间增加了一个具有增益可调的倍增寄存器，对信号电荷进行倍增放大，从而可使一个微弱的信号因此而被放大到放大器的读出噪声之上[22-23]，图7所示的EMCCD基于帧转移结构，在读出放大器之前增加的倍增寄存器，通过碰撞电离在每个倍增单元产生额外电荷，仅有一个非常小的概率，通过几百个倍增单元，并对每个单元提供一个较高的电压，一个信号电子可产生数百上千个额外的信号电荷。

但倍增机制的统计分布和相联变化导致EMCCD引入了由噪声因子带来的额外噪声[24]。并且电荷倍增的概率随温度而变化，需要提供制冷，虽然制冷可进一步降低暗电流和读出噪声，实现对极微弱光的成像，甚至光子计数的能力，但却导致系统功耗和体积的进一步增加，不适于便携式和嵌入成像的应用。

2.3 微光CIS

CIS是一个并行读出器件，可在很低的带宽下把离散的电荷包转换成电压输出，仅需在帧率下进行复位，由此提高信噪比，因而且可在适度的灵敏度下达到高的帧率。同时，通过大尺寸像素设计，结合积分时间的增加，以收集更多的光子，可更灵敏于微弱光强，但更长的积分时间或更大的像素尺寸都会导致图像传感器在时间和空间分辨力的损失，因而降低暗电流和读出噪声级别，对微光成像性能的改善尤为重要。

微光CIS通常基于一个4T或5T的PPD的大面积像素结构，大面积像素为优化微光性能的像素结构设计提供了很大的自由度，图8所示的是一个典型像素简要结构和布局[25]，PPD的n型扩散层的几何和相对位置，以及转移门的形状和尺寸，是直接影响器件暗电流、读出噪声和图像延迟等微光成像性能的关键。优化埋入二极管到STI边缘（d1）的距离，和转移门叠加临界值调整注入，以及光电二极管的尺寸和形状（d2），对转移门下的电势分布进行适应性调整，以在PPD和浮置扩散节之间建立合适的壁垒高度，实现电荷的完全转移[25-26]。

图8 像素横截面及像素布局图

微光CIS的像素阵列通常采用基偶列分离的各自从上下部份读出，和图9所示的双列级放大器和双ADC的读出链结构[5]，每一个像素由高增益和低增益放大器同时取样两次，增益模式由内部控制，或最大化全阱容量即低增益模式，或最小化读出噪声即高增益模式，使最低噪声和最大阱容可以兼得，提供最大可能的动态范围和最小可能的探测阈值，同时在高增益和低增益间切换时最小化SNR的下降。放大器输出和ADC输出采用双缓冲。每一列有一个参考输入可多路传输进入电路以辅助校正列级增益，并抵消FPN。高分辨率ADC对微光成像性能至关重要，而每列像素都有一个单独的ADC，缩短了模拟处理的距离，可确保在很高的信号转换速度的同时，将模拟处理过程中产生的噪声降到最低[5-8]。

图9 微光CIS的双列级放大器和双ADC读出链

CIS技术的最新进步，特别是低于2e-RMS甚至亚电子相当的读出噪声的读出电路的开发[2-4,27]，使CIS的使用限定推到微光条件。

3 适用于昼夜成像的微光CIS

北方夜视最新推出的微光CIS相机是一个以小型化低功耗和低噪声高灵敏度大动态范围为特征的微光CIS组件，采用5V电源，在50Hz帧率下的功耗为850mW，提供LVDS数字输出和PAL模拟输出，和满足一系列透镜固定的CS接口。还可提供增加FPGA板和OLED微型显示器的选项。微光CIS组件最小重量30g，最小尺寸28.2mm×10.9mm，如图10所示，相比于其他器件及组件在SWaP-C上有着实质性的降低。

图10 微光CIS组件

组件可提供自动增益控制（AGC），高动态范围（HDR），非均匀校正（NUC）和超强光抑制（HSBLC）等图像改善功能，AGC可根据外部环境照度变化自动调整增益。HSBLC可自动检测超强光区域，计算画面平均值自动将强光区域排除在外，从而提高其他区域的亮度。

组件采用0.18mm工艺的1/2微光CIS芯片，像元数752×582，像元尺寸8.6mm×8.3mm，采用PPD的4T像素前照结构，如图11所示，采用一个FD阱容可由SSI控制以可在高灵敏度模式（低FD）和低灵敏度模式（高FD）自动切换的设计。量子效率峰值大于80%，840nm的量子效率不低于35%，如图12所示。采用列并行读出结构，PGA增益可通过寄存器来控制，最大PGA增益是32×。

图11 微光CIS的4T PPD像素电路结构

图12 微光CIS的量子效率曲线

表1 微光CIS性能参数

一个业界内可广泛接受的用于评估一个图像的质量的衡量标准是信噪比和MTF，标准ISO 12232定义可接受和极好的图像分别是当SNR值相应为20dB（10:1）和32dB（40:1）时。而噪声等效照度（NEI）表示图像传感器可能产生一个可用的图像（SNR＝1:1）的最小照度或在表面的每单位面积光通量。

微光CIS组件在50Hz帧频和高灵敏度工作模式，NEI为8×10－4lx，在2×10－3lx照度的信噪比SNR＝17dB(7:1)，在1×10－3lx照度下SNR＝14dB (5:1)。微光CIS组件可提供从白天到接近多云残月（night level 3）的VIS-NIR光谱的单色实时图像，接近了具备昼夜成像的能力。

最小可分辨对比度（MRC）是观察者分辨一个线条图像所需要分辨力靶的线条与背景间的最小对比度差与靶在不同光照级别下的靶的空间频率的关系式。MRC被认为是用于长距离观察的VIS-NIR相机最重要的特性，可用来计算对一些低对比军事目标的探测、识别和确认距离。CIS组件测量的MRC列举在表2中。微光CIS组件的MTF如图13所示，极限分辨力48lp/mm。

图13 微光CIS组件的MTF

表2 微光CIS组件的最小可分辨对比度（LED 50cd/m2，F值 2, 59mm焦距透镜, 50Hz 帧频）

从本质上讲，微光CIS并不具有倍增机制，在微光条件下还远不如EMCCD和像增强器那么灵敏，但当集成进入一个新一代的头盔夜视系统，VIS-NIR通道的最低光级别的限定可由SWIR或LWIR通道增补。相同的道理，一个热成像与微光CIS结合的武器枪瞄具相比于一个热成像或微光枪瞄具更具优势。下一步的工作将对CIS设计特征进行合适的选择和优化，实现高分辨力高清彩色成像，但高分辨力高清彩色成像将将导致成像灵敏度相应程度的降低。

4 结论

微光CIS具备提供从白天到接近多云残月夜晚的VIS-NIR单色实时视频能力，并将升级到高清彩色成像。相比于EMCCD和像增强器，微光CIS在高集成度、低功耗和小系统尺寸上更具优势，可作为一个微光成像性能和SWaP-C优选的VIS-NIR固体成像器件，理想于新一代的步兵头盔和武器观瞄具，以及与其它作战平台如无人机和地面车辆及固定监视系统的集成。

致谢

感谢波兰Inframet公司提供的微光CIS组件部份参数的测试。

[1] Krymski A, Khaliullin N, Rhodes H. A 2e－noise 1.3 Megapixel CMOS sensor[C]//2003, http://www.alexima.com/pub/A%202%20e% 20noise.pdf, 2006-10-8.

[2] Lotto C, Seitz P, Baechle T. A sub-electron readout noise CMOS image sensor with pixel-level open-loop voltage amplification[C]//(), 2011, 2011: 402-404.

[3] Chen Y, Xu Y, Chae Y, et.al. A 0.7 e-rms temporal readout noise CMOS image sensor for low-light-level imaging[C]//, San Francisco, 2012: 384-385.

[4] Vu P, Fowler B, Liu C, et al. High-performance CMOS image sensors at BAE SYSTEMS imaging solutions[C]//, 2012, 8453: 84530D.

[5] Fowler B, Liu C, Mims S, et al. Low-light-level CMOS image sensor for digitally fused night vision systems[C]//, 2009, 7298: 7298-49.

[6] Fowler B, Liu C, Mims S, et al. Wide dynamic range low light level CMOS image sensor[EB/OL]. 2009 International Image Sensor Workshop, http://www.imagesensors.org/Past%20Workshops/2009%20 Workshop/2009%20Papers/080_paper_fowler_fairchild_hdr.pdf, 2009.

[7] Vu P, Fowler B, Liu C, et al. Design of prototype scientific CMOS image sensors[C]//, 2008, 7021: doi:10.1117/12.790229.

[8] Pierre Fereyre, Frédéric Devrière, Stéphane Gesset. L² CMOS image sensor for low light vision[EB/OL]. http//www.imagesensors.org /.../ 2011Papers/P20_Fereyre_L2CMOS.pdf.

[9] Vastsia M, Stich U, Dunlap D. Night sky radiant sterance from 450 to 2000 nanometers[R]. NTIS, 1972.

[10] Richards A. Some thing in the air[J]., 2012, 46(7): 75-77.

[11] Curry D C, Harrington L K, Hopper D G. Dichoptic image fusion in human vision system[C]//, 2006, 6224: 622401.

[12] Kostrzewa J, Meyer W, Kraemer D, et al. Overview of the UL3 Omega™ uncooled camera and its applications[C]//, 2002, 4719: 189-195

[13] Ettenberg M, Cohen M, Brubaker R, et al. Indium gallium arsenide imaging with smaller cameras, higher resolution arrays, and greater material sensitivity[C]//, 2002, 4721: 26-36.

[14] Bosiers J, Peters I, Draijer C, et al. Technical challenges and recent progress in CCD imagers[J]., 2006, 565(1): 148-156.

[15] Weckler G. Operation of p-n junction photodetectors in a photon flux integration mode[J]., 1967, 2(3): 65-73.

[16] 姚立斌. 低照度CMOS图像传感器[J]. 红外技术, 2013, 35(3): 125-132.

YAO Libin. Low-light-level CMOS image sensor technique[J]., 2013, 35(3): 125-132.

[17] Noble P. Self-scanned silicon image detector arrays[J]., 1968, 15(4): 202-209.

[18] Eric R Fossum. A review of the pinned photodiode for CCD and CMOS image sensors[J]., 2014, 2(3): 33-43.

[19] Turchetta R. CMOS monolithic active pixel sensors (MAPS) for future vertex detectors[J]., 2006, 1(8): 436-444.

[20] Martin-Gonthier P, Molina R, Cervantes P, et al. Analysis and optimization of noise response for low-noise CMOS image sensors[EB/OL]. 10th IEEE NEWCAS, 2012, http://oatao.univ-toulouse. fr/6669/1/Martin_Gonthier_6669.pdf.

[21] Kozlowski, Luo J, Tomasini A. Performance limits in visible and infrared imager sensors[J]., 1999, 99: 867-870.

[22] Jerram P, Peter J Pool, Ray Bell, et al. The LLLCCD: low light imaging without the need for an intensifier[C]//, 2001, 4306: 178-186.

[23] Hynecek, Impactron J. A new solid state image intensifier[J]., 2001, 48: 2238-2241.

[24] Robbins M S, Hadwen B J. The noise performance of electron multiplying charge-coupled devices[J]., 2003, 50: 1227-1232.

[25] Liu Xinqiao, Boyd Fowler, Hung Do, et al. High performance CMOS image sensor for low light imaging[EB/OL]. http://www.imagesensors. org/Past%20Workshops/2007%20Workshop/2007%20Papers/084%20Liu%20et%20al.pdf, 2007-10-8.

[26] Eric R Fossum. Charge transfer noise and lag in CMOS active pixel sensors[C]//, 2003: 15-17.

[27] Pain B, Yang G, Ortiz M, et al. Analysis and enhancement of low-light-level performance of photodiode-type CMOS active pixel imagers operated with sub-threshold reset[C]//, 1999.http://www.forzasilicon.com/wp-content/uploads/Analysis -and-Enhancement-of-Low-light-level-Performance-of-Photodiode-Type-CMOS-Active-Pixel-Imagers.pdf.

[28] Bender E, Wood M, Hosek D, et al. Characterization of domestic and foreign image intensifier tubes[C]//, 2013, 8706: 870607.

Low-light-level CIS for Day/Night Vision

PAN Jingsheng1,2，GUO Yiliang1,2，GU Yan1,2，LI Yanhong1,2，SUN Jianning1,2，ZHANG Qindong1,2，SU Detan1,2

(1.,,211106,;2.,710065,)

CMOS image sensor (CIS), compared with CCD image sensors, has vastly increased functionality and substantial potential for superior integration, low power dissipation and small system size，and recent technology advances， especially the ultra low read noise and superior sensitivity which CIS technology achieved, led to that CMOS image sensor has image performance competitive with CCDs, while the low-light-level CIS is utilized under low light level condition. A low noise high sensitivity and large dynamic range low-light-level CIS camera module for day/night vision is introduced in this paper, which can provide real time digital monochrome video from daylight to cloudy quarter moon night condition (night level 3), and become a perfect cloudy quarter moon night choice of VIS-NIR day/night image device for low-light-level image performance and size, weight and power-cost (SWaP-C).

low-light-levelnight vision，complementary metal oxide semiconductor(CMOS)，active pixel sensor (APS)，CMOS image sensor(CIS)，low-light-level CMOS image sensor

TN223，TN215，TN219

A

1001-8891(2016)03-0181-07

2015-09-10；

2015-10-13.

潘京生（1965-），重庆巫山人，博士，研高工，从事微光成像探测研究。E-mail：pjs@nvt.com.cn。