基于CIS 暗电平校正算法研究与实现

郭智慧 魏巍

（长春理工大学计算机科学技术学院 吉林省长春市 130022）

图像传感器是将光学图像信息转换成电信号的器件[1]。固态图像传感器主要有两种：电荷耦合器件(Charge Couple Device, CCD)和互补金属氧化物半导体(Complementary Metal Oxide Semiconductor, CMOS)。

自20 世纪六、七十年代诞生以来，CMOS 图像传感器的发展远逊于CCD 图像传感器。近年来，随着CMOS 图像传感器设计技术和半导体制造技术的不断发展，CMOS 图像传感器(CMOS Image Sensor, CIS)因其制造工艺所取得的成就，低成本、低电压、低功耗，且集光敏器件、模拟读出电路、数字控制系统、智能信号处理电路于一体的优势显现，使得CMOS 图像传感器广泛应用于数码相机、安防监控、汽车倒车影像、医疗影像等领域。但由于结构上的差异，CIS 的暗电流始终高于同尺寸的CCD[2]。暗电流限制了CIS 的性能如动态范围、灵敏度，引入固定模式噪声(FPN, fixed pattern noise)和瞬时噪声。因此，在在图像处理阶段，采用暗电平校正算法对其进行校正是很有必要的。

1 CMOS图像传感器芯片结构

CMOS 图像传感器芯片是由像素阵列(Pixel Array)、可编程放大器(PGA)、图像信号处理(ISP)、模数转换(ADC)、时序控制(Timing Control)、行解码(Row Decoder)和列解码(Column Decoder)等模块组成。如图1 所示。

图1： CMOS 图像传感器芯片架构图

像素阵列是CMOS 图像传感器的核心部分，作用是将光信号转换为电信号，并且在行解码和列解码的驱动下寻址相应的像素单元。在时序的驱动下，将像素中的信号依次进行相关采样，接着读入到可编程放大器中。信号经过可编程放大器放大后，进入到模数转换器中，将模拟信号转换为数字信号。然后进行相应的图像信号处理包括暗电平校正、自动白平衡处理、颜色插值、颜色校正、噪点去除、图像降噪、伽马校正等。经过处理后的图像数据，最终由输出接口进行输出到存储设备进行存储或显示设备中进行显示。根据应用和设计的不同，CIS 输出形式有：数字信号输出、模拟信号（NTSC/PAL）输出、两者都可以输出。

2 暗电流校正方法

2.1 暗电流产生原因

CMOS 图像传感器的一个重要特点是在像素阵列中采用了有源像素传感器(Active Pixel Sensor, APS)。CIS的像素单元是采用基于PN 结的光电二极管，一个光电二极管作为一个像素，当光子入射到半导体材料中，光子被吸收而激发产生电子空穴对，称为光生载流子。在受到光照时，光电二极管加反偏电压，可将光信号转换成电信号。理想情况下，在没有入射光的图像传感器应该输出为0，但实际上在不发生光电效应时，二极管由于热激发也会形成电子空穴对，产生电流即暗电流。这是由读出电路及ADC 本身偏移量的存在导致的[2]。

综上，暗电流是指器件在反向偏压下，没有入射光时产生于反向偏置的感光二极管和寄生结的漏电流。如图2 中，即使采用PPD 4 晶体管像素结构能有效降低暗电流，但是余下的暗电流仍然不可忽略，如光电二极管的体区和外围区、光电二极管和氧化层界面、转移晶体管的栅极电荷和浮置扩散结点FD。钳位光电二极管的体区和表面产生的暗电流是由重金属和晶格缺陷等引起的。钳位光电二极管的外围区是指靠近其附近的浅槽隔离（STI）的侧墙和边缘区域，来自于该区域的暗电流是最主要来源。而来自于转移晶体管的暗电流在此像素结构可以得到很好的抑制[3]。来自浮置扩散结点FD 的暗电流在单帧模式是比较大的，然而在正常工作模式是可以忽略的。

图2： 4T 有源像素结构

2.2 暗电流校正方法

在设计CIS 芯片时采用了很多方法来消除CIS 的暗电流，如：

（1）通过改善像素结构和调整版图设计来减少暗电流；

（2）通过采用列相关全差分采样电路来消除暗电流；

（3）提高帧速率；

（4）通过遮黑虚假感光晶体管；

（5）通过零偏置电压技术降低暗电流；

（6）差分放大校正暗电流等。

通过以上优化像素结构、完善工艺、版图优化等[4][5]方法可以很好的校正暗电流。但是暗电流会随着温度的增加而增大，通常认为，暗电流与绝对温度呈指数关系[7]：

式中，Ea为半导体的禁带宽度；k 为波尔兹曼常数；T 为绝对温度。且暗电流是随着积分时间和传感器增益等条件变化而变化的，由此暗电流不可能被完全消除。由残余暗电流和工艺等原因导致像素信号的读出电路和ADC（analog to digital converter）不匹配从而引起了电压/电平偏移，成为暗电平。该电平侵占了传感器的动态范围，降低了图像的质量。

3 暗电平校正算法

3.1 暗电平校正算法概述

残余的暗电流、由PGA(programmable gain amplifier)引起的电压偏移和由ADC 引起的暗电平偏移会降低图像的质量。因此，在图像处理阶段采用暗电平校正算法进行校正很有必要。

图3 是简化的CMOS 图像传感器结构框图。其中包括像素单元（pixel），相关双采样（CDS），可编程放大器（PGA），模数转换（ADC）。

图3： 简化的CMOS 图像传感器结构框图

光信号入射到像素阵列，在像素单元内转换成电信号，然后经CDS 电路采样，采样后再经过PGA 放大器放大，最后经过ADC 转换成数字信号输出。图中ADC的输出ADCout为：

ADCout=Data+Offset+Temp+FPN（2）

式（2）中Data 是由光信号激发而产生的电信号，是光学信息的真实反映；Offset 是由CDS、PGA 和ADC 引起的电平偏移量；Temp 是电路中瞬时噪声总和；FPN 是由于半导体集成电路制造工艺偏差等原因导致器件失配而引起的固定模式噪声。

暗电平校正即是要对读出电路（CDS 和PGA）引起的电压偏移和由ADC 引起的电平偏移进行校正，以提高传感器的图像质量。暗电平校正的通常做法是，先获取遮黑像素（黑行）的信号，然后从正常的图像信号中减去该信号，即为传感器所获取的真正的由光激发而产生的电信号，从而消除暗电平的影响。

3.2 典型的暗电平校正算法

模拟端的暗电平校正是在模拟域进行校正即在ADC 之前进行的校正。图4 是模拟端暗电平校正的结构框图，其中平均值计算单元(Averaging Unit)、数字比较模块(Digital Comparator)、加/减计数模块(Up/Down Counter)、DAC(Digital to Analog Converter) 和 暗电平钳位模块(Black Level Clamp Circuit)共同组成了暗电平校正模块[6]。参考电压产生模块(Reference Voltage Generator)为ADC 和DAC 模块提供参考电压。

图4： 模拟端暗电平校正框图

校正过程为：首先CDS 采样像素阵列中黑行的像素值，经过PGA 放大器放大。经过放大后的黑行信号值经过ADC 转为数字信号。在平均值计算单元中计算求出黑行电平的平均值。将此平均值与设置的目标值相减得到黑行暗电平值后再与设置的偏移电平值进行比较。加减计数器根据比较结果输出相应的数字控制信号到DAC 中，将该数字信号转换成模拟信号即暗电平后，供给暗电平钳位电路模块[6]。暗电平钳位模块将暗电平的值加到CDS采样的图像信号上，然后进行校正暗电平。

数字端暗电平校正既是在信号经过模数转换之后在数字域进行的校正。一个简单有效的方法是设置阈值，依据此阈值进行校正像素阵列中的暗电平，位于该阈值以下的数字信号值视为暗电平。因此，阈值电压的选取尤为重要，其值太大会侵占图像的动态范围，太小则在较黑暗的环境中图像细节又不够清晰。图5 是简化的数字端暗电平校正的结构框图，其中BLC(black level calibration)是暗电平校正模块，接收经过去除白点后的ADC 输出的暗电平数据，然后从ADC 输出的图像信号中减去该值即可得到校正后的图像信号。

图5： 简化的数字端暗电平校正框图

以上BLC 模块一般包括黑行均值计算模块(Black line average)、目标值设置模块(Target black level)和暗电平调节模块(Offset adjust)三部分如图6 所示。

图6： BLC 模块

黑行均值计算模块接收黑行像素单元的像素值，求出其平均值BLA。将其与暗电平目标值TBL 相减后得到暗电平偏移量Offset。目标值由目标值设置模块设置的一个较小的正的偏移量。之所以要设置一个目标值，是为在暗光环境中能够使得图像细节更加清晰且能够校正正的暗电平偏移的同时也能够校正负的暗电平偏移。

由于暗电平是随着外界的温度、光照强度、积分时间和传感器的增益等因素变化而变化的，因此在视频图像中要实时消除其影响，BLC 模块就得不断判断这些因素的变化，并据此做出相应调节。在时序的控制下，BLC 模块接受来自黑行的信号，并计算出其平均值即黑行的平均电平。然后，在时序的驱动下，从正常图像信号中减去黑行的平均电平，即可得到校正后的图像。

综上，模拟端的校正是在ADC 之前进行的校正，该方法的优点是校正范围较大，且通过这种滞回比较的方法可以较好抑制帧间或帧内校正引起的闪烁噪声。缺点是由ADC 引起的暗电平不能得到校正使得校正不准确。数字端暗电平校正是在采集的信号转换成数字信号后进行的，其优点是校正比较精确、不需要DAC，缺点是由于校正是在信号被放大之后进行的，所以校正范围较小，在某些情况下易于到达饱和，导致动态范围减小。

3.3 改进的暗电平校正算法

本文提出改进的暗电平校正算法，即数字和模拟相结合的校正方法，可以较好的避免以上的问题又不会使得电路面积增加太多。此方法先在模拟端进行粗略的校正后，在数字域再进行更加精确的校正。图7 为模拟和数字相结合的暗电平校正框图。暗电平校正模块由平均值计算单元、数字比较模块、加/减计数模块、DAC 和暗电平钳位模块共同组成。其中加强了加/减计数模块的功能，依据不同情况可以输出不同的校正步长。如果暗电平较大且超出一定范围，则首先进行模拟校正称为粗校正。粗校正完成之后，再在数字域进行细校正。如果暗电平较小且低于某个范围，就直接进行细校正。

图7： 模拟和数字相结合的校正方法

该校正方法通过微控制器设置目标值、偏移电平值和校正步长。在计算出黑行的暗电平之后，与偏移电平值进行比较，判断暗电平是正值还是负值。如果为正值，加/减计数器就输出一个正的大步长。反之，加/减计数器就输出一个负的大步长。接着DAC 将该校正信号转换为模拟信号。然后暗电平钳位模块将其负值加到PGA 之前的校正点与CDS 采样的图像信号进行求和以校正暗电平。反复判断校正之后，黑行暗电平值落入设置的偏移电平值范围内，暗电平钳位模块对校正的结果进行累计输出以完成一次校正。然后重新计算黑行的暗电平以进行下一步的校正。

经过几轮往复的判断校正之后，就实现了暗电平的快速精确地校正。但因为暗电平时刻受外界因 素影响，因此BLC 模块就要时刻判断这些变化进行调节。

3.4 测试方案

采用两种测试方法：随机测试和典型测试。典型测试就是读入指定参数和图像数据，进行计算、判断和校正后，查看校正结果是否达到预期。通过多幅不同数据图像，来判断校正的正确性和准确性。

随机测试是随机产生的参数，这些参数是根据电平随增益和温度变化的线性模型产生的。温度每增加5℃，暗电平增加一倍，增益增大一倍暗电平增大一倍。使用这些参数和数据进行校正后，利用自动比较的方式将校正前后的图像数据进行比较，来判断校正的准确性。

利用该暗电平模型模拟校正后，如图8 是温度缓慢升至42℃的校正结果，可以看出相较于改进算法的图像，图8(b)中的图像模糊且亮度高，图8(a)质量好些。

图8： 校正结果

4 总结

本文介绍了CMOS 图像传感器的构成和工作原理，阐述了暗电流暗电平产生的原因。介绍分析了以往的暗电平校正方法，并在此基础上提出了改进的暗电平校正算法。该方法在模拟域中校正的范围较大，随后在数字域进行校正，因此这种方法兼有校正范围大、校正精度高的优点，提高了图像的质量。