基于FPGA的CMOS图像传感器LUPA-4000时序设计

陈彦 张宏伟 林宏宇

（北京空间机电研究所，北京 100076）

1 引言

近年来，随着CMOS生产制造和工艺技术的不断进步，CMOS图像传感器在系统功耗、体积、质量、成本、抗辐射性能以及可靠性等方面的优势越来越明显，这也使CMOS技术在空间成像领域得到了越来越广泛的应用。LUPA-4000是CYPRESS公司基于N阱像素技术推出的一款全色大面阵CMOS图像传感器，相比于其它CMOS传感器而言，LUPA-4000具有更高的响应性能。本文对LUPA-4000这款传感器进行了分析研究，设计了其极限工作时钟频率66MHz下的驱动时序，并充分开发了该传感器的辅助扩展功能。测试结果表明，本文提出的时序设计性能良好、工作稳定，能够驱动LUPA-4000这款器件正常工作，并且能很好地实现该传感器所具备的各项功能。

2 LUPA-4000 CMOS图像传感器

本文提出的时序是针对CYPRESS公司生产的高灵敏度芯片LUPA-4000而设计的，它的作用是给LUPA-4000这款芯片提供正确的时序信号，以驱动其在特定成像模式下完成光电转换、模数转换等过程并最终得到清晰正确的图像。此外，该时序设计还正确实现了此芯片自带的一些如多斜率积分等辅助扩展功能。

LUPA-4000是一款有源图像传感器，它采用改进了的6T式快照像素结构，具有全局同步曝光和流水线读出的能力。该芯片集成了模拟图像信号的获取、模数转换和数字信号处理等功能，最大分辨率可达2 048×2 048像元，在最大分辨率下的最大帧速率为15帧/s，可以通过亚采样和取ROI（Region Of Interest）区域来提高帧速率。该芯片集成了两个10bitADC（模数转换器），传感器可以选择一路输出，也可以选择两路同时输出。具体指标如下：

1)2 048×2 048有效像元；

2)66MHz的像素输出速率；

3)片上模数转换器10位；

4)66dB的动态范围（单斜率模式），采用多斜率工作模式可达到90dB的动态范围；

5)集成2块33MHz采样率的ADC；

6)随机编程窗口和亚采样方式；

7)可编程像元读出行列方向。

图1 时序设计流程Fig.1 Timing flow diagram

3 LUPA-4000 CMOS芯片时序设计

如图1所示，时序设计的整个流程为：系统上电后，产生内部复位信号给整个系统复位，然后配置CMOS芯片内部寄存器，判断校时信号是否到来；如果到来，则根据串行接口发来的成像模式调整指令切换工作模式，并且产生每种成像模式下相应的驱动信号；接下来，输出图像帧头和帧信息，最后输出图像数据。在整个过程中，程序随时接收串行接口发来的控制指令来调整积分时间和成像模式，同时接收校时信号，并用该信号来校正系统时间。除了基本的驱动时序之外，本设计还具有系统校时、积分时间调整、并行操作、多斜率积分、NDR等功能，并通过模式切换来实现各功能的不同组合，增加了器件使用的灵活性，有效提高了该传感器的成像品质。

3.1 系统校时功能设计

在某些对成像时间要求比较精确的场合，需要记录成像开始的准确时刻，这就要求系统内部的时间和外部的基准时间保持严格同步。因此，需要给LUPA-4000 CMOS传感器设计系统校时功能，即外部发送给系统一个时间同步信号，代表外部的基准时间。当该校时信号到来时，积分开始，同时FPGA内部用计数器开始计时。设定一约定时间（下次时间同步信号应该到来的时刻），该约定时间以系统内部时钟计时，到达约定时间后FPGA内部计数器重新开始计数。如果外部校时信号提前于约定时间到来，说明系统内部时间慢于外部时间，则FPGA内部计数器提前清零并重新开始计数；但如果FPGA内部计数器到达了约定的时间而校时信号还未到来，则说明系统内部时间快于外部时间，则计数器停止工作，此时整个系统也停止工作，直到校时信号到来，计数器马上从零开始计数，整个系统重新开始按照新的时间起点工作。如此往复，以达到校正系统时间的目的。

3.2 可调积分时间设计

为了提高CMOS相机对环境光照条件的适应能力，在程序中增加了积分时间调节功能。该设计设置了5档积分时间，通过三线串行接口指令来完成CMOS传感器5档积分时间的切换。当成像目标较亮时，积分时间调节至低档；当成像目标较暗时，积分时间调节至高档，有效增大了相机的动态范围。图2为可调积分时间设计的仿真结果，图中reset信号低电平的长度表示积分时间的长短，当积分时间调节信号interg_step_reg由“100”调节至“101”时，积分信号reset的低电平的持续时间变长，如图所示，积分时间由t1增加至t2。

图2 可调积分时间仿真结果Fig.2 The simulation result of adjustable integration time

3.3 积分、读出并行设计

为了能够观测动态物体并追踪其所在位置，时序对帧频的要求比较高。本时序设计充分利用了LUPA-4000这款器件积分和数据读出可以并行操作的特性来提高帧频。LUPA-4000传感器芯片的时序包括两个独立的部分，第一部分对像素进行操作，包括对像素积分时间和信号幅度的控制；另一部分是对像素信息读出的操作，图3是LUPA-4000积分和读出并行操作示意图。

图3 图像积分和读出并行操作示意图Fig.3 Image integration and data readout in parallel

3.4 多斜率积分设计

多斜率积分是LUPA-4000这款传感器芯片自带的辅助扩展功能，该功能可以有效增大图像的动态范围，从而使该芯片的成像品质得到提高。以双斜率积分为例，图4为双斜率积分模式的原理图，图中的绿线表示像元的模拟信号，当像元达到饱和水平（saturation level）后，尽管曝光还在继续，但像元信号已经不再变化。如图中像元P3和P4所示，这两个像元信号在读出开始前已经达到饱和，如果不进行双斜率积分的话，将读出饱和信号，但如果在蓝线时刻时序再给一个积分开始信号（Double slope reset pulse），模拟信号重新开始以第一次积分时的斜率积分，这样，在像元读出时，像元P3和P4的信号值就不再饱和，使得动态范围有效增大。值得注意的是，在二次积分时刻没有达到双斜率第二次积分信号水平线（Reset level 2）的信号（如图中P1和P2）不受双斜率积分信号的影响。

图4 双斜率积分原理Fig.4 The principle of double slope integration

图5为双斜率积分时序仿真结果，双斜率积分是通过reset_ds信号来实现的。图中reset信号的下降沿所对应的T1时刻表示积分开始时间，当积分到T2时刻时，reset_ds信号的下降沿到来，此时如果像元信号达到了Reset level 2，则以Reset level 2为基准，以reset_ds信号的下降沿到来之前的斜率重新开始积分，否则，像元信号不受reset_ds信号的影响。

图5 双斜率积分时序仿真结果Fig.5 Simulation result of double slope integration timing

3.5 NDR设计

NDR（Non-destructive readout）功能也是LUPA-4000自带的辅助扩展功能之一。reset信号下降沿到来表示积分开始，在reset信号积分的过程中可以分多次将图像数据读出，而不用等到reset信号的上升沿到来后再进行此操作。这样，可以在一次积分过程中获得像元在多个积分时刻的图像，当物体较亮时，像素很快达到饱和，但较早时刻输出的图像积分时间较短，可以获取到有用的图像信号；当成像物体较暗时，选取输出时间较晚的图像，由于其曝光时间比较长，对暗物体的成像效果比较好。图6为NDR时序的仿真结果，图中reset每一次积分过程中，都有3次图像读出。如图6所示，T1为积分开始时间，T2为积分结束时间。在这段时间中，积分时间为t1时，第一次读出图像；积分时间为t2时，第二次读出图像；积分时间为t3时，第三次将图像读出，因为本文3.3节的积分、读出并行设计，所以第三次图像读出是可以实现的。

图6 NDR模式时序仿真结果Fig.6 Simulation result of NDR

4 实现及测试

本时序设计用FPGA（现场可编程门阵列）实现，用Verilog语言编程。该时序设计采用自顶向下的设计方法，把整个程序划分为功能独立的各个子模块，在顶层程序中对各子模块进行调用。用Modelsim对程序进行了功能仿真和布局布线后仿真，仿真结果正确。另外，还对该时序设计进行了板级确认测试，用示波器对传感器的各驱动信号进行了测试，测试结果满足设计要求且性能良好。

另外，由于LUPA-4000这款传感器芯片具有优良的响应特性，该时序设计下的传感器已成功应用于某低照度条件下的成像相机，并对该相机进行了夜间外景成像试验，拍摄到的图像如图7所示，从图像可以看出，在本时序设计驱动下，相机工作状态良好，可得到清晰且层次分明的图像。

图7 夜间外景成像图Fig.7 Photograph taken in evening

5 结束语

本文提出的LUPA-4000传感器芯片的时序设计包含了系统校时功能、积分时间可调功能、并行操作功能、多斜率积分功能和NDR（Non-destructive readout）功能，这些功能增加了器件使用的灵活性，有效提高了该传感器的成像品质。该时序设计设计下的传感器芯片适合空间暗目标探测，并适用于空间动态目标的跟踪。系统测试结果表明，该时序设计性能良好、工作稳定。

（References）

[1] Cypress Semiconductor Corporation.LUPA-4000 datasheet[M].2007.

[2] SHANG YuanYuan,GUAN Yong,ZHANG Weigong,et al.A High Dynamic Range Complementary Metal-oxide-semiconductor(CMOS)Camera Using Multi-slope Response and An Image Reconstruction Algorithm[J].Measurement Science and Technology(S0957-0233),2009,20(10)∶104115.

[3] Jin H Z,Lu H,Cho S K,et al.Nonlinear Compensation for Non-contact Electronic Joystick with a Single Hall Sensor[J].Science,Measurement&Technology,IET,2008,2(1)∶9-17.

[4] Cho H S，Jeong M H，Han B S，et al.Development of a Portable Digital Radiographic System Based on FOP-coupled CMOS Image Sensor and Its Performance Evaluation[J].IEEE Transactions on Nuclear Science(S0018-9499),2005,52(5)：1766-1772.

[5] 刘静,杜明辉.CMOS图像传感器关键技术及其新进展[J].传感器技术,2004,3(1)∶9-1.LIU Jing，DU Minhui.The Key Technology and New Progress of CMOS Image Sensor[J].Sensor Technology，2004，3（1)∶9-1.(in Chinese)

[6] 孙航,胡灵博,于联峰,等.Xilinx可编程逻辑器件应用与系统设计[M].北京：电子工业出版社，2008.SUN Hang,HU Lingbo,YU Lianfeng,et al.Xilinx Programmable Logic Device Application and System Design[M].Beijing∶Publishing House of Electronics Industry,2008.(in Chinese)

[7] 王军,李国宏.CMOS图像传感器在航天遥感中的应用[J].航天返回与遥感,2008,29(2)∶42-47.WANG Jun,LI Guohong.The Application of CMOS Image Sensor in Space Remote Sensing[J].Spacecarft and Remote Sensing,2008，29(2)∶42-47.(in Chinese)

[8] 王庆有.光电传感器应用技术[M].北京：机械工业出版社,2007.WANG Qingyou.The Photoelectric Sensor Applications Technology[M].Beijing∶Mechanical Industry Press,2007.(in Chinese)