基于AM41V4传感器的高清高速CMOS相机系统设计

李方宁，王延杰，张 涛，孙宏海

（1.中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033；2.中国科学院大学，北京 100049）

1 引 言

随着固态图像传感器技术的飞速发展，CMOS（互补金属氧化物半导体Complementary Metal－Oxide Semiconductor）高清高速相机成为可能。摄像机也由当初的硅靶型真空管摄像机，FPS（聚 焦 投 影 和 扫 描 Focus Projection and Scanning）摄像机，CCD（电荷耦合元件Chargecoupled Device）摄像机发展到当前的CMOS摄像机，相机拍摄帧频也由数十帧升高为数千帧。采用CMOS图像传感器的高分辨率高帧频摄像设备也广泛用于国防、科研和工业等领域：国防军事中，CMOS相机可用于快速捕捉高速飞行目标的运动轨迹，满足对其测试监控的需求；科学研究中，CMOS相机将各种高速实验过程记录下来，更好的为科研提供有用的实验数据；工业研发中，CMOS相机适用于各种行业的工艺研究，产品创新及测试环节，推动了生产力发展［1］。与传统CCD图像传感器相比，CMOS图像传感器具有工艺简单、集成度高、成本低、功耗低、捕捉速度高和开发周期短等显著优势，通过综合对比，CMOS图像传感器更适合应用于高分辨率高帧频相机系统［2］。

目前生产高清高速相机的大都是美国、加拿大、德国、瑞士等西方发达国家，他们对CMOS高清高速相机系统的开发具有丰富的经验和大量成功的先例。国外的高清高速相机通常帧频都达到1000fps以上，分辨率高达百万像素以上。和国外相比，国内自主研发的高清高速相机在产品种类和产品质量两方面都亟待提升，对高分辨率高帧频的CMOS成像系统的开发也不容忽视，现在我国的高分辨率高帧频摄像设备多通过进口引入国内［3－7］。为打破这一格局，国内急需展开含自主知识产权的高分辨率高帧频相机的研究，掌握包含传输、控制、存储和处理在内的核心技术，积累相机开发经验，这对满足将来我国在高清高速拍摄领域的需求具有积极推动意义。

本文对高速CMOS图像传感器AM41V4进行了简要介绍，并基于该传感器设计了高分辨率高帧频相机系统。

2 CMOS图像传感器

2.1 AM41V4的基本性能

AM41V4是美国ALEXIMA公司开发的一款针对高速机器视觉和运动分析应用的高分辨率高帧频CMOS传感器芯片。该芯片拥有2 368×1 728像素，有效像素为2 336×1 728，像元尺寸为7μm×7μm，满幅分辨率下帧频为500fps。同时AM41V4还具有ROI（感兴趣区域读取Region of Interesting）功能，在进行开窗操作时，可以通过AM41V4的控制接口进行设置，使其可以输出我们指定窗口内的图像数据。采用ROI方式可以有效减小图像数据大小，提高图像输出帧频。

AM41V4的主要特征参数见表1。

表1 AM41V4图像传感器参数说明Tab.1 Performance specifications of AM41V4image sensors

2.2 AM41V4的内部结构

AM41V4像素内采用了5T晶体管结构（如图1所示），具有全局快门模式。全局快门保证阵列中所有像素都能同时启动和终止光积分，避免了拍摄高速运动所产生的果冻效应。

图1 快门像素简图Fig.1 Simplified diagram of the shutter pixel

图1中PD是光电探测器，FD为像素内存，RST为CMOS晶体管。在AB门上加载‘PD＿n’信号，当‘PD＿n’低置时，允许相机进行曝光，当其高时，光电探测器PD复位；在TX门上加载‘TX＿n’信号，当‘TX＿n’低置时使电荷从光电探测器PD转移到像素内存FD；CMOS管RST上加置‘PRST＿n’信号，‘PRST＿n’低置时重置像素内存FD，‘PRST＿n’与‘TX＿n’配合使用时可以重置像素内存。所以，如果需要清除整个像素，如长时间的停顿后，将‘PD＿n’高置，‘TX＿n’和‘PRST＿n’低置，则能清除之前所积存下来的暗电流电荷像素。

AM41V4图像传感器的内部框图如图2所示，主要由像素阵列，两个列读出模块，一个四象限读出控制体系及一些内部产生的偏置电压构成。

AM41V4图像传感器的可读像素为2 368×1 728，由2 336列有效像素阵列和32列暗阵列组成。AM41V4有16个端口，每个10位，共有160位数据输出管脚。AM41V4的两个列读出块分别位于芯片的顶部和底部，其中包括每列的采样电路，放大电路，和带有可读SAR（逐次逼近寄存器Successive Approximation）的 ADCs（数字模拟转换器 Analog to Digital Converter）寄存器，读出的ADC数据暂时存储在其中。将寄存器的读出及传感器控制驱动作为一个四象限读出控制体系，这种四象限结构使其能越过SAR ADCs寄存器进行局部控制和局部数据的读出，对于高速运行的传感器是来说是至关重要的。

图2 AM41V4传感器框图Fig.2 AM41V4sensor block diagram

3 相机系统的总体方案设计

3.1 相机系统的性能指标

相机系统承担着试验过程中场景到电信号的转换，是整个高清高速摄影系统中至关重要的组成部分，它的性能指标直接影响到整个相机系统的应用场合定位。

通过综合分析国内外相关产品参数，并结合AM41V4的性能参数，我们提出了本设计的性能指标：

（1）相机分辨率为1 920×1 080像素；

（2）在1 920×1 080像素拍摄时帧频为1 000帧；

（3）可由上位机软件配置传感器各项参数，选定图像尺寸；

（4）可依具体的拍摄需求灵活改变工作模式。

3.2 相机系统架构

基于图像传感器AM41V4的高清高速相机由相机采集模块、相机控制存储模块以及相机接口模块3部分组成，如图3所示。

相机采集模块主要有相机镜头和CMOS图像传感器构成，CMOS传感器收集通过镜头射入的光信号并将其转换成数字信号供后续电路使用。控制模块采用FPGA（现场可编程门阵列Field Programmable Gate Arrays）作为系统核心控制，FPGA承担为其他系统芯片提供驱动时序和控制信号的工作，从而使相机系统正常运转。加入高速大容量DDR3动态存储器作为成像暂存器，配合HDMI高清接口可提供帧频显示功能。选择光纤接口构建相机接口模块，可满足相机高速实时传输的需求。

图3 AM41V4相机结构框图Fig.3 Structure block diagram of AM41V4 CMOS camera

3.3 相机采集模块

镜头和CMOS图像传感器构成采集模块，CMOS传感器通过接受拍摄现场的光信息，利用光电效应将光信号转化成电信号，再通过CMOS内部集成的A／D转换器直接将拍摄所得的信息以数字信号形式传送给控制模块的FPGA［9］。

驱动时序是CMOS成像单元设计的重要一环。CMOS图像传感器AM41V4的满幅像素阵列为2 368V×1 728H，根据这一特点，驱动时序分为行时序与帧时序。行时序控制每行2 368个像素数据的输出。

图4 高帧频AM41V4行时序图Fig.4 Row timing of high frame rate AM41V4 sensor

由于AM41V4具有ROI功能，选取像素为2 336V×1 080H的感兴趣区域图像进行验证，系统行时序中（见图4），“st＿read＿n”和实际“data”输出之间有4个时钟周期的延迟。图像每行有2 336个有效像素和32个暗像素，传感器在每个时钟周期输出一组（16个）像素的数据，完成一行数据输出需要2 368÷16＝148个时钟周期，一个完整的行时序实际占用了148＋4＝152个时钟周期，此时完成了一行数据的输出，行时序结束。数据共有1 080行，因此1 080个行时序正好把一帧的图像数据输出完毕，构成一个完整的帧时序。由行时序占用的时间与帧时序的构成，可以算出完成一帧图像所占用的时钟周期数为N＝1 080行×152＝164 160个时钟周期。在时钟主频170 MHz的时候一个完成的帧时序占用时间为t＝164 160÷170 000 000＝0.000 966s，即占用时间约为1ms。由此可以算出时钟主频为170MHz时传感器的的分辨率为2 336V×1 080H，帧频约为1 000fps，通过FPGA处理剪裁掉416列，得到标准高清像素1 920V×1 080H，此时帧频仍为1 000fps，满足高清高速标准。使用行时序构成帧时序的设计方法借鉴了CMOS图像传感器的特点，有利于进行设计，在实际电路中也有利于进行仿真与调试。

图5 高帧频AM41V4帧时序图Fig.5 Frame timing of high frame rate AM41V4 sensor

在FPGA驱动下AM41V4传感器使用一个二进制编码进行外部行寻址（row0－row10），地址对应的有效像素为0～1 079。从像素中读出信号时传感器控制模块产生一个内部脉冲序列操作，这些操作包括读出存储在FD节点的信号，使用PRST＿n和TX＿n控制信号重置像素，使读出的信号对应重置的像素。为了读取选定行像素和进行像素信号AD转换，需要发送一个Start Row控制信号（“st＿row＿n”）。读出一个像素行并将其数字化需要使用一定数量的时钟。这个时钟数量与将移芯片中所有数字数据输出所需的时钟数是相匹配的。所以，在第一行的像素信号数字化完成后，可以发送Start Read控制信号（“st＿read＿n”）来读出数字数据。同时，可以运用Start Row脉冲到下一个选定行。

AM41V4供电要求比较复杂，偏置电压较多，电压说明见表2。

表2 AM41V4图像传感器电压说明Tab.2 Power specifications of AM41V4image sensors

由于需要的偏置电压较多，在系统电路设计中应综合考虑元器件管脚数量及位置分布情况，使得电源和地到相应的管脚距离最短。

3.4 相机控制模块

相机系统采用FPGA作为逻辑主控器件，FPGA采用 XILINX公司的 Kintex－7系列XC7K325T芯片，依据不同的需求进行现场可编程，充分利用电路板空间，使相机系统小型化。FPGA是系统的“指挥中心”，用来调节整个相机系统的工作，FPGA需要为系统每个状态提供逻辑控制，为状态间的跳转提供必要的控制信号，保证整个图像数据流的完整通畅［8］。FPGA在逻辑上所要实现的功能有：各芯片及逻辑的时序控制、CMOS工作参数的配置、高速图像数据的接收与缓存、DDR3的读写控制，HDMI显示控制及相机接口的控制。FPGA的功能框图见图6。

图6 FPGA功能框图Fig.6 Frame timing of high frame rate AM41V4 sensor

前已述及，高帧频CMOS成像系统最高工作帧频为1 000fps，通过FPGA处理后的图像大小为1 920V×1 080H 像素，数据速率约为20 Gbit／s，系统通过引入高速大容量DDR3动态存储器作为成像暂存器，配合HDMI接口进行帧频显示，从而进行实时的监测。

为满足需求，DDR3芯片的选型主要基于两点：内部容量和工作频率。考虑到AM41V4的输出数据率很高，为确保完整的接收和储存高速的数据流，在选择DDR3芯片时须注意频率和带宽参数。本设计最终选择 Micron公司的MT8JTF12864HZ，其单片存储容量为1GB，位宽64bit，数据传输速率最高为1 600Mb／s，可满足系统帧频实时监控需求。

3.5 相机接口模块

相机接口用来完成系统图像数据的传输任务。由于相机图像采集数据量很大，因此对相机接口的传输速度有很高的要求。工业摄像常用的接口类型如表3所示。

表3 工业相机接口比较Tab.3 Comparison of camera interfaces in industry

续表

通过相机接口特点的对比和本系统性能指标的要求，系统选用光纤通道（Fiber channel）作为相机接口，使用SFP＋ （小型化可插拔光模块Small form factor Pluggable）光模块进行光电转换，变成光信号进行传输。SFP＋模块具有高密度、低功耗、更低系统构造成本等显著优点，它遵循ANSI T11协议，可以满足光纤通道的8.5 Gb的应用［9］。本文相机系统实时传输图像数据时理论带宽值约20Gbps，由于光纤通道最大理论带宽值为8.5Gbps，我们选用3个SFP＋光模块来进行数据转换，再通过光纤进行数据传输［10］，满足相机实时传输高清高速图像数据的要求。

4 系统测试及分析

系统在进行测试试验中，选用转动的风扇作为高速运动的目标，3个风扇叶上分别标注进行数字1、2、3标注，图7为相机实验环境。

图7 相机系统测试环境Fig.7 Testing environment of camera system

系统测试过程中，相机系统可通过DDR3动态存储器对前端CMOS拍摄的图像进行暂存，通过HDMI接口连接显示设备，进行拍摄过程中的实时监控，同时，相机系统通过光纤通道实时传输获取到的图像数据，从而对高速运动目标进行实时追踪拍摄。图8（a）、（b）为相机系统在不同时钟主频不同分辨率下实时拍摄高速运动风扇的图像取样。

图8 不同条件下相机系统拍摄的图像Fig.8 Images taken with the camera system under different conditions

图8（a）为时钟主频140MHz，图像分辨率2 336V×1 728H时拍摄的图像取样，此时的帧频约500fps；图8（b）为时钟主频170MHz，图像分辨率1 920V×1 080H时拍摄的图像取样，此时的帧频约1 000fps。

5 结 论

本设计将ALEXIMA公司的AM41V4型号CMOS图像传感器运用在高速数字相机系统中，与国内其他相机相比在分辨率、传输速度及高速实时显示方面都有很大的提升：基于AM41V4传感器芯片构建的相机系统采用FPGA作为系统控制核心，光纤通道作为相机接口，在分辨率为1 920V×1 080时实时传输速度可达1 000帧／s，满足高清高速相机标准；在高速相机内部引入了高速大容量DDR3动态存储器作为成像暂存器，配合HDMI高清显示接口可以实现帧频实时监控功能。本系统可以根据用户需求在不改变系统硬件的前提下进行扩展，使系统更加灵活，应用范围更加广泛。

［1］ 苏宛新.一种高帧频CMOS图像传感器系统设计［J］.液晶与显示，2013，28（6）：955－962.Su W X.Design of high frame frequency CMOS image sensor system ［J］.Chinese Journal of Liquid Crystals and Displays，2013，28（6）：955－962.（in Chinese）

［2］ 孙宏海，刘艳滢.两种高速CMOS图像传感器的应用与测试［J］.中国光学，2011，4（5）：453－460.Sun H H，Liu Y Y.Application and test of two different high－speed digital CMOS image sensor［J］.Chinese Optical，2011，4（5）：453－460.（in Chinese）

［3］ 董岩，张涛，李清军，等.基于PCI总线的CMOS图像传感器OV6620的驱动设计［J］.液晶与显示，2010，25（3）：460－465.Dong Y，Zhang T，Li Q J，et al.Design of image aquision system based on PCI bus［J］.Chinese Journal of Liquid Crystals and Displays，2010，25（3）：460－465.（in Chinese）

［4］ BlossH S，Ernst J D.High－speed－camera based on a CMOS active sensor［J］.Proc.SPIE，2000，3968：31－38

［5］ HOLST G C.Electro－optical Imaging System Performance［M］.Bellingham：SPIE Optical Engineering Press，2006.

［6］ JANESICK J R.Photon Transfer：DN→λ［M］.Bellingham：SPIE Optical Engineering Press，2007.

［7］ 李豫东，汪波，郭旗，等.CCD 与 CMOS图像传感器辐射效应测试系统［J］.光学 精密工程，2013，21（11）：2778－2784.Li Y D，Wang B，Guo Q，et al.Testing system for radiation effects of CCD and CMOS image sensors［J］.Optical and Precision Engineering，2013，21（11）：2778－2784.（in Chinese）

［8］ 彭进业，金浩强，石剑虹，等.高速单像素相机数据采集系统［J］.光学 精密工程，2014，22（4）：837－843.Peng J Y，Jin H Q，Shi J H，et al.Data acquisition system for high speed single－pixel camera［J］.Optical and Precision Engineering，2014，22（4）：837－843.（in Chinese）

［9］ 李进，吕增明，陶宏江，等.适于高速 CCD图像数据光纤传输的纠错技术［J］.光学 精密工程，2012，20（11）：3548－3558.Li J，Lv Z M，Tao H J，et al.Error correction technology for CCD image using high speed optical fiber transmission［J］.Optical and Precision Engineering，2012，20（11）：3548－3558.（in Chinese）

［10］ 夏巧娇，汪鼎文，张立国，等.高速多通道遥感相机快视系统的实现［J］.光学 精密工程，2013，21（1）：158－166.Xia Q J，Wang D W，Zhang L G，et al.Realization of fast－view system for high－speed multi－channel remote sensing camera［J］.Optical and Precision Engineering，2013，21（1）：158－166.（in Chinese）