高速红外TDI图像采集系统设计

赵云峰，韩 冰，陈 忻，马 贝，夏 晖，饶 鹏

高速红外TDI图像采集系统设计

赵云峰，韩 冰，陈 忻，马 贝，夏 晖，饶 鹏

（中国科学院上海技术物理研究所，上海 200083）

图像采集系统在红外时间延迟积分（Time Delay Integration，TDI）相机开发前期的验证与测试阶段发挥重要作用。介绍了一套以PXI硬件平台和LabVIEW软件平台为基础开发的图像采集系统。该系统采用模块化、多线程设计，具有高速数据采集和处理的能力。实验结果表明，系统最高达到约120Mbps的数据采集率，可完成8级TDI图像的高速实时处理与显示。该系统实现了对新型640×8中波红外数字式TDI探测器的数据获取，对新型探测器的应用有重要的技术支撑作用。

红外TDI；图像采集；LabVIEW；PXI

0 引言

TDI技术具有在不牺牲空间分辨率和成像系统工作速度的情况下获得高灵敏度的特性，在空间红外遥感领域应用广泛[1]。例如，EarthCARE卫星上的多谱段成像仪、美国的中波TDI多光谱成像仪（MTIS）以及SBIRS HEO等预警卫星均采用了红外TDI技术[2-3]。

在红外TDI系统开发前期的验证与测试阶段，需要搭建图像采集系统，以便进行各项测试与成像实验[4]。大量的测试实验和较短的开发时间要求图像采集系统需具备可靠性高、易于开发、扩展性强和灵活性高的特点。PXI硬件平台具有高带宽低延时、可重配置和高可扩展性的优点。与PXI硬件平台配套的LabVIEW软件平台使用图形化语言编程，界面直观友好，易于学习，包含大量图像处理、数学运算和测试测量的工具包，可方便、快速地搭建系统，极大地提高了编程效率[5-6]。因此，本文中的图像采集系统以PXI硬件平台和LabVIEW软件平台为基础开发。该系统可采集LVDS信号，实时处理并显示TDI图像。

1 红外TDI测试系统简介

红外TDI成像测试系统的结构图如图1所示，图像采集系统是整个成像测试系统的后端部分。光学镜头、红外探测器、前端电路板固定在一维扫描转台上，图像采集系统控制转台扫描，探测器输出信号经前端电路板转换后通过LVDS通道传输到图像采集系统。实验中采用的新型中波红外数字式TDI探测器的主要指标如表1所示。

图1 红外TDI测试系统

表1 探测器技术指标

2 图像采集系统的硬件架构

2.1 外部接口

图像采集系统与外部有两个接口：与一维转台之间通过RS232接口通信，以实现扫描控制；与前端电路板之间通过LVDS通道传输图像数据。如图2所示，图像采集系统通过6个LVDS通道与前端连接，分别是1个50MHz时钟信号CLK，4个并行的数据信号DATA1～DATA4和1个数据使能信号EN。每个数据通道在EN有效的14个时钟周期内传输1个14bit的图像数据。由表1得，探测器的最大输出数据率约为120Mbps。该接口可传输的最大数据率约为200Mbps，可满足探测器的采集需求。

图2 前端电路输出的LVDS信号

2.2 内部架构

如图3所示，图像采集系统采用了PXI架构，包括机箱、控制器、外设模块3部分，控制器和外设模块均通过PXI/PXI-e接口连接在机箱上。该系统中，机箱是NI PXIe-1073，控制器是装有Windows XP操作系统和LabVIEW软件的计算机，外设模块是由NI PXI-7952R和NI 6583组成的FlexRIO模块。该模块是一款可重新配置的高性能仪器，可通过LabVIEW编程，提供灵活且可定制的输入输出接口。它提供32路单端和16路LVDS通道，时钟率达200MHz，满足了6路50MHz LVDS输入信号的需求。同时，该模块包含了一个Virtex-5 FPGA和128MB板载DRAM，具有高速实时的数据处理能力，可完成部分数据采集和处理工作，减小了对控制器的运算能力需求。

图3 系统内部硬件架构

3 图像采集系统的软件实现

3.1 系统高速处理的需求

该图像采集系统需具备高速数据处理的能力，其原因表现在以下3方面：

第一，TDI成像方式带来数据量的大幅增长。TDI技术是使视场沿某一方向扫描，将不同时刻的同一目标所成的图像信号累加起来，以提高信噪比。因此，在相同时间分辨率、空间分辨率和扫描视场的条件下， TDI相机的数据量是单线列扫描相机的倍（为TDI级数）。本系统的数据率达到同等条件下的640元单线列扫描相机的8倍，约为8×640×1680×14bps＝120Mbps。

第二，片外数字TDI的实现方式增加了系统的运算量。本文的TDI方式是片外数字TDI。与模拟TDI和片上数字TDI不同，片外数字TDI的TDI操作在图像采集系统中完成。本系统中，每秒因此增加的加法运算量为7×640×1680＝7.5×106次。

第三，非均匀性校正、盲元补偿等操作增加了系统的运算量。本系统具备实时的非均匀性校正和盲元补偿功能，这也会导致系统运算量的增加。例如，本系统的非均匀性校正算法为两点法[7]，校正每个像素需要一次加法操作和一次乘法操作。因此每秒增加的运算量为8×640×1680＝8.6×106次加法和乘法操作。

总之，多种复杂的功能需求和高数据率对系统的处理能力提出要求，因此必须优化设计系统的软件架构。

3.2 处理逻辑流程

该系统进行图像采集的流程图如图4所示。

图像采集的整个流程包含多项操作，分别是：

1）设备初始化：设置FlexRIO的多个参数，使其初始化。

2）扫描控制：设置扫描转台的速度和角度，并控制其自动往复扫描。

3）数据采集：从6路LVDS中采集到图像数据，实现从比特流到数据流的转化。

4）数据存储：将采集到的数据存储到计算机的磁盘中，以供后续分析。

5）解帧：前端电路输出的数据中，每帧图像数据（640×8个）前均加入了特定的8个14bit数据，即帧头。解帧是指不断从图像数据中查找帧头，实现提取出每帧图像的功能。

6）图像预处理：对已解帧的图像进行背景减除、非均匀性校正、盲元补偿等图像预处理。这里采用的两点法校正算法应用广泛，且计算量小，符合高速实时处理的要求。盲元补偿采用了邻域滤波补偿的方法。

图4 图像采集流程图

7）图像处理：图像处理的目的是为了得到未TDI的图像和TDI后的图像。未TDI的图像的获取过程是，直接对多帧图像进行图像拼接操作，即将多帧图像的特定列数据抽取出来，再拼成一幅图像，拼接完成的图像就是目标的未TDI图像。TDI后的图像的获取过程是，首先进行TDI处理，然后将多列图像拼接起来。

8）图像显示：在NI Vision工具包的支持下，将未TDI的图像和进行TDI的图像实时显示在程序前面板上。

3.3 多线程、模块化设计实现高速处理

为了满足系统的多种功能需求和高速数据处理能力需求，设计了模块化、多线程的软件架构，如图5所示。该系统包括两个主要的VI，即FPGA VI和HOST VI。FPGA VI运行在FlexRIO模块的FPGA上，包括一个数据采集模块。HOST VI运行在计算机上，包括多个模块。HOST VI的每个模块都是一个单独的循环体，完成相应的功能。这种架构的优点有：第一，LabVIEW是一种自动多线程编程语言，可把多个持续运行的循环任务分配到多个线程中，充分利用多核计算机的并行处理能力；第二，每个模块只完成特定功能，程序结构简单，易于开发，方便阅读和调试。值得注意的是，LabVIEW程序运行过程中，循环体中的数据一般只在循环结束后才能传递到循环体外。为使图像数据流在多个循环体之间传递，采用了队列进行数据同步，即A循环中产生的数据存入队列，B循环将队列中的数据取出进行下一步处理。

图5 模块化、多线程的软件架构

FPGA VI上的数据采集模块LVDS信号的采集与传输。控制模块负责整个采集过程的流程逻辑控制，初始化模块控制数据采集模块实现设备初始化，扫描控制模块、数据存储模块、解帧模块分别实现扫描控制、数据存储、解帧的功能，图像处理与显示模块实现图像预处理、图像处理和图像实时显示。

控制模块在整个系统中处于核心地位，通过消息通知器实现指令流的传输。如图6所示，它采用了循环事件结构，完成控制其他模块运行状态的功能。循环事件结构是一种常用的LabVIEW程序结构，常用于界面控制或全局控制。该模块包括多个事件分支，程序前面板上“开始”或“停止”按钮按下的动作可触发对应事件分支，此时向消息通知器中发出对应通知，其他模块通过查询通知器的状态做出对应的响应。

图6 控制模块（循环事件结构）程序框图

HOST VI中的其他模块均采用了状态机结构。状态机结构也是一个比较常用的结构模式，能够应对可能出现的多种工作状态和状态转移。例如，扫描控制模块，其程序框图如图7所示。该模块控制一维转台的自动连续往复扫描，并可设置转动的角度、速度和转动次数。该模块有init、idle、run和stop四个状态分支，run分支下通过一个for循环完成扫描往复控制。

图7 扫描控制模块（状态机结构）程序框图

总之，该系统的软件设计采用了“循环事件结构”和“状态机结构”的基本模块，实现了模块化设计；以命令通知器传输指令流，以队列传输图像数据流，实现了各个模块间的通信与数据同步。这种模块化、多线程的软件架构能够充分满足系统复杂功能的需求，将处理负荷分解到多个线程中，充分利用了多核计算机的强大处理能力，可满足TDI图像采集与处理的需求，也可作为一种通用架构适用于红外与可见成像测试系统的快速开发。

4 系统成像实验及结果

利用该图像采集系统，进行了一系列成像实验，完成了图像采集系统各项功能的调试与检测，并获取了大量TDI成像的实验数据。实验计算机采用英特尔酷睿2 Q8400处理器，4GB内存。多次实验中，该图像采集系统均可以完成数据存储、扫描控制、图像实时处理与显示的功能。当探测器采用最高帧频读出时，CPU和内存占用率均不超过50%，且未出现数据溢出等异常现象。图8(a)和(b)是外场成像实验中对同一区域未TDI和8级TDI的成像结果，可以看出TDI运算后的图像与未TDI的图像相比，对比度更高，非均匀性更好，细节更清晰。对采集到的黑体辐射图像进行处理可得，TDI处理后，探测器的非均匀性从11%减小到9%，系统的噪声等效温差从57mK降为22mK。这表明数字TDI可以有效降低系统噪声水平，提高系统灵敏度，同时对探测器的非均匀性也有一定改善。

但是，图中的两幅图像仍有较高的非均匀性，即图像存在较明显的横条纹，原因可能是系统采用了两点法进行非均匀性校正。两点法假定探测器输出与接收的辐射通量成线性关系，但这种线性模型过于简单，不符合实际情况。未来可采用更精确的校正算法，如多点校正法、多项式拟合校正算法以及神经网络法、卡尔曼滤波方法和高阶统计量法等基于场景的非均匀性校正方法[8-9]，进一步降低非均匀性。

总体来看，该图像采集系统运行可靠稳定，效率较高，完成了预期的各项功能。

图8 外场实验中的成像结果

5 结束语

本文从软硬件架构的角度阐述了构建一个图像采集系统的过程，并通过成像实验验证其功能。系统中运用的“模块化、多线程”架构便于大型图像采集系统的开发，能满足多种复杂需求。开放式的软件平台LabVIEW和可重配置的硬件平台PXI使得该系统具有易于开发，可靠性和可扩展性高的特点和高速实时的数据采集和图像处理能力，便于项目开发前期验证与检测阶段的大量调试工作。总之，该系统运行平稳高效，可满足640×8中波红外数字式TDI探测器数据采集的各项需求。不足之处在于，系统的非均匀性校正存在一定问题，这也是今后进一步改进的方向。

[1] 潘胜达. 红外TDI扫描相机信息处理关键技术研究[D]. 上海: 中科院上海技术物理研究所, 2013.

PAN Shengda. Study on the information processing technology of infrared TDI scanning camera[D]. Shanghai: Shanghai Institute of Technical Physics, CAS, 2013.

[2] Luis Gomez Rojasa, Mark Chang, Guy Baistera. The EarthCARE multi spectral imager thermal infrared optical unit detection system design[C]//, 2010,7826:1-9.

[3] N S Andreas. Space-based infrared system (SBIRS) system of systems[C]//, 1997(4): 429-438.

[4] 韩冰, 陈忻, 饶鹏, 等. ASIC技术在长线列TDI红外探测器中的应用[J]. 红外与激光工程, 2015, 44(6): 1733-1738.

HAN Bing, CHEN Xin, RAO Peng. Applications of ASIC in the long array column of infrared TDI detector[J]., 2015, 44(6) : 1733-1738.

[5] 阮奇桢. 我和LabVIEW:一个NI工程师的十年编程经验[M]. 北京: 北京航空航天大学出版社, 2012.

RUAN Qizhen. LabVIEW and I: Ten years programming experience of an NI Engineer[M]. Beijing: Beihang University press, 2012, 8.

[6] Robert H Bishop. LabVIEW practical tutorial[M]. Beijing: Electronics Industry Press, 2014.

Robert H Bishop. LabVIEW实践教程[M]. 北京: 电子工业出版社, 2014.

[7] 陈锐,谈新权. 红外图像非均匀性校正方法综述[J].红外技术,2002, 24(1):1-3.

CHEN Rui. TAN Xinquan. Study on non-uniformity correction of infrared image[J]., 2002, 24(1): 1-3.

[8] 陈钱. 红外图像处理技术现状及发展趋势[J]. 红外技术, 2013, 35(6): 311-318.

CHEN Qian. The status and development trend of infrared image processing technology[J]., 2013, 35(6): 311-318.

[9] 王学伟, 李珂, 王世立. 红外焦平面阵列的非均匀性研究[J]. 激光与红外, 2012(10): 1131-1134.

WANG Xuewei, LI Ke, WANG Shili. Study of non-uniformity in infrared focal plane arrays[J]., 2012(10): 1131-1134.

The Design of a High Speed Infrared TDI Image Acquisition System

ZHAO Yunfeng，HAN Bing，CHEN Xin，MA Bei，XIA Hui，RAO Peng

(,,200083,)

Image acquisition system plays an important role in the validation and testing phase of the early development stage of infrared Time Delay Integration (TDI) cameras. An image acquisition system based on PXI hardware platform and LabVIEW software platform is introduced in this paper. The system, adopting multi-thread and modular design, has the capability of high speed data acquisition and data processing. Experiments show that the system can achieve a data acquisition rate up to 120Mbps, and can process and display 8-stage TDI images in real time. The system has achieved the data acquisition of a new 640×8 digital MWIR TDI detector, which provides important technical support for application of the new detectors.

Infrared TDI，image acquisition，LabVIEW，PXI

TN21

A

1001-8891(2016)11-0975-05

2015-12-02；

2016-05-30.

赵云峰（1989-），男，河南焦作人，博士研究生，主要从事红外光电技术研究。E-mail：zhaoyf_08@163.com。

饶鹏（1977-），男，湖北武汉人，研究员，博士，主要从事光电系统工程方面的研究工作。E-mail：Peng_rao@mail.sitp.ac.cn。