热成像传感器动静态成像系统设计

李金龙, 王喆垚

(清华大学 微电子研究所，北京 100084)



热成像传感器动静态成像系统设计

李金龙, 王喆垚

(清华大学 微电子研究所，北京 100084)

摘要:为测试研究室开发的热成像传感器性能与成像质量，设计了成像传感器动静态成像与图像算法验证系统。系统能够捕获成像传感器静态图像，并能实时成像，具有通用性。数据的采集和处理应用FPGA+DSP开发板实现。数据传输基于CY7C68013芯片以块同步数据传输方式，实现了无缝同步方式高速传输。基于VS2010编程环境和开源机器视觉库编写了接收、存储以及处理图像数据应用程序平台。测试表明:系统能够以40 Mbyte/s速率数据传输，用于实验室开发的热成像传感器工作良好。

关键词：实时； 图像采集； 同步传输； 成像系统

0引言

热成像图像与可见光成像图像不同，分辨率低，器件噪声大，相关性强，辨识度低。目前关于新开发成像传感器验证基本是静态成像的获取，有关实时成像质量和动态处理算法验证应用不足，通用性差，成像质量验证环节与板级成像系统开发环节脱离,且传感器原始成像图像需要做很多算法研究和处理才能真正成像。因此，为实时、快捷地对一种成像传感器成像质量观测和针对其成像进行算法研究，为板级成像系统研发做铺垫，设计一种模块化、通用型阵列成像及其算法验证系统平台非常有意义。

阵列传感器成像系统设计，主要分三个方面：数据获取与预处理、数据传输、图像处理。主流数据获取方案有嵌入式和非嵌入式两种，前者主要是基于现场可编程门阵列(FPGA)建立以处理器为核心的可编程片上系统(SOPC)[1,2]。尽管系统搭建设计简单，但要兼顾控制与处理，处理速率受限,而且芯片和外设资源有限，不适合实时成像与图像算法的验证。后者主要是基于数字信号处理器(DSP)或者FPGA+DSP分立架构的成像采集架构[3]。在数据传输方面，外设部件互连标准( PCI)总线[4]和通用串行总线(USB)[5]传输是论文中出现的两种方式。相比前两者，后者简单方便、传输速率高及通用性好。数据处理通常在PC上实现，大致分为虚拟仪器实现和编程实现两种[6]。相比虚拟仪器实现，编程设计实现后期处理数据灵活，针对性好。在整体系统组成和实现方面，有针对已有成像传感器和设计用传感器成像系统实现[7～9]，通用性和配置性较差，平台性设计不足。基于这样的需要，本文设计了热成像传感器成像质量动态验证和图像算法研究的系统。

1硬件系统解决方案

硬件系统主要包括：阵列传感器、DSP+FPGA开发板(以下简称“开发板”)、CY7C68013芯片以及PC，结构如图1。

图1　硬件系统框架Fig 1　Framework of hardware system

其中，长方形方框的部分是成像传感器高速采集处理成像系统，用于成像传感器图像数据的获取、成像分析和动静态图像处理算法验证。FPGA作为图像实时采集系统主体与DSP之间互联足够数量的IO口。FPGA负责与传感器接口，负责与CY7C68013芯片、LCD接口与驱动，负责与DSP的通信。DSP能对FPGA外围设备和IO口的使用。

FPGA配置有两个大小均为8MB的数据存储器SRAM和一个大小512 kB的程序存储器EEPROM。DSP配置有一个4M的16位的程序存储器FLASH和一个4M的32位的数据存储器SDRAM。FPGA采用EP2C70F672C8，其门数资源非常丰富，其现场可配置性非常适合信号处理和控制。DSP采用德州仪器的高速浮点型处理器TMS320C6713B，主频可选配为225/300 MHz，具有强大的并行数字信号处理能力。

开发板与电脑之间数据传输采用CY7C68013芯片，该芯片将USB2.0收发器，SIE(串行接口引擎)，增强型8051微控制器以及GPIF(可编程外设接口)集成到一个芯片中，功耗低，功能全[5]。该芯片支持全速12 Mbps和高速480 Mbps传输，能够满足系统数据传输速率的要求。

实时图像的接收和处理需要较高的运算速度和大的运算量，需要应用双线程乃至多线程。PC上集成了丰富的软硬件系统资源，适合多线程程序的开发，方便对图像获取和实时成像，便捷作为传感器成像进行处理算法研究，适合作为成像传感器成像质量验证平台。

2系统软件设计与实现

开发板与传感器接口采用硬件语言进行模块化设计，具有现场可配置性，适用于不同成像传感器成像开发。开发板与CY7C68013芯片之间控制依据芯片固件程序设计为同步Bulk块传输接口。固件程序将芯片配置为设备与PC进行数据传输。固件程序、USB设备驱动程序和应用程序根据图像分辨率大小进行参数化设计，可根据图像传感器尺寸大小和行数据多少进行参数调整。

2.1传感器数据采集与USB传输接口

本文对实验室开发分辨率为160×120双通道热成像传感器和一种的CMOS传感器(用于系统验证)进行了传感器接口与CY7C68013芯片接口程序模块设计。两者仅在对传感器时序产生与控制模块有区别，其它完全相同。热成像传感器芯片要实现和CMOS传感器一样的数据采集，并进一步实现成像，除了芯片中各部分电路按逐行读出控制设计时序工作外，还要设计芯片读出电路输出一些时序信号，如像素同步时钟信号、行同步信号、帧同步信号等。

热成像传感器时序与控制模块程序产生时序控制信号有时钟clk、重置rst、行选时序WLPLUS(即行输出有效信号)、行像素控制积分INTEG，ADC使能脉冲ADCEN,ADC数据转移至锁存器的脉冲CTRANS、列选时钟BLPLUS、计数BLADD(该信号用于逻辑分析仪测试像素读取同步性)以及其他一些读出电路逻辑控制信号。热成像传感器读出控制如下：每一行数据开始前，INTEG信号对行像素读出单元积分放大器清零，然后对象元积分(INTEG高清零，低电平象元单元电流积分转为模拟电压)。积分放大器积分最后20个周期，ADCEN为高使能ADC进行D/A转换。D/A转换完毕，CTRANS为高电平5个时钟周期将一行象元数据转至锁存器。数据转移至锁存器后，WLPLUS为高，120个BLPLUS周期对一整行像素数据逐一读取。热成像传感器芯片会产生帧同步时钟信号。依据芯片读出电路工作原理，为保持同步性，将WLPLUS，PCLK(采集时钟反相，时钟上升沿芯片数据有效)分别作为采集控制信号作为行同步信号、像素采集同步信号输出，与帧同步信号应用于数据采集。热成像传感器采集模块产生的时序控制信号如图2。

图2　热成像传感器数据采集时序Fig 2　Data acquisition timing of thermal imaging sensor

模块硬件语言程序配置FPGA内部数据采集与传输结构如图3。

图3　FPGA内部数据采集与传输模块结构Fig 3　Structure of data acquisition and transmissionmodules in FPGA

该模块中，传感阵列输出的场信号、行信号、像素时钟、CY7C68013芯片使能接收信号以及8位有效像素数据为模块输入信号，芯片使能写与控制信号、同步数据输出信号、场中断信号、时序控制信号、同步时钟信号为输出信号。其中场信号用于通知一帧数据开始和作为上传数据信号触发CY7C68013芯片中断，行信号和触发信号用于向USB写数据使能，传感器像素输出时钟为CY7C68013芯片同步时钟信号，处理模块输出数据接CY7C68013芯片低8位数据线。由于固件程序将CY7C68013芯片控制引脚配置为高电平有效，其它接口设置为低电平信号。

2.2固件程序与驱动程序

芯片公司为CY7C68013芯片提供固件编程框架，用户只需在程序框架下根据实现目标设计自己的固件程序，该程序框架是一个自循环主程序框架和调用子程序。子程序有4个用户函数和一个中断处理函数：TD_Poll()，芯片配置函数TD_Init()，挂起函数 TD_Suspend()，唤醒函数TD_Resume()以及ISR_EXTR0()。固件程序流程如图4。

图4　固件程序框架流程Fig 4　Framework flow chart of firmware program

根据成像传感器数据非连续、数据量大、要求速率高的特点，编写固件程序时有针对性地对芯片初始化函数，并设计中断处理函数。芯片配置函数，将CY7C68013芯片配置为8位Bulk同步设备模式高速传输。中断函数收到场信号变化触发响应中断，设置数据接收允许。该设计能够使固件程序实现辨别图像开始和帧频控制传输。修改中断函数可以得到不同帧频的图像数据接收。驱动程序是固件程序和用户应用程序之间的桥梁。驱动程序是在提供框架的基础上对相关参数和设备描述进行修改完成。

2.3上位机应用程序

上位机程序设计是在添加并配置开源机器视觉库的VS2010软件开发环境上编写的面向用户的应用程序。为解决实时图像采集和处理显示，程序设计采用双线程。首先MFC程序响应用户开始消息启动双线程。图像数据的接收基于提供的API(应用程序编程接口)库，系统时间片轮到数据接收线程，程序异步接收USB设备上传的数据。每接收一帧图像存入申请的内存队列，然后队列指针+1，同时将接收的一帧图像数据传递给处理显示线程，设置显示线程Flag为真，使能显示。时间片轮到图像处理和显示线程时，显示线程对图像数据处理然后显示在位图控件上。两个线程交替进行。应用程序响应终止消息，则程序释放申请内存和其他资源，程序流程如图5。

图5　采集与处理程序流程图Fig 5　Flow chart of collection and processing program

应用程序根据图像传感器分辨率大小设置异步等待时间和内存队列每一块内存大小，保证了应用程序采集与处理显示准确稳定。应用程序将显示在图像显示控件上的图像以位图形式保存。应用程序实现了图像的高速实时接收和图像处理显示，支持热成像传感器静态和动态图像处理算法的研究。

3系统测试与结果

对系统进行测试，在FPGA模块内产生40 MHz的同步时钟、8位循环加法计数器输出数据以及传输协议信号给CY7C68013芯片，上位机程序能够实时接收并以40 Mbyte/s的速率保存数据。用带有简易镜头的CMOS传感器对系统传输速率和稳定性进行测试。系统能够以30 fps的速率稳定实现对图像数据采集与处理显示，CMOS传感器获得图像如图6。

图6　系统捕获CMOS传感器图像Fig 6　Image of CMOS sensor captured by system

系统应用于课题组开发的热成像传感器，获取热成像传感器阵列原始图像数据显示如图7。图像大小为120×80(单通道)，是对热成像传感器成像数据显示。

图7　系统获取热成像传感器的图像Fig 7　Image of thermal imaging sensor acquired by system

系统数据获取、成像、芯片图像数据获取正常，为下一阶段对热成像传感器安装光学系统后的图像失效元补偿、非均匀矫正与增强算法研究与系统开发提供了系统平台。

4结论

相比传统对开发传感器功能和性能的测试，本文设计的传感器成像质量和图像算法实时验证系统方案有着实时观测性、采集速率可调节性以及通用性的特点。该平台实现了成像传感器数据采集，静态图像捕获和动态图像实时显示，并且支持对被测试传感器原始图像处理算法研究。系统方案设计简洁高效，能够作为新开发图像传感器成像特点和图像算法研究系统平台，在软硬件设计方面为下一步图像传感器成像仪样机设计工作做了一定铺垫。

参考文献:

[1]Lu Y Y,Wang J Z,Chang F W.Development of infrared real-time imaging system based on SOPC[C]∥The 2008 International Conference on Embedded Software and Systems,IEEE Computer Society,2008:63-68.

[2]Liu G,Li J,Ma H.Study of real-time infrared image enhancement algorithm based on FPGA[C]∥The 2009 International Confe-rence on Mechatronics and Automation,IEEE,2009:1882-1886.

[3]Wei H.Designing and development of multi-DSP real-time image processing system based on FPGA[C]∥The 2011 International Conference on Computer Science and Network Technology,IEEE,2011:1263-1265.

[4]Zhao Y,Liu J M,Zhang Q.Research of high speed sampling and processing of dynamic arc image[C]∥2008 International Confe-rence on Wavelet Analysis and Pattern Recognition,IEEE,2008:183-187.

[5]向文芳,邢涛,曹红兵,等.高速数据采集系统的USB接口设计[J].计算机测量与控制,2011,19(10)：2567-2570.

[6]Zhang N,LÜ J,Zhou Y,et al.Research on infrared imaging system of UIRFPA based on virtual instrument[C]∥The 10th International Conference on Electronic Measurement & Instruments.IEEE,2011:117-120.

[7]Li H,Zhang S C,Han C,et al.A near infrared imaging detection system based on davinci Platform[C]∥The 9th International Conference on Electronic Measurement & Instruments,IEEE,2009:4—154-4—159.

[8]Oren Dayakc.A low-cost uncooled infrared detector array and its camera electronics[D].AnKara:Middle East Technical University of Turkey,2011.

[9]Wang J,Peng L,Wei L.Design and implementation of a real-time image processing system with modularization and extendibi-lity[C]∥2008 International Conference on Audio,Language and Image Processing,IEEE,2008:798-802.

Design of dynamic and static states imaging system for thermal imaging sensor

LI Jin-long， WANG Zhe-yao

(Institute of Microelectronics,Tsinghua University,Beijing 100084,China)

Abstract:In order to test performance and imaging quality of the developed thermal imaging sensor,dynamic and static states imaging and image algorithm testing system is designed.The system can capture static image of imaging sensor and real-time imaging,and it has versatility.The board of FPGA + DSP is responsible for data acquisition and processing.By bulk synchronous data transmission mode based on CY7C68013 chip,seamless synchronization high-speed transmission of data is realized.An application program platform is developed to receive,save and process image data based on VS2010 programming environment and open source machine vision library.Test result shows that the system can transmit data at the speed of 40 Mbyte/s and the thermal imaging sensor for lab works well.

Key words:real-time; image acquisition; synchronous transmission; imaging system

DOI:10.13873/J.1000—9787(2016)03—0092—04

收稿日期：2015—07—02

中图分类号：TN 362

文献标识码：A

文章编号：1000—9787(2016)03—0092—04

作者简介:

李金龙(1989-)，男，河南杞县人，硕士研究生，主要从事热成像传感器阵列成像系统与成像算法研究。