基于高速DSP的红外热成像信号采集和处理系统
2012-01-19王明飞熊显名董大明郑文刚
王明飞,熊显名,董大明,郑文刚
(1.桂林电子科技大学电子工程与自动化学院,广西桂林 541004;2.国家农业信息化工程技术研究中心农业自动化部,北京 100097)
基于高速DSP的红外热成像信号采集和处理系统
王明飞1,2,熊显名1,董大明2,郑文刚2
(1.桂林电子科技大学电子工程与自动化学院,广西桂林 541004;2.国家农业信息化工程技术研究中心农业自动化部,北京 100097)
红外焦平面阵列(IRFPA)被广泛用于各个领域中。由于红外视频信号针对不同领域的不同需求,后续处理算法复杂,需有效地提高其实时性能。因此文中以TMS320DM642高速DSP处理器为主要元件,构建了红外图像信号采集和处理系统。分析了红外视频信号采集工作原理,研究了提高信号处理速度的方法。实验结果表明,图像采集和处理系统运行稳定可靠,在该系统上实现的图像放大算法满足了实时性要求,为信号的后续精细化处理奠定了基础。
红外焦平面阵列;DM642;实时处理
随着微电子技术、大规模集成电路技术和信号处理技术的发展,红外焦平面阵列(IRFPA)探测器日益成熟,并被广泛应用于军事、工业和商业等领域中。如IRFPA已被应用于精确武器制导,美国的导弹防御系统就是以红外焦平面器件技术为核心,由多波段红外来实现末级识别和制导[1]。日本的阪上隆英[2]、法国的 Patrick Gorria[3]、英国的 V.Dattoma[4]等人对红外热像无损检测系统中的材料或构件的缺陷进行了大量研究。在设备热状态的诊断方面,中国科技大学火灾科学国家重点实验室[5]、华北电力大学[6-7]等单位的研究人员进行了深入的理论分析和实验研究。
红外技术应用广泛,但红外信号具有分辨率较低、图像噪声大、边缘模糊等缺陷。因此,在进行红外热成像过程中,必须对每帧图像进行诸如非均匀性校正、图像滤波、图像增强、图像放大等处理,这样才能获得较好的显示效果。而对于制导、状态诊断等应用,更需借助复杂的实时处理算法来实现其功能。因此,红外热成像系统在运算过程中需要大量运算,一般的处理器不能满足视频图像实时处理和显示的要求。FPGA虽然在速度上满足要求,但在后续算法处理上不具有通用性。
论文以高速定点DSP处理器TMS320DM642为核心单元,构建专用于红外成像组件的视频信号采集和处理平台。深入分析红外视频信号采集原理,以放大图像为例,研究提高信号处理速度的方法,充分发挥DM642的架构特点,克服数据存取耗时的缺点,从而实现红外视频信号的实时采集、处理和显示。
1 系统硬件设计
红外视频信号采集和处理系统主要包括红外视频采集模块、数字信号处理器、数字视频编码模块、数据存储器等。红外探测器组件发出PAL制式的红外模拟信号,经红外视频采集模块转换为BT.656格式的数字信号,传送至 DM642的 VP1的缓冲区,再通过EDMA通道发送数据到SDRAM,DSP处理完数据后传送数据至SDRAM中,与获取信号类似,将视频信号传至VP0的缓冲区再经过数字视频编码模块转变为PAL制式后,发送到屏幕中显示。
图1 红外图像处理系统结构框图
1.1 红外视频采集模块
文中采用的红外探测器组件为120×160的氧化钒阵列,输出标准为PAL制式。光谱的响应范围为7~14 μm,热灵敏度≤65 mK,非均匀校正可通过软件根据实际需求调制,从而保证机芯在-30~60℃下图像的均匀性。
视频解码芯片采用TVP5150,其是一款具有超低功耗、支持NTSC/PAL等格式的高性能视频编码器。正常情况下,它的功耗仅为115 mW,并且具有较小封装,因此适合用于便携的视频产品。它可接收2路复合视频信号(CVBS)或1路S-Video信号,通过单片机I2C总线设置内部寄存器,输出8位4∶2∶2的ITUR BT.656信号。
文中的红外热成像组件输出信号经视频解码后成为数字图像信号。视频解码芯片与DM642的VP1接口相连,它将模拟视频信号换成YCbCr为4∶2∶2的BT.656数字视频格式。每行BT.656的数据格式如图2所示。
图2 BT.656每行的数据结构
每行开始的288 Byte为行控制信号,开始的4 Byte为EAV信号,紧接着280个固定填充数据,最后4个Byte是SAV信号。SAV信号和EAV信号有3 Byte的前导:FF、FF、00;最后1 Byte XY表示该行位于整个数据帧的位置以及如何区分SAV、EAV信号。
1.2 数字处理器
选用TI的DM642是基于C6416核心的高性能数字多媒体处理器,最高运行速度可达4 800 MI/S。采用与一般处理器不同的哈佛结构,将数据和地址总线分开存储,能有效提高处理速度。它还具有VLIW结构,包括了2个乘法器和6个ALU,在每个指令周期内可并行执行8条指令。此外还有16 kB的一级缓存和256 kB二级缓存,可大大提高处理数据的速度。一系列的结构设计,使得DM642可以进行实时的多视频处理和运算。此外,TI公司还为图像处理提供丰富的CSL库,为用户的二次开发提供了便利。
DM642在该系统中的主要功能是完成对红外视频的处理包括图像放大、添加伪彩、图像测温等功能。经A/D转换后的红外数字视频经DM642的VP1传至SDRAM,并在DSP芯片内部完成一系列的数据运算,需要和数据存储空间不断的进行数据交换。由于用于链接DSP核和SDRAM的EMIF速度(100 MHz)远低于DSP内核(600 MHz)的速度,因此系统的处理速度取决与外围存储器的数据读取速度。
1.3 数字视频编码模块
采用Philips公司的SAA7121作为数字视频编码器,将数字视频信息转换成场频为50 Hz的全电视模拟信号。工作在3.3 V,支持PAL和NTSC视频制式,其像素频率为13.5 MHz,视频数据引脚输入数据为ITU-RBT.656格式的数字视频信号,经过SAA7121芯片内的数据管理模块分离出Y、Cb、Cr信号,然后再送到片内相应的数模转换模块将数字视频信号转换为复合视频信号,最后由CVBS或者Y、C输出。
片内有3个10位的D/A转换器,分别对应Y、C和CVBS,通过I2C总线实现对芯片的配置,其I2C总线最大支持400 kHz的频率。芯片可以工作在主动和被动两种模式下。通过I2C的配置,使芯片工作在不同的模式下。
当复位引脚为低被释放后为高电平时,就实现了芯片的复位,此后,所有的数字端口被设置为input模式,复位使得 I2C接口中止所有的数据传输。SAA7121的输入时钟信号的频率为27 MHz。
1.4 数据存储器
DM642的片内存储器有256 kB的空间,存取的速度较快,可满足实时处理的要求。信号经视频信号采集模块被插值放大到240×320时,采集一帧的数据量为37.5 kB,使用片内本可满足要求,但设计采用标准的PAL制式一帧图像数据量为720×576,约为405 kB,必须外扩存储单元。选用美光公司的MT48LC4M32作为内存,32 MB的空间满足图像放大,伪彩增强等所需的空间,将其映射到DM642的CE0空间对应起始地址为0x 80000000,工作频率为100 MHz。
2 系统软件设计
由于要求实时显示,在处理过程中,必须充分利用DM642的EDMA和QDMA。EDMA进行数据传输时有2种启动方式:CPU启动;由同步事件触发。每一个通道的启动是相互独立的。本设计采用的第两种。事件编码器捕获到触发事件并锁存在ER寄存器中,将PaRAM中对应的参数被送入地址发生器.进而执行有关的传输操作。此方式适合用于与外设之间固定周期的数据传输,特别适合视频的处理。QDMA与EDMA的功能类似,但传输效率更高,它是在提交传输申请后由CPU直接触发,每次完成一整块数据的搬移。由于EDMA和QDMA传输独立于CPU操作,因此可以结合两种DMA特点,提高整个系统的工作效率[8]。
由红外探测器输出的红外视频信号经TVP5150输出为BT.656数字视频格式,送至VP。DM642共有3个视频接口(VP),独立于DSP内核进行工作。每个VP含有容量为5 120 Byte的FIFO,对于不同的捕捉模式FIFO共有4种设置,BT.656模式下FIFO被分成A和B,每部分再分成YCrCb。阈值设定为VCA_THRLD_FIELD,一般将其设为一行,当过了设定值,将触发EDMA_CHA_VPEVT事件,打开 EDMA通道,传递一行数据至SDRAM,共传递VCA_CAPEVT行,共约VCA_THRLD_FIELD*VCA_CAPEV数据。完毕后,EDMA通道关闭,需重新配置参数设置。为节约开销时间,通过EDMA_link将下次需要配置的参数在数据传输后配好。
通过EDMA将红外视频数据传至SDRAM中,若在SDRAM中直接放大,则所需时间过大。又由于DM642片内的存储器只有256 kB,所以不能将完整的一帧图像数据一次传送至片内存储器。方案中利用QDMA传送有效图像的120行的数据量(120×320,37.5 kB)到片内SRAM中,放大至240行(240×640,150 kB),共传送2次构成一帧完整图像,再将处理后的数据搬运至SDRAM,满足一帧的数据量后,再通过EDMA通道送至DM642的VP0的输出缓冲区。
主要的放大程序如下:
图3 原图与放大后图像在内存中坐标映射关系
除了通过合理的内存调度外,还充分利用Cache的特点对系统进行结构的调整;单独处理一场数据;将编译器的优化选项选中O3等方法。
3 成像效果
图4为系统对实验台上放置水杯的成像效果图。由图可见,未经放大的原始图像仅占全屏幕范围的小部分,不利于观察;经过放大,图像被扩展至全屏,图像的可识别程度得到较大提高。图5直接在SDRAM中进行放大处理,可以看到明显的拖影现象;将有效图像的一部分数据先送至片内存储器后再进行放大处理,则明显改善拖影现象。
图5 原图像与改善后的图像
4 结束语
实时处理技术是红外焦平面成像仪的关键技术之一。文中以TMS320DM642为核心构建了红外热成像信号采集和处理系统。以实现放大算法为例,充分运用EDMA和QDMA的功能,实现视频的实时显示。实验结果表明,该方法的效果比在内存中处理提高—倍,可大幅提高处理速度,满足实时性要求。文中所述方法在红外热成像系统中具有代表性,可以移植到类似系统中。
[1]陈伯良.红外焦平面成像器件的重大应用[J].红外与激光工程,2005,34(2):168 -172.
[2]Toshimitsu ISHII,Yoshizo OKAMOTO.Investigation of qualification,certification and reference testing methods on nondestructive inspection by means of infrared thernography[J].非破坏检查,1999,48(10):642 -652.
[3]LEGRAND A C,MERIAUDEAU F.Active infrared non -destructive testing for glue occlusion detection within plastic lids[J].NDT and E International,2002,35(3):177 -187.
[4]DATTOMA V,MARCUCCIO R,PAPPALETTERE C,et al.Thermography investigation of sandwich structure made of composite material[J].NDT& E International,2001,34(8):515-520.
[5]袁宏永,赵建华,范维澄.基于热像技术的电缆火险隐患诊断研究[J].中国科学技术大学学报,2000,30(1):108 -112.
[6]陈衡.我国红外诊断技术的现状与展望[J].激光与红外,1998,28(5):292 -296.
[7]陈衡.电气设备故障红外诊断中的基础研究问题[J].电力情报,1997(1):8-11.
[8]黄飞,于慧敏,杨少林.基于DM642的红外图像实时处理系统的设计[J].电路与系统学报,2008,3(13):116 -120.
[9]王兆琦,仇润鹤,尹苏东.基于图像处理的电梯钢丝绳检测系统[J].微计算机信息,2011(7):41-43.
The Infrared Video Signal Acquisition and Processing System Based on High-Speed DSP
WANG Mingfei1,2,XIONG Xianming1,DONG Daming2,ZHENG Wengang2
(1.School of Electronic Engineering and Automation,Guilin University of Electronic Science and Technology,Guilin 541004,China;2.Department of Agricultural Automation,National Agricultural Information Engineering Technology Research Center,Beijing 100097,China)
The Infrared Focal Plane Array is widely used in every field.The infrared video signal has different needs in different areas,which leads to the complexity of the post-processing algorithm.The real-time performance needs to be effectively improved.To improve the system performance,this paper builds an infrared image acquisition and processing system based on TMS320DM642,analyzes the working principle of the infrared image acquisition and studies the way of improving the speed of signal processing.Experiment results show that the system is stable and reliable,and the image magnification algorithm based on the system meets the real-time requirement.The success of this experiment lays a foundation for the subsequent signal processing.
IRFPA;DM642;real-time processing
TN219
A
1007-7820(2012)08-070-04
2012-02-06
王明飞(1984—),男,硕士研究生。研究方向:红外视频处理算法。