红外探测器集成图像信号处理芯片设计

汪 健，张 磊，曾 鑫，戴 放,2，徐春叶

〈系统与设计〉

红外探测器集成图像信号处理芯片设计

汪 健1，张 磊1，曾 鑫1，戴 放1,2，徐春叶1

（1. 中国兵器工业第214研究所，江苏 苏州 215163；2. 南京理工大学，江苏 南京 210094）

在红外信号处理中，红外探测器原始输出图像存在非均匀性严重、噪声大、对比度低等问题，无法满足武器装备对图像质量的要求。为解决红外图像信号数据量大、算法复杂、系统实时性强等系列问题，研制红外探测器集成图像信号处理电路，以减小体积、降低功耗、提升性能。

红外探测器；信号处理；系统级芯片

0 引言

自20世纪80年代以来，红外成像技术[1]得到了突飞猛进的发展，由于其具有全天候探测、灵敏度高、抗干扰能力强等特点，红外成像组件在武器装备中得到了广泛应用，如枪瞄、车载/侦察、单兵、头盔、制导弹药等领域[2]。随着红外成像技术的进一步发展，不同波长、不同阵列的红外热像仪已成为红外成像系统的主要组成部分，其核心技术难点主要体现在红外探测器和相关的电子学组件上。

在红外图像信号处理中，红外探测器原始输出图像存在非均匀性严重、噪声大[2]、对比度低等问题，无法满足武器装备对图像质量的要求，为解决红外图像信号数据量大、算法复杂、系统实时性强等系列问题，装备目前多采用FPGA或FPGA＋DSP的方式进行图像处理。这种方式主要以进口器件为主，且难以适用越来越多空间有限的小口径红外制导弹药的应用需求。随着半导体集成电路技术的发展，可在更小的芯片面积上实现更多的功能，包括图像畸变的校正、非均匀性校正、噪声抑制和图像增强等，通过提高处理速度、提升数据吞吐量，达到增强系统功能，扩大红外装备应用范围的目标，因此内置图像预处理与信号处理的集成红外图像处理（image signal process, ISP）电路成为较为理想的实现途径。

1 红外集成信号处理

近年来，随着红外热像仪中探测器技术的迅速发展，国外二代红外焦平面探测器现已大量装备各种武器平台，以288×384、320×256、640×512为代表的二代碲镉汞红外探测器[3]，满足了多种系列武器平台的使用要求，同时正大力推进三代红外焦平面探测器发展，正在研制的大面阵探测器像元规模已达到8k以上，小像元探测器像元尺寸从10mm缩小到5mm，8mm像元间距探测器已完成工程化并成为货架产品。随着探测器的迅速发展，对红外热像仪中另一个重要组成——红外图像信号处理系统也提出了更高的要求，不仅要用于接收红外探测器的输出信号并进行成像处理，同时要输出更高质量的图像。

早在红外探测器研究的同时，信号处理技术也同步在开展工作，解决问题的手段主要是采用线性滤波技术，它能较好地处理高斯噪声，降低它的影响。但当系统中存在非高斯噪声或非线性噪声时，使用线性滤波器就会毁坏图像信号的边缘，使分辨能力变差，对脉冲噪声的处理效果不太明显[4]。未来对红外图像系统的智能化、实时性要求越来越高，同时探测环境越来越复杂，红外信号处理技术的重要作用越来越突出。利用高性能集成图像信号处理电路对目标红外图像信号进行检测识别处理，通过增强目标信号，抑制杂波及干扰噪声，提高信噪比以有效提高对目标的检测概率，从复杂背景杂波中将背景和目标初步分离，提取出目标，实现红外图像系统对目标的有效检测识别、高速处理、小型化和高可靠。

近年来装备上使用的红外信号处理方式有多种，有的基于PC机进行处理，有的基于单FPGA（field programmable gate array）架构，有的基于数字信号处理器（digital signal process，DSP）结构，有的基于可编程逻辑器件（FPGA）＋DSP的混合处理结构等。但是无论哪种结构，核心器件主要以进口为主，尤其随着武器装备对小体积、低功耗的发展需求，上述架构受到较大限制。随着半导体集成电路工艺加工等技术的快速发展，可以将运算量较大的处理，如图像畸变的校正、非均匀性校正、噪声抑制、边缘增强等图像预处理算法与图像处理算法进行专用ASIC（application specific integrated circuit）集成，实现红外信号处理ISP（image signal processing）电路。

本文介绍了一种红外ISP电路的实现方法，采用先进的半导体设计与工艺技术，研制了一款红外ISP信号处理电路，包括探测器接口、专用图像预处理模块、高性能处理器、高速接口等模块，可用于红外探测器输出的信号处理中，提高图像质量，减小红外组件体积，降低功耗。

2 红外ISP电路设计

为了满足红外探测器信号处理集成的需求，研制了一款集成图像预处理算法的ISP系统级芯片（system on chip，SoC）专用电路。系统结构如图1所示。该电路以ARM Cortex-M4处理器为内核，运行频率100MHz，采用AMBA（advanced microcontroller bus architecture）总线结构，功耗：大约395mW、内置图像信号处理IP、图像接口、支持DDR3接口、521KB的SRAM、3路UART、1路QSPI、3路SPI、4路IIC以及支持休眠模式等，实现红外图像信号处理专用ISP电路。

图1 系统结构框图

电路采用55nm CMOS工艺进行制造，布局布线后面积约为4285mm×4610mm，版图布局如图2所示。

图2 ISP电路版图布局

3 专用图像预处理模块设计

图像预处理模块从结构上主要解决两个问题：一是算法与算法间的交互，包括数据流的高速传输和算法信息的交互；二是算法与缓存间大规模高速高效交互。随着信号处理算法复杂度的提高，带宽的要求也越来越高，以640×480分辨率，帧频50Hz，位宽14bit的红外探测器原始数据为例，通常需要10倍于原始数据的吞吐量才可完成一系列复杂的红外热像仪信号处理工作，初步计算内部总线带宽需要250Mbyte/s，而外部存储器带宽接近2.5Gbyte/s。未来红外焦平面的面阵会不断扩大，1024×1024分辨率的面阵也会逐步走向主流，此时的内部总线带宽达到400～700Mbyte/s，外部存储器带宽将达到4～7Gbyte/s，需要高速总线接口、高带宽外部存储器和高效存储器仲裁机制才能满足要求。因此，高速总线接口设计及合理的外部存储器读写访问研究很有必要。每一个模块均和ISP电路中的总线连接，并可以通过配置，选择是否参与预处理流程。涉及数据量大的子模块还与外部高速接口相连，提高图像数据的吞吐。

由于红外探测器自身材料、工艺加工一致性等原因，探测器输出的原始图像质量不高，尤其在非均匀性严重、随机噪声大、对比度低等方面，导致红外热像仪的成像质量有限。要想获得理想的图像，这几个问题是首先需要解决的基础问题。除此之外，还必须进行如探测器驱动、图像存储和显示等处理，将这些功能集成并进行灵活配置，满足多种红外探测器图像的需求。在红外ISP电路中设计了一种可通用于红外探测器的图像预处理模块，结构如图3所示。在预处理模块中，共设计了15个子模块，包括探测器驱动、数据存储、帧间滤波、单点校正、去盲元、基于场景的校正、直方图均衡、图像增强、去盲行、帧缓存、亮度调整、裁剪、缩放、灰度处理以及显示等[6]。

图3 图像预处理结构示意图

4 仿真与验证

当前的SoC片上系统设计中，几乎有2/3的时间都用在了验证工作上，验证是整个芯片设计中十分重要的环节。ISP电路的仿真验证主要通过以下几方面进行。

首先对集成的图像预处理模块进行仿真，这是整个电路仿真中的重点，需要依次配置图像IP内的各个模块，使每个模块工作在典型应用场景下，配合芯片要求的各输出控制信号时序，从视频接口输入原始图像数据，在仿真平台中判断图像IP内每级模块的输出是否正确。

其次对ISP电路中除图像预处理模块外进行仿真验证。

1）处理器仿真：加载处理器的各种指令及组合，验证功能。

2）时钟复位仿真：配置图像模块的时钟并解除reset，比较所有寄存器初值，读写所有寄存器并与期待值比较。

3）中断仿真：产生所有的中断模式，依次触发各个中断源，验证各中断的发生以及退出。在错误的地址下写入数据，产生CPU硬件错误中断，验证硬件错误中断的产生和清除。

4）DMA仿真：配置DMA，DMA传送源地址分别为SRAM，QSPI，DDR等，验证从DMA作为BUS Master把数据从一个模块中传输到另一个模块中，并比较传输数据的正确性。

5）高速外设DDR的仿真，DDR时钟配置为400MHz，读写DDR空间的各个边界地址，验证数据的正确性。

6）外设接口仿真：验证QSPI、I2C、UART、SPI、GPIO在单线/双线/四线模式下通讯动作的正确性。

鉴于数字前端仿真效率较低，覆盖的TestCase（测试用例）有限，为了更为全面且高效地验证电路前端设计，项目验证中搭建了基于FPGA的硬件验证平台，采用Xilinx ZC706开发板进行代码集成，海康640×512红外探测器实现红外图像采集，对图像进行接收、裁剪、缩放、单点校正、去竖纹、去盲元、图像增强、显示等算法验证。FPGA验证效果如图4所示。

ISP电路采用55nm CMOS工艺进行加工，由于引脚较多，采用324引脚BGA封装，芯片外形如图9所示，封装后尺寸为12mm×12mm。

研制的电路成像效果如图10所示，可以看出效果比仿真还要清晰。

图4 FPGA验证效果图

图5 电路外形图

图6 电路成像效果

5 结论

随着红外探测器的快速发展，集成红外图像信号处理越来越重要。研制的专用红外集成信号处理电路可以广泛用于系列红外热像仪中，满足小口径弹药、单兵头盔、车载等装备应用[8]，显著地减小体积、降低功耗、提高性能，有效地降低成本，实现核心器件自主可控。

[1] 赵超, 杨号. 红外制导的发展趋势及其关键技术[J]. 电光与控制, 2008, 15(5):48-53.

ZHAO Chao, YANG Hao. A survey on development trends and key technologies of infrared guidance systems[J]., 2008, 15(5): 48-53.

[2] 陈振宇. 微小型弹载图像采集处理系统研究[D]. 南京: 南京理工大学, 2015.

CHEN Zhenyu. Research on Micro-Miniature Missile-Borne Image Acquisition and Processing System[D]. Nanjing: Nanjing University of Science & Technology, 2015.

[3] 张宁. 非制冷红外探测器噪声抑制技术研究[D]. 北京: 中国科学院大学, 2017.

ZHANG Ning. Research on Noise Suppression Technology of Uncooled Infrared Detector[D]. Beijing: University of Chinese Academy of Science, 2017.

[4] 于文阳. 640×480像元非制冷红外探测器读出电路研究[D]. 天津: 天津工业大学, 2020.

YU Wenyang. Research on Readout Circuit of 640×480 Pixel Uncooled Infrared Detector[D]. Tianjin: Tiangong University, 2020.

[5] 任亚晶. 低噪声非制冷红外探测器读出电路的研究[D]. 天津: 天津工业大学, 2019.

REN Yajing. Research on Readout Circuit of Low Noise Uncooled Infrared Detector [D]. Tianjin: Tiangong University, 2019.

[6] 吴晓斌. 小型化红外热像仪信号处理方法研究及实现[D]. 南京: 南京理工大学, 2017.

WU Xiaobin. Research and Realization of Signal Processing Method for Miniaturized Infrared Thermal Imager[D]. Nanjing: Nanjing University of Science & Technology, 2017.

[7] 郑瑞红, 陈钱. 基于场景的红外图像非均匀性校正算法的研究[J]. 光电子技术, 2003, 23(4):241-244.

ZHENG Ruihong, CHEN Qian. The research of scene-based methods on infrared nonuniformity correction[J]., 2003, 23(4): 241-244.

[8] 吕洁, 罗勇, 卿松, 等. 红外制导技术在空空导弹中的应用分析[J]. 兵器装备工程学报, 2017, 38(12): 70-74.

LYU Jie, LUO Yong, QING Song, et al. Application analysis of infrared guidance technology in air-to-air missile[J]., 2017, 38(12): 70-74.

Design of Integrated Image Signal Processing Chip for Infrared Detector

WANG Jian1，ZHANG Lei1，ZENG Xin1，DAI Fang1,2，XU Chunye1

(1.,215163,;2.,210094,)

In infrared signal processing, the original output image of the infrared detector has serious non-uniformity, high noise, and low contrast, which cannot meet the requirements of the image quality of ammunition. To solve problems such as large amounts of infrared image signal data, complex algorithm, and strong real-time performance of the system, the integrated infrared signal processing circuit is developed for reducing the volume and improving performance.

infrared detector, signal processing, system on chip

TP752.1

A

1001-8891(2021)11-1044-05

2021-10-25；

2021-10-30.

汪健（1969-），女，研究员，研究方向为数字集成电路与SOC设计。E-mail: wangjian214@163.com。