基于显示请求的广角高清成像实时处理方法

黄 涛，沈淑梅，董博宇

（1.中航航空电子有限公司，北京 100081；2.洛阳电光设备研究所，洛阳 471000）

1 广角高清成像

广角高清成像系统是一种可以兼顾大视场、高分辨率、远距成像的监控、侦察设备，可广泛应用于广场和港口等敏感区域监控、海洋搜救、机载对地侦察等领域。为了能够同时在大范围内实现对微小目标的清晰成像，成像系统的像素数高达亿像素级，例如ARGUS-IS 系统[1]18.4亿像素、AWARE-2系统[2-6]12亿像素、同心球二次成像系统1.6亿像素[7]、无中继广角高清成像系统[8]1.5亿像素。

受限于现有图像传感器的制造工艺，单一图像传感器难以满足广角高清成像系统的亿级像素需求。因此，无论前段光学系统是采用多镜头拼视场、同心球二次成像还是多光学系统拼像面，最终的光学图像采集均采用多传感器拼接方式实现。例如 ARGUS-IS[1]采 用 了 398 个 MT9P031 CMOS 图 像 传 感 器，ARAWE-2[2-6]用了220个MT9F002 CMOS 图像传感器，国防科大的同心球二次成像系统用了61个MT9P031 CMOS 图像传感器。

由于采用了传感器图像拼接，实时处理平台需要完成多传感器图像的同步采集、预处理（亮度校正和去噪增强）、多传感器图像拼接（配准、融合）、图像压缩、数据传输、数据存储及显示等功能。以10亿像素、30fps、8bit 灰阶的广角高清成像系统为例，需要采集、处理、传输、显示、存储的图像数据高达30GByte/S。再考虑到工程应用对体积、重量、功耗的限制，满足亿像素级广角高清成像系统处理需求的嵌入式处理硬件平台的设计难度极大。

基于上述问题，本文针对广角高清成像系统的工作特点和实时处理平台架构进行了深入研究。

2 基于显示请求的广角高清实时处理方法

2.1 实时处理架构

图1 实时处理架构

为了解决广角高清成像处理系统数据量远超现有嵌入式系统处理能力的问题，结合广角高清系统的应用特点，本文提出了一种基于显示请求的广角高清实时处理方法。实时处理架构如图1所示，系统主要分为本地处理模块（Local Processing Unit，LPU）、交换网络模块（Switch）和主处理模块（Main Arithmetic Processor，MAP）三部分。LPU完成CMOS图像传感器的参数配置、在外触发信号控制下实现多传感器图像同步采集、图像亮度校正和去噪增强等预处理、图像的压缩及本地存储。Switch 模块完成LPU 和MAP 及外部设备之间的数据交互。MAP 通过Switch 模块从各LPU 获取需要拼接和显示的图像数据并进行处理后通过视频接口送出显示。外部设备也通过Switch 模块从各个LPU 模块获取图像数据进行后续处理。

2.2 多传感器图像实时显示

图2 广角高清成像系统显示应用示意

现有单显示器的分辨率最高为4K（4096×2160），远低于广角高清成像系统的图像分辨率。实际应用中往往采用多显示器拼成显示墙，或者采用将整个幅面缩小到单显示器上观看概貌，对感兴趣区域采用局部开窗观看细节的方式进行。由此，广角高清系统实际显示应用如图2所示。显示应用Ⅰ用于观看全视场，一般采用下采样图像。显示应用Ⅱ，Ⅲ，Ⅳ，Ⅴ分别用于观看整个视场中不同位置的图像，这些图像涉及单个、相邻两个或者相邻四个图像传感器的局部区域。由此可知，每路显示的数据量实际受限于显示分辨率，以1080P 的显示为例，考虑到重叠区的影响，每路显示所需的图像数据仅比1920×1080（8bit灰度图）字节略多。

本文中的实时处理架构采用交换网络模块将所有的LPU 和MAP 连接起来。当MAP 需要进行全视场显示时，向对应的LPU发送指令，要求LPU 将图像数据下采样后发送给MAP 进行配准融合处理；当MAP 需要高清显示局部区域时，可根据显示位置要求所涉及的LPU 将相应的局部图像传输过来进行配准融合处理并最终显示。无论如何显示，所需传输和处理的数据量仅与显示分辨率相关。

因此，在本架构中，MAP 负责待处理图像数据的请求发起、图像的配准、融合和显示，而LPU 完成图像的采集、预处理、原始数据的压缩后存储、根据MAP 要求发送相应的局部图像数据等。当广角高清系统采用的图像传感器数量过多时，为了进一步降低数据传输压力，可在LPU 上完成待传输图像的压缩后再传输到主处理模块。

图像的后处理模块，例如目标识别跟踪等处理单元，也可类似图1中的MAP 一样，通过Switch 模块向各个LPU 请求所需的数据。

2.3 多传感器图像实时拼接

如上节所述，多传感器的图像拼接在MAP 中完成，根据显示需求，MAP 仅要求传输全部传感器图像的下采样数据或者部分传感器的原始或下采样数据。以全局显示3×3的多传感器图像为例，为保证图像配准，图像间单方向至少5%的重叠区。广角高清成像系统采用多个传感器分别对不同视场的区域成像，如每个图像传感器对应光学系统的光轴均不相同，例如AWARE-2系统和本文中无中继同心球面成像系统[8]，每个传感器的拍摄视角都不同，而一般显示系统都是平面的，且观察者视角方向默认以屏幕法线为准，则图像拼接的过程实际上是将各个视角的图像投影变换到同一视角再配准后对重叠区进行融合处理的过程。如果每个图像传感器对应光学系统的光轴均平行，例如ARGUS-IS系统，则仅需将图像配准后对重叠区融合处理即可。

图像拼接过程如图3所示。假定以中心子图像5为基准，子图像2，4，6，8分别通过与子图像5的重叠区计算出各自的投影变换矩阵。同理可以获得子图像7和子图像9相对于子图像8的投影变换矩阵，子图像1和子图像3相对于子图像2的投影变换矩阵。由于投影变换矩阵可以进行传递，即可获得子图像1，2，3，4，6，7，8，9相对于子图像5的投影变换矩阵。为避免拼缝两侧图像亮度差异太大，需对子图像重叠区进行融合处理。最后考虑到图像数据目前基本都以一维或二维矩阵的方式进行管理，非矩形图像区域采用填充黑区的方式补充成矩形。

图3 多传感器图像配准融合过程

3 基于FPGA+嵌入式GPU 的实时处理硬件系统

为满足无中继同心球面广角高清成像系统的实时处理要求，基于上述实时处理方法，本文研制了基于FPGA+嵌入式GPU 的实时处理硬件系统，如图4所示。本系统主要分为图像采集预处理单元（Image Acquisition and Pre-procession，IMAP）、图像压缩存储单元（Image Compress and Storage Unit，ICS）、万兆交换机（10 Gigabit Network Switch，10GigE Switch）和 MAP 等四部分构成。IMAP 完成图像传感器的参数配置、同步积分控制、数据采集、图像预处理（亮度校正和去噪增强），然后通过光纤传输至ICS。ICS 完成图像原始数据的压缩和存储，并根据后续MAP的需求压缩、存储和传输部分图像数据。MAP 根据显示和处理需求经10GigE Switch 向ICS 请求所需的数据，并进行后续的配准、融合后送出显示。

图4 基于FPGA+嵌入式GPU的实时处理硬件系统

3.1 图像采集预处理单元

根据图像采集预处理单元的任务特点，本文中设计了基于FPGA 的IMAP 硬件，设计架构如图5所示。FPGA 采用通过SPI接口配置CMOS 图像传感器，根据外触发信号同步控制CMOS图像传感器的积分，然后采用LVDS 接口接收数字图像数据。FPGA 以并行流水线的方式对图像数据进行两点法亮度校正、高斯模板去噪滤波等处理后写入外挂DDR3进行缓存。然后按照GTX（Gigabyte Transceiver）的时序要求从DDR3 取出数据经2块SFP+（Small Form-factor Pluggable）模块转换成两路光纤信号输出，单路光纤输出速率为10.3125Gbps。FPGA 外挂的Flash Rom 用于CMOS 相机配置参数和亮度校正参数的存储。实物如图6所示。

图5 图像采集和预处理模块设计框图

图6 IMAP板卡实物

3.2 图像压缩存储单元和主处理机

根据图像压缩存储单元ICS 和主处理机MAP 的任务特点，同时考虑到两个单元的相似性，本文中设计了一套基于英伟达嵌入式GPU TX2的硬件可同时满足这两个单元的使用要求，硬件架构如图7 所示。FPGA 用于实现光纤和PCIE-X4 的相互转换，为匹配两种接口的通信速率，FPGA 外挂DDR3作为数据缓存。该硬件板卡外部有光纤转PCIE-X4、DDR3、SATA、DVI、GigE、UART、USB 等丰富的接口。针对不同应用，选择不同的接口和软件组合即可。硬件实物如图8所示。

当应用于ICS 单元时，FPGA 实现2路光纤信号和PCIE-X4的转换，IMAP 预处理后的图像数据经PCIE-X4接口送入TX2中，在TX2中利用片内硬核完成图像JPEG 压缩并经STAT 接口存储在SSD 中（Solid State Disk）。当从GigE 接收到来自MAP 的数据请求时，TX2将对应的数据压缩后经GigE 送出。

当应用于 MAP 时，TX2 从RS232 或者 USB3.0 接收显示控制命令，根据显示需求向对应的ICS 请求数据，并完成配准、融合后经DVI 接口输出显示。

图7 基于嵌入式GPU的数据处理模块设计框图

图8 基于嵌入式GPU的数据处理硬件实物

4 实验

基于上述实时处理硬件平台和已有的无中继同心球面光机[8]，搭建了广角高清实时成像系统，如图9所示。系统参数如表1所示。

图9 广角高清实时成像系统

表1 系统参数

该系统支持两台显示器同时工作，一台显示1080P 的全视场图像，另一台显示局部感兴趣区域图像。通过鼠标在全局图像上选择任意感兴趣区域，则显示局部图像的显示器能够根据选择实时更新显示内容。实际效果如图10所示。

图10 基于显示请求的广角高清实时处理系统显示效果

5 结束语

通过对广角高清系统的技术特点和应用过程的研究，本文提出了一种基于显示请求的广角高清实时处理方法，并搭建了基于FPGA+GPU 的实时处理硬件系统。采用分布式架构的本地处理模块完成图像的采集、预处理、压缩和存储，后续显示或处理系统根据自身需求向对应的多个本地处理模块请求数据，并完成后续处理和显示，从而有效降低了实时处理所需的数据量和运算量。实验证明，本方法具有良好的适应性和可扩展性，能够有效满足亿像素级广角高清成像系统的实时处理需求。