基于高性能机群的环境一号C卫星SAR图像全分辨率快视实时处理系统设计与实现

李景山 温双燕 王 建 仲利华 张问一

①(中国科学院遥感与数字地球研究所 北京 100094)

②(中国科学院空间信息处理与应用系统技术重点实验室 北京 100190)

③(中国科学院电子学研究所 北京 100190)

1 引言

环境一号 C卫星(HJ-1C卫星)是我国首颗民用雷达卫星，也是我国首颗 S波段合成孔径雷达(SAR)卫星，与已经发射的HJ-1A/B形成2+1卫星星座。中国科学院遥感与数字地球研究所负责该卫星的数据接收、记录和实时快视任务。遥感数据实时接收、全分辨图像快视显示是迅速获取遥感信息的重要手段。特别对于灾害观测、军事信息获取有重要意义，也是日常运行过程中监测卫星数据接收质量的重要手段。HJ-1C SAR卫星原始数据下行码速率为2×160 Mbps，回波数据经过8:3 BAQ压缩，解压后数据速率约850 Mbps，对全分辨率实时快视具有很强的挑战性。

本文设计和实现了基于高性能通用服务器机群高速并行处理系统，完成了HJ-1C SAR图像全分辨率实时快视处理。高性能机群内部各服务器节点采用 Infiniband高速网络互连，利用 OpenMP和MPI结合的并行处理技术实现了全分辨率快视成像处理。针对SAR成像条带和扫描模式，分别采用 CS (Chirp Scaling)算法和 ECS (Extended Chirp Scaling)算法。此外，在分布式成像处理流程中构建了SAR数据的非一致数据存储访问模型，采用高性能机群节点SAR数据本地化分布与多策略高速并行处理方案，提高了机群环境下的并行处理效率和性能。实际系统运行情况表明，本系统满足HJ-1C SAR图像全分辨率实时快视处理要求。

本文的章节安排如下：第2节简要介绍SAR实时成像研究现状，第 3节介绍系统设计，第 4节介绍系统实现和性能分析验证，第5节介绍系统的应用情况，第6节总结全文。

2 SAR实时成像研究现状

传统的 SAR实时成像处理系统大多基于专用DSP或者FPGA等硬件实现[1－4]。专用DSP数字芯片和FPGA单芯片处理能力较强、功耗较低，在对于体积和功耗有较为严格要求的领域如航天领域等有广泛的应用。但由于DSP和FPGA属于专用处理芯片，由这些硬件构成的实时成像处理系统通用性较差，系统控制能力较弱，系统测试调试过程不够灵活，同时还存在不方便后续系统扩展等缺点。

近几年，随着 GPU芯片技术的高速发展，基于GPU产品进行高性能计算得到了广泛的应用。基于 GPU设备推出的一套通用并行计算架构统一计算设备架构(Compute Unified Device Architecture, CUDA)，该架构使得GPU能够解决复杂的大规模并行计算问题。但是该模式需要自己一套独立的指令集，通用性稍差。

通用计算机设备内存的增大、CPU性能的提高以及InfiniBand网络数据交换速度提升为基于通用高性能机群的复杂运算提供了良好的硬件环境。同时，通用并行处理技术如OpenMP和MPI的使用日趋成熟为基于机群服务器完成 HJ-1C全分辨率实时快视处理提供了良好的基础。

3 系统设计

HJ-1C卫星原始数据下行码速率为 2×160 Mbps，解压后数据速率约850 Mbps，全分辨率实时快视显示需要系统处理的数据每秒约 107 MB(850 Mbps/8)，对系统的处理能力和算法效率提出了很高的要求。本方案通过在体系结构和算法方面的研究，设计了HJ-1C SAR全分辨率实时快视处理系统。

3.1 体系结构设计

机群计算已经成为高性能并行计算的主流[5]，2012年 12月份公布最新全球高性能计算机TOP500排名中机群系统占到82.8%，如图1所示。

采用infiniband网络互联的高性能计算系统达44.8%，如图2所示。

SAR数据处理过程复杂，运算量大。主要表现在：第一，回波数据进行了 BAQ压缩，需完成实时BAQ解码。BAQ解码主要包括数据解包、解码和归一化处理[6,7]；第二，SAR原始回波成像过程常使用 2维匹配滤波的成像处理算法(如本文采用的Chirp Scaling (CS)算法或距离多普勒(RD)算法以及ω, κ算法等)，需完成多步向量相乘、转置、快速傅里叶变换(FFT)以及插值等运算，运算量大，尤其对 SAR数据实时处理提出了更高的要求。因此，在实时成像过程中，利用串行计算难以满足实时处理的需求，必须在充分利用单一计算机节点资源的基础上，采用机群并行处理。

研究和借鉴高性能遥感卫星数据地面处理系统机群解决方案[8]，该实时快视处理系统在2008年初即确定了基于infiniband互联服务器机群架构作为HJ-1C SAR实时处理基础架构的设计方案，并进行了大量理论分析和试验测试，验证了 HJ-1C SAR实时处理功能和性能的可行性。另外，根据TOP500网站[5]统计数据分析，2007年infiniband互联网络在全球TOP500高性能计算机使用量仅占26%，到2012年底使用量占44.8%，该事实也证明了本系统在2008年初选择基于infiniband网络互连的机群方案作为 SAR实时快视处理技术方案的决定是正确的，是符合新技术发展趋势的。

图1 TOP500高性能计算机中机群系统统计图Fig.1 Statistical diagram of cluster in the TOP500 high performance computer

图2 TOP 500高性能计算机中使用infiniband网络统计图Fig.2 Statistical diagram of the TOP500 high performance computer by using infiniband

(1) 机群单节点设计

条带模式下，每个节点部署一个成像进程，利用OpenMP实现一“景”数据的并行处理。

扫描模式下，每个节点部署多个成像进程，每个进程完成一个Burst数据的处理。通过部署多个成像进程实现数据处理的并行。

(2) 机群网络设计

机群节点之间通过40 Gbps Infiniband网络连接，实现机群之间高速数据交换。机群与前端数据发送系统和后端显示系统通过以太网络连接，实现数据的接收和发送。

(3) 机群消息通信和并行处理设计

各个计算节点上的成像进程基于 MPI实现多进程的数据并行处理，它们之间通过MPI的消息传递函数实现信息交换。

3.2 算法和软件设计

HJ-1C全分辨率实时成像处理系统的主要功能包括：

(1) 数据帧同步、解扰处理和实时质量监测。卫星下传数据经过 AOS格式编排，下传过程中由于传输链路的问题，导致数据可能出现滑位，需要进行帧同步处理；下传的数据经过加扰，需要进行解扰处理；对数传帧进行实时质量监测，为后续图像的可利用价值提供依据；

(2) SAR数据提取和双通道拼接。数传帧经过帧同步和解扰以后，从中提取 SAR数据。两路数据分别为回波数据的前半程和后半程，需要完成双通道数据拼接；

(3) 实时辅助数据误码修正和回波数据 BAQ解码。利用双通道辅助数据的一致性进行辅助数据误码的修正；

(4) 全分辨率实时成像处理。采用MPI并行架构，完成条带模式和扫描模式全分辨率实时快视图像的处理；

(5) 快视图像格式化生成。根据辅助数据对快视图像进行粗定位，将定位信息和快视图像按照一定格式存储；

(6) 快视图像实时显示。通过快视显示终端实时播报快视图像。

3.2.1 条带模式快视处理设计 条带模式是SAR成像中最常用的一种模式，综合考虑成像处理精度与效率，本系统选择 CS算法实现条带模式成像。在CS算法中，需要对SAR数据进行4次FFT运算和大量的相位相乘运算(主要由三角函数计算和复数乘法运算构成)，这是影响算法实时实现的关键。

条带模式的实时成像处理利用MPI和OpenMP相结合的技术实现实时处理。其处理流程如图 3所示。

该单元总体架构通过MPI实现。接收线程主要负责将收到的经过双路拼接的 SAR数据分成各个成像进程可以单独处理的“景”数据。为了提高计算效率，“一景”图像的方位向脉冲数量设置为 2的整数次幂。现系统“一景”的方位向脉冲数量是16384。在成像过程中，成像进程会裁剪掉不完全孔径内的图像，因此分“景”时保证相邻“景”之间有一个合成孔径时间数据的重叠。分“景”示意图如图4所示。

各个成像进程的处理是相同的，只是部署在不同的计算节点上。成像进程采用CS算法完成成像处理，同时，利用成像参数、GPS数据和卫星姿态数据计算星下点经纬度信息和每帧图象近距端和远距端的经纬度信息，并将这些信息打入到快视图像的辅助数据中。成像处理过程中调用Intel MKL库函数，并利用OpenMP完成FFT和IFFT的快速并行运算。成像进程将图像数据及辅助数据信息发送给图像发送进程。成像进程数可根据卫星数据下传码率的变化灵活配置，以满足实时性的要求。

图3 条带模式实时成像流程图Fig.3 Flow chart of the real time imaging system of the stripmap mode

图4 条带模式分“景”示意图Fig.4 Catalog operation of the stripmap mode

图像发送进程依次从成像进程中接收快视数据存储到本地，同时把数据发送给后端的快视显示终端。

快视显示终端一边实时播报快视图像数据，一边将从辅助数据中解析到的图像定位信息显示到地图上。

3.2.2 扫描模式快视处理设计 扫描模式的成像处理算法选择ECS算法，首先对单个Burst数据进行成像，然后对各个Burst图像进行拼接，合成最终的成像结果。与条带模式不同，扫描模式由大量的Burst数据构成，除了需要进行FFT与相位相乘运算外，还需要对Burst图像进行拼接，处理流程更加复杂。

扫描模式的实时成像处理通过MPI和OpenMP相结合的技术实现。其处理流程如图5所示。

HJ-1C卫星扫描模式具有3波束和4波束扫描两种形式。其实时成像架构设计与条带模式基本一致。处理过程中的主要区别在于：

(1) 接收线程监测条带序号的变化，将每个Burst数据依次发送给成像进程。

(2) 由于每个 Burst的数据量很小，在成像处理过程中没有利用OpenMP进行并行运算，而是通过增加成像进程数达到并行处理的要求。

(3) 在成像过程中，为了保证方位向和距离向分辨率的一致性，对距离向进行4倍多视。

(4) 图像拼接进程完成对各个 Burst图像的方位向和距离向的拼接。由于一个Burst数据量比较小(约为7～8 MB)，这样导致成像进程与拼接进程的数据传递频繁。拼接进程必须在下次成像数据到达之前，将现有的图像数据拼接完成。图像拼接算法中加入OpenMP，提高处理效率，保证处理的实时性。

图5 扫描模式实时成像流程图Fig.5 Flow chart of the real time imaging system of the SCAN mode

4 系统实现和性能分析验证

HJ-1C SAR图像全分辨率快视实时处理系统是“陆地观测卫星数据全国接收站网项目”中记录分系统中的一个组成部分，在中国科学院遥感与数字地球研究所密云接收站、三亚接收站、喀什接收站各部署一套，每套系统主要由机群服务器和相应并行处理软件构成，负责每个接收站接收的 HJ-1C SAR数据的实时快视图像处理和显示，完成日常运行过程中对HJ-1C卫星接收记录数据质量的实时定性监测。

4.1 系统实现情况

4.1.1 硬件组成 HJ-1C SAR全分辨率实时快视系统的硬件设备由帧同步服务器、实时快视图像处理机群和快视图像显示终端组成。

(1) 帧同步服务器：单台SMP服务器，完成原始码流数据帧同步处理。

(2) 实时快视图像处理机群：主要由 8节点刀片快视处理服务器机群及其刀片中心设备构成，基于infiniband网路互联的通用服务器(SMP服务器机群)实现SAR的全分辨率实时图像生成。

(3) 快视图像显示设备：高性能图形工作站，用于显示快视处理设备生成的各种传感器类型的快视图像和辅助数据信息。

实时快视图像处理机群节点之间通过 40 Gbps Infiniband网络连接，实现机群之间高速数据交换。机群通过千兆以太网络与前端帧同步服务器连接实现帧同步后数据的接收，通过千兆以太网络与后端快视显示设备连接实现快视图像发送。硬件拓扑图见图6。硬件配置如表1所示。

4.1.2 软件架构 系统包括帧同步处理软件、格式解析软件、条带模式快视处理软件、扫描模式处理软件和快视图像显示软件。系统的软件架构图如图 7所示。

4.2 实时性能分析和验证

图6 系统硬件架构图Fig.6 Architecture of the hardware system

图7 系统软件架构图Fig.7 Architecture of the software system

表1 主要硬件配置表Tab.1 Primary hardware configuration list

对于整个快视处理系统而言，成像处理部分是制约系统实时性的瓶颈。对于每一个成像进程，必须保证在下一次处理数据到来之前将本次数据处理完毕。假设系统包含N个成像进程，每个进程处理所处理数据的积累时间为 t，则每一个成像进程处理一次数据的时间必须小于 Nt。实际系统的 8台计算节点中，1台用于SAR数据的提取和拼接，1台用于快视数据的拼接、发送和存储。其余的6台用于完成实时成像处理。

(1) 条带模式系统实时性分析

对于条带模式，每次成像处理任务积累 16384帧回波数据，按照回波数据帧长10496 B(双通道合成后的长度)，合成孔径时间为1.3 s, PRF为3700 Hz进行计算，16384帧的数据量为171966464 B，一个合成孔径时间内的数据量是50485760 B。按照单通道160 Mbps的下传码率计算，积累处理一次的数据量的时间是：

对于6台成像处理节点而言，每个成像进程处理一次数据的时间必须小于17.4 s(2.9 s×6)。经过HJ-1C真实数据验证，每个成像进程处理16384帧的时间为11.0～13.5 s，占空比约为77.6%，满足实时性能的要求。

(2) 扫描模式系统实时性分析

对于扫描模式，每个Burst单独成像，按照每个Burst包含700帧回波，每帧长度10496 B计算，每个Burst的数据量是7347200 B。按照单通道160 Mbps的下传码率计算，积累一个Burst的数据量所需时间为：

6台计算节点，每台部署15个成像进程，则每个成像进程处理一次数据的时间必须小于 15.75 s(0.175 s×6×15)。经过HJ-1C真实数据试验，单个成像进程处理一个Burst 的时间为10～15 s，满足实时性能的要求。

对于扫描模式快视处理，除了成像的实时性是保证系统实时性的关键，图像拼接的实时性也是系统的一个瓶颈。根据上面的计算，即拼接进程需要在0.175 s内完成一个Burst图像数据的接收、拼接和发送。经过对拼接算法采用OpenMP并行处理的优化，时间指标可以满足要求。

(3) FFT和IFFT并行计算效率分析

在SAR成像处理流程中，FFT运算占据了大量 的运算时间，对于长度为N点的FFT，其浮点运算量为：

以条带模式为例，一景图像距离向和方位向采样点数均为16384，则进行一次FFT浮点运算量为18.8 GFlops，条带模式一次成像需要进行 4次FFT，则总的运算量为75.2 GFlops。

以成像处理中进行一次距离向 FFT为例，对采用OpenMP并行处理效率提升效果进行说明，计算节点配备双路4核处理器，共 8个 CUP，故在OpenMP中设置为8核并行计算，FFT参数及加速比如表2所示。

5 系统应用

卫星发射后，该系统在地面接收站第一时间成功完成第1轨SAR数据的全分辨实时快视处理。处理结果如图8所示。快视图像为武汉二七长江大桥。

表2 采用OpenMP进行FFT加速比Tab.2 FFT accecelerating ratio operation using OpenMP

图8 HJ-1C卫星第1轨SAR数据实时快视图像Fig.8 The real time imaging result of the first data get from HJ-1C satellite

经过对系统的实时成像延迟性能测试，系统从第 1“景”数据积累完成到成像处理完成的时间优于15 s。

利用快视图像中的强点目标进行图像质量测试，条带模式图像的分辨率优于5 m，扫描模式图像的分辨率优于 20 m，图像峰值旁瓣比优于-20 dB，图像积分旁瓣比优于-13 dB。

该快视处理系统现已在中国科学院遥感与数字地球研究所密云接收站、三亚接收站、喀什接收站日常化运行，每天完成HJ-1C SAR图像全分辨率快视实时处理和显示任务。

6 结论

根据以上基于高性能机群的环境一号 C卫星SAR图像全分辨率快视实时处理系统设计与实现有关研究，可以得到以下结论：

(1) 通用服务器机群实现 SAR实时处理是可行的，且具有较高的性价比；

(2) 合理分配计算资源和系统并行优化设计，可同时实现原始数据格式解析、快视数据的实时处理和快视数据的实时显示。

(3) 自卫星发射之日，系统部署在在中国科学院遥感与数字地球研究所密云接收站、三亚接收站、喀什接收站，实现数据边记录边实时浏览全分辨快视图像，满足接收站日常运行过程中对卫星数据接收质量监测的要求。经过实践证明， 具有较高的应用价值。

[1]陈亮, 龙腾.星载合成孔径雷达实时快视成像系统[J].北京理工大学学报, 2008, 28(6): 545-548.Chen Liang and Long Teng.Spaceborne SAR real-time qucik-look system[J].Transactions of Beijing Institute of Technology, 2008, 28(6): 545-548.

[2]董勇伟, 周良将, 唐波, 等.SAR实时成像处理平台的设计与实现[J].系统工程与电子技术, 2009, 31(8): 1882-1886.Dong Yong-wei, Zhou Liang-jiang, Tang Bo, et al..Design of real-time signal processing platform for airborne SAR imaging[J].Systems Engineerin g and Electronic, 2009, 31(8):1882-1886.

[3]吕守业, 龙腾.机载合成孔径雷达实时成像处理系统研究[J].北京理工大学学报, 2005, 25(2): 155-158.Lu Shou-ye and Long Teng.Study on the real-time imaging system for airborne synthetic aperture radar[J].Transactions of Beijing Institute of Technology, 2005, 25(2): 155-158.

[4]熊君君, 王贞松, 姚建平, 等.星载 SAR 实时成像处理器的FPGA实现[J].电子学报, 2005, 33(6): 1070-1072.Xiong Jun-jun, Wang Zhen-song, Yao Jian-ping, et al..The FPGA design of on board SAR real time imaging processor[J].Acta Electronic Sinica, 2005, 33(6): 1070-1072.

[5]TOP500 Supercomputer Sites[OL].http://www.top500.org/,2012.

[6]吕小微.基于成像的SAR原始数据压缩算法研究[D].[硕士论文], 西安电子科技大学, 2011.Lu Xiao-wei.A SAR raw data compression algorithm based on imaging[D].[Master dissertation], Xidian University, 2011.

[7]张来胜.SAR原始数据压缩算法研究[D].[硕士论文], 国防科学技术大学, 2010.Zhang Lai-sheng.Study on the algorithm of SAR raw data compression[D].[Master dissertation], National University of Defense Technology, 2010.

[8]Li Jing-shan and Liu Ding-sheng. Design and implementation of a scalable general high performance remote sensing satellite ground processing system on performance and function[J].LNCS, 2009, 5545: 367-374.