载人飞船图像系统优化设计及验证

龙吟 王琰 黄才 吴庆学 孙斌 郑璧青 李丰

(1 北京空间飞行器总体设计部,北京 100094)(2 上海航天电子技术研究所,上海 201109)

载人飞船执行任务过程中,地面需要实时获取舱内外图像,以确认航天员的工作过程和身体状况,舱外太阳翼展开及捕获太阳情况,交会对接过程中的目标飞行器的十字靶标等重要信息。载人飞船通过配置图像系统实现对舱内外图像的实时获取,并经过压缩编码后通过测控链路传回地面进行视频恢复,实现地面对载人飞船舱内及舱外的实时观测[1-3]。

由于运载火箭的约束,载人飞船的结构、能源、带宽等资源受限,不支持高带宽的高清图像传输,“国际空间站”[4]和天宫空间站、天舟货运飞船及运载火箭[5-8]的图像系统设计,无法直接应用于载人飞船。考虑到载人飞船的任务需求和平台资源,为进一步提升载人飞船图像传输质量,提出一种低带宽高质量图像系统优化设计,通过对载人飞船上视频压缩算法改进和地面图像增强,实现在目前舱体结构和传输带宽资源约束下载人飞船图像传输质量的提升。

1 图像系统优化设计

首先,对执行天地往返运输任务的载人飞船图像传输任务进行需求分析。一方面,地面需要实时获取舱内航天员的工作及生活状况;另一方面,地面需要获取舱外太阳翼的展开工作情况,以及交会对接过程中目标飞行器的图像。对上述功能要求进行分解,结合载人飞船的舱体构型及测控体制等基本方案,载人飞船图像系统应满足以下要求。

(1)具备对返回舱及轨道舱内、推进舱及轨道舱外、航天员手持摄像机视场内图像的摄取及压缩编码功能,同一时刻最多有6路图像输出,通过指令切换从6路图像中选择2路进行编码下传。

(2)通过对地数传及中继卫星下行,传输带宽不超过768kbit/s(含伴音)。

(3)载人飞船整体方案沿用约束下,受测控体制及信道制约,在现有条件下,以尽量小的代价对现有载人飞船的图像质量进行提升。

载人飞船图像系统由载人飞船上部分和地面部分组成(见图1)。载人飞船上部分包括图像编码器、返回舱摄像机、轨道舱摄像机、手持摄像机、制导导航与控制(GNC)TV摄像机、TV光瞄摄像机、推进舱外摄像机、图像二次电源和图像切换器。地面部分包括地面测控站、图像解码设备和图像显示设备。优化后的图像系统见图2。

注:PAL-D为逐行倒相-D。图1 神舟十二号载人飞船图像系统示意Fig.1 Schematic diagram of Shenzhou-12 manned spacecraft’s image system

图2 优化后的载人飞船图像系统示意Fig.2 Schematic diagram of optimal manned spacecraft’s image system

以神舟十二号载人飞船图像系统为技术基线,优化后的图像系统有如下变化。①图像编码器的编码方式更新,输出图像分辨率从352×288像素升级为704×288像素;②图像编码器从仅支持双幅工作模式变为同时支持单幅及双幅工作模式;③地面部分增加了地面图像增强系统。

1.1 摄像机及切换器设计

摄像机的配套数量、功能性能及接口指标完全继承神舟十二号载人飞船设计,摄像机完成图像的摄取功能,首先对拍摄需求进行分析,根据需求对摄像机视场角、摄像照度、白平衡、最低照度等指标进行设计。分析图像的亮度变化特点,制定相应的测光方式;按照应用场景的亮度合理选择最低照度;根据摄像机的拍摄位置确定摄像距离和相应清晰度。根据任务需求,配置6台摄像机,分别获取舱内、舱外及手持拍摄的实时画面。结合航天器的舱体结构布局及拍摄视场要求,返回舱摄像机、轨道舱摄像机和推进舱外摄像机的主要设计指标详见表1。

表1 摄像机主要指标Table 1 Main indicators of cameras

配置图像切换器,通过指令切换舱内外图像4选2或4选1送图像编码器下传,同时将各路图像送出给仪表分系统。配置图像二次电源,为返回舱和轨道舱摄像机及图像切换器供电。

1.2 图像编码设计

图像编码方式主要包括国际标准化组织(ISO)/国际电工委员会(IEC)的建议标准MPEG系列[9](如MPEG-1,MPEG-2,MPEG-4),主要用于数字电视广播、DVD和视频流媒体等,以及国际电信联盟电信标准分局(ITU-T)的建议标准H.26X系列(如H.261,H.263,H.264,H.265),主要用于实时视频通信,如视频电视会议、可视电话。

考虑传输带宽等约束,图像编码器采用MPEG-4标准,编码算法采用ISO/IEC 14496-2,在设备内部的2块数字信号处理器(DSP)实现,分别对输入的2幅图像进行压缩编码。神舟十二号载人飞船的图像编码设计方案,通过对PAL-D视频输入信号进行模拟/数字(A/D)变换后,采用MPEG-4算法完成图像压缩编码,输出帧率为25帧/秒分辨率为352×288像素的CIF格式图像。

MPEG-4是基于混合编码的方案,具体编码原理见图3。MPEG-4基本编码结构包括形状编码、运动补偿和纹理编码。在算法工具中,对于运动估计,采用全局运动补偿、2维三角网格预测和亚像素预测;对于帧纹理编码,采用小波变换、3维-离散余弦变换(DCT)、重叠变换、高级的帧内编码和可变块尺寸的DCT;对于任意形状区域纹理编码,采用贴补DCT、形状自适应DCT、延拓/内插DCT、小波/子带编码和中值替换DCT;对于形状编码,采用几何变换、形状自适应区域分割和可变块尺寸分割。

相对于神舟十二号载人飞船的图像编码方案,优化后的方案具有以下变化。

(1)图像的分辨率是决定图像质量的直接因素。帧率表示每秒图像帧的数量,高帧率可以得到更流畅的画面,同时需要更多的传输开销。传输带宽正比于单幅图像的分辨率和帧率的乘积。载人飞船返回舱和轨道舱摄像机主要拍摄对象为航天员及舱内结构及物体,航天员在载人飞船内部绝大多数时间处于束缚状态,舱内结构则为静止状态。载人飞船推进舱外摄像机拍摄对象主要为太阳翼及交会对接过程中的目标飞行器,单独飞行过程中,视场内物体绝大多数时间为静止状态,交会对接过程中,仅当目标飞行器处于可见视场时,视场内物体为运动状态,并且运动速度为低速。综上考虑,为进一步提升图像质量,优化后系统仍然采用MPEG-4编码方式,将图像分辨率从352×288像素提升为704×288像素,同时将帧率从25.0帧/秒降低为12.5帧/秒,从而保证在现有传输带宽不变的前提下,图像分辨率的翻倍升级,同时,图像帧率降低并不会导致视场内图像的运动特性显著下降,满足实际使用需求。采用里德-所罗门(RS)纠错编码RS(255,239),为保证解码器快速恢复图像,编码器应定时进行帧内编码刷新。图像编码器原理如图4所示。

(2)图像编码器从仅支持双幅图像编码,变为兼容支持对单幅图像和双幅图像进行编码。这样做的好处是,当需要进一步提升图像质量时,例如待发段地面需要清晰观测返回舱内航天员图像,图像编码器从双幅工作模式切换为单幅工作模式,这样能获得多1倍的信道资源,量化参数值降低,图像可以保留更多的高频分量,在图像编码算法不变的前提下,输出的图像会更加清晰。在双幅模式下,信道压力更大,根据调整逻辑,编码图像必须压得更小,那么量化参数值必定更大以排除掉更多的高频分量,因此看上去双幅工作模式相较于单幅工作模式的图像将更模糊。根据测试结果,在普通复杂的场景下(实验室环境),单幅工作模式时一般I帧量化参数值稳定在4～5;双幅工作模式时I帧量化参数值一般稳定在9～13。

图像编码数据并与话音数据复接组帧。编码采用768kbit/s的H.221单模式帧结构,每2帧构成1个子复帧,这2帧分别称为偶帧和奇帧。偶帧时,帧定位控制信号(FAS)发送1BH;奇帧时,FAS发送4FH。

图像及伴音帧格式按照H.221帧结构组帧,见图5。地面从H.221帧结构中提取图像数据,并恢复图像帧结构,见图6。其中:A表示填充的话音数据;V表示图像编码及RS纠错编码后的数据;BAS为比特率分配控制信号,用于标志单幅、双幅状态,标志字为00H传送单幅图像,为FFH传送双幅图像。

图5 图像及伴音帧格式Fig.5 Frame format of image and audio

图6 图像帧结构示意Fig.6 Image frame structure

按照H.221建议,帧结构具有8kHz结构特性。在1个8kHz的周期(125μs)内,线路速率为768kbit/s,共有96bit。编码数据组H.221帧按照先纵入后横出方式实施。H.221帧结构的第1路和第2路在单幅图像和双幅图像工作模式下传输第1路话音,第3路和第4路在双幅图像工作模式下传输第2路话音。

1.3 地面图像增强系统设计

相对于神舟十二号载人飞船图像系统的地面部分,优化后的图像系统在地面解码和地面显示之间增加了地面图像增强系统(如图7所示)。地面图像增强系统主要分为:上游低质量YUV图像格式转换可携式网络图像(PNG);深度网络数据预处理;基于深度网络的低质量视频增强;增强后的PNG转换YUV。

图7 地面图像增强系统原理Fig.7 Principle of ground image enhancement system

YUV颜色空间常用于彩色电视系统中,其原理是得到的彩色图像的信号经过分色处理,然后分别放大校正转化为RGB颜色空间中的R,G,B上那个分量,经过矩阵电路转换,最后获得亮度信号Y和2个色差信号R-Y,B-Y即表示为U,V。YUV颜色空间中亮度信号Y和色度信号U,V是分离的,如果输出信号中只有Y信号分量,则可表示彩色图像的灰度图像。YUV颜色空间的优点为:表现出来的彩色图像更符合人类的视觉特性;被广泛地用在图像和视频编码标准中,在边缘检测算法过程中可以避免格式转换所耗费的计算量。

PNG是起源于网络应用的图像,PNG格式所采用的LZ77派生压缩算法,完全支持多种不同位数的图像压缩存储,相比使用有损压缩算法牺牲图像质量来获得大的图像数据压缩比率的JPEG格式,PNG格式是一种采用无损压缩算法的位图格式,能够实现压缩存储图像经过解压缩算法无损还原。正是由于以上技术优势,PNG格式的图像技术在现在的网络媒体及相关应用中得到了广泛使用,成为图像存储的主流技术。

地面图像增强系统主要工作流程如下。①将接收到的低质量YUV数据进行格式转换,得到对应的低质量待增强的图像数据。②对这些待增强图像数据进行深度网络预处理生成网络流数据,并送入预先开发部署好的深度网络中进行质量增强,达到低质量视频增强视觉感受的目的。③将质量增强后的图像再次送入转换器,得到YUV格式的数据,用于下游播放设备的播放。通过地面图像增强系统,解决经过编码传输后视频分辨率低、压缩噪声大、运动模糊严重的问题,对低质量视频进行主观上的质量增强,提升用户视觉体验与观看效果。

2 实例验证

搭建载人飞船图像系统的试验验证平台,如图8所示。用返回舱摄像机的电性件作为视频采集装置,通过一分二的方式将PAL-D信号接入更新图像编码算法的图像编码器电性件,图像编码器根据遥控指令切换单幅及双幅工作模式,分别输出单幅和双幅图像至地面测试设备,地面测试设备最后将解码后的图像送入地面图像增强系统,进一步提升图像质量。图像质量的评价手段分为主观评价和客观评价。主观评价是直接通过人员感受图像质量的清晰度,客观评价采用峰值信噪比(PSNR)的指标进行评估,是一种评价图像的客观标准。

图8 载人飞船图像系统测试平台Fig.8 Test platform for image system of manned spacecraft

2.1 载人飞船上图像增强验证

更改前,无单幅模式,在双幅模式下,图像编码处理软件进行分辨率352×288像素、帧率25.0帧/秒、输出码率300kbit/s的MPEG-4编码。更改后,在双幅模式下,将图像编码处理软件的分辨率改为704×288像素,帧率改为12.5帧/秒,码率为300kbit/s;在单幅模式下,将图像编码处理软件的分辨率改为704×288像素,帧率改为12.5帧/秒,码率改为600kbit/s。更改图像编码器DSP软件后,图像方块效应减弱,黑白条测试图像清晰度明显提高,图像动态适应性满足要求,从主观上看图像质量有较明显改善。对解码后的图像和原始图像的PSNR进行比对,结果如表2所示。

表2 载人飞船上更改前后PSNR比对Table 2 PSNR comparison before and after on-board upgrade

从表2中可以看出:在实验室环境下,图像编码器DSP软件修改编码器参数,将输入图像的分辨率由352×288像素改为704×288像素,帧率由原来的25.0帧/秒改为12.5帧/秒后,在双幅模式下,PSNR约能提升2.000dB;在单幅模式下,PSNR约能提升1.800dB。这与主观评价的效果一致。

采用实验室图像,进行载人飞船上增强前后的对比,分别如图9和图10所示,图像方块效应减弱,黑白条测试图像清晰度明显提高,从主观上图像质量有较明显改善。

图9 更改前双幅模式编码图像Fig.9 Primary double-mode encoded image

图10 更改后单幅模式编码图像Fig.10 Alterated single-mode encoded image

2.2 地面图像增强验证

采用返回舱摄像机采集视频,在单幅模式下,更改后的图像编码处理软件进行分辨率704×288像素、帧率12.5帧/秒、码率600kbit/s的MPEG-4编码,经过地面解码后图像增强效果如表3所示。对地面图像增强后图像和原始图像的PSNR进行比对,PSNR约提升2.000dB。采用神舟十三号载人飞船待发段的返回舱图像,进行地面增强前后的对比,分别如图11和图12所示,图像方块效应明显减弱,图像显示更加平滑,从主观上看图像质量有较明显改善。

表3 地面增强前后PSNR比对Table 3 PSNR comparison before and after ground enhancement

图11 神舟十三号载人飞船原始图像Fig.11 Original image of Shenzhou-13 manned spacecraft

3 结束语

本文提出一种低带宽高质量的载人航天器图像系统优化设计,分别通过对载人飞船上图像压缩编码算法改进和地面图像增强,实现在沿用载人飞船整体方案、传输带宽受限的约束前提下图像传输质量的提升。采用本文提出的图像系统优化设计,图像方块效应减弱,黑白条测试图像清晰度明显提高,主观评价图像质量有明显改善,载人飞船上部分和地面图像增强分别对图像的PSNR提升了2.000dB,有助于在继承当前载人飞船总体架构设计的前提下提升载人飞船下行图像传输质量。后续将开展H.265图像编码体制在载人飞船图像系统中应用的可行性研究,在现有带宽资源的前提下进一步提升图像传输质量。