基于分区灰度投影的稳像算法在卫星装配中的应用

白　丰　张小俊　张明路　孙凌宇

河北工业大学,天津,300130



基于分区灰度投影的稳像算法在卫星装配中的应用

白丰张小俊张明路孙凌宇

河北工业大学,天津,300130

摘要:针对传统电子稳像算法无法快速有效地消除视频图像随机抖动的问题,采用一种基于分区灰度投影的稳像算法，以确保机器人系统能够输出稳定连贯的卫星装配画面。对前后两帧视频图像进行划分并删除对比度低的子区域，利用间隔投影和互相关运算获取局部运动分量,通过基于平均误差门限的迭代步骤筛选后剩余的局部运动分量求解全局运动矢量；若判定存在低频扫描分量，还需对多帧图像的全局运动矢量作均值滤波处理。实验结果表明：基于分区灰度投影的稳像算法相比传统灰度投影法，在低对比度的自然场景图像和模拟装配图像中的稳像精确度分别提升119.1%和55.8%;同时执行时间只有块匹配算法的0.5%。能够有效消除随机抖动,快速输出稳定连贯的视频画面，保证机器人系统顺利完成卫星的地面装配工作。

关键词：卫星装配；电子稳像；分区灰度投影；随机抖动

0引言

卫星是一种将机、电、热等产品高度耦合的系统,其结构复杂、功能繁琐。当前，将光学相机、实验装置和仪器、通信和探测设备、空间望远镜驱动机构、支架和天线等单机设备集成于卫星系统的趋势日益明显。这些设备对地面装配的精确度和实时性均要求很高，然而目前的卫星装配技术发展较慢，整个装配过程仍主要依赖工程人员的经验进行定性判断，人工操作必然存在无法数字化测量配件间的相对位置、位姿调整不可量化、关键对接部位可视性不强的状况。因此，如何通过稳像、识别、标定和导航等前沿技术，使机器人系统能取代人工操作完成卫星的精确实时地面装配，成为当前制造业领域的研究热点。

在卫星的地面装配过程中，摄像装置通常会伴随着机器人系统同步移动。由于载体的振动和姿态的变化，视频画面不可避免地会产生抖动，影响机器人系统的精确装配。电子稳像技术能够通过估计全局运动矢量(或者运动补偿矢量)消除随机抖动，使输出的视频画面趋于平稳，成为当前解决以上问题的主要手段之一[1-3]。

近年，国内外广泛研究的电子稳像算法主要基于块匹配和灰度投影。经典块匹配算法[4]是国际上普遍认可的用于评估稳像算法性能的标准算法，但其实时性较差。相关学者主要是通过选择合适的搜索路径以及快速完成块区域的匹配来提升算法的实时性的,比如三步搜索法、菱形搜索法、阈值法、代表点法等[5-10]。

以上基于块匹配的相关稳像算法具有较高的精确度，但是其实时性仍然无法满足实际工程的应用要求。传统的灰度投影算法[11]具有明显的速度优势,但是,在低对比度的视频画面中，由于灰度投影曲线的变化不明显,无法精确解算出全局运动矢量。相关学者主要通过选择可靠的投影方式来提升算法的稳定性和精确度,比如梯度投影法、圆周投影法等[12-15]。

以上基于灰度投影的相关稳像算法具有优良的实时性能，但是稳定性和精确度仍然难以满足实际工程的应用需求。另外，常见的电子稳像算法,如:基于位平面的稳像算法[16]和基于特征点匹配的稳像算法[17]等，也不能满足应用需求。

针对传统灰度投影法在低对比度画面中稳像精确度不足以及块匹配相关算法实时性能差的问题,本文采用了一种基于分区灰度投影的稳像算法来解决卫星装配画面的随机抖动问题。

1基于分区灰度投影的稳像算法

1.1图像子区域的划分和删选

为保证有足够的重合比例，依次选择前后相邻两帧作为基准图像和当前图像进行子区域划分。在投影前，首先需要避免由于该区域对比度不明显造成局部运动分量估计偏差较大的问题出现。解决方案是将所有子区域划分为相同大小的四个矩形块，然后依次循环相减，计算相邻矩形块间的像素绝对差和:

Pt2(xt2+i,yt2+j)|

(1)

其中,FSAD表示绝对差和，(xtk,ytk)表示第t个子区域中第k个矩形块左上角的坐标值,k=1,2,3,4,M和N表示矩形块的行数和列数。将计算结果与预先设定的阈值比较，只有当所有矩形块的绝对差和均高于阈值时，当前子区域才进行灰度投影运算。

1.2灰度投影运算

对以上满足阈值条件的子区域分别向水平和垂直方向进行投影。无论是水平方向还是垂直方向，其边缘区域具有唯一性，导致子区域的投影曲线在边缘处存在差异，影响子区域的局部运动矢量估计精度。而投影曲线的中间区域具有相近的波峰和波谷，只是位置存在偏差(即局部运动矢量)，故只取投影曲线的中间部分作为子区域水平和垂直方向的投影结果。另外，通过间隔取点的方式，在几乎不影响精度的情况下，成倍地缩短了算法的执行时间。具体的投影公式如下:

(2)

(3)

式中,Wp(j)为第p个子区域中第j列像素灰度值垂直方向投影的累加和；Hp(i)为第p个子区域中第i行像素灰度值水平方向投影的累加和;Kp(i,j)为第p个子区域在(i,j)坐标处的像素灰度值。

1.3求解全局运动矢量

对基准帧与当前帧图像对应子区域的灰度投影结果采用互相关运算，根据两条相关曲线的波谷，确定当前帧图像子区域相对于基准帧图像子区域的水平和垂直方向局部运动分量;然后,计算局部运动分量的平均值即可得到全局运动矢量:

1≤w≤2m+1

(4)

tiy=m+1-wmin

(5)

(6)

式中,Pi(j+w-1) 为当前帧图像第i个子区域投影范围的第j+w-1列像素灰度投影累加和；Qi(m+j)为基准帧图像第i个子区域投影范围第m+j列的灰度投影累加和；G(w)为像素灰度投影累加的差值结果；wmin为G(w)取最小时的w值；tiy为当前帧图像第i个子区域相对于基准帧图像第i个子区域在水平方向的局部运动矢量；dy为对应的全局运动矢量；m为运动估计的最大抖动范围；MP为子区域的行数。

同理可计算出垂直方向的全局运动矢量。但是,考虑到机器人系统的装配画面中可能存在运动前景目标，该子区域的局部运动分量估计结果将严重干扰全局运动矢量的计算，甚至可能导致稳像失败。因此，本文采用一种基于平均误差门限的迭代算法消除运动目标区域对全局运动矢量估计精度的影响，详细流程如图1所示。在排除含有前景运动目标的子区域后，即可求解最终的全局运动矢量。

1.4运动补偿矢量的计算

当摄像装置辅助卫星机器人装配时,基准帧和当前帧图像的全局运动矢量可能由正常扫描的低频分量及异常抖动的高频分量组成,也可能只包含异常抖动的高频分量。在对图像进行运动补偿时,只需要补偿摄像装置的随机抖动。机器人系统的正常移动通常具有阶段性的幅值和方向一致性，是平滑的低频矢量，而抖动分量的幅值和方向则具有随机性。据此可判断当前图像是否含有正常扫描运动。在判断完毕后,若不存在扫描运动分量,则当前的全局运动矢量即为所求的运动补偿矢量；否则,从实时性和有效性方面考虑，采用均值滤波的方式首先计算多帧图像的低频扫描分量，然后将全局运动矢量依次与扫描运动分量作差，获得剩余的高频抖动分量，即为每帧图像的运动补偿矢量。

2实验分析

为确保本文算法对卫星装配画面的稳像效果，实验分别创建自然场景图像库和卫星装配的模拟装配图像库予以验证，并将基于分区灰度投影的稳像算法与传统灰度投影法、块匹配遍历搜索算法进行比较。所有实验均在安装2.50GHzCPU、4GB内存、Windows7操作系统的计算机平台上通过MATLAB2010编程实现。同时，统一将图像的分辨率转换为512像素×512像素。实验内容包括：①创建自然场景图像库和卫星装配的模拟装配图像库；②根据稳像前后两帧图像的峰值信噪比值和差分结果评价各算法的精确度;③通过统计各算法对前后两帧图像的稳像时间衡量实时性能；④展示利用本文分区灰度投影算法对模拟装配图像的稳像效果。

2.1两组图像库的建立

首先，创建自然场景的图像库。创建60组(每组6幅图像)共360幅自然场景图像，每幅图像均存在不同程度的随机抖动。本文选择其中一组作为测试集1，进行各稳像算法具体的性能评估实验，其中图像库的第31～36幅图像(即测试集1)如图2所示。选取当前自然场景图像的原因在于：图中天空、山脉和花朵占据着自然图像的绝大多数区域，图像的对比度信息非常微弱，这将更加有效地考验各算法的性能。

然后，构建卫星装配的模拟装配图像库。通过摄像装置采集存在随机抖动的低对比度装配视频模拟卫星装配过程,利用其中具有代表性的部分帧构建60组(每组6幅图像)共360幅图像。从中选取一组作为测试集2,进行各稳像算法的性能评估实验和效果展示，其中图像库的第31～36幅图像(即测试集2)如图3所示。

2.2各算法的精确度分析

峰值信噪比(PSNR)是一种图像序列间稳定程度的客观评价方式。因此，本文首先通过稳像前后相邻两帧图像的峰值信噪比值TPSNR衡量各算法的精确度，具体计算如下：

(7)

TPSNR=10lg(2552/TMSE)

(8)

其中,f(x,y)和g(x,y)表示基准帧和当前帧图像,M和N表示图像的行数和列数,TMSE表示均方差值。若利用式(7)、式(8)计算出的稳像后的TPSNR值相比于稳像前的值有明显提升,则认为当前稳像方法能够消除或减小图像间的高频随机抖动。表1是块匹配遍历搜索法、传统灰度投影法和本文基于分区灰度投影的稳像算法对测试集1、2中的六帧图像进行稳像前和稳像后的平均TPSNR值。

从表1可以看出,块匹配算法作为国际上普遍认可的全局运动估计方法,稳像后的TPSNR值增幅最大,达到143.2%和99.1%,具有极佳的稳像精确度。传统灰度投影算法由于受到低对比度信息的干扰，稳像后的TPSNR值增幅最小。特别是在具有大面积相似信息的测试集1中，该算法的全局运动矢量估计偏差更大,TPSNR值增幅只有23.0%。而本文基于分区灰度投影的稳像算法在稳像后,TPSNR值有大幅度提升,达到142.1%和96.7%,能够非常接近甚至达到块匹配遍历搜索算法的稳像效果，相比于传统灰度投影算法TPSNR值的增幅达到119.1%和55.8%,精确度具有明显的优势。

同时,本文采用部分差分图像直观地反映各算法的稳像效果，如图4、图5所示。其中,图4表示块匹配遍历搜索算法、传统灰度投影法和本文基于分区灰度投影的稳像算法利用测试集1中的第3帧和第4帧灰度图像进行稳像前和稳像后的差分效果图。图5表示相关算法利用测试集2中的第3帧和第4帧灰度图像进行稳像前和稳像后的差分效果图。这里差分图像中的剩余灰度信息量反映着各算法稳像性能的优劣。

从图4、图5中同样发现，由于图像中存在低对比度区域的干扰以及前景目标的移动，采用传统灰度投影算法估计的全局运动矢量偏差较大，造成差分图像中存在大量灰度值不为零的区域，稳像效果并不理想。而采用本文基于分区灰度投影的稳像算法能够消除图像中的随机抖动，接近甚至达到与块匹配遍历搜索算法相似的稳像效果。

另外，由于测试集1中的图像对比度信息更加不明显,能够直观反映各算法的稳像性能，因此本文进一步将差分图像(图4)的灰度信息按列方向投影累加。曲线图中累计灰度值越低，说明基准帧与当前帧图像的相似度越高。差分图像中间列(129～384)的投影曲线如图6所示。图7对应图6投影曲线部分区域的放大,从图7中能更加清晰地看出各算法的差分效果。图6、图7的曲线分布再次验证了分区灰度投影算法的优良性能。

2.3各算法的实时性能分析

通过统计测试集1和测试集2中所有前后两帧图像的平均稳像时间，评估本文基于分区灰度投影的稳像算法、块匹配遍历搜索算法和传统灰度投影算法的实时性能，具体数据如表2所示。统计结果显示,本文方法相比于传统灰度投影法虽然增加了区间划分和优化筛选等步骤，但并未明显增加算法的执行时间；同时,本文算法的稳像时间只有块匹配算法的0.5%,具有显著的实时性优势。

2.4分区灰度投影算法对模拟装配图像的稳像效果

实验发现，本文算法能够克服模拟装配图像中低对比度区域的干扰以及前景目标移动的影响，准确估计出全局运动矢量。利用本文基于分区灰度投影的稳像算法对测试集2中连续六幅装配图像的稳像效果如图8所示。稳像后的所有图像依次输出，可以获得平稳连贯的视频装配画面。

3结语

本文采用一种基于分区灰度投影的稳像算法来消除装配画面的随机抖动。将该算法与传统灰度投影法、块匹配算法的精确度和实时性进行实验对比，结果表明，基于分区灰度投影的稳像算法能够有效消除随机抖动，快速输出连贯的视频画面，可保证机器人系统顺利完成卫星的地面装配工作。

参考文献:

[1]SeungKK,SeokJK,TaeSW,etal.FeaturePointClassificationBasedGlobalMotionEstimationforVideoStabilization[J].IEEETransactionsonConsumerElectronics,2013,59(1):267-272.

[2]JieX,HuaWC,ShouY,etal.FastFeature-basedVideoStabilizationwithoutAccumulativeGlobalMotionEstimation[J].IEEETransactionsonConsumerElectronics,2012,58(3):993-999.

[3]TzuuSL,ChingCC.ExtendedKalmanFilterBasedHand-shakeDetectorforOpticalImageStabilizationUsingaLowCostGyroscope[J].IEEETransactionsonConsumerElectronics,2013,59(1):113-121.

[4]VellaF,CastorinaA,MancusoM,etal.DigitalImageStabilizationbyAdaptiveBlockMotionVectorsFiltering[J].IEEETransactionsonConsumerElectronics,2002,48(3):796-801.

[5]AmirpourH,AmousaviniaA,ShamsiN.PredictiveThreeStepSearchAlgorithmforMotionEstimation[C]//Proceedingsofthe8thIranianConferenceonMachineVisionandImageProcessing.Zanjan,2013:48-52.

[6]WenJQ,BoY,JiaoJW.HumanActivityRecognitionBasedonImprovedDiamondSearchBlock-matchingMethod[C]//Proceedingsofthe4thInternationalSymposiumonComputationalIntelligenceandDesign.Hangzhou,2011:236-239.

[7]GulluMK.WeightedConstrainedOne-bitTransformBasedFastBlockMotionEstimation[J].IEEETransactionsonConsumerElectronics,2011,57(2):751-755.

[8]LiS,QiJQ.ImageStabilizationbyCombiningGray-scaleProjectionandRepresentativePointMatchingAlgorithms[C]//Proceedingsofthe3rdInternationalConferenceonAwarenessScienceandTechnology.Dalian,2011:128-132.

[9]王鹏,赵跃进,孔令琴,等.改进块匹配宏块的快速传感器电子稳像方法[J].光子学报,2012,41(9):1065-1070.

WangPeng,ZhaoYuejin,KongLingqin,etal.ImprovedFastBlock-matchingAlgorithmforSensorElectronicImageStabilization[J].ActaPhotonicaSinica,2012,41(9):1065-1070.

[10]宗艳桃, 蒋晓瑜,裴闯,等.基于时间序列预测的电子稳像算法研究[J].光子学报,2012,41(2):244-248.

ZongYantao,JiangXiaoyu,PeiChuang,etal.TimeSeriesPredictionBasedElectronicImageStabilizationAlgorithm[J].ActaPhotonicaSinica,2012,41(2):244-248.

[11]汪小勇,李奇,徐之海,等.用于实时数字稳像的灰度投影算法研究[J].光子学报,2006,35(8):1268-1271.

WangXiaoyong,LiQi,XuZhihai,etal.StudyonGrayProjectionAlgorithmforRealTimeVideoStabilization[J].ActaPhotonicaSinica,2006,35(8):1268-1271.

[12]ChaoJ,BrianLE.Constrained3DRotationSmoothingViaGlobalManifoldRegressionforVideoStabilization[J].IEEETransactionsonSignalProcessing,2014,62(13):3293-3304.

[13]XieT,ZhuB,XieLJ.etal.ACircular-projectionBasedDigitalImageStabilizationAlgorithmandItsImplementationforRotatingImageSequences[C]//Proceedingsofthe10thInternationalConferenceonSignalProcessing.Beijing,2010:1236-1239.

[14]张永祥，闫文林，张伟功，等. 一种旋转运动估计稳像算法的研究与实现[J].小型微型计算机系统,2014,35(9):2151-2155.

ZhangYongxiang,YanWenlin,ZhangWeigong,etal.ResearchandImplementationofImageStabilizationinaRotaryMotionEstimationAlgorithm[J].JournalofChineseComputerSystems,2014,35(9):2151-2155.

[15]孙辉.Bayer彩色序列图像的电子稳像[J].光学精密工程,2014,22(2):481-488.

SunHui.ElectronicImageStabilizationforBayerColorVideoSequenceImage[J].OpticsandPrecisionEngineering,2014,22(2):481-488.

[16]遆晓光，靳万鑫，余颖.大运动前景和旋转抖动视频的快速数字稳定[J].光学精密工程,2014,22(1):177-185.

DiXiaoguang,JinWanxin,YuYing.DigitalVideoStabilizationforLarge-scaleMovingForegroundObjectandRotationJitter[J].OpticsandPrecisionEngineering,2014,22(1):177-185.

[17]蒋建国,牛杰杰，齐美彬. 基于SURF和轨迹滤波的旋转视频稳像算法[J].仪器仪表学报,2014,35(3):550-557.

JiangJiangguo,NiuJiejie,QiMeibin.RotationalVideoStabilizationAlgorithmBasedonSurfandTrajectorySmoothing[J].ChineseJournalofScientificInstrument,2014,35(3):550-557.

(编辑王旻玥)

VideoStabilizationMethodBasedonSubzoneGrayProjectioninApplicationsofSatelliteAssembly

BaiFengZhangXiaojunZhangMingluSunLingyu

HebeiUniversityofTechnology,Tianjin,300130

Keywords:satelliteassembly;electronicimagestabilization;subzonegrayprojection;randomjitter

Abstract:Aimingtosolvetheproblemthattraditionalelectronicimagestabilizationalgorithmcouldnoteliminatevideorandomjittersquicklyandefficiently,basedonsubzonegrayprojectionavideostabilizationmethodwasusedtoensuretherobotsystemoutputtingsatelliteassemblypicturesstablyandcoherently.Twoframesweredividedandsubregionsoflowcontrastweredeleted.Theintervalprojectionandcross-correlationalgorithmwereusedtogetlocalmotioncomponent.Theglobalmotionvectorwassolvedbytherestlocalmotioncomponentafteriterativestepsbasedontheaverageerrorthreshold.Anaveragefilterwouldbeusedinglobalmotionvectorofmultipleframesifimagehadlowfrequencyscanningcomponent.Experimentalresultsshowthatusingthestabilizationmethodbasedonsubzonegrayprojection'simagethestabilizingprecisionincreases119.1%innaturalsceneimagesand55.8%insimulationassemblyimagesoflowcontrastcomparedwithtraditionalgrayprojectionmethod,meanwhiletheexecutiontimeisonly0.5%ofblockmatchingalgorithm.Itprovesthatthemethodcaneliminaterandomjitterseffectively,outputstablecoherentvideoimagesrapidly,andguaranteethesatelliteinstallationofrobotsystem.

收稿日期：2015-03-27

基金项目：国家高技术研究发展计划(863计划)资助项目(2015AA043101)

作者简介：白丰,男,1988年生。河北工业大学机械工程学院博士研究生。主要研究方向为机器人视觉及图像处理技术。张小俊,男,1980年生。河北工业大学机械工程学院副教授。张明路，男，1964年生。河北工业大学机械工程学院教授、博士研究生导师。孙凌宇,男,1978年生。河北工业大学机械工程学院副教授。

中图分类号：TP391

DOI：10.3969/j.issn.1004-132X.2016.02.009