基于多元灰度投影的无人艇电子稳像方法

胡建祥，侯毅男

(32381部队,北京 100072)

0 引言

视觉设备凭借其信息直观、廉价等优点，被广泛应用于无人艇感知系统中，并在监控、侦察、巡逻等任务中发挥重要作用[1-4]。

无人艇在航行过程中，水面波浪和艇自身姿态变化会造成艇载视觉设备获得的视频存在高频抖动问题，不仅使观察者视觉疲劳，也影响后续目标跟踪等任务的速度和精度，因此需要引入电子稳像来对视频进行预处理。

针对水面特殊环境，文中提出了一种基于多元灰度投影的无人艇电子稳像方法，通过对图像进行差分灰度投影、环投影和圆投影操作，估计出平移、缩放和旋转量并进行补偿，其优点在于：3次投影即可估计出相对运动，速度极快；投影方法受大面积无意义纹理的影响小，稳定性好。试验表明，文中方法速度快、精度高、稳定性好，极大改善了无人艇水面视频的视觉效果。

1 基于多元灰度投影的运动估计方法

基于多元灰度投影的运动估计方法包括基于差分灰度投影的平移估计、基于环投影的缩放估计和基于圆投影的旋转估计，在缩放估计和旋转估计前，需要先对齐相邻帧的环投影和圆投影的投影中心，而缩放估计和旋转估计的先后顺序对于估计结果没有影响，这里按上述组成模块依次进行估计。

1.1 基于差分灰度投影的平移估计

对于尺寸为M×N的目标帧I0(x,y)和参考帧I1(x,y)，水平偏移量求解步骤为：

步骤1：采用式(1)求取相邻两帧的列差分灰度投影，C0(x)和C1(x)分别为目标帧和参考帧第x列的投影。

(1)

步骤2：采用式(2)求列投影的互相关性，CorrC(i)表示偏移量为i时的互相关性，m为搜索窗口宽度的一半，DC(i,j)为目标帧第i+j列与参考帧第j列投影的差值，由式(3)定义。

(2)

DC(i,j)=[C0(i+j)-C0(j)]2

(3)

步骤3：采用式(4)求取水平偏移量，当CorrC(i)达到最小时，i即为水平偏移量dx。

索尼在Photokina上没有发布任何新相机，但是FE 24mm f/1.4 GM定焦镜头的出现不仅进一步加强了G大师（G Master）系列专业镜头的产品竞争力，也使得索尼的E卡口全画幅无反系统更加完善。这支镜头采用了两片XA（超级非球面镜）镜片、物理光圈环（可在有/无级调整之间切换）。

dx=argmin[CorrC(i)]

(4)

水平偏移量dx的求解至此结束，竖直偏移量dy也可用相同方式求解。

1.2 基于环投影的缩放估计

图1 环投影

(5)

对于分辨率为M×N的视频，若相邻两帧I0(x,y)和I1(x,y)存在k倍的缩放，则环投影曲线也存在k倍的缩放，即I0(x,y)半径为kr与I1(x,y)半径为r的环投影相等，即

(6)

据此采用以下步骤求取缩放：

(7)

步骤2：采用式(8)对环投影取对数，环投影之间的缩放关系变为式(9)中平移关系，方便缩放系数的求取。

(8)

H0(t+lnk)=H1(t)

(9)

步骤3：采用式(10)求缩放误差Es(v)，[Tmin,Tmax]是H(t)的定义域,满足式(11)和式(12)。

(10)

(11)

(12)

步骤4：依据式(13)求缩放系数，缩放误差达到最小时， 即为所求。

lnk=argmin[Es(v)]

(13)

这样就完成了对缩放系数k的估计。

1.3 基于圆投影的旋转估计

引入圆投影的概念估计旋转，如图2所示，对于图像I(x,y)以(x0,y0)为圆心、以θ为夹角的半径投影由式(14)求取，取所有θ∈[0°,360°]求半径投影即构成圆投影。

图2 圆投影

(14)

对于分辨率为M×N的视频，相邻帧I0(x,y)和I1(x,y)之间存在角度为δ的旋转，则圆投影之间存在大小为δ的平移，即I0(x,y)角度为δ+θ与I1(x,y)角度为θ的半径投影相等，由式(15)表示。

(15)

据此采用以下步骤求取旋转系数：

步骤1：分别求取相邻帧的圆投影，当半径较小时两帧圆投影的区别不大，因此较小半径的像素点不参与计算，由式(16)求取，R0同样由式(7)求取。

(16)

步骤2：采用式(17)求旋转误差Er(δ)。

(17)

步骤3：依据公式(18)求取旋转系数，当旋转误差达到最小时，δ即为所求。

2 有意运动滤波和运动补偿

在完成相对运动估计之后，为了保留无人艇有意运动(转弯、前进等)造成图像相对运动，在运动补偿之前对估计所得的运动参数分别进行了低通滤波。完成滤波后，对目标帧进行平移、旋转和缩放来补偿视频抖动，变换后的目标帧Is(x′,y′)中的像素(x′,y′)与It(x,y)中对应像素(x,y)的变换关系由式(18)表示。

(18)

经过了运动估计、运动滤波和运动补偿之后，整个稳像过程结束，并输出了清晰、稳定的视频流。

3 试验及分析

下面分别从算法稳像效果和对高级任务的提升作用来验证分析算法的有效性。

3.1 稳像效果评估

通过与经典算法比较来验证稳像效果，视频来源于GaTech Videostab数据集和水面实拍，数量为31，分辨率为1 280×720，对比算法包括传统灰度投影、SURF方法[8]和Radon投影方法[14]，实现平台为Visual Studio 2010平台，电脑配置为8G内存，Intel(R) Core(TM)i7-4790@3.6 GHz的CPU，操作系统为64 bitWindows 10。

图3为其中一组对比试验，图4为对应的峰值信噪比(peak signal to noise ratio，PSNR)曲线。原视频中存在平移和旋转，PSNR曲线最低；灰度投影只补偿了平移，PSNR曲线略高于原视频；SURF方法在匹配正确时有较高精度，但是易出现误匹配，PSNR曲线随之出现跳变；Radon方法精度略弱于SURF，但稳定性更好，因此PSNR曲线略低于SURF但更平稳；文中方法在水面环境下表现最优，保证精度的同时也不容易出现误匹配，PSNR曲线最高且曲线平稳。

图3 水面视频各帧对比

图4 峰值信噪比曲线

对31部视频的平均PSNR和帧率进行统计，结果如表1,从平均PSNR可知文中方法稳像效果最优，对于分辨率为1 280×720的视频，每秒可以处理40帧，满足实时性要求。

表1 平均PSNR和帧率对比

3.2 对于高级任务的提升分析

无人艇在水面行驶过程中，往往需要执行目标识别、目标跟踪等图像信息提取程度精细、智能化程度高的任务，以目标跟踪来证明文中方法对于无人艇高级任务的提升作用，先对22部分辨率为1 280×720的无人艇视频进行稳像处理，并采用KCF[16]算法对处理前后的视频中的艇进行跟踪，通过比较目标位置变化和处理速度，来验证对于目标跟踪的提升作用。

图5展示了其中一部视频的处理结果对比，红色十字为艇的初始位置，可以看到稳像后艇的晃动幅度明显减小。为了分析稳像对目标跟踪准确率的影响，将目标跟踪的结果与人工标注进行了对比，当跟踪结果与人工标注之间的像素偏移量低于阈值时，认为目标跟踪结果是准确的，图6中展示了不同像素偏移量阈值下的目标跟踪准确率，可以看到稳像后的准确率优于稳像前。

图5 目标跟踪对比

图6 目标跟踪准确率对比

表2展示了22部视频目标跟踪的统计信息，经过文中算法处理后，视频中艇的晃动幅度减小，目标跟踪的速度大幅提升，对于无人艇目标跟踪有显著的提升效果。

表2 目标跟踪统计数据对比

4 总结

针对水面特殊环境，设计了一种基于多元灰度投影的无人艇稳像方法。采用差分灰度投影、环投影和圆投影等统计信息准确地估计出了相邻帧之间存在平移、缩放和旋转，不仅能有效抵抗水面无意义纹理干扰，同时保证了算法的实时性。试验结果表明，该方法不仅有效降低无人艇晃动造成的视频抖动，同时对于无人艇高级任务有显著的提升作用，是一种稳定、高效的无人艇电子稳像方法。