基于帧差和背景建模的卫星视频目标检测

吴昱舟，姚力波，刘 勇，张筱晗，李家起

（1.海军航空大学，山东烟台264001；2.国防科技大学，长沙410073）

目前，我国获得的中高分辨航天光学遥感数据以静态图像为主，无法对一些特殊或敏感区域进行实时动态监视，这就不能适应当代信息化条件下快速机动的作战需求。另外，对火山喷发、森林火灾、洪水等自然灾害动态变化的监测也不能起到很好作用[1]。针对静态卫星影像无法解决的问题，视频卫星作为一种新型的对地观测系统，可以获取对感兴趣区域进行实时“凝视”，以满足实时的动态监测发展的需求。

2013年11月，美国“Skybox Imaging”公司发射的skysat-1业务型视频卫星影像分辨率可达1.1 m，视频30帧/s[2]。我国首个能拍摄全彩视频的卫星是由长光卫星技术有限公司于2015年发射的2颗视频卫星——吉林一号视频星（1星，2星）[3]，位于太阳同步轨道，轨道高度656km，地面像元分辨率为1.13 m，覆盖宽度达4.3km×2.4km，其分辨率、幅宽、稳定性等主要技术指标均达较高水准。2017年11月21日，长征六号运载火箭成功将吉林一号视频卫星4、5、6送入预定轨道，此星性能指标再创新高，幅宽从原来的11km提高到19km。当前，视频目标跟踪主要利用地面摄像机拍摄的视频，具有小视场、高分辨率等特点，主流算法有帧间差分法[4-5]、背景建模法[6-7]、光流法[8-9]。卫星视频中的目标检测相比普通监控视频有着幅宽大、分辨率低、运动目标占比小、运动目标的纹理特征匮乏、图像对比度低，前景和背景可识别性较弱等特征，这些特征导致了针对地面视频的运动目标检测和跟踪算法不能很好地适用卫星视频[1]。

本文以吉林一号视频为数据源，提出了采用多帧差分法、单高斯背景建模法和改进的混合高斯背景建模法，抽取同一视频任意2帧不同的2个区域，比较其算法标注目标数和人工标注目标数，计算出每一种算法的正确度、完整度和质量指标，以得出结论。

1 算法原理

1.1 多帧差分法

先将彩色图像转为灰度图像，后选取灰度视频帧序列中的连续n帧图像Ii(x,y),Ii+1(x,y),…,Ii+n-1(x,y)，依次计算相邻2帧的差值：

通过阈值T进行二值化：

将每一个像素点的二值图像逻辑相“与”，得到该帧的最终二值图像：

本文中，n取3。

1.2 背景建模法

背景建模法主要思路是根据当前的背景估计，将对序列图像的运动目标检测过程转化为一个二值化分类过程，将每一个像素根据特定模型划分成序列图像背景和运动目标前景2类，再进行后期处理从而得到检测结果。理想的背景模型是从没有任何前景的帧图像捕获的图像，但这种情况有一定局限性，不能很好地适应卫星视频中目标繁多的特征。因此，所研究的算法必须要有一定自适应能力。背景建模方法的关键在于背景模型，它是分割背景和前景最重要的部分。背景模型主要分为单模态背景模型和多模态背景模型，选取模型的依据是序列图像的模态特性。如果序列图像的像素颜色相对单一，可以用单模态背景模型来描述。在如水波纹、晃动的树叶、光照变化的建筑等许多复杂场景。

1.2.1 单高斯背景建模法

单高斯背景建模法（Single Gauss Background Modeling）是背景建模法中比较典型的方法之一。单分布高斯背景模型认为，对一个背景图像，特定像素亮度的分布满足高斯分布[10]，即对背景图像B，每一个像素点(x,y)的亮度满足IB(x,y) ～N(μ,d)：

即每个像素点都包含了2个属性，均值μ和方差d。

计算一段时间内的视频序列图像中每一个点的均值μ和方差d，作为背景模型。对一幅包含前景的任意图像G，对图像上的每一个点(x,y)依次判断，若

其中，T为阈值，则该点认为是背景点，否则认为是前景点。引入背景更新增加算法的适应性：

其中，a为更新参数。

1.2.2 混合高斯背景建模法

混合高斯背景建模法（Mixed Gauss Background Modeling）使用K（本算法K=3）个像素点的特征[11]。在混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。对视频图像中的每一个像素点，其值在序列图像中的变化可看作是不断产生像素值的随机过程，即用高斯分布来描述每个像素点的多模态规律。帧图像获得后及时更新混合高斯模型，当前图像中的每个像素点尝试与混合高斯模型匹配，如成功则判定该点为背景点，否则为前景点。混合高斯模型主要是由方差和均值决定，对均值和方差的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性[12-13]。

1.3 结合多帧差的混合背景建模法

本文算法采用多峰高斯分布模型[14-15]，依据每一帧图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新。当处理彩色图像时，假定图像像素点R、G、B三色通道相互独立并具有相同的方差[16-17]。

在检测过程中只要像素点的信息符合k个高斯分布的任意一个，那么就认为该像素点是背景中的像素点；反之，该像素点则被判定为前景。t时刻第k个高斯分布的概率密度函数为：

其中，μk,t、τk,t分别是t时刻第k个高斯分布的均值和协方差矩阵。

任意像素点的某时刻的特征与该像素点之前时刻的特征有关，因此像素(x,y)符合k个高斯分布的任意一个的概率为[10-11]：

式中，ωk,t为第i个高斯分布的权重。

k个高斯混合分布根据ωk,y的值从大到小排序，一般采用前L个高斯分布建立背景模型，模型如下：

根据|z-μk,t|＜2.5σ，则认定为背景并进行背景模型更新，否则判定为前景[18-20]。将背景建模得到的前景图和多帧差得到的前景图相“与”，得到的结果为本文算法用于待检测帧图像的目标检测结果。最后将检测的目标帧图像存入新建的图像序列中，依次循环所有帧，最后得到与原视频具有相同时间序列的检测出目标的视频。

本文算法主要结合混合高斯背景建模法和多帧帧差法。首先，读取目标视频，并对视频进行预处理，将帧图像转化为灰度图像并进行高斯滤波处理，读取存储每一帧图像信息；然后，依次检测每一帧图像的目标。运用即时更新背景参数的混合高斯背景建模检测出前景，同时再运用三帧帧差法检测出前景，将2个结果进行逻辑与运算；最后，通过形态学滤波得到最后的检测结果。

本文算法的流程图如图1所示。

图1 基于多帧差分的混合背景建模法的算法流程图Fig.1 Algorithm flow chart of mixed background modeling method based on multi frame difference

2 实验结果与分析

2.1 实验数据

本文采用的是吉林一号原始高清全彩视频数据，截取同一视频中的某2个运动因素较多的场景，截取尺寸为500×300。其中一个场景为图2中的a）、b），另一个为c）、d）。

2.2 目标检测结果及对比分析

图3分别为原图像序列截取后的图像，即图2中的a）、b）、c）、d）的目标人工检视结果。图4为三帧差法得到的2个场景第85、213帧图像检测结果。图5为运用单高斯背景建模法得到的2个场景第85、213帧图像检测结果。图6为经过结合多帧差分的混合背景建模法的背景提取后得到的2个场景第85、213帧图像的背景。图7为经过结合多帧差分的混合背景建模法后得到的前景检测结果。

图2 原图像序列帧截图Fig.2 Frame screenshot of original image sequence

图3 原图像序列人工标注的前景图Fig.3 Foreground picture of the manual annotation of the original image sequence

图4 多帧差分法检测结果Fig.4 Detection results of multi frame difference method

图5 单高斯背景建模法的检测结果Fig.5 Detection results of single Gauss background modeling method

图6 结合多帧差分的混合背景建模法的背景提取Fig.6 Background extraction based on mixed background modeling method and multi frame difference

图7 结合多帧差分的混合背景建模法的前景提取Fig.7 Foreground extraction of mixed background modeling method and multi frame difference

本文选取正确度（Correctness）、完整度（Completeness）和质量指标（Quality）来分析检测精度，即：Correctness=Gc/(Gc+Gw)；Completeness=Gc/(Gc+Gu)；Quality=Gc/(Gc+Gw+Gu)。其中：Gc表示正确检测出前景的数量；Gw表示检测出的错误前景数量；Gu表示未检测出的前景的数量。

经过对图2中4帧图像的结果计算，得出3种方法的3个指标，结果见表1，并将结果制成图，见图8。

表1 不同方法的计算结果Tab.1 Calculation results of different methods

图8 3种指标对比图Fig.8 Three indexes contrast diagram

由表1和图8看出，多帧差分法的完整度较高，但正确率和质量指标很低。因此，该方法在卫星视频上虽能将大部分前景检测出来，但由于背景晃动等原因会产生检测率较低。单高斯背景建模法检测正确率较高，但完整度和质量指标较低，即会有较低的检测率。本文方法在3个指标上均达到较高水平，经实验，该方法能适用较为复杂的场景变换和各种前景类型，从图6中c）和d）可看出时间序列越往后，背景提取越准确，可见更新背景模型参数的重要性。另外，该方法检测目标的形状效果最好，对图2 c）出现的飞机轮廓检测效果最佳，这对判断目标类型有很大帮助。

3 结论

本文提出结合多帧差分的混合背景建模法的，综合了多帧差分法的虚警率低及背景建模的检测率高的优势，加入即时的更新背景模型部分，使算法在具有数据量大、幅宽广，运动目标的纹理特征匮乏等特点的卫星视频上具有很强的适用性，而且对于目标物体的轮廓提取较为准确。克服了场景晃动、光照变化、目标纹理特征匮乏等原因造成的检测效果不好，可为下一步的目标跟踪或目标识别打下重要基础。