图像序列中破片群目标提取与关联方法研究

王 墉, 孔筱芳, 徐春冬, 周家杰

(1. 南京理工大学 机械工程学院, 江苏 南京 210094; 2. 南京理工大学 瞬态物理国家重点实验室, 江苏 南京 210094)

0 引 言

破片战斗部主要通过爆炸后产生的高速破片群和冲击波对目标进行有效打击, 准确测量战斗部爆炸后破片的飞行速度等参数对战斗部的设计和毁伤能力评估具有重要意义[1-2]。 常用的破片速度测试方法有区截测速法、 雷达测速法、 高速摄影法等。 相较于其他测试方法, 高速摄影法具有非接触、 精度高、 可同时测得多枚破片在不同时刻的速度等优势[3-4]。 图像中破片目标的提取和图像序列中同一破片目标的关联是基于高速摄影破片参数测试的关键步骤。 由于破片运动参数的测试多在野外进行, 高速相机采集到的破片运动图像往往会有强光、 扬尘等众多干扰, 而且背景复杂, 破片的数目多, 尺寸小, 在前期运动阶段破片被火焰包裹, 呈带有拖尾的火球状, 并在飞行过程中火球形状不断变化。

常用的运动目标检测算法有光流法、 帧差法和背景差分法等[5-6]。 光流法算法复杂, 容易受环境光照变化、 检测目标自身特性变化等影响, 不适用于小目标破片的提取; 帧差法算法简单, 检测速度快, 但容易受噪声影响; 背景差分法准确性较高, 但复杂背景会使得背景建模难度增加。 多目标匹配中多采用基于特征的匹配, 对于小目标破片并不适用。 目前国内少有对大量火球状破片目标的提取和图像序列间的破片目标关联。 刘泽庆等[7]采用基于平方增强的三帧差分法完成了静爆图像中少量破片的提取; 雷江波等[8]通过基于Faster R-CNN的目标检测方法, 使用弹弓击打石膏板模拟二次破片, 检测出了一定数量的二次破片目标; 牛雅昕[9]采用343 500 fps的采集速率对某型战斗部静爆试验进行图像数据采集, 使用帧差法对目标进行提取。 以上破片提取方法多是针对少量小目标破片或二次破片, 或在采集图像数据时需要很高的采集速率。 在破片群目标关联方面, 李乾舞等[10]和牛雅昕[9]采用了基于速度矢量匹配的破片群目标跟踪方法, 完成了破片轨迹的模拟; 雷江波[11]利用多维树结构模型对KNN进行改进, 对二次破片群目标进行了匹配。 以上破片群目标关联算法较为复杂, 存在一定不足。

针对破片群目标特性以及前人方法的不足之处, 本文采用了混合高斯建模结合邻帧差分法的方法, 提取出破片群目标, 通过形态学处理中连通域检测的方法去除爆炸产生的火花和烟尘等干扰, 并提出了基于轨迹约束的搜索方法, 对图像序列中破片群目标进行了关联, 有效解决了图像序列中破片群目标提取和关联的问题, 相较于前人提出的方法, 本文方法更加易于实现, 鲁棒性更高, 对采集速率的要求更低。

1 基于高速摄影的破片运动参数测试

1.1 基于高速摄影的破片运动参数测试原理

战斗部爆炸后, 在极短时间内产生的高压气体使得战斗部壳体破裂, 产生高速破片群[12], 根据破片运动规律, 可使用高速相机采集破片运动图像, 获得多枚破片的飞行轨迹。 通过运动目标检测等方法提取出破片目标并对目标进行定位, 获取破片目标的像素坐标, 得到破片在不同帧图像中的相对位移, 通过建立目标从像素坐标到世界坐标的转换, 结合相机的帧频, 求解出破片速度。

1.2 静爆测试试验

本文通过单目相机搭建破片速度测试系统, 测试系统布设如图1 所示。 试验采用某定向战斗部, 在距爆心40 m处设置单目相机, 采集破片运动图像, 相机型号为Phantom VEO系列, 帧率为8 300 fps, 分辨率为1 280×720像素, 曝光时间为120.00 μs。 在测试前采用张正友标定法对相机内参数进行标定, 通过拍摄在试验场固定的已知位置的标定物来求解相机的外参数。 同时在距爆心7 m处设置阵列式梳状靶对破片速度进行测试, 阵列式梳状靶由32块250 mm×250 mm的梳状靶组成, 总测试面积为2 m2, 该靶可测试的最小破片尺寸为3 mm。

图1 测试系统布设Fig.1 Test system layout

阵列式梳状靶测试结果如表1 所示。

表1 阵列式梳状靶测试结果Tab.1 Test results of comb target

2 破片群目标提取

战斗部爆炸时产生高压、 振动以及强磁等干扰, 爆炸产生的强光也会使环境光发生变化, 常用的运动目标检测算法中, 光流法算法复杂, 易受干扰; 帧差法易受噪声影响, 且两种算法均不能适应光照变化的动态背景。 本文采用混合高斯背景建模, 结合邻帧差分法对破片群目标进行提取。 混合高斯背景建模可以很好地处理复杂背景, 对动态背景有一定的适应性, 适用于破片目标的提取。 但提取出的破片目标在长拖尾处有交叉连接; 邻帧差分法产生的空洞可以很好地处理破片拖尾处的交叉连接, 但易受噪声影响。 因此, 本文结合两种算法, 首先, 对图像进行混合高斯背景建模, 提取出前景图像, 通过邻帧差分法产生的空洞去除长拖尾造成的多个目标的交叉连接, 通过基于形态学处理的连通域检测, 设置合适的阈值去除小面积连通域, 解决爆炸产生的火花和烟尘等干扰问题, 完成破片群目标的提取。

2.1 混合高斯背景建模

背景建模在运动目标检测上有着广泛的应用, 基于高斯模型的背景建模是一种常用的背景建模方法[13-14], 其中混合高斯背景建模能够在复杂背景下取得很好的效果[15-16]。 混合高斯背景建模的方法认为, 对于每一个像素点, 可构建由K个高斯分布组成的模型来估计像素点出现的值,K的值越大, 越能描述复杂的背景。 在K个高斯分布下, 像素点服从高斯分布的概率密度为

η(xt,μt,i,Σt,i)=

(1)

式中:xt为t时刻像素值;n为xt的维度;μi,t为混合高斯模型中的第i高斯分布均值向量;Σt,i为其协方差矩阵。 那么在t时刻该像素值出现的概率可以由K个高斯分布加权混合表示

(2)

在t+1时刻, 将每一个新像素值xt+1同当前K个分布进行如下规则的匹配

|xt+1-μt,i|<2.5σt,i,

(3)

式中:σt,i为高斯分布的标准差, 当新像素值与模型的均值的偏差在2.5倍的标准差内, 则判定为与当前分布模型匹配, 与xt+1相匹配的高斯分布将按照如下方法更新相关参数

μt+1=(1-β)·μt,i+β·xt,

(4)

(5)

β=α·η(xt,μt,i,Σt,i),

(6)

ωt+1,i=(1-α)ωt,i+αRt,i,

(7)

式中:α为学习率, 在0～1之内取值;β为参数更新的速率, 又叫参数学习率;Rt,i为偏置, 当新像素值与分布模型匹配时,Rt,i=1, 若不匹配则Rt,i=0。 没有匹配的高斯分布其均值和方差保持不变。

(8)

式中:b为高斯分布的个数;T为背景所占的比例。

在选取了B个分布作为背景模型后, 对当前每一帧图像与背景模型按照式(3)的规则进行匹配。 如果当前帧中的像素和背景模型中某一分布匹配, 则该点判定为背景点, 否则判定为前景点, 直至完成所有像素点的匹配, 提取出前景。

2.2 邻帧差分法

在相机固定不动的情况下, 如果有物体在背景下运动, 在图像上就表现为物体所在位置灰度值的变化, 通过检测变化的灰度值就能检测到运动目标。 邻帧差分法对相邻帧图像进行差分处理, 根据两帧图像中灰度值的差异, 通过差分后就可以得到运动目标的灰度矩阵。 具体差分计算如下

At(x,y)=|ft(x,y)-ft-1(x,y)|,

(9)

(10)

式中:ft-1(x,y),ft(x,y)为前后两帧图像;At(x,y)为检测出有灰度变化的像素区域;T为设定的阈值;Zt(x,y)是二值图像, 为差分后得到的前景图像。

3 图像序列中同一目标关联

图2 前3帧轨迹搜索Fig.2 Track search of the first three frames

(11)

选取使Loss最小的路径为目标路径, 确定图像I0～I2中破片的轨迹后, 沿该直线继续搜索下一帧图像中距离直线轨迹最近的点, 每增加一个点再次使用最小二乘法对搜索到的所有点进行直线拟合, 并更新参数, 直到在指定范围内搜索不到目标。 基于轨迹约束的搜索算法流程如图3 所示。

4 试验结果与分析

在本次试验中, 通过高速相机采集到的部分图像如图4 所示。 从图像中可以看出, 目标破片呈现为带有长拖尾的火球状, 且相邻破片拖尾处交叉在一起, 在飞行过程中形状会发生改变, 不具有易于描述的特征; 图像背景复杂, 在爆炸火光的影响下背景会产生变化。

(a) 第12帧图像

为防止爆心部分剧烈变化的强光干扰, 在进行目标提取前裁剪去图像中爆心部分。 对裁剪后的图像进行混合高斯背景建模, 将每帧图像与背景模型进行匹配。 以第18帧图像为例, 得到的前景图像如图5 所示。

(a) 裁剪过的图像

可以看出混合高斯背景建模可以很好地处理复杂背景, 提取出前景图像, 但由于破片目标带有长拖尾, 多个目标间有着不同程度的连接, 相邻破片难以区分。 对采用混合高斯背景建模方法提取到的前景图像进行邻帧差分, 如图6 所示。

图6 邻帧差分法Fig.6 Adjacent frame difference method

邻帧差分法产生的空洞可以有效分离相互连接的目标, 差分后的图像中仍有爆炸产生的诸多干扰因素。 对图像中连通域进行检测, 设置阈值, 将小面积连通域像素值赋值为0, 滤除干扰因素, 最终提取到的破片目标如图7 所示。

图7 最终提取结果Fig.7 Final extraction results

结果表明, 该方法对复杂背景有很好的适应性, 在第18帧图像中共提取出9个目标破片。 对于在不同背景下破片参数测试中采集到的图像, 使用该方法进行试验, 并与帧差法结果进行对比, 如图8 所示。

(a) 原图像

从原图像中可以看出, 此次采集到的图像视场更大, 有部分天空背景, 破片目标在图中所占像素更少, 不易和背景相区分。 采用本文方法在图像中共提取出5个破片目标, 与帧差法得到的结果相比, 本文方法可以更好地处理背景噪声问题, 取得了较好的效果。 从目标提取的结果上可以看出, 本文方法可以有效提取目标, 而帧差法提取结果有大部分虚假目标被检测到, 误检率较高。

提取到的目标中平均每个目标有103个像素大小, 破片被火球包围, 无法通过质心定位破片位置, 根据测试中破片运动形态, 选取每个目标轮廓中最靠近x轴正方向上的点作为破片的图像坐标位置。 将11帧～18帧中提取到的所有目标点在坐标系中表示, 采用基于轨迹约束的搜索算法进行同组破片搜索, 以破片1为例确定的第16帧～18帧同一目标如图9 所示。

图9 破片1在 16帧～18帧图像中同组目标点Fig.9 Points in thesame group of fragment 1 in 16～18 frames

确定图像I0～I2中破片的轨迹后, 沿该直线继续搜索下一帧图像中距离直线轨迹最近的点, 每增加一个点再次使用最小二乘法对搜索到的所有点进行直线拟合, 并更新参数, 直到在指定范围内搜索不到目标。 采用基于轨迹约束的搜索算法在图像序列间对破片1～3进行搜索, 结果如图10 所示。

(a) 破片1轨迹

将关联结果与所有目标提取结果进行叠加判别, 叠加结果如图11 所示。

图11 与目标提取结果叠加Fig.11 Overlay with target extraction results

从图10 与图11 可以看出, 搜索到同一组目标点分布均匀, 轨迹平滑且接近直线, 从叠加图可以看出算法搜索到的轨迹与实际轨迹重合, 说明搜索到同组目标点拟合的轨迹与真实轨迹相近。 试验说明, 该方法对于图像序列中同组破片关联结果可靠。

部分轨迹尾部存在拐点现象, 轨迹不平滑, 主要原因是定向破片战斗部产生的多个破片在前期聚集在一起, 伴随着强烈的火光, 存在相互遮盖且无法区分的情况, 多个破片目标被识别成一个, 影响破片目标的检测和同一目标关联。

5 速度计算

在本次测试中, 爆心距离梳状靶距离为7 m, 可根据图像坐标中爆心和梳状靶的位置计算出图像坐标中x轴方向单位像素在三维空间所表示的真实距离; 相机的拍摄帧率为8 300 fps, 相邻图像的时间间隔为1/8 300 s, 根据同一破片在相邻帧的距离和时间间隔, 可以计算出在平行于图像坐标x轴方向的破片速度, 以破片1、 破片2为例, 计算在x轴方向的速度如表2、 表3 所示。 9枚破片速度如表4 所示。

表2 破片1速度计算Tab.2 Calculation of fragment 1 speed

表3 破片2速度计算Tab.3 Calculation of fragment 2 speed

表4 x轴方向破片速度测试结果Tab.4 Fragment speed test results in x-axis direction

最终测得破片速度区间为1 327.93 m/s～1 632.62 m/s, 与梳状靶测试数据相比有一定的误差, 主要原因是由于试验中有部分破片并未到靶, 该部分破片速度无法用梳状靶测试; 其次破片被火焰包围, 无法对破片进行精确定位; 单目相机采集到的图像序列会缺失图像的深度信息, 产生了一定误差。

6 结 论

本文针对复杂背景下的破片群目标提取, 采用了混合高斯背景建模结合邻帧差分的方法, 提取出了破片目标; 提出了基于轨迹约束的破片目标搜索方法对图像序列中同一目标进行关联。 实验表明, 该方法精度高, 可以满足测试需求。 对检测到的破片目标进行速度计算, 与梳状靶测试结果相比, 误差较小, 解决了基于高速摄影的破片参数测试中破片群目标提取和图像序列中目标关联的关键问题。 与已有方法相比, 本文提出的方法鲁棒性较高, 可适用于不同环境下的破片目标提取和关联。 在今后的工作可以针对不同视场下的同一目标关联进行开展, 通过多目相机采集到的图像还原破片群的三维空间坐标, 恢复破片运动场。