运动目标检测在单兵作战中的应用

张芝贤，张 凯

(沈阳航空航天大学 电子信息工程学院，辽宁 沈阳 110136)

0 引言

军事界普遍认为未来战争的主导作战应当是信息战，如何在现代军事对抗中保持优势，是目前每个国家普遍关注和研究的热点问题。新型数字化单兵作战系统集数字化、智能化和网络化于一体，使战场的信息传递和处理达到一种“实时化”的程度。单兵作战系统包含单兵防护子系统、单兵武器子系统、计算机无线电子系统、软件子系统和综合头盔子系统，是利用高科技和先进技术加强步兵战斗力、机动性和防护性的整体系统。

当单兵执行潜伏侦查和狙击任务时，要时刻注意周围环境异动，在长时间高度紧张的情况下，难免会疲劳和松懈。利用智能化的电子设备对周围环境异动进行侦测与提醒，将极大地保障作战人员生命安全，能够促使单兵及时对危险做出应对。为此设计了检测运动目标区域和位置信息系统模块，该模块可以集成在单兵作战系统中，以便将获取到的运动目标信息反馈给单兵和指挥中心。该系统有助于完善单兵作战通信系统，全面提高单兵在作战中的生存和防护能力，通过数字化的手段使士兵和电子设备之间构成有机整体，为提高我军实力打下坚实的基础。

1 系统总体设计和工作流程

系统硬件部分包含：9×6的棋盘标定板，方块大小为32 mm×32 mm；两台大恒水星MER-130-30Ux(-L)系列的USB接口数字摄像机，具有高分辨率、高精度、高清晰度和低噪声的特点。软件部分是在Visual Studio 2013软件集成开发环境上进行设计的，主要包含4大模块：数字图像采集和预处理模块、摄像机立体标定模块、立体匹配模块和运动目标检测模块。软件系统工作流程如图1所示。

图1 软件系统工作流程

1.1 双目立体视觉测量

双目立体视觉测量是计算机视觉的一个重要组成部分，是一种基于视差原理的非接触性测量技术。在双目立体视觉测量系统中，摄像机标定和立体匹配技术是关键技术，直接影响着测量系统的精度[1]。其中，摄像机标定是通过数学方式来矫正因使用透镜而给针孔摄像机几何模型带来的主要偏差，是与真实三维世界测量的联系桥梁。张正友平面标定法[2-3]是求解相机的内外参数经常使用的一种标定方法，鲁棒性和精确度都很高。立体匹配技术[4]大致分为基于特征的匹配和基于区域的匹配。目前区域立体匹配算法中最常用的是块匹配算法，其基本思想是在一定的区域内，对每一个像素计算匹配代价，然后计算出局部最优解，从而得到匹配点。本文采用的SGBM(Semi-Global Block Matching)是一种快速有效的半全局块匹配立体算法[5]。

在实际过程中，双目立体视觉测量步骤总结如下：

(1)利用数学方法消除径向和切向方向上的镜头畸变；

(2)调整摄像机的角度和距离，输出行对准的校正图像；

(3)查找左右摄像机视场中的相同特征，输出视差图；

(4)将视差图通过三角测量的方法转化为景深，输出深度图。

1.1.1摄像机立体标定模块

摄像机标定是为获取摄像机内参数矩阵和畸变参数。立体标定过程是计算空间上两台摄像机几何关系的过程，依赖于查找两台摄像机之间的旋转矩阵和平移向量。立体校正的目的则是对两台摄像机的图像平面进行重投影，使得它们精确落在同一个平面上，而且图像的行完全对准到前向平行的结构上。

摄像机的内参数矩阵是3×3的矩阵：

(1)

其中，焦距fx和fy实际上是透镜的物理焦距长度与成像传感器每个单元尺寸的乘积。主点cx和cy则是对光轴而言可能的偏移。

透镜畸变的径向畸变来自于透镜形状，而横向畸变来自于整个摄像机的组装过程。畸变模型表示为：

(2)

其中，k1和k2为径向畸变参数，p1和p2为切向畸变参数，pcorrected(xcorrected,ycorrected)是校正后的图像坐标，p(x,y)则是畸变点的原始位置。

物理空间中两个摄像机相关的旋转和平移信息如图2所示，包括左右摄像机的投影中心Ol和Or以及相应的投影平面πl和πr，左右摄像机之间的旋转矩阵R和平移向量T。

图2 两台相机在全局坐标系的相对位置

1.1.2立体匹配模块

图3 三角测量

进一步假设空间中的点P在左右相机的成像点为pl和pr，对应的横坐标为xl和xr，则视差的定义为d=xl-xr,利用相似三角形可推出深度值Z为：

(3)

根据对极几何学，在左相机图像所有位置的点，右相机图像的匹配点只可能位于对应点所在的极线上。由于极线约束的存在，立体匹配从匹配特征的二维搜索变成了沿着极线的一维搜索。SGBM立体匹配算法利用SAD(the Sum of Absolute Difference)的窗口沿着极线来寻找匹配点。

1.2 运动目标检测

背景差分法是运动目标检测最常用的工具之一。它主要分为两类，一是基于参数的背景模型，二是基于样本的背景模型。ViBe[6-7]算法是一种基于样本集的背景差分算法。在ViBe背景模型中，首次将随机选择策略和相邻像素信息用于样本背景建模和更新中，使样本的生命期更加符合实际分布规律。该算法不仅提高了运动目标检测精度，而且节省了计算机硬件资源，是一种能适应复杂背景的通用运动目标检测算法[8]。

1.2.1模型初始化

ViBe背景模型初始化只需要第一帧图像。由于不可能包含像素点的时空信息分布，因此该模型利用相近像素点的空间分布特性，即对于图像中任意一个像素点随机选择其邻居的像素点作为样本集中的样本，如图4所示。

图4 ViBe背景模型

其中，Vx是第一帧图像中任意一点的像素值；V1，V2，…，VN则是样本集的采样点，N为样本集中样本个数；SR(vx)为以R为半径的球形区域；(C1,C2)是二维欧式色彩空间。

通过计算像素点到采样点的欧氏距离和半径R的差值与给定的阈值#min进行比较，若大于给定的阈值，则该像素点被判断为背景，否则为前景。

1.2.2背景模型的更新

为使背景模型适应光照变化和场景变化，则需采用背景模型更新策略。具体方法为保守的更新策略、前景点计数更新策略和随机的子采样更新策略结合使用。即每一个背景点有1/φ的概率更新自己的背景模型样本值，也有1/φ的概率更新其相邻点的背景模型样本值，若前景点计数达到阈值时，同样有1/φ的概率将该像素点由背景点更换为前景点。

2 实验设计

首先调整好摄像机的曝光、增益和焦距，对图像进行预处理，使外界噪声降到最低。标定时，物理世界中的相机设备应保持理想的几何状态，即标准立体试验台。但实际往往达不到严格前向平行，最好尽量将左右相机镜头放置为前向水平对准，这样可以更加容易地通过数学方法消除畸变和校正图像。利用不同视角的棋盘格对摄像机进行标定，再经过软件系统处理后，得到左右摄像机内参和畸变，如表1所示。

表1 摄像机标定参数

根据左右相机的相对位置关系，旋转矩阵和平移向量分别如式(4)和式(5)所示：

(4)

T=(-91.759 5, -1.753 6, 5.669 2)

(5)

经过立体校正后，畸变被纠正，图像中的扫描行也被对准。立体校正前后图像对比如图5～图8。

图5 左相机校正前

图6 右相机校正前

图7 左相机校正后

图8 右相机校正后

此时，就可以利用SGBM立体匹配算法获得三维坐标和深度映射：

(6)

(7)

运动目标检测实验中，实时采集的是分辨率为640×512的数字图像，其中左侧相机主要是用来检测运动目标，而右侧相机是辅助获取目标位置。首先将已标定好的参数读入软件中，设置好相应匹配参数，在等待将近10帧图像消除Ghost区域后，开始执行检测工作。程序中设置的ViBe算法相关参数为圆形区域半径R=20，每个像素点样本集中的样本个数N=20，阈值#min=2，模型更新概率为1/φ=1/16。图9～图12和表2为在有效的视场区域内运动目标检测的实验结果。

图9 第13帧

图10 第58帧

图11 第67帧

图12 第84帧

表2 运动目标位置信息

3 结论

本文结合双目立体视觉测量技术和ViBe算法设计了检测运动目标区域和位置信息系统，并介绍了其主要的工作模块和处理流程。仿真结果表明，该系统能够准确地检测到运动目标区域和位置，为以后将其应用到单兵作战系统中起到了关键作用。

[1] 王建华, 冯帆，梁伟，等.双目立体视觉测量系统的设计与实现[J]. 舰船电子工程,2012,32(4): 107-109.

[2] Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[3] 刘艳，李腾飞. 对张正友相机标定法的改进研究[J]. 光学技术,2014,40(6): 565-570.

[4] 耿英楠. 立体匹配技术的研究[D]. 长春：吉林大学,2014.

[5] 陈宏洋. 双目视觉深度信息提取及其关键算法究[D]. 成都：电子科技大学,2016.

[6] BARNICH O, VAN D M. ViBe: a universal background subtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing, 2011, 20(6): 1709-1724.

[7] BARNICH O, VAN D M. ViBe: a powerful random technique to estimate the background in video sequences[C]//IEEE International Conference on Acoustics, Speech and Signal Process, 2009: 945-948.

[8] 尹凯，魏江，李正，等.改进的Vibe运动目标检测算法[J]. 电子设计工程,2014,22(16): 178-180.