基于三帧差法的人体水中运动轨迹跟踪系统设计

林晓菊

摘  要： 为了解决传统的人体运动轨迹跟踪系统在进行水下跟踪时模型三维重建时间长，得到的跟踪轨迹与人体实际运动轨迹不符的问题，基于三帧差法设计一种新的人体运动轨迹跟踪系统。该系统针对水下环境进行深入研究，在硬件架构中设立了初始化层、运动检测层和人体跟踪层，并构建三维人体模型、运动特征提取模块和运动特征分割模块，以此确定人体的边界特征、灰度特征、轮廓特征和肤色特征。引用三帧差法设立系统软件流程，共分为图像检测、差分图像获得、阈值处理、连通性分析、图像判别五步。为检测跟踪系统效果，与传统跟踪系统进行实验对比，结果表明，基于三帧差法设计的人体水下运动轨迹跟踪系统可以在短时间内构建出三维模型，绘制的跟踪轨迹与实际运行轨迹相似度高于传统跟踪系统。

关键词： 水下跟踪系统; 图像检测; 差分图像获得; 图像判别; 人体运动轨迹; 运动轨迹跟踪

中图分类号： TN02?34; TP391.4                     文献标识码： A                   文章编号： 1004?373X（2019）13?0051?05

Design of human body underwater motion trajectory tracking system

based on three?frame difference method

LIN Xiaoju

（Guizhou Institute of Technology， Guiyang 550000， China）

Abstract： The traditional human motion trajectory tracking system used for underwater tracking has long 3D model reconstruction time， and the obtained tracking trajectory cant match the actual motion trajectory of the human body. A new human motion trajectory tracking system is designed on the basis of three?frame difference method. The system is deeply researched according to the underwater environment. The initialization layer， motion detection layer and human tracking layer are set up in hardware architecture. The three?dimensional human body model， motion feature extraction module and motion feature segmentation module are constructed to determine the boundary features， grayscale features， contour features and skin color features of the human body. The system software flow is set up by three?frame difference method， which is divided into the steps of image detection， differential image acquisition， threshold processing， connectivity analysis and image discrimination. In order to detect the effect of the tracking system， the proposed tracking system is compared with traditional tracking systems by means of experiment. The results show that the human underwater motion trajectory tracking system based on three?frame difference method can construct a three?dimensional model in a short time， and the similarity of the drawn tracking trajectory and actual running trajectory is higher than that of traditional tracking systems.

Keywords： underwater tracking system; image detection; differential image acquisition; image discrimination; human motion trajectory; motion trajectory tracking

0  引  言

近年来，人体运动轨迹成为重点研究对象，在智能监控、体育运动分析、动画设计等领域都有着重要应用[1]。人体运动轨迹跟踪是一个复杂的问题，而水下跟踪更加复杂，目前比较有效的水下跟踪系统是利用特殊光学标记的跟踪系统，该系统可以根据人体在水下反应的光线进行跟踪[2]。然而这种方法造价昂贵，需要使用大量昂贵设备，操作过于繁琐，很难从真正意义上推广使用[3]。

作为两帧差法的改进算法，三帧差法能够连续截取三帧视频进行差分运算，在消除运动背景之后，精确地提取出运动目标的轮廓信息[4]。三帧差算法会先计算出相邻两帧的差分图像，在差分图像中选取合适的阈值，通过二值化处理得到二值化图像。每一个像素点得到的二值图像利用逻辑运算寻找出共同部分，从而确定运动目标的轮廓信息[5]。

综上所述，本文基于三帧差法设计了一种新的人体运动轨迹跟踪系统，同时使用人机交互技术和智能监控技术，能够识别大量基础工作，并且对人的行为进行自动监视和追踪[6]。本文设计的运动轨迹跟踪系统在传统系统上进行了加强，对硬件和软件进行优化设计，加入了多种姿态参数，能够综合分析系统提炼的跟踪数据，引进三维人体模型，使跟踪工作变得更加简单，提高定位的精准性。多个摄像机同时在水下拍摄视频，拍摄结果统一输入到中心系统中，借助计算机视觉技术提取有效的运动参数和结构信息，从而得到更加可靠的运动模型。本文设计的跟踪系统不需要引入过于复杂的设备，只需要使用普通的摄像机就可以完成跟踪任务，防水处理使它即使面对复杂的水下环境也可以完成跟踪。

1  人体水中运动轨迹跟踪系统硬件设计

本文基于三帧差法设计的人体水中运动轨迹跟踪系统在硬件中引入了人体三维重建模型，通过重建技术反映人体在水下的运动状况，三维重建精度高，跟踪准确性强。

1.1  人体水中运动轨迹跟踪系统硬件总结构设计

本文设计的人体水中运动轨迹跟踪系统硬件共有三层，分别为初始化层、运动检测层和人体跟踪层，每层负责的工作不同。初始化层负责将摄像机定位，并将所有视频数据初始化处理;运动检测层能够提取运动特征参数，监测运动区域;人体跟踪层内部设立追踪模型和滤波框架，以二维方式和三维方式输出跟踪结果[7]。

系统硬件选用的处理器为PIV处理器，工作频率为2.4 GHz，处理一帧图像的时间大约为2 min，拍摄所用的PC机为DDR PC机，存储内存高达256 MB。由于在跟踪过程中会产生一定的误差，所以设立了优化跟踪框架，使得到的轮廓特征和边界特征参数都可以在优化特征框架中进行优化处理，确保跟踪系统的工作性能[8]。由于水下场景背景复杂，提取边界特征十分困难，所以引入肤色约束特征，利用多摄像机完成跟踪工作，使跟踪系统在计算机中重建的结果与人在水下的真实运动轨迹相符。

基于三帧差法设计的人体水中运动轨迹跟踪系统硬件总体结构如图1所示。

分析图1可知，初始化层内部拥有一个多关节描述的人体模型，该模型能够精准地模仿人体在水下肢体的真实行动，并且能够对摄像机采集到的视频数据进行标定，计算不同视角反射出来的投影矩阵[9]。

运动检测层能够将运动区域的前景和背景分割出来，区分检测，提取图像底层特征，使运动特征和运动模型呈现对应关系，运动检测模块会特别区分肤色区域，将肤色区域作为重点跟踪对象。

图1  人体水中运动轨迹跟踪系统硬件总体结构

人体跟踪层内部设有多个图像坐标系，可以根据视角不同建立不同的模型图像，优化粒子滤波框架会自动求解人体运动姿态，输出结果分为二维图形和三维模型两种[10]。

针对系统硬件中的主要功能模块进行研究。

1.2  三维人体模型设计

为了能够更好地使用提取出来的参数，建立三维人体模型，模型分为两部分：第一部分能够表示运动学特性，被称为骨架结构;第二部分能够表示人体运动的外观特性，被称为身体外观。骨架结构的各个关节之间存在不同的连接关系，本文引用解剖学理念在骨架关节上设立节点，通过改变节点的平移向量和旋转向量来改变骨架结构的运动方式。骨架结构内部设立24个自由度，调整参数可改变关节中的自由度。

图2  人体骨架结构

在研究出骨架结構后，便可以定义附加在骨架结构上的外观模型，外观模型用来描述人体外形，为更加贴近人体形态，要利用多个投影得来的图像，通过不同形状反映人体器官。本文设立的人体外观模型如图3所示。

图3  人体外观模型

1.3  运动特征提取模块设计

本文利用摄影机来定位运动特征，摄像机和摄像机之间的距离比较远，所以不能直接使用标定板得到外部参数。因此，本文在传统系统的基础上进行改进，以标定的方法提取运动特征，在保证精度的同时提高提取速度[11]。标定模块拥有4个定标圆盘，通过这4个圆盘确定出一个统一的坐标系，为方便标定，圆盘处于同一平面，所有的摄影机都要提供相同的参数。4个圆盘的摆放方式为顺时针摆放，摆放图形为四边形[ABCD]，将圆盘A和圆盘B连接，并设立线段[AB]所在的射线为[x]轴，沿着[x]轴旋转90°得到的射线为[y]轴，垂直于[x]轴平面并指向地面的轴为[z]轴。沿着[xy]轴摄像机圆盘的摆放方式如图4所示。

图4  [xy]轴摄像机圆盘摆放方式

1.4  运动特征分割模块设计

利用三帧差法提取出来的视频图像为像素点集合，如果直接与三维模型进行匹配，则难以匹配成功，所以提取的运动特征要与人体模型建立对应关系。使用切割法和图像融合法将人体从图像中分割出来，并将外轮廓和边界提取出来，分析灰度值，判断梯度和不同的颜色特征，结合研究使分割结果更加可靠[12]。此外，加入图像切割器，使系统在不影响整体分割结果的前提下对错误的像素点进行修正，降低噪声，确保工作过程的稳定性。

分割的主要特征有图像的灰度特征、图像的边界特征、图像的外轮廓特征以及图像的肤色特征。提取的图像特征如图5所示。

图5  提取的图像特征

灰度特征是可以直接作为匹配的重要特征值，每一个三维模型都会对应一个灰度特征模板。边界特征通过视频投影得到，分析人体在水下各段肢体的边界从而得到边界特征。外轮廓特征的提取可以帮助跟踪系统不受到图像纹理和颜色的干扰，鲁棒性更强。肤色特征作为约束特征，可以降低跟踪系统在水下跟踪的工作难度。

2  人体水中运动轨迹跟踪系统软件设计

在设计出硬件结构之后，对软件进行设计。由于水下采集的视频序列具有连续性的特点，所以本文引用的计算方法为三帧差法，该算法能够在相邻两帧图像中建立灰度差，通过分析灰度差之间的绝对值是否超过阈值，判断运动目标，从而得到更加精准的跟踪结果。对于运动较快的物体，三帧差法尤其适用[13]。基于三帧差法的人体水中运动轨迹跟踪系统软件流程图如图6所示。

图6  三帧差法跟踪系统软件流程图

计算时，需要格外注意阈值[T]的选择，如果阈值数值选择过小，那么将会难以抑制图像中的噪声干扰;如果阈值数值选择过大，部分目标信息可能会被掩盖。当场景光线发生改变时，阈值[T]的数值也有可能发生改变。

3  实验结果对比与分析

3.1  实验目的

为了检测本文研究的基于三帧差法的人体水中运动轨迹跟踪系统的实际效果，与传统跟踪预测系统进行对比。

3.2  实验参数设置

设置实验参数如表1所示。

3.3  实验结果与分析

根据上述参数进行实验，选用本文研究的基于三帧差法的人体水中运动轨迹跟踪系统和传统跟踪系统，对同一个人在水中的运动轨迹进行跟踪，记录跟踪轨迹的三维重建时间以及重建的跟踪轨迹，根据得到的结果对两种系统的性能进行具体分析。

得到的实验结果如下所示：

1） 模型三維重建时间结果对比

分析表2可知，根据水下环境的复杂程度，本文分为五个等级，等级A代表水下环境最为良好，跟踪起来也相对简单，等级E代表水下环境最为复杂，跟踪起来相对困难。随着水下环境复杂度的增加，跟踪系统构建三维模型的时间也在不断增加，但是本文跟踪系统花费时间远远小于传统系统花费时间。

表1  实验参数表

表2  重建时间实验对比结果

2） 人体运动轨迹跟踪结果对比

图7  人体运动轨迹跟踪结果

观察图7可知，在相同的跟踪时间内，本文预测系统得到的运动轨迹与实际运动轨迹十分相符，出现多个重合点，而传统预测系统得到的运动轨迹与实际运动轨迹相差很大。由此可见，本文设计的预测系统构建模型时间更短，预测结果准确性更高，更适合在水下环境预测人体运动轨迹。

4  结  语

本文针对水下环境进行重点研究，利用三帧差法设计并实现了一种适应于水下的人体运动轨迹跟踪系统，系统内部设计了多个摄像机，能够精准全面地提取水下人体的运动特征。引用三帧差法之后，系统的鲁棒性得以增强。通过传统系统和本文设计的系统在水下的跟踪实验对比结果可知，基于三帧差法设立的系统能够较为精准地跟踪到人体在水中的运动轨迹，并且在短时间内进行三维重建，针对错误参数进行自主恢复，在水下运动分析以及动画制作等领域都有着广阔的发展前景。