基于卷积神经网络的运动视频可靠性评估算法

李晓峰，邢金明

(1.黑龙江外国语学院 信息工程系，黑龙江 哈尔滨 150025；2.东北师范大学，吉林 长春 130024)

0 引 言

人体运动属于复杂且普遍的现象，日常生活中的跑步、走路以及机体呼吸，都属于人体运动的一部分。人体运动视频的巨大数据量成为其存储与传输的瓶颈，需提高人体运动视频传输的可靠性，从而改善人体运动视频的传输质量。采用图像处理技术进行人体运动视频的优化传输控制，将在人体运动学特征分析和视频特征的优化传输和通信识别中应用广泛，适用于实际的人体运动视频传输，因此众多学者对于优化传输方法关注度极高，进行了大量实验研究[1]。

对人体运动视频传输的可靠性控制建立在对人体运动视频的自适应特征提取和识别基础上，采用特征自动分类技术抑制人体运动视频传输过程中的干扰。传统方法中，对人体运动视频传输的优化方法通常采用Harris检测的可靠性传输估计方法、SIFT不变矩特征匹配以及波特间隔均衡控制方法等[2-3]，通过构建人体运动过程中的视频图像传输的特征分布检测模型，利用自适应的方法对模型进行传输控制，但传输视频的均衡性较差，自适应能力不强。

文献[4]提出一种关键帧序列优化方法，并在此基础上进行行为识别。首先考虑三维人体骨架的特点，提取人体运动视频中的关键帧节点，而后进行关键帧节所处位置优化，提取出最优数据信息。最后，利用卷积神经网络(CNN)分类器识别最优关键帧节点对行为视频的核心信息。解决了关键帧序列冗余等问题。但该方法的计算复杂度较高，对人体运动视频传输的自动均衡性不好。

文献[5]提出一种基于人体姿态的时空特征的行为识别方法。首先在获取视频中各帧图像的人体关节位置的基础上，提取关节信息描述姿态变化，利用Fisher向量模型对不同类型的特征描述子分别进行编码，得到固定维度的Fisher向量，最后对不同类型的Fisher向量加权融合后进行分类。该方法能够有效地识别视频中的人体复杂动作行为，提高行为识别率。但该方法的自动均衡配置能力不足，在视频传输过程中的抗打击干扰性能明显低下，效果较差。

文献[6]为了解决场景识别方法在室内环境的限制下准确率较低的问题，提出了基于显著性检测的稀疏识别方法，通过显著性区域计算方法计算场景中的图像与人眼感兴趣的作用区域的匹配度，用稀疏程度表示场景相关系数，提高了识别计算的准确率，但是此算法的图像匹配度计算过程复杂且匹配度不稳定。

文献[7]分析了人体步态识别中所存在的算法单一、效率低的问题，并提出了一种以多尺度熵和动态时间规整为基础的人体步态身份识别方法。首先利用软件采集人体的步行相关数据，例如加速度，步长等采用DTW算法匹配尺度特征，结果表明其错误率低，算法相对准确，有一定的创新之处但相关数据获取困难，所采用软件也没有具体说明。

文献[8]针对传播信号干扰源增多，降低信号识别准确率的问题，提出了基于PCA和小波变换法的分析传播信号特征提取技术并构建了对应模型。首先对不同的信号样本进行构建贴近度的验证，并根据得到的评价指标划分不同样本的不同贴近度区域，利用区域所得差值识别无线信号，具有较高的准确性和实用性，但是利用这种算法无法优化图像画质,且没有给出信号样本获取途径。

根据上述存在的一系列问题，提出一种基于卷积神经网络的人体运动视频传输可靠性评估算法。采用图像采样技术采集人体运动视频的图像，结合边缘模块特征匹配技术构建人体运动视频的块匹配结构模型，构建人体运动视频的信道传输模型，采用视频特征提取和自动降噪方法分离人体运动视频传输过程中的干扰抑制和多径特征，实现人体运动视频传输可靠性估计和特征识别，采用卷积神经网络算法进行人体运动视频传输的自适应分类识别。最后进行实验分析。

1 视频图像特征和干扰抑制分析

1.1 人体运动视频的图像特征采样

采用图像采样技术采集人体运动视频的图像，结合边缘模块特征匹配技术构建人体运动视频的分块检测模型，由三维空间视频旋转尺度获取视频离散度，实现对人体运动视频的特征辨识和图像采样。

利用SURF算法对人体运动视频的曲线特点沿变化趋势进行W倍扩展，若前I个人体运动视频特征在人体运动视频的边缘分布区域D内，均衡调度人体运动视频传输动态负载，得到人体运动视频传输的分形结构方程为：

(1)

计算人体运动视频传输过程中的Haar角点，采用分块像素特征匹配方法，均衡设计人体运动视频传输过程中的空间[9]，采用统计分析方法重构人体运动视频传输过程中的区域，建立人体运动视频传输的信道自动均衡配置模型，得到视频特征分布的模糊集表示为：

Φ(ω)=E[ejωX]=

(2)

(3)

其中，r为几何特征值的实际数值，p、m分别为求和特征的阈值。

以离线处理的方式在高相似度的参考序列帧内提取具有显著性信息的关键区域，得到人体运动视频传输的二值化特征信息分布为：

(4)

Wψy(a,b)==

(5)

其中，ψ为集合离散度值。

在上述人体运动视频传输的二值化特征信息分布和视频图像的分块检测模型的基础上，利用人体运动视频在三维空间的变化趋势，得到人体运动视频的集合离散度求值公式，如下所示：

(6)

其中，U(a,b)是样本区域重构模型，设a=1/s，b=τ，将上式重写为：

(7)

实现对人体运动视频的特征辨识和图像采样[10-12]，根据图像采样结果进行视频传输过程中的信道均衡配置。

1.2 人体运动视频的干扰抑制

采用Harris角点检测方法定位人体运动视频的分块区域，在人体运动视频的分块区域内检测人体运动视频的形体轮廓区域[13]，对人体运动视频进行抑制控制，得到弹性状态下的信息取值模板为：

(8)

在人体运动视频的传输信道中，得到信道的能量分布函数统计值为：

(9)

(10)

分析人体运动视频传输局部信息熵的空间分布信息，将其作为指数引入可靠性评估均衡博弈模型，实现人体运动视频的干扰抑制[14]。

2 人体运动视频传输可靠性评估算法

在上述采用图像采样技术进行人体运动视频的图像采样，抑制人体运动视频干扰的基础上[15]，优化设计人体运动视频传输可靠性评估算法。

采用视频特征提取和自动降噪方法进行人体运动视频传输过程中的多径特征分离，提取人体运动视频的几何特征量并进行分块融合处理，根据不同特征的相似性进行人体运动视频规划和空间信道传输控制，以至少2倍的奈奎斯特速率，采集输入人体运动视频信号，并对超出奈奎斯特频率以外的频率为f=N/MT的接收信号频谱进行均衡处理，构建人体运动视频的生成序列为：

(11)

其中，w表示人体运动视频特征采样点，采用级联滤波方法进行运动视频传输的信道识别。假设任何一组人体运动视频的几何特征量为g={g(i),i∈Ω}，取未知样本的k个近邻，根据人体运动视频的信号峰值进行干扰滤波[16]，得到人体运动视频的滤波输出结果为：

(12)

考虑人体视频输出结果的稳定性，计算参量控制下的特征值，控制传输的空间负载性能，提取人体运动视频信道特征量，采用人体运动视频的特征优化分离方法，实现可靠性传输的信道调制解调处理[17-18]。得到输入输出过程描述为：

输出：人体运动视频传输的特征模拟分散情况集为γ。

求得视频特征分布结构详细操作过程如下所示：

(1)计算所有样本人体运动视频特征分布向量集ν(t)=y-Dγ(t)。

(2)构建卷积神经网络分类器，采用波特间隔均衡方法进行人体运动视频可靠性传输信道均衡配置，得到神经网络分类器的加权值为：

(13)

(6)如果不满足收敛条件，令t=t+1。转回到步骤(1)，直到满足全局收敛。

(7)结束。

采用卷积神经网络进行人体运动视频传输的可靠性控制。在神经网络的隐含层引入人体运动视频的几何特征自适应调节向量X(x1，x2，…，xn)，从左向右和从右向左搜索，采用卷积神经网络分类器进行传输过程控制，得到输出层的视频特征分布信息为：

(14)

上式分别表示所有样本人体运动视频中的第j个特征分布的色差和梯度像素差，构建人体运动视频传输的扩频序列分布式调节模型，人体运动视频传输的最优解分布，完成人体运动视频传输可靠性控制[19-20]，基于卷积神经网络分类的输入输出迭代方程为：

(15)

在式(15)的基础上，若卷积神经网络对人体运动视频分类的学习步长设为η，经过n步训练和学习后，得到人体运动视频传输的可靠性评估的学习系数为：

(16)

其中，∂为神经网络分类器的系数。

综上分析，实现了人体运动视频传输可靠性估计。

3 实验结果与分析

通过实验来验证该方法在实现人体运动视频传输中的可靠性能与准确性能。在度量网站(https://www.nokov.com/case-studies/)的运动康复案例板块中进行人体运动视频采样，具体实验环境如表1所示。

表1 实验环境数据

表2为在度量网站采集的人体运动视频采样样本及参数。

表2 人体运动视频采样样本及参数

3.1 实验指标

文中选取以下指标进行实验测试分析：

(1)清晰度：在图像采样和特征辨识后应得到整体图像，清晰度是反映图片质量的基础指标，每个图像单位尺寸拥有的像素点越多，清晰度就越高，利用人眼的“视觉锐度”对测试出的结果进行清晰度对比分析。

(2)传输时间：相同数据传输量情况下的不同方法所用的不同传输时间可准确反映传输效率的高低，传输效率是概括视频传输可靠性的重要指标之一，为了更好地匹配人体运动视频传输的可靠性能与准确性能，需要对视频传输的工作量与传输时间的关系进行验证。

(3)误码率：视频传输数据会存在数据有损、传输信道的噪声干扰、数位不同步等问题，影响数据传输精确性，而误码率表示规定时间内衡量数据传输正确性的指标，误码率越小则表明传输数据的效率越高，性能越好。

3.2 实验结果

(1)清晰度测试。

根据上述参数设定，进行人体运动视频传输的可靠性分析，将参数代入人体运动视频的信道传输模型，采用视频特征提取和自动降噪方法进行人体运动视频传输过程中的干扰抑制和多径特征分离。在发送速率一致时，对相同的视频进行测试，对比文中方法与文献[4-6]的视频清晰度，不同方法视频图像质量对比如图1所示。

图1 不同方法视频图像质量对比

由图1可见，文献[4]方法的清晰度较好，但是仍有模糊状况；文献[5]方法的清晰度较低，色彩对比不明显；文献[6]方法的图像边缘模糊度较高，匹配度不稳定，而经过文中方法处理的基本没有马赛克，色彩对比鲜明，抗干扰能力与自动均衡性强。

(2)传输时间测试。

将文中方法与文献[4-6]对比，传输同一个取自采样样本的样本视频时得出以下结论，对比如图2所示。

由图2可知，文献[4]方法和文献[6]方法的工作量与传输时间关系曲线大致吻合，皆在工作量为25 fps时出现大的波动且随着工作量的增加，所用时间较多；文献[5]的关系曲线在工作量10 fps～50 fps的范围内全程波动较大，在50 fps时达到最高点，所用时间最多；而文中方法的关系曲线随着工作量的增加所用传输时间稳步上升，且在以上三种方法的较高波动点20 fps时产生最小传输时间，最大程度地节约了传输时间，提高了传输效率。

图2 视频传输的工作量与传输时间的关系对比

(3)误码率测试。

采用不同方法对人体运动视频传输造成的误码率情况进行对比，将文献[4-6]与文中方法进行对比，结果如图3所示。

图3 误码率对比结果

由图3可知，文中选用的方法在进行人体运动视频传输的误码率较低。主要原因在于文中方法采用卷积神经网络算法进行人体运动视频传输的自适应分类识别，提取人体运动视频的空间边缘像素点分布标，在神经网络的隐含层引入人体运动视频的几何特征自适应调节向量，提高了视频传输质量。

4 结束语

文中提出一种基于卷积神经网络的人体运动视频传输可靠性评估算法，进行人体运动视频传输过程中的空间均衡设计，采用统计分析方法重构人体运动视频传输过程中的区域，对信道中的多径干扰特征量采用自相关匹配滤波方法进行干扰抑制，采用卷积神经网络进行人体运动视频传输的可靠性控制，进行人体运动视频传输的自适应分类识别，实现人体运动视频传输可靠性估计。研究得知，该方法进行人体运动视频传输的可靠性较好，传输速度较快，误码率较低。但该方法对最优关键帧节点对行为视频的核心信息的识别尚未验证，因此还需要进行更深层次的研究，以期增强体运动视频传输可靠性，为以后人体运动视频识别的发展提供学术依据。