视频人体下肢运动分析系统*

马辉栋，刘振宇，郭小凤

(山西农业大学 信息科学与工程学院，山西 晋中 030801)



视频人体下肢运动分析系统*

马辉栋，刘振宇，郭小凤

(山西农业大学 信息科学与工程学院，山西 晋中 030801)

摘要：针对如何高效、准确地从视频图像中提取相关特征向量，完成基于视频的人体运动分析，构建了基于视频信息的人体下肢运动系统。系统包括人体运动轮廓的提取、噪声处理和人体下肢建模及分析3个模块。人体运动轮廓提取中采用改进的光流算法，通过阈值设置改善了轮廓提取的清晰度和完整性。噪声处理模块运用单个中值滤波器与人体四周去噪算法，不仅有效解决了多中值滤波引起的人体轮廓模糊问题，同时使人体活动区域外的噪声去除率达到100%。通过系统分析，视频中人体行走的速度为0.687 m/s，髋关节垂直方向上下起伏幅度为4.71 cm，行走步态正常。

关键词：轮廓提取；人体建模；噪声处理；运动分析；视频

引用格式：马辉栋，刘振宇，郭小凤. 视频人体下肢运动分析系统[J].微型机与应用，2016,35(12)：59-61，66.

0引言

人体运动分析是人工智能[1]、生物医学工程等领域研究的重要内容。基于视频的人体运动分析系统是通过运动目标检测、跟踪、特征参量提取、人体结构姿态重建等完成运动分析的视频图像处理系统。目前，已报道的基于计算机视觉实现人体运动分析的方案有很多，但是如何高效、准确地视频图像信息中对相关特征量进行提取，完成运动分析，仍然是目前人们在不断探索的问题。

本文基于单目视频，搭建了无标识物的视频人体下肢运动分析系统。该系统包括人体运动轮廓提取、噪声处理、人体下肢建模及分析3大模块，如图1所示。

图1　视频人体下肢运动分析系统框图

1人体运动轮廓提取及噪声处理

1.1人体运动轮廓提取模

人体运动轮廓提取模块基于Simulink仿真平台，综合运用系统连接、计算机可视化系统模块库完成系统搭建，模块仿真框图如图2所示。

视频序列原图如图3所示，经图片颜色格式转换模块、光流模块、阈值模块处理后的图片序列分别如图4～图6所示。

图5显示，经过光流模块处理的图片序列基本提取出了人体轮廓，但是轮廓清晰度不高，脚部轮廓部分缺失。为此对图像进行了二值化处理，加入阈值处理模块，经过多次试验，将阈值设置为0.001。由图6可以看到，经过阈值处理的图片序列相对于图5，基本还原了脚部轮廓，而且轮廓清晰度也有所提高。

1.2噪声处理

噪声处理模块采用中值滤波和四周去噪法，处理流程如图7所示。

图2　人体运动轮廓提取模块仿真框图

图3　视频序列原图

图4　图片颜色格式转换模块结果

图5　光流模块处理结果

图6　阈值模块处理结果

图7　噪声处理流程

1.2.1中值滤波

图8　中值滤波前后人体轮廓对比

中值滤波器用于去除孤立的点、毛刺等椒盐噪声[2]。如图8中的两幅图对比，经过多次中值滤波，图片中的椒盐噪声确实有很大的改善，但是滤波后的脚步轮廓明显比处理前的模糊，这对人体建模有非常大的影响。本文在做人体下肢骨架模型时经多次试验结果对比，采用了一次7×7中值滤波处理方式。

1.2.2四周除噪

为避免中值滤波对人体轮廓二值图像的模糊作用，本文在中值滤波后，采用基于人体高度和宽度参数的四周除噪法，结果如图9所示。四周去噪的具体做法是根据人体头顶、脚底、左侧及右侧坐标划分出人体所在的矩形区域(如图9(c)所示)，将该矩形区域外的一切像素点均视为噪声，予以去除，处理结果如图9(d)所示。

图9　噪声处理效果图

四周去噪的必要条件是获取人体身高和宽度参数。如图7所示，为了有效提取人体身体参数，采用7×7、5×5、3×3中值滤波器充分去除噪声。实验中有效视频帧共55帧，对每帧提取身高及宽度，取均值得到人体身高H为425像素。

2人体运动下肢建模

人体行走时，上身部分相对于整个身体躯干可近似看做静态，下身部分的动态分析包括以髋关节、膝关节、踝关节5个关节点为中心的大腿骨、小腿骨。人体大腿骨、小腿骨长度人体身高呈线性关系[3]。

图10　髋关节定位

2.1髋关节定位

髋关节定位如图10所示。

(1)髋关节行坐标定位。根据人体骨骼模型[4]，髋关节行坐标与头顶行坐标的距离为人体身高的0.47倍，计算出髋关节行坐标。

(2)髋关节列坐标定位。为简化实验数据分析，本文实验中人体运动时假设两臂不摆动或有轻微的摆动。得到髋关节行坐标后，在髋关节所在行行扫描的到这行像素值为1的点，取两交点的中间值设为髋关节的列坐标。

2.2膝关节定位

图11　两腿分开时膝关节定位示意图

大腿长L_lap为身高H的0.245倍[4]，膝关节的运动轨迹是以髋关节为圆心，大腿长为半径的圆R1，找出轨迹圆与腿部轮廓的交点[5]，便可对膝关节定位。 膝关节定位分两种情况分别讨论。

(1)两大腿骨分开。如图11所示，圆R1与人体下身轮廓有4个交点。左侧膝关节定位为最左侧交点与相邻交点的弧线的中点；右侧膝关节定位为最右侧交点与相邻交点弧线的中点。

图12　两腿重叠时膝关节定位示意图

(2)两大腿骨有重叠。如图12所示，圆R1与人体下身轮廓有两个交点。该情况，两个膝关节定位分别为左侧交点向右0.05×H像素，右侧交点向左0.05×H像素。

图13　两腿分开时踝关节定位示意图

2.3踝关节定位

踝关节定位原理同膝关节。小腿长L_leg为人体身高H的0.246倍[5]，分别以左右两个膝关节为圆心，小腿长为半径作圆R2、R3，得到圆与小腿轮廓的交点[6]，如图13所示。因受噪声影响，交点个数可能会不同，取最右侧交点向左0.03×H处为右侧踝关节点，取最左侧交点往右0.03×H处为左侧踝关节点。

2.4下肢建模结果

本实验对53帧视频图像进行下肢建模，建模结果如图14所示，该模型以髋关节和膝关节为端点画出大腿骨，以膝关节和踝关节为端点画出小腿骨的骨架模型。

图14　下肢建模结果

3人体运动轨迹分析

建立出下肢骨架模型后，对人体行走时髋关节的运动轨迹进行分析，本实验共提取出55帧图像的下肢模型，人体正常行走3步，时间为2 s。图15分别为髋关节垂直、水平方向运动轨迹拟合结果。

图15　髋关节水平、垂直方向运动轨迹

图15(a)中，髋关节水平方向运动轨迹拟合曲线如式(1)所示：

P(t)=174.794 0t+56.932 4

(1)

由此关系式可得髋关节横向运动轨迹为一阶函数，即该视频中，人体水平方向的运动为速度为174.794 0像素/秒的匀速直线运动。

由图15(b)可以看出，人体正常行走时，髋关节垂直方向的运动轨迹基本呈周期性上下波动。髋关节垂直方向坐标最大值为373像素、最小值为361像素，髋关节垂直方向波动幅度最大值为12像素。本视频中人体身高为

425像素，167 cm。由此可得，本视频中人体行走的速度为0.687 m/s，垂直方向上下起伏幅度为4.71 cm。

人体行走时步态的生物力学研究表明，健康成年人正常步态行走时，髋关节上下起伏的幅度约为4.4 cm[7]，本实验中人体行走步态是正常的。

4结论

本文搭建了视频人体下肢运动分析系统，实现了对视频的人体运动轮廓提取、去噪处理、下肢建模，并根据建模结果进行了相关的运动分析，系统结构简单易于实现。本文提出的改进的光流算法有效提高了人体运动轮廓的完整性；四周去噪方法算法简单，易于实现，能有效去除人体四周噪声。

参考文献

[1] 丁晨阳. 智能体视觉策略在RoboCup中的设计[J]. 微型机与应用,2014,33(5):90-92,95.

[2] 张明源,王宏力,郑佳华,等.改进型中值滤波器在图像去噪中的应用[J].兵工自动化，2007，26(8):45-47

[3] 王晏. 人体下肢运动分析[D]. 大连：大连理工大学, 2005.

[4] WINTER D A. Biomechanics and motor control of human movement[M]. John Wiley & Sons, 2009.

[5] 马晓蕾. 基于视频序列的偏瘫患者步态分析[D]. 哈尔滨：哈尔滨工程大学, 2009.

[6] 陈华,史思思,胡春海. 基于特征融合的步态识别[J].无线电工程，2012，42(2):25-27.

[7] 吴剑, 李建设. 人体行走时步态的生物力学研究进展[J]. 中国运动医学杂志, 2002, 21(3): 305-307.

*基金项目：山西农业大学科技创新基金(20142-17)

中图分类号：TP391

文献标识码：A

DOI：10.19358/j.issn.1674- 7720.2016.12.019

(收稿日期：2016-02-23)

作者简介：

马辉栋(1986-)，女，硕士，助教，主要研究方向：数字信号处理、农业物联网。

刘振宇(1976-)，男，博士，副教授，硕士生导师，主要研究方向：高压脉冲电场、农业信息化。

郭小凤(1987-)，女，硕士，助教，主要研究方向：数字图像处理。

Video based human lower limb motion analysis system

Ma Huidong, Liu Zhenyu, Guo Xiaofeng

(College of Information Science and Engineering, Shanxi Agriculture University, Jinzhong 030801, China)

Abstract:Aiming at how to efficiently and accurately extract relevant feature vector from the video image to complete the analysis of human motion, a video based human lower limb motion analysis system was constructed by means of extracting body contour and modeling human lower limbs. The system includes three modules, namely human motion contour extraction, noise processing and human lower limb modeling and analysis. The human motion contour extraction module uses the improved optical flow method, which improves the clarity and completeness of the extracted contour by threshold settings. The noise processing module uses a single median filter and around de-noising. The results show that the noise process method not only effectively solves the problem of blurry outlines, caused by times of median filtering, but also makes the noise removal rate outside the area of human activity reach 100%. The analysis of the system shows that the walking speed is 0.687 m/s, vertical motion amplitude of the hip is 4.71 cm, and the gait is normal.

Key words:contour extraction; human modeling; noise processing; motion analysis; video