基于Kinect体感交互技术的上肢关节活动度测量方法

2014-08-11王君泽

中国生物医学工程学报 2014年1期

关键词：受测者活动度上肢

瞿畅丁晨王君泽* 高瞻

1(南通大学机械工程学院，南通 226019)2(南通大学计算机科学与技术学院，南通 226019)

基于Kinect体感交互技术的上肢关节活动度测量方法

瞿畅1丁晨1王君泽1*高瞻2

1(南通大学机械工程学院，南通 226019)2(南通大学计算机科学与技术学院，南通 226019)

体感交互技术；Kinect；人体上肢；关节活动度；测量方法

引言

在康复医学中，为了确定有无关节活动障碍及障碍程度，为给选择治疗方法提供参考，需要进行关节活动度(range of motion，ROM)评定。关节活动度评定，是指运用一定的工具测量特定体位下关节的最大活动范围，从而对关节的功能做出判断。关节活动度测量是进行关节活动度评定的重要手段。

传统的测量方法是采用通用量角器、方盘量角器以及电子量角器等测量工具进行测量。用传统测量工具进行关节活动度测量必须严格操作，专业性要求高。且量角器活动臂、固定臂和旋转中心放置位置的准确性，因肢体软组织的形态变化而受到不同程度的影响[1]。胡等利用数码照相机拍摄关节活动姿态，直接在图像上度量出关节活动角度[2]。由于数码相机的存储卡容量有限，在拍摄一定数量的照片后需要取出存储卡将数据传输到计算机，在测量的实时性与便捷性上存在一定问题。张等分别基于三维摄像测量系统[3]和电磁跟踪系统[4-5]进行人体上肢运动测量。王等基于激光CCD利用激光三角法原理测量关节活动度[6]。无论是三维摄像测量系统、电磁跟踪系统或是激光CCD系统，都需要在软硬件上进行较大的投入。Antonio等通过使用便携式传感器(如加速度传感器，陀螺测试仪以及磁力仪)与Kinect传感器对人体关节运动角度进行测量，探讨了各类传感器在人体测量中的差异，初步验证了Kinect用于人体关节角度测量的可行性[7]。

本研究提出了一种基于Kinect的上肢活动度测量方法。该方法无需使用其他设备，只需通过Kinect传感器对人体上肢各关节进行位置捕捉，实时记录关节节点数据并传至计算机，通过研究运动平面检测等相关算法，计算出相应关节的活动度并反馈测量结果，从而自动完成测量。

1 原理与方法

1.1测量原理

Kinect体感设备共有3个摄像头(见图1)，中间是RGB彩色摄像头，左右两边分别为红外线发射器和红外线CMOS摄像头。Kinect搭配了追焦技术，底座马达会随着对焦物体的移动而转动。Kinect内置麦克风阵列，用于语音识别。Kinect主要有3个功能：3 D影像侦测、人体骨架追踪以及音频处理。Kinect对用户进行动态捕捉和语音输入，通过影像和语音辨识，转换到骨架追踪系统，与应用程序进行交互，从而完成整个系统的工作目标。

图1 Kinect传感器Fig.1 Kinect Sensor

测量时，Kinect传感器利用红外线发射器发出的连续光照射在用户的被测量处，通过红外线CMOS摄像头记录测量空间的每一个散斑，结合这些散斑数据，对测量空间进行编码。如图2所示，Kinect传感器中的感应器读取编码的光线，由Kinect传感器中的芯片运算进行解码，生成所需的上肢关节的彩色图像数据、骨架数据和深度图像数据。Kinect传感器把获取的上肢关节彩色图像数据、骨架数据以及深度图像数据，通过USB接口传递给计算机的自然用户界面(natural user interface，NUI)，数据库中的应用程序编程接口(application program interface，API)，程序通过此接口获取这些数据，并进行判定和计算，及时反馈出上肢关节活动度信息。

图2 测量原理Fig.2 Principle of measurement

1.2测量方法

肩部与肘部关节活动度测量，包含了肩关节屈曲/伸展、肩关节内收/外展以及肘关节屈曲/伸展等科目。Kinect传感器可以捕捉肩关节和肘关节的节点数据，调用NUI的API函数可以获取手臂骨架数据，由此可以进行肩、肘部关节活动度的测量。在每个科目中，用户根据提示确定测量的初始体位，执行上肢运动。当执行动作与测量要求不符时，系统报错并对用户进行动作纠正，帮助用户更好地完成科目测量。

1.2.1关节角度测量与计算

利用Kinect for Windows SDK中NUI的API函数可获取骨架节点数据，得到上肢各关节的空间坐标点。如图3所示，Pm和Pn是相邻关节的节点，坐标分别为(X(Pm)，Y(Pm)，Z(Pm))和(X(Pn)，Y(Pn)，Z(Pn))。连接点Pm、Pn的矢量A在X、Y和Z方向的分量为AX、AY和AZ。

图3 关节点空间矢量图Fig.3 Space Vector Diagram of Joints

测量时，患者的体位一般是正对、侧对或背对Kinect传感器，而活动度通常是计算上肢所测关节部位与人体冠状面(与XOY面平行)、矢状面(与YOZ面平行)或轴向面(与XOZ面平行)的夹角。根据空间几何关系，可以分别求解出A与XOY、YOZ和XOZ平面的夹角α、β和θ，即A分别与AX+AY、AY+AZ和AX+AZ矢量的夹角

(1)

肩关节与肘关节、肘关节与腕关节等相邻节点可以视为Pm和Pn节点，由此可以进行人体上肢的关节活动度测量。

1.2.2运动平面检测

上肢的关节活动度测量科目众多，不同的科目都有不同的关节运动要求。在相关科目的测量过程中，肢体和关节在相应的平面内运动，获得不同的关节活动角度。因此，需要针对不同的测量科目，进行相应科目的运动平面检测。

例如在进行肩关节外展/内收的活动度测量时(见图4)，理想的上肢运动平面为人体冠状面(平面1)，其法线方向为Z轴方向，沿Z轴方向分别设置前边界面(平面2)和后边界面(平面3)，前边界面和后边界面均为人体冠状面的平行面。对上肢关节点的深度值进行检测，并由人机交互界面显示检测信息，提示受测者按规范要求测量。Kinect传感器分别获取肩关节点P0、肘关节点P1、腕关节点P2和中指指尖节点P3的深度值Z(P0)、Z(P1)、Z(P2)及Z(P3)，为确保实际测量时被测者上肢动作的准确程度，同时又要避免产生明显的测量误差，设定平面2与平面3距平面1的距离均为L。当Max(Z(P0)，Z(P1)，Z(P2)，Z(P3))- Min(Z(P0)，Z(P1)，Z(P2)，Z(P3))≤L时，上肢运动符合规范，可顺利进行关节活动度测量；当Max(Z(P0)，Z(P1)，Z(P2)，Z(P3))-Min(Z(P0)，Z(P1)，Z(P2)，Z(P3))>L时，上肢运动偏离规定范围，系统报错并纠正动作。为了保证测量时上肢执行动作的精确度，平面2与平面3的距离(2L)应不超出人体胸厚的范围。根据中国成年人人体尺寸(GB/T 10000-1988)的人体胸厚尺寸，第一百分位的男性和女性胸厚尺寸为177 mm和159 mm，系统中男性的L值设定为90 mm，女性的L值设定为80 mm。

图4 肩关节外展/内收科目运动平面检测Fig.4 Motion plane detection of shoulder’s abduction and adduction

1.2.3实验方法

不同器械、不同方法测得的关节活动度值有差异，不宜互相比较[8]。为了验证方法的准确度，选择了40位上肢活动无障碍的受测者进行试验。受测者被随机分为5组，分别进行肩关节外展、肩关节内收、肩关节屈曲、肩关节伸展和肘关节屈曲这5项肩、肘活动度测量科目实验。在各科目测量中，每组8人的测量结果取平均值为该测量组的值，该测量试验实为对本系统精度的检测试验。在测量试验中，设立目标角度。受测者需按照要求将受测关节部位运动至相应位置，与目标角度的刻度线吻合。当受测关节与刻度线重合时，系统会记录下那一时刻计算得出的角度值，即测量角度。为了满足该试验的测量要求，受测者需要运动相应的关节部位。随着上肢的运动，通过获取关节点数据实时获取实际运动的角度，与目标角度进行比较。

1.2.4统计分析方法

(2)

2 结果

根据上述关节活动度的测量原理与方法，开发了上肢关节活动度自动测量系统。图5为右肩关节活动度测量界面，受测者正对Kinect传感器的摄像头，进行右肩关节活动度测量(界面显示的是受测者的镜像)。图5左上方为骨架图像窗口，显示系统捕捉的受测者右臂及其肩关节点P0、肘关节点P1、腕关节点P2、中指指尖节点P3的位置。图5右上方为彩色图像窗口和深度图像窗口，可以帮助受测者更好地掌握自身位置与姿态。图5左下方为科目选项窗口，受测者可以在此窗口中自行选择具体测量科目。测量过程中，受测者根据图5右下方所示的提示与反馈窗口的信息，执行符合系统要求的上肢运动。

图5所示的受测者体位，适合于肩关节外展/内收科目的测量。由于受测者的冠状面平行于XOY平面，此时右肩关节外展活动度为连接点P0、P1的矢量与YOZ平面的夹角。若受测者按照提示与反馈窗口中的提示，变换体位或者重新勾选科目选项窗口中的科目，则可以进行其它相应科目的测量，测量结果显示在提示与反馈窗口中。

图5 右肩关节活动度测量界面Fig.5 ROM measuring interface of right shoulder

表1 肩肘关节活动度各科目测量结果

3 讨论

关节活动度测量临床上多采用被动运动，但合并评价肌力时则测量主动运动角度。因此，临床上以测量被动运动为主，必要时再测主动运动角度。本系统设置了被动测量和主动测量两个模块。由于单个Kinect传感器可以一次识别两人的运动，并可对人物分别进行标定，所以在被动测量时可以方便地辨识受测者和医疗人员，满足被动测量的要求。在主动测量中，只有受测者一人，仅需简单地识别出受测者即可。

关节活动度的传统测量中，测量工具原则上不能与人体受测部位产生相对偏移。但由于运动功能障碍患者在测量中常以代偿运动来弥补测量部位的运动缺失，这就需要医疗人员熟悉各关节解剖和正常活动范围，熟练掌握测量技术。利用本方法测量时，当患者关节位置因代偿产生移动，本系统会自动刷新(30帧/s)骨架数据，获取新的位置并进行角度计算，测量工作对医疗人员的专业技术水平要求较低，且测量结果较为精确可靠。

因为Kinect SDK目前尚不能捕捉手指关节点数据，所以本方法目前无法实现手指关节活动度测量。下一步的工作将重点研究利用Kinect传感器获取人体点云数据并进行处理，实现人体上肢全部关节、所有科目的活动度测量，并通过点云数据获得更高的测量精度。

4 结论

本研究提出了一种利用Kinect体感交互技术进行人体上肢关节活动度测量的新方法，用户通过Kinect传感器和体感人机交互界面进行上肢关节活动度的测量，系统能实时记录、计算及反馈关节活动度信息，并提示纠正用户的不合理测量动作。该方法的测量精确度较高，测量操作简便快捷，测量效率高。该方法使用设备简单，成本低，只需一台Kinect传感器和个人计算机就可满足要求，具有很好的应用前景。

[1] 康宇华.关节活动范围研究现状[J].中国康复医学杂志,2001,16(1):57-59.

[2] 胡海滔,李志忠,严京滨,等.关节活动度的照相测量方法[J].人类工效学,2006,12(2):13-15.

[3] 刘龙.三维摄像测量系统在人体上肢运动分析中的应用[D].天津:天津科技大学,2003.

[4] 张建国,汪莉.基于电磁跟踪系统的人体上肢ROM测量新方法[J].现代制造工程,2006,3:81-84.

[5] 汪莉,张建国.基于电磁跟踪系统的人体上肢ROM测量改进研究[J].天津科技大学学报,2006,21(4):65-67.

[6] 王鑫. 基于激光CCD的人工关节测量系统的研究[D].重庆:重庆大学,2008.

[7] Antonio PLB, Mitsuhiro H, Philippe P. Joint angle estimation in rehabilitation with inertial sensors and its integration with Kinect [C] //Proceedings of 33rd Annual International Conference of the IEEE Engineering in Medicine and-Biology Society (EMBS). Boston: IEEE, 2011:3479-3483.

[8] 成鹏,马诚.实用社区康复指南[M].上海:第二军医大学出版社,2007:41-43.

[9] 李云雁,胡传荣.试验设计与数据处理[M].北京:化学工业出版社,2008:12-14.

[10] Alana DG, Thiago C, Lucas F,etal. Guidance and movement correction based on therapeutics movements for motor rehabilitation support systems [C] //Virtual and Augmented Reality (SVR). Rio Janiero: IEEE, 2012:191-200.

[11] Gotsis M, Lympouridis V, Turpin D,etal. Mixed reality game prototypes for upper body exercise and rehabilitation [C] //Virtual Reality Short Papers and Posters (VRW). Costa Mesa: IEEE, 2012:181-182.

[12] Tilak D. Evaluation of the Kinect sensor for 3-d kinematic measurement in the workplace [J]. Applied Ergonomics, 2011,43(4):1-5.

AMethodtoMeasuretheRangeofMotionofHumanUpperLimbsBasedonKinectSomatosensoryInteractionTechnology

QU Chang1DING Chen1WANG Jun-Ze1*GAO Zhan2

1(CollegeofMechanicalEngineering,NantongUniversity,Nantong226019,China)2(CollegeofComputerScienceandTechnology,NantongUniversity,Nantong226019,China)