基于OpenPose学习坐姿分析的桌椅人机适应性研究

郭园，郭晨旭，时新，申黎明

(1. 南京林业大学家居与工业设计学院,南京210037； 2. 重庆交通大学，重庆400074)

由于不良的坐姿将直接影响学生的骨骼及肌肉健康，因此，国内外人机工程、医疗等多领域的学者不断通过实验论证桌椅与使用者坐姿行为保持匹配关系的重要性，许多新兴技术及设备被持续引入到试验中，希望可以在用户与不断改进中的桌椅之间搭建科学动态的交互桥梁。

Kinect作为一种骨架跟踪性能优异且价格低廉的非接触式运动捕捉系统，近年来逐步开始被国内外学者关注并加以应用。Manghisi等[1]使用深度传感器kinectV2进行实时的快速上肢评估(rapid upper limb assessment,RULA)；孙辛欣等[2]利用Kinect进行办公座椅坐姿行为的聚类与分析，这些研究的出现说明使用Kinect传感器进行姿态研究已逐步被家具等人机领域所认可。但在更为深入的坐姿测试研究中，Kinect传感器配套的开发套件SDK V2存在捕捉点不稳以及肢体与环境区分受限等一些不足。而实际应用往往需要获取更为精准全面的坐姿数据，以帮助确定使用者与桌椅的实时适应情况。美国卡耐基梅隆大学(CMU)在2017年开发OpenPose二维姿势检测开源实时系统，可以实现对身体及五官等关键点精准稳定的捕捉，并且在经过大量试验和优化后，2018年底发布的最新版本拥有了更加稳定的API(application programming interface)[3]。目前，OpenPose尚处于应用开发的拓展期，Mazhar等[4]使用OpenPose构建手势检测实时人机交互框架；唐心宇等[5]将OpenPose应用于渐进式康复训练情景交互之中。这些不同领域的学者都在努力挖掘OpenPose更广泛的应用空间，以期充分发挥其优势特性。因此，本研究选择OpenPose与Kinect V2传感器相结合，以获取更加理想的动态人体关键节点信息，帮助判断学生学习坐姿与桌椅的适应情况。

1 坐姿适应性试验判别指标的选取

本研究中的适应性是指小学生的坐姿行为与桌椅之间所形成的相辅相成的动态平衡关系，这种平衡由同化和顺应两种状态动态交替而成。同化是指人能够直接将桌椅作为自身的一个行为构成因素，纳入到自己动作的结构或组织中，即小学生的人体尺度等与桌椅基础属性相匹配，桌椅所表现出来的特征能够帮助其顺利完成动作。而顺应则是指人在与桌椅的互动过程中，改变自己的动作行为去适应桌椅及内外环境的变化，即小学生改变先前持续的坐姿去适应桌椅等外在状态的变动或内部身心舒适性的调整需求。同化适应与顺应适应的交替出现，同时也体现着人与家具之间一体化的概念。在本试验中主要获取同化适应状态中的相关数据，即身体知觉没有受到打扰时的坐姿数据，以便发现总结从同化适应到顺应适应转变时的内在变化规律。

本试验选取颈部弯曲、躯干弯曲、躯干大腿角、膝关节角以及视距等5项作为小学生学习坐姿适应性判别因素，其中颈部弯曲和躯干弯曲是被国外学者广泛认可的携式人体工学观察法(PEO)对于不健康坐姿认定的代表性特征[6]。而躯干大腿角和膝关节角是国外研究学者常用的最佳坐姿认定参照标准之一[7]，适宜的视距同样关系着小学生学习行为的健康。因此在本试验中采用这5项指标作为适应性学习坐姿判断的标准，名称及定义见表1，其中具体指标皆为矢状面的角度，所描述点的位置及角度见图1和图2。由于试验采用PEO模型中的颈部弯曲和躯干弯曲参数没有统一界定，现有文献对躯干弯曲选取有两种不同的方法，本研究将同时采用两种方式进行数据采集，因此躯干弯曲参数分为躯干弯曲①和躯干弯曲②。

表1 测试项目定义Table 1 Definition of test items

图1 OpenPose 25个关键点Fig. 1 Twenty five joints in OpenPose

图2 测试中的坐姿角度Fig. 2 Angles of sitting posture

2 小学生学习坐姿适应性试验

2.1 试验设备与环境

本试验采用Kinect V2传感器，捕捉的每帧彩色图像分辨率为1 920×1 080，深度图像分辨率为512×424；惠普(HP)暗影精灵3代电脑：Core i5 8400，内存8GB，GTX1060 6GB；桌椅采用市面上较为通用的可调节式小学生专用学习桌椅，桌椅品牌为科乐威尔Z901蓝桌+ KT1001蓝椅(图3)。

图3 测试中OpenPose关键点识别Fig. 3 Recognition of OpenPose key points

为了避免周围人员以及嘈杂环境对试验过程的干扰，试验选择在独立开阔的房间开展。试验使用的KinectV2放置在被试人员右侧的矢状平面上，设备与被试人员之间没有其他物体进行阻隔，两者间隔距离为1.5 m，保证可以得到该方向下的正投影，以便于坐姿角度的获取。试验桌椅高度与角度，均会依据每位测试者实际身高、肘高、小腿加足高等数据进行调节，桌面高度为坐姿肘高加4 cm[10]，倾斜角度设置为15°[11]，高度与角度设置的目的是使桌椅能够达到使用者实现同化适应的条件要求。

2.2 被试者

选取12名1～6年级小学生(6男6女)作为被试者。参照GB/T 26158—2010《中国未成年人人体尺寸》标准，其中身高位于P5～P10之间的1人，位于P90～P95之间的1人，位于P25～P50之间的2人、位于P50～P75之间的3人、位于P75～P90之间的5人，被试儿童均身体健康，无腰背疼痛病史，有正常的裸眼视力或矫正视力，均右手握笔，全程能够保持较为准确的握笔姿势，笔与纸面夹角约50°，拇指、食指、中指执笔，且离笔尖3 cm左右，保证书写中不遮挡目光。测试前被试者无疲劳状态。测试仪器设备对被试儿童无任何伤害，全程征得家长及儿童同意，测试前获取被试者身高、体质量、肘高、小腿加足高、膝高等人体尺寸数据，结果见表2。

表2 受试者相关数据Table 2 Statistical data of testees

2.3 试验准备

1)试验第一步对Kinect V2进行标定，通过标定以确保后期试验能够获取距离等数据。由于本试验需要使用OpenPose进行人体姿态识别，同时为了保证后续试验过程的修正，选择离线数据分析的形式，因此无法使用Microsoft Kinect SDK。而试验中需要获取三维空间中的视距，这就首先需要对Kinect的两个相机进行标定，获取彩色相机和深度相机的内参数矩阵Krgb和Kir，以及红外相机到彩色相机的旋转平移矩阵R，与平移向量t，以此来建立彩色图像-深度图像-相机空间坐标系之间的映射关系。

2)使用OpenPose获取试验所需的身体关键点数据信息，由于OpenPose定义的25个点不包含头部质心点，而本试验测试需要该关键点，因此需要使用二值图像的质心求法单独计算确定头部质心位置，以保证获取试验所需的全部参照点。

3)在确保程序能够正确识别所需全部关键点后，开始录像，每个受试者需要分别完成书写、阅读和使用平板电脑3种任务，每项任务15 min，所完成内容为各个年级课业内容，字体大小为正式出版教材及作业辅导材料常规字号。

3 坐姿数据计算与统计分析

3.1 数据计算方法

视距是眼睛与所视物体的距离，试验中将检测到的书本在彩色图像坐标系中的坐标记作prgb=[x1,y1]T，眼睛坐标记作qrgb=[x2,y2]T,利用坐标映射关系，将其映射到相机坐标系，记作：pcamera=[u1,v1,w1]T,眼部在相机坐标系中的坐标记为qcamera=[u2,v2,w2]T。

此时视距d即为pcamera与qcamera欧氏距离：

(1)

坐姿角度即为两关节点连线与重力向量的夹角，如图4左图。由于实验中Kinect V2被放置在被试者的矢状面，所以可以使用关节点的矢状面投影来代替三维关节点，即用关节点在彩色图像中的坐标进行计算。

两个相连线的关节在彩色图像中的投影点分别记作p1=[x1,y1]T，p2=[x2,y2]T，则其连线为l=[x1-x2,y1-y2]T，而竖直方向可以用单位向量e=[0,-1]T表示，可得出倾角φ，见公式(2)：

(2)

图4 倾角(左)与夹角(右)Fig. 4 Inclination (left) and angle (right)

对于夹角：如图4右图所示，高低相邻的3个关节点中，关节点1、3与关节点2连线所成的以关节点2为顶点的角，即为所求的夹角。试验中同样使用彩色图像中的关节点坐标进行计算。关节点2的投影点p2=[x2,y2]T与关节点1的投影点p1=[x1,y1]T的连线记作l1=p1-p2，关节点2与关节点3的连线记作l2=p3-p2；则二者夹角φ1见公式(3)：

(3)

3.2 统计分析

试验数据采集完成后，经SPSS 24计算各项指标的均值以及振幅概率分布函数APDF的第90和第10百分位之间的差值，即振幅范围的度量APDF(90-10)[12]。并对各项指标的均值和APDF(90-10)值进行方差分析(ANOVA)，P<0.05被认为是显著的。本研究同时使用Matplotlib进行数据可视化分析，分析颈部弯曲和躯干弯曲、视距等3组数据在不同学习任务中及不同时间段的动态变化规律。

4 结果与分析

4.1 颈部弯曲

试验中不同任务下受试者颈部弯曲均值从大到小依次是书写>阅读>使用平板电脑。任务对颈部弯曲变化的影响较为显著(P<0.05)，结果见表3。在国外现有PEO研究模型中，颈部弯曲和躯干弯曲的20°这一阈值被认定为健康坐姿的一项判别参数，一些学者在应用研究中又增加了45°这一阈值[13]。在本试验中，颈部弯曲超过20°和45°的时间占比见表4，数据说明书写状态下更易出现不健康的颈部弯曲角度。

表3 不同任务的测试项目结果Table 3 The results of test categories in three tasks

表4 3种任务中颈部弯曲和躯干弯曲超过健康阈值的时间占比Table 4 The proportion of neck flexion and trunk flexion exceeded the health threshold in three tasks %

颈部弯曲在3项任务下的振幅概率分布范围APDF(90-10)值见图5和表5，任务对颈部弯曲的振幅概率分布影响不显著，其中阅读状态的振幅概率分布与书写状态近似。较大的APDF(90-10)表示姿势发生较大的变化，从而反映出坐姿活动的变异性增加，即姿势不单调。而APDF(90-10)数值小，则说明姿势变化幅度小，国外一些学者也提出了无论是长时间重复的短周期振幅或几乎持续很长时间的相同振幅，这种缺乏变化的弯曲都与MSD(musculoskeletal disorders)风险有关[14]。这也说明，如果颈部长时间保持一个弯曲角度不动或者持续相同幅度的弯曲变化对于小学生来说都会产生不适。此外，实验数据还显示出颈部弯曲在书写任务中随着时间延长而增大波动幅度，角度值有所增加。

图5 不同任务下颈部弯曲、躯干弯曲②、视距的均值和APDF(90-10)Fig. 5 Mean and APDF(90-10) of neck flexion, trunk flexion, visual distance in different tasks

表5 3种任务下测试项目的振幅概率分布(APDF(90-10))Table 5 APDF(90-10) of test items in three tasks %

4.2 躯干弯曲

躯干弯曲角度均值见表3和图5。任务对躯干弯曲变化的影响不显著(P>0.05)。躯干弯曲①和躯干弯曲②虽然是两种不同的界定方式，但最后数值所表现出来的趋势是相同的。躯干弯曲整体角度值变化相对平稳，试验中躯干弯曲②在使用平板电脑任务中超过20°和45°的时间占比大于其他两种任务，这也说明，在相同桌高的情况下，小学生习惯通过躯干弯曲来适应屏幕的高低，并且易出现超过45°的大幅度弯曲。

躯干弯曲振幅概率分布范围APDF(90-10)见图5和表5，使用平板电脑任务中躯干弯曲变化幅度大于同任务中颈部弯曲变化幅度，即平板电脑任务中躯干活动更为丰富。书写任务中则是颈部弯曲变化幅度大于同任务下躯干弯曲变化幅度，即书写时颈部活动更为丰富。

4.3 躯干大腿角

任务对躯干大腿角的影响不显著(P>0.05)，学生在坐姿过程中，双腿并不一定同步调整，时常会出现高低前后的差异，双脚有时会踩在座椅滑轮上，而非一直平放在地面，这就使得躯干大腿角(左、右)存在轻微差异，均值见表3。阅读任务下的躯干大腿角均值略大于其他两种任务下的该数值，相对更加接近120°～135°这个放松坐姿角度区间，说明学生在阅读纸质材料状态下的人体相对更加放松，躯干会自主寻找更加适应的舒适姿态。而使用平板电脑过程虽然也是一种阅读形式，但是躯干大腿角度与书写状态更为接近。

躯干大腿角振幅概率分布范围APDF(90-10)见表5。由于Kinect右侧放置，且Kinect从图像数据流里读取的图像是镜像呈现，使得左边数据相对更加精准。因此，以左侧数据为主要比较依据。

4.4 膝关节角

2种任务下的膝关节角(左、右)均值都没有达到90°，阅读与使用平板电脑状态下的膝关节角数值比较接近，大于书写状态(表3)。膝关节角振幅概率分布范围(APDF)见表5。任务对膝关节角振幅概率分布范围APDF值存在显著影响(P<0.05)。

4.5 视 距

视距均值见表3，任务对视距影响极显著P<0.001。试验结果表明，在书写和阅读两种任务下近距离用眼程度较高。在我国儿童青少年近视眼防控方法规范中，日常需严格控制视距小于33 cm且大于45 min的持续近距离用眼。因此，减少近距离用眼的总量尤为重要[15]。现有研究表明，颈部角度数值的加大带来视距缩短，这与裸眼视力的下降有显著关系。试验中，3种状态下的视距与颈部弯曲关系见图6。使用平板电脑时，颈部弯曲值较小且视距相对较远，而阅读纸质书本时，大部分受试者采用平放书本方式进行阅读，因此视距与书写状态近似。视距振幅概率分布范围(APDF)见表5和图5。试验中书写和使用平板电脑任务中的视距整体随时间呈现明显下降趋势，说明近距离用眼逐步加剧(图7)。

图6 3种任务下颈部弯曲和视距关系Fig. 6 Relation of neck flexion and visual distance in three tasks

图7 视距随时间变化Fig. 7 Visual distance variation at different time periods

4.6 同化适应向顺应适应转变中的桌椅调控建议

调节好的桌椅可以与小学生初始状态构成同化适应，但是在使用过程中，由于学习任务的变化以及身体局部疲劳感的出现，就会打破最初的同化适应，人体自身及外在环境都会产生变化要求。小学生可以感知到疲劳，但这个感知过程往往有延迟，并且感知度比较有限，例如对近距离用眼的感知较弱。在整个学习坐姿行为过程中，随着时间的延长，小学生会出现身体姿势不断变化的情况，这些都是人体主动改变进入顺应适应的表现，此刻的桌椅可以提供更加符合顺应适应要求的调整，尤其是在智能环境与监测技术介入后，桌椅可以根据实时获取的坐姿数据，运用数学方法进行不健康姿势判断，并通过语音信息提醒功能或者使用微控制器开发的机构改变桌椅高低等状态，以缓解较大的颈部弯曲和躯干弯曲以及视距过近等问题。同时还可以通过合理的功能设置来引导儿童采用45°～60°竖立放置书本的阅读方式，以改善颈部弯曲和近距离用眼。这种桌椅的动态调控以及与使用者之间的实时交互将更好地实现持续健康的人机适应过程。

5 结 论

Kinect与OpenPose结合可以精准捕捉小学生动态学习坐姿中的身体关键指标，帮助判断坐姿与桌椅的适应情况。试验中3种任务对颈部弯曲及视距影响显著，书写任务下的颈部弯曲均值最大并且振幅概率变化最为明显，说明颈部是书写任务中变化性最大的身体部位，并且该数值在书写和使用平板电脑任务中随时间延长有增长趋势。躯干弯曲在使用平板电脑过程中均值最大并且振幅概率变化最为明显，说明躯干是使用平板电脑任务中变化性最大的身体部位。躯干大腿角在阅读任务中均值最大，说明身体比较放松，但颈部弯曲和视距的数值却与书写状态比较近似，建议学习桌可以通过设计引导小学生变化阅读方式，以减少颈部弯曲和近距离用眼，对于监测到的不健康姿势给予及时提醒;同时可以适时调整桌高满足书写任务到使用平板电脑任务的转变，以帮助小学生保持更健康动态平衡的适应状态。