智能手机传感器技术监测体力活动的研究进展

范江江，龙 震

（新疆科技学院体育教学研究部，新疆 库尔勒 841000）

1 研究背景

可穿戴设备（WAMs）是利用物联网技术发展起来的、一种穿戴在身上或嵌入服装中的、能够采集、分析以及数据交互的智能设备，该设备可记录用户身体活动产生的相关信息。 最早的WAMs 由1 个单轴加速度计［1］或3 个正交定位的单轴加速度计［2］组成。 微机电系统（MEMS）技术的发展使加速度计和其它传感元件小型化，产生了更轻小的可穿戴传感器，其中包含三轴加速度计、三轴陀螺仪、气压传感器和三轴磁力计，这些电子元件被广泛应用在智能手机中。 由于可穿戴传感器能无创伤地估计使用者的能量消耗［3］和远程监测身体运动而备受关注，一方面，广泛应用在可以通过科学的运动锻炼进行预防和康复治疗的糖尿病和肥胖症等慢性病领域，另一方面，用于监测影响行动能力疾病发展的步态分析领域。 WAMs 可以通过步态参数监测步态指标的异常数据［4］，在老年人群中可穿戴传感器作为检测跌倒的手段或通过步态分析估计未来跌倒的可能性而显得非常突出。

Bouten 等［2］最先提出使用单个三轴加速度计监测身体活动，发现加速度和能量消耗之间存在显著的相关关系（r=0.89）。Najafi［5］等研究表明陀螺仪可用于监测身体姿势变换，使用惯性测量装置（IMU：包含三轴加速度计和三轴陀螺仪的电子设备，可沿3 个正交轴测量加速度和角速度）测量的加速度值监测跌倒风险；用三轴加速度计和气压传感器识别上、下楼梯的变化［6］；磁性和微惯性测量装置（MIMU）作为一种非侵入性的设备监测身体运动，在鞋中安装相关传感器进行定量步态分析。 同时微机电系统（MEMS）传感器结合环境信息，收集运动数据识别身体活动，Ward 等［7］使用三轴加速度计与携带的麦克风，识别在工作环境中的9 种身体活动；Rodríguez 等［8］提出，结合GPS 获得的速度和位置变化数据，可改进在户外环境中评估身体运动的算法体系； 步态分析知识和航迹推算与人体生物力学特征相结合创建了步行者航位推算(PDR)［9］的新领域，在室内环境中使用IMU 可精确估计个体位置和速度变化。可穿戴设备测量结果可靠、客观、实用等优势，广泛运用在身体活动的能量消耗监测、步态分析、姿势变化以及身体活动识别以及日常健康管理等方面。

科学技术的发展为可穿戴设备（WAMs）作为非侵入性手段监测身体活动提供了根本保证； 智能手机的普及使其成为开发成个人可以选择使用可穿戴设备（WAMs）的理想平台，无需额外费用且随身携带。 在智能手机中开发或植入可穿戴设备（WAMs），可帮助慢性病人群管理健康状况，对患有影响大肌肉群运动功能的人群监测分析步态或震颤频率，一般用户可使用智能手机预测日常生活中身体活动的能量消耗。 陈庆果［10］、张旭东［11］使用智能手机内置加速度传感器进行监测走跑运动的能量消耗；胡永芳［12］、陈庆果［13］运用智能手机监控日常体力活动，周洋［14］，程梦影［15］使用手机内置加速度传感器预测跳绳运动的能量消耗。 随着智能手机的普及和性能的不断完善，使用智能手机进行能量消耗的监测和动作识别越来越普遍。

2 识别身体运动

无论使用何种可穿戴设备进行身体活动监测，运动识别过程可分为3 个不同的阶段：感知、信息提取和机体运动识别（如图1 所示）。

图1 智能手机识别机体运动的工作流程

2.1 感知

智能手机包含多种模式的传感器，可用于感应身体活动。从位置传感器和视听组件获得运动情景信息，微机电系统（MEMS）的环境传感器、光传感器、压力传感器和磁场传感器可识别环境变化，利用陀螺仪和加速度计测量由身体活动而产生的运动信息。

2.1.1 运动MEMS 传感器

早期的智能手机含有一个三轴加速度计的微机电系统（MEMS）传感器，该传感器可测量重力和身体沿3 个正交轴运动的组合加速度，并支持现有算法可在智能手机应用程序实现，当智能手机放在裤兜时该程序可以估计用户所走步数。 在智能手机引入六自由度惯性测量单元 （6-DOFIMU） 可依赖IMU 信号开发的算法系统评估机体运动，IMU 包括一个三轴加速度计和一个三轴陀螺仪，三轴陀螺仪测量沿3 个正交轴角速度和方向的变化。 目前，大多数智能手机磁性和微惯性测量装置（MIMU）取代了IMU。

2.1.2 环境MEMS 传感器

磁场传感器沿三个正交轴测量磁场强度 （其大小和方向受环境中铁磁材料和其它磁源的影响），可用于确定设备的航向，使其成为基于MEMS 的位置和航向参考系统的重要组成部分。 研究表明，与加速度计和陀螺仪相比，磁场传感器的频率感应较差。

智能手机通过气压传感器装置测量机体运动时位置的变化，虽然通用的大气压传感器测量单位为米，但感应信号需要经过若干秒的计算获得测量单位为米的结果，因此计算结果还是比较精确。 三轴加速度计、三轴陀螺仪、三轴磁力计和气压传感器构成了无创物理运动监测器的核心部件，因为它们能够感知身体的大幅运动，而且与视听部件和基于位置的传感器（Wi-Fi、蓝牙）相比，它们的功耗相对较低［16］。

2.1.3 基于位置的传感器

基于位置的传感器通过有关个人位置的信息来帮助识别机体运动。 在智能手机中，位置传感器包括Wi-Fi 和GPS。 早期的GPS 系统可以在户外环境中进行地理定位，精度在300 m和1 km 之间［17］，然而，随着科学技术的发展，现在智能手机的内置GPS 系统，在户外可以精确到几米之内。利用全球移动通信系统（GSM）模块来估计蜂窝基站的距离［18］，或利用Wi-Fi模块来估计与已知范围内接入点的距离，提高基于GPS 估计的准确性，可以在GPS 信号无效的室内协助进行定位，这两种方法结合起来，虽然耗电更高，但可以提高户外环境中的位置估计的准确度。

Liu 等［19］提出了一种将智能手机纳入估计室内运动时位置变化的新算法。 他将来自数据处理速率（PDR）算法的信息与智能手机和已知位置的接入点Wi-Fi 之间的距离相结合，以补偿特殊地点接收信号强度信息（RSSI）的差异。 同时反射、衍射和散射的现象会影响Wi-Fi 信号的传播，室内环境中的多径衰落会导致在特殊地点测量的接收信号强度信息（RSSI）与平均值不同。 并且使用基于位置的传感器进行运动识别，如果同时使用智能手机的麦克风或摄像头，泄露和侵犯个人隐私的风险更大，因为它们可能会泄露用户和附近的人的隐私信息。

2.1.4 音视频感知部件

早期的音视频感知是通过从智能手机麦克风中提取频域和时域特征识别声音类型以及具体的声音情景，将提取的时域特征值纳入Khan 等［20］提出的活动分类算法结合智能手机的麦克风、加速度计和气压计所采集的信息可识别15 种机体运动情景。 利用智能手机的麦克风、 运动传感器和环境传感器，以及定期的手机拍照功能，结合智能手机多模式传感器，可准确获得机体运动信息，同时，这对电池的电量和寿命损耗非常大。

2.2 信息提取

信息提取包括数据预处理和特征值提取的方法，信息提取是将传感器原始数据转化成有限的、重要的、有用的衍生参数，从这些参数推断机体运动情景。

2.2.1 预处理

数字滤波通常用于原始信号的预处理排除噪音干扰，提高信噪比，它将输入对应数字频率的离散时间信号按照预定算法转换为所要求的输出离散时间信号的一个离散时间系统。 智能手机的主要功能是通信和娱乐，在运动过程中手机相对于身体的方向不是固定的，记录的数据与实际活动之间有很大的差异性。 加速度计原始数据常采用高通数字滤波技术处理，将重力加速度与身体运动引起的加速度分开。 通过主成分分析（PCA）、线性判别分析（LDA）、核主成分分析（KDA）、特征值分解等降维技术对原始加速度值的归一化处理，将高维空间的数据投影到低维子空间表示，解决由设备方向不固定造成的差异性。

2.2.2 特征提取

数据经预处理后，使用连续窗口之间有50%的重叠滑动窗口法从连续时间段中提取特征值［21］。 研究表明，从陀螺仪和加速度计的MEMS 中提取的特征信号反映了机体运动的大量信息［22］。 手机中的气压传感器可以监测身体活动在海拔高度快速变化或磁场变化的信息； 智能手机的音视频系统可以通过分析时域和频域信号，获取每个窗口中的时域特征值进行统计分析，提取特定运动信息、运动状态，建立机体运动模型。

2.3 运动分类

采用机器学习算法（MLA）对活动数据进行分析，可建立运动模型，这个模型有可能能够正确分类所有训练数据，也可能导致建立的模型过度拟合，这样的模型对正确分类其它活动数据具有很大的局限性，因此在建立运动模型时，需在特征值提取和模型开发方面进行深入研究。

2.3.1 特征选择

在构建运动分类模型之前，算法开发者根据数据特征选择合理的处理技术，降低特征值计算的复杂性，提高计算的准确性，减少数据计算时间。 在运动识别时，特征选择模型会从生成的所有特征中找到最能区分运动的最佳特征子集（如静、动、走、跑、躺、站等活动）。有学者建议使用Relief-F、基于相关性的特征选择或基于快速相关性的滤波器进行特征提取，因为这些处理方法不会对训练数据过度拟合，有学者对特征选择算法进行了全面研究，发现以上方法可以较好的提取反应识别物理运动特征。

2.3.2 模型开发

起初，智能手机使用启发式分类器功能，处理能力有限，随着科学技术的发展，现代智能手机具有强大的计算能力可实现最先进的特征提取算法和分类模型。 这些运动分类模型使用MLA（机器学习算法）对采集的运动数据进行分析、建立函数模型，模型根据不同的运动类型匹配相应的活动数据，可尽量降低数据分析误差。 怀卡托智能分析环境（WEKA）［23］作为强大的数据挖掘工具箱，集合了大量能承担数据挖掘任务的MLA （机器学习算法），WEKA 是用Java 编程语言编写的，而Java 是为Android 平台开发智能手机应用程序时使用的主要语言，因此WEKA 使这些MLA 能够在智能手机上准确实现。 Preece 等［24］对可用于建立识别运动模型的MLA（表2）进行了总结，验证模型的方法包括：留一交叉验证法，k-折交叉验证法；Bootstrap 抽样：0.632 自助法［25］等。

表1 智能手机中各传感器提取的运动特征

表2 可用于建立运动分类的机器学习算法

使用智能手机内置传感器进行身体活动分类取决于智能手机的佩戴方式以及收集的活动数据的粒度 （活动的种类和每个活动的实例数量）。 如果没有将智能手机固定在身体的某一部位，不能假设设备相对于身体的方向是恒定的，因此很难对特定运动和日常活动进行区分。 针对特定的运动或锻炼采用腰带、臂带、腕带等把智能手机被固定在身体的某一部位或被放置在定制设备中，同时在固定设备位置时要考虑实际运动，需把设备固定在可区分运动明显特征的位置。

3 算法体系的发展

智能手机的多功能性决定了智能手机不能始终处于身体的同一部位或方向，这对使用智能手机进行运动识别和运动分类的准确性具有很大的限制，因此，有科研人员针对使用智能手机监测身体运动的算法技术进行了大量研究，智能手机的算法技术对智能手机相对于身体方向和位置的要求越来越低。 在监测身体活动中，对智能手机的放置位置的要求也发生了变化：固定位置固定方向、固定位置不固定方向、既不固定位置也不固定方向的发展历程。

3.1 固定位置固定方向的算法体系

起初的算法要求用带子或额外装置将智能手机固定在身体的预定位置，确保智能手机与身体的方向是相对固定的，在收集数据的预处理阶段只需使用“数字滤波器”进行处理，MLA可直接利用固定点特有的生物力学特征进行特定身体运动识别模型开发。 智能手机在监测全身参与的大肌肉群运动时，使用带子把固定手机在靠近身体质心的位置［26］（肚脐周围）。有研究者对固定在腰部左侧位置的智能手机速度计值，采用DTC（分类决策树模型）和SVM（支持向量机）2 种MLA 进行6 种身体活动的识别，同时计算基于代谢当量的能量消耗估算，通过使用包含IMU 和MIMU 的智能手机对算法技术进行改进，可识别更多种类的运动（表3）；同时，研究表明手机放置在身体质心附近时用于监测模拟跌倒的测量结果最为可靠。

表3 智能手机用作可穿戴动态监测设备（WAM）的应用

3.2 固定位置不固定方向的算法体系

固定在身体位置的算法（见表4）需要将智能手机放置在同一位置（如裤子或衬衫口袋），不需将设备以特定的方向固定，在预处理时可通过降维（PCA、LDA、KDA）技术进行处理，大大增加了手机使用的方便性，手机拿手里或放口袋里都能用来估计身体运动。

表4 智能手机用作固定身体位置的WAM 的应用

表5 智能手机被用作独立位置的WAM 的应用

By lemans 等［44］使用智能手机内置加速度计监测步数，以及利用用户身高和性别动态地估计步长。 模型的准确性受行走过程中脚跟撞击地板产生冲击加速度大小的影响，所测加速度越大表明步长越大，易造成脚步更轻或更重人群的步长被低估或高估。 Pratima 等［45］评估了用户在平地上手持手机面向屏幕正常行走时使用Weinberg［46］、Kim［47］和Scarlett［48］3 种步长监测方法，发现Scarlett 提出的步长测量方法在总的行走距离上产生的误差最低。 Ayoub 等［49］评估手机放置在裤袋、拿在手里或耳朵旁3 种携带方式使用前者3 种方法评估步长，研究发现Scarlett 提出的步长估计方法产生的误差最小。 将这些对步行距离的监测与身体运动特征的MLA 模型开发结合起来，可进行长期的、非侵入性的监测，临床医生和保健人员可用于评估受试者是否保持健康的生活方式［50］，使用可穿戴步态监测设备深入了解病人的身体健康状况。

Antosz 等［51］研究发现固定位置不固定方向的算法体系存在较大的局限性，如果使用支持向量机（SVM）和隐马尔可夫模型(HMM)的机械算法（MLA）开发的模型用于评估智能手机佩戴在身体其它位置的运动时，其准确性会显著下降。 通过研究智能手机在4 个不同身体位置（手、腰带、裤子口袋或上衣口袋）收集的数据识别五个身体活动（站、坐、走、坐和站之间的过渡）模型的准确性，当知道智能手机放置的位置时，预测模型的准确性为90.8%； 通过其中一个位置的数据建立的模型进行5 个身体动作识别时，准确率为56.8%。 在确定身体活动之前考虑智能手机放置的位置，可以提高模型识别运动的能力。 因此依赖于设备放置位置建立的模型在应用时要和设备放置的位置相匹配，当需要准确评估某些特征时，只需将设备放置在与建立模型相同的身体上位置，就可以准确的评估这种身体运动。

3.3 与身体位置无关的算法

智能手机的放置相对于身体而言不是一直固定的，因此为了准确评估身体活动需建立与身体位置无关的算法模型，在信息提取阶段需使用数字过滤器和降维技术进行数据的预处理，因此算法的复杂性较高；同时，这样的算法模型会降低可识别的身体运动粒度 （具有细微差别的身体活动）。 Anjum等［52］开发了一个能够识别7 种身体活动的算法模型，但不能识别站、躺、坐或它们之间的转换，将限制该模型应用于估计与长期坐着有关的心血管疾病风险的能力。 Antos［51］等建立的模型能够区分站和坐，但不能识别在楼梯上行走相关的运动。

与固定位置固定方向以及固定位置不固定方向的算法模型相比，与位置无关的算法模型优势在于用户可不受限制的使用智能手机。 Wang 等［53］使用Student Life 应用程序对48 名大学生收集了为期10 周的数据，不考虑手机放置的位置和方向，都可以监测身体运动。 研究发现学生每天参与活动的总时间和孤独感之间有显著的负相关（p=0.018）；Var field 等［54］利用智能手机的传感功能远程监测在自己家中进行心脏康复的病人的步数。 上述研究表明智能手机用作身体运动的非侵入性监测，它在改善医疗保健方面具有巨大潜力。

4 挑战

无论智能手机在身体上的位置、 方向以及用户机体特征如何，理想状态下的算法体系可将身体活动准确、 精细化分类，同时算法体系功耗最小。 在建立估计身体活动的算法模型时，需攻克以下难题（见图5）。

图5 理想的物理运动识别算法体系

4.1 智能手机的电池寿命

现代智能手机突出的大显示屏以及更多的后台传感器，电力消耗水平显著增加，电池使用时间缩短。 Flaky 等［63］指出，智能手机电池的消耗速度取决于3 个因素；一是，用户使用设备的时间；二是，在设备上安装和运行的应用程序；三是，设备的硬件和操作系统。 Carroll 等［64］研究发现，在没有应用程序运行、 屏幕关闭的状态下，安卓智能手机的大部分电量被GSM模块所消耗，而在屏幕打开但没有应用程序运行的状态下，图形处理器消耗的电量最大，手机电量使用下降更快。 Khan 等和Han 等开发了即不需要大量内存或相对复杂的数学运算的特征提取方法和计算模型上的“轻量级”算法，可以估计机体运动，同时最大限度地降低智能手机的电池消耗率。

智能手机电池消耗的速度受内部和外部感应特征的影响。内部传感特征与传感器有关，就运动和环境MEMS 传感器而言包括传感器的采样频率和分辨率模式； 外部传感特性与开启传感器的数量和从数据中提取信息的计算复杂性有关。Abdeslam 等［65］发现，在关闭所有传感器的情况下，1 200 mA的电池可以为智能手机（Nokia N95）供电170 h；Khan 等研究表明，在不影响分类准确性的情况下，可以用20HZ 的采样频率、使用时域特征值评估身体活动；同时通过减少提取的特征数量以及特征的计算复杂性，可以进一步降低能耗。 算法的能源效率是需要考虑的重要条件，或者可通过电池技术的发展进行更多电力能源的存储，或者研发出可减少硬件组件功耗的方法，包括一些传感器可根据需要进行动态调整的电源管理方法，或根据采样需要进行MEMS 传感器采样频率的设置。

4.2 算法的准确性

为了最大限度提升算法体系识别身体活动的精准化水平，需开启更多的传感器收集数据进行综合分析，因此电池电量消耗大增。 监测识别身体活动的准确性取决于手机在身体上的位置和固定程度，假如智能手机放置在裤子口袋里，它可以区分走路和跑步的身体运动，但可能难以区分二头肌弯曲和三头肌伸展，这会对能量消耗的预测产生较大影响，同时，现实中任何佩戴在下半身的可穿戴传感器都不能准确估计由于上体运动而产生的能量消耗，或当智能手机放置在腰部或裤子口袋中时进行主要由上体运动组成的活动； 或由行走表面的变化（如在松软和坚硬表面之间移动）而产生的能量消耗的偏差。

4.3 算法的稳健性

4.3.1 跨平台的可变性

由于各智能手机操作系统、软件和硬件的差异，建立的算法模型在各平台的普适性也存在较大挑战。 有研究发现智能手机应用开发时可以选择本地的、网络的、混合的3 种应用的数据来源形式，本地应用的性能最好，但与网络或混合应用相比，这些应用数据的迁移更加困难，此外，Android 等平台允许任何应用程序在后台运行，而iOS 不支持连续访问后台惯性传感器的应用程序。 这种差异会限制适合跨平台开发的应用程序的类型。 虽然许多智能手机设备的MEMS 传感组件具有可比性，但不同设备传感器的分辨率和操作范围有很大的不同，这限制了使用从一个智能手机获得的数据所开发的算法的可移植性。

4.3.2 设备放置位置

虽然已经采用降维技术来规范由于设备方向不一致而导致的高可变性数据，但MIMU 的数据尚未通过AHRS 算法进行融合，以识别物理运动。使用AHRS 将使局部帧加速度能够投影回全局参考系，从而能够导出独立于设备方向的特征，并可能导致基于生物力学的新特征，类似于管理行人航位推算中使用的ZARU 和ZUPT 的原理。 在家时人们一般不会将智能手机放在衣服里，这限制了智能手机监测人们在家时身体运动的能力，相反，老年人在选择时更倾向于将智能手机放在衣服的口袋里，而不是佩戴专用设备，当被要求佩戴非侵入性的健康监测器时，这种偏好可能会延伸到其它亚人群。

4.3.3 亚种群间的预测能力

Albert 等对18 位（33.0±4.5 岁）健康受试者建立评估身体活动的算法模型，并用8 个帕金森病患者（67.0±8.1 岁）的数据检验算法模型的预测能力，发现通过健康人群建立的算法模型无法正确分类进行相同身体运动的亚群人群。Del Rosario等［66］研究发现不同群体、生理特征的模型无法互用进行身体活动的预测，在进行活动能量消耗预测时会产生较大的误差。还有研究发现在进行能量消耗监测时，根据成年人群建立的能量消耗模型不能推广到幼儿或肥胖成年人群体中。

4.4 未来研究方向

4.4.1 开发新的传感元件

随着新兴技术的发展，传感器的功能不断丰富、 体积变小，手机将包含更多的传感元，这些技术的发展有助于更准确的识别身体活动。 一些手机也具备使用智能手机的摄像头和闪光灯来估计心率/脉搏的算法，有些手机中也出现了专用“心率”传感器，一些起初用于医疗保健领域的传感器也逐步应用在智能手机设备中。 在未来的研究中开发一些识别适合集成到下一代智能手机的传感器，以及结合这些传感组件的算法，使传感元件的更新和算法的迭代可遗传。

4.4.2 MEMS 传感器管理

根据运动需要可动态调整智能手机MEMS 传感器采样频率的“智能”算法进行深入研究。 这些智能算法在个体久坐状态下降低MEMS 传感器的采样率，当用户不携带智能手机时完全禁用MEMS 传感器，而当在个体参与活动时提高采样频率； 同时还应该加大开发可根据运动需要改变传感器操作范围的方法，提高识别的精度，这有助于识别一些细微差别的身体运动。

4.4.3 与新兴技术的融合

智能手表以及其它能够与智能手机通信的“智能”服装、运动鞋的发展，可以更准确的确定运动的时间和位置，进行运动的识别和身体能量消耗的预测，为算法技术的发展提供了良好机会。 研究使用RSSI 来估计“智能”设备之间的距离，这些技术将类似于那些用于磁性位置和方向跟踪系统的技术。在这些“智能”服装嵌入MEMS 传感器，智能手机可能成为处理所有传感器数据的“数据中心”或枢纽，同时开发新的方法建立无线设备之间的通信，一次配对终生使用。

4.4.4 算法的个性化

“健康宝”（HealthKit）（来自苹果公司）和“健康生活”（S Health）（来自三星）等应用程序的开发，它们整合了来自各种第三方智能手机应用程序的信息，旨在收集和分析用户的健康数据（如，血压、心率、体重、位置等），通过结合个人生理信息调整算法的行为，考虑到随着时间的推移而改变的用户生理特征（年龄、当前的健康水平）以及用户的日常活动水平，结合这些个人基础数据改进估计身体运动的算法准确性。

5 结论

智能手机作为一种非侵入性的身体运动监测器，已经显示出了强大的功能。 当智能手机的大量传感元件被利用时，该设备可以识别各种身体活动，同时在医疗保健方面有更大的发展潜力。 需通过进一步的研究来解决设备的多功能性所产生的问题，以及智能手机技术的发展缓解电池容量所带来的限制。MEMS 传感器的“智能手表”以及其它可能成为“智能”（即嵌入电子元件，可以传递运动并与其它电子设备进行无线通信）的服装项目有可能极大地影响识别运动的方法。 智能手机也可以成为所有数据被转发和处理的中心，而不仅是依靠智能手机内的传感器来识别身体运动。