iPPG技术及生理参数检测的教育应用综述
2021-03-09孔江萍慈康怡
郑 鲲,孔江萍,周 晶,慈康怡,常 鹏
1.北京工业大学 信息学部,北京100124
2.北京工业大学 继续教育学院,北京100124
成像式光电容积描记技术(imaging Photoplethysmography,iPPG)是近些年发展迅速的一种非接触式生理参数检测技术[1],是在传统单点接触式光电容积描记技术(Photoplethysmography,PPG)上发展起来的。与传统的接触式PPG相比,iPPG技术具有无创、非接触检测人体的优点。在现代医学体系中,心率(Heart Rate,HR)、心率变异性(Heart Rate Variability,HRV)、呼吸率(Breathing rate,BR)、血氧饱和度(Oxygen saturation,SpO2)等生理参数的检测对人体健康评估、疾病诊断等起着重要的作用。而生理参数检测除了应用在传统的医疗场景中,也逐渐扩展到智能教育等领域。比如,通过检测教室空间里参与者的生理参数来进行情绪识别[2],可以及时评估学生的心理健康情况,同时对教师及时调整教学状态也有很大的督促作用。而在传统的教学课堂上,主要还是采用课堂观察这一评估方式。课堂观察是教师动态捕捉教学现象,实时分析教学情况,获得教学质量反馈,以此对教学内容、方法、状态做出及时调整的重要手段。但这种评估方式是一种基于经验的评价,主观性较强,评价结果不够精准[3]。随着大数据、人工智能的不断发展,传统教育领域的智能化将是一个必然的发展趋势。同时近些年来,智慧教育越来越受到国家的重视。结合人工智能技术对学生的心理情绪进行及时监督,对教师的教学效果进行及时测评,不仅可以为学生的心理健康发展提供支持,同时也可以为教师的客观教学评估提供支持。
基于iPPG技术的生理参数检测及其在教育领域应用的研究和分析包括4部分。首先,介绍基于iPPG技术进行生理参数检测的起源及发展;其次,分析基于iPPG技术进行生理参数检测的原理和方法;然后,将生理参数检测在教育领域的应用归纳为四个方面并分别做了介绍;最后,展望了iPPG技术在教育领域的应用前景。
1 基于iPPG的生理参数检测技术发展
通过身体的心血管脉搏波的检测被称为容积描记术。容积描记术(PPG)是20世纪30年代出现的一种方法,它使用光的反射或透射,是成本最低、使用简单的方法。之后在PPG的基础上,研究又提出了成像式光电容积描记术(iPPG),实现了无创,非接触的生理参数检测。
2007年,日本的Takano等基于iPPG技术利用CCD相机采集的人体皮肤视频研究出了一种非接触式的心率与呼吸频率采集装置[4]。然而环境光照变化和大幅度运动干扰会严重影响该方法得到的心率信号的准确性。
2008年由Verkruysse等[5]首次研究提出基于iPPG技术采用普通高清摄像头进行心率检测。2010年,麻省理工学院的Poh提出了基于独立成分分析(Independent Component Analysis,ICA)[6]的生理参数检测系统。首先使用ICA将归一化的原始信号分解为R、G、B三通道的独立源信号,选择第二分量作为源信号,最后利用快速傅里叶变换频谱分析进行心率值估计。该系统由于其低成本及较高的准确性,引起了较为广泛的关注。2012年Sun等提出了一个在环境光条件下应用联合时频分析去远程测量心率的基本框架[7]。2014年,Li用自适应滤波[8-9]来处理公共数据集MAHNOB-HCI视频中的运动和照明干扰。虽然精度明显比Poh等[6]的有所提高,但MAHNOB-HCI数据集的采集条件较理想,受试者没有明显的头部运动。2016年Chwyl等基于贝叶斯估计提出了心率检测方法[10-11]。但没有考虑到在现实条件下不可避免的身体运动。这些非接触式心率检测方法在消除运动伪影上有一定的局限性,因此如何消除运动伪影成为研究者们急需解决的问题之一。
近年来,研究人员开始关注真实场景下如何消除运动伪迹的影响。
2017年,Alghoul等[12]比较了两种提取心率变异性的方法,其中一种方法基于独立成分分析(Independent Component Analysis,ICA),另一种方法基于欧拉视频放大(Eulerian Video Magnification,EVM)。结论表明基于ICA的方法在高频与低频上的HRV结果更好,但是在运动情况下,基于EVM的方法结果更好。2018年,Prakash等[13]提出了一种用于运动估计和特征跟踪的有界卡尔曼滤波技术,来减小运动伪影的影响,并实现了在不同光照环境下,受试者进行自然的头部运动和4英尺距离内的身体移动时的心率检测。同年,Ghanadian等[14]在ICA盲源分离法的基础上,增加了光均衡方案来减少时空光照变化对心率估计的影响,并使用机器学习方法选择ICA模块输出的最精确信道,正确率达86.9%。2019年Yang等[15]针对人脸运动的情况,提出了一种基于面片融合的框架,可从人脸视频中估计出准确的心率。Qiu等[16]用时空滤波与卷积神经网络相结合,实现了真实条件下心率的远程测量。
另外,还有研究通过皮肤像素选择来提高iPPG信号质量。Fouad等[17]通过滤除感兴趣区域(Region of Interest,ROI)中包含的非皮肤像素来提高iPPG信号的质量。与以往基于iPPG的实时检测方法比较发现,先进行皮肤分割然后定义额头、左右脸颊为ROI会使心率检测的准确率更高。此外,比较每个步骤中不同方法的性能后,得出了Viola-Jones、KLT(Kanade-Lucas-Tomasi)和PCA(Principal Components Analysis)分别作为人脸检测、人脸跟踪和盲源信号分离方法效果最好的结论。
2 基于iPPG的生理参数检测技术
2.1 iPPG技术原理
2.1.1 iPPG技术的生物学原理
人体的皮肤组织是由表皮、真皮、皮下组织三层构成,如图1所示。1981年,哈佛大学的Anderson和Parrish等发现了人体皮肤组织的光学特性[18]。研究表明,皮肤中对光吸收和传输的主要部位是位于表皮层以下的真皮层,利用iPPG原理进行生理参数检测就是对真皮层的反射或投射光进行检测。
图1 人体结构皮肤组织
此外,对于入射光线的吸收散射效果,人体的不同组织和成分存在差异性。考虑到人体的肌肉、脂肪、骨骼等组织在短时静止情况下对入射光的吸收效果基本不发生变化,而心脏的周期性搏动使得人体血管内的血容积呈现出周期性的变化,所以人体血管对于入射光线的吸收变化也呈现出周期性波动。当心脏收缩时,血液从心脏内流出进入动脉和毛细血管,此时动脉和毛细血管内血液量显著增加,对于入射光的吸收效果显著提升,但人体其他组织对入射光的吸收效果基本不发生变化;在心脏舒张的时候,血管内的血液流回心脏,从而导致血管内的血液量骤减,同时动脉血管和毛细血管对于光线的吸收能力也随之降低,而其他组织对于光线的吸收能力基本不变。因此可以认为在心脏整个收缩舒张周期中,血管内血液容积对光线的吸收能力呈周期性变化[19]。
2.1.2 iPPG技术的光学原理
iPPG是在传统的单点接触式光电容积描记技术(PPG)上发展起来的,原理与PPG生理参数测量均为朗伯-比尔定律。郎伯-比尔定律阐述为:当吸光介质是透明介质时,介质的吸光程度和光线强度无关;吸光的分子数量越大,吸光量越高。在iPPG技术中,光的吸收量正比于人体真皮层里血管血液容积。
当一束单色光I0射入吸光物质时,透光强度I与入射光强度的关系如下:
I=I0e-ε(λ)CL
其中,ε(λ)为物质对特定波长的光的吸收率,称为吸收系数,C为吸光物质的浓度,L为光程,即光在物质中经过的距离。
在iPPG技术中,当光源照射皮肤后,光照强度随着血管中血液容量变化而发生改变,通过视频采集设备检测到的光照强度变化就包含了相应的心脏周期活动信息。
2.2 基于iPPG技术的生理参数检测的基本框架
基于iPPG技术实现生理参数检测的流程框图如图2所示。由于高灵敏度CMOS相机和低成本网络摄像头在测量心率的效果方面差别不大,所以一般主要关注视频处理、容积波提取、生理参数提取等三个过程。
图2 基于iPPG技术的生理参数检测流程图
2.2.1 视频处理
由于在使用摄像头进行视频采集时,头部较难固定,因此容易引入运动伪迹的干扰。同时还会有待检测人脸部位背景的干扰。这些干扰均会降低血液容积波信号(Blood Volume Pulse,BVP)的信噪比,从而使生理参数的检测结果不够准确。所以需要对视频进行处理,去除BVP信号外的噪声。
视频处理过程通常包括人脸检测与人脸跟踪、ROI选取。常用的人脸检测算法有Viola-Jones算法[20-22],这是一种基于积分图、级联检测器和AdaBoost算法的方法,利用Harr-like特征表示人脸属性,然后通过Adaboost算法构建级联分类器。王春江等[23]在Viola-Jones算法基础上,提出了基于拓展的Haar特征人脸检测算法。拓展Haar分类器对于非正脸的特征识别有所提高,降低了误检率,有效改善了因为人脸角度不同而造成误检漏检的现象,提高了检测的灵活性。汪秀军等[24]使用卷积神经网络(Convolutional Neural Network,CNN)检测人脸,郑银环等[25]提出了基于小滤波器的深卷积神经网络的人脸特征点检测算法,在预测人脸5点特征点问题上有很好的准确性和鲁棒性。Li等[8]、Sun等[26]以及王香荣等[27]采用基于MTCNN模型的人脸检测算法。MTCNN模型是以深度学习算法为基础,使用了三个CNN级联算法结构,将人脸检测和人脸特征点检测同时进行。作为多任务级的人脸检测深度学习模型,该模型中考虑了人脸边框回归和面部关键点检测综合性能。基于MTCNN的人脸检测算法检测速度快、检测精度高,对于存在多个监测目标的视频序列来说,能够满足对于心率实时检测的要求。
人脸检测后,一般要进行人脸跟踪。常用的人脸跟踪算法是KLT(Kanade-Lucas-Tomasi)算法[28-29],通过跟踪66个特征点的位移来跟踪头部移动,最后输出稳定的人脸视频。基于CT(Compressive Tracking)的跟踪算法[30-31]是基于压缩感知的跟踪算法,首先提取图像的Haar特征,然后对特征利用稀疏感知进行降维。进一步将降维特征送入贝叶斯分类器进行训练,下一帧在目标区域附近取框进行分类。最后得到一个正样本的图片和若干个负样本的图片,并更新分类器,以此循环。由于每次更新只有一个正样本,因此当图像噪声比较大的时候可能会出现目标框漂移。
人脸感兴趣区域ROI的选择方面,研究人员关注的区域主要包括整个面部ROI_1、前额ROI_2、眼睛下方嘴巴上方区域或脸颊ROI_3以及眼睛下方区域ROI_4四个区域,如图3所示。很多研究者选择前额、脸颊或者眼睛下方区域,因为这些区域的面部温度相对恒定,而且静止时,不会因眨眼、动唇等轻微面部运动产生伪影,降低信号质量。也有研究从多个ROI组合中提取iPPG信号,以提高信号强度。大量的实验证明,从ROI_3区域得到的BVP信号质量更好,稳定性更强。
图3 人脸感兴趣区域
ROI区域的选择方式一般有手动选择感兴趣区域和人脸检测自动选取两种方法,如表1所示。
表1 ROI选取方式与选择区域
2.2.2 容积波提取
基于人脸视频提取出BVP信号的方法主要有两种,一种是将面部提取的ROI区域的绿色通道(G通道)的变化进行数字信号滤波获得BVP信号[32],另一种是使用独立成分分析(ICA)算法从人脸视频的RGB三通道中提取出BVP信号。如图4所示。
图4 BVP信号提取过程
2.2.3 生理参数提取
目前通过iPPG技术可以获取的生理参数有心率、呼吸率、血氧饱和度、心率变异性、血压等。其中前四个研究最多。
(1)心率、呼吸率提取
心率是人体最主要的生理参数之一,是人体心脏功能和健康状况的可靠指标。心率的检测在医学领域具有重要的意义。传统接触式的心率检测方法有很多,如,动脉压力法、心电图法、电阻法等,且已经入临床使用,所以早期iPPG非接触式生理信号的检测研究也集中在心率检测上[5,33]。
由心脏的周期性收缩与舒展而引起动脉的周期搏动,使得iPPG信号也呈现周期性变化。人体正常心率范围为1~1.67 Hz(60~100次/min),呼吸频率范围为0.05~0.75 Hz(3~45次/min)包含在iPPG信号的频带范围内。心率与呼吸频率的提取过程通常都是先对iPPG信号进行频谱分析,然后根据正常人的心率与呼吸频率范围,用滤波器进行滤波提取。目前iPPG技术中常用的对容积波进行频谱分析方法是傅里叶变换[6,20,24]与AR(Auto Regressive)模型[28]。荣猛等[34]等将频域内幅值最大处的频率值对应心率值,次波峰的频率值对应呼吸率的值。且王涛等[35]认为其iPPG信号主峰主要受心率频率影响,次波峰主要受呼吸等其余频率影响。Ghodratigohar等[36]提出了一种在运动状态下基于iPPG的呼吸频率检测算法,使用CEEMDAN(Complete Ensemble Empirical Mode Decomposition with Adaptive Noise)将ICA输出信号分解为IMFs(Intrinsic Mode Functions),然后使用机器学习得到最能代表呼吸频率的IMFs。这种方法在静止状态下的RMSE能达到1.89次/min,在运动状态下的RMSE能达到2.30次/min。
(2)血氧饱和度提取
健康的人体血氧饱和度一般在95%~99%范围内。接触式PPG是借助光电手段检测出血液容积的变换,根据朗伯-比尔定律,血氧饱和度可由两种波长的光的相对波动振幅计算得到,利用双波长法[37]测量血氧饱和度的线性经验公式如下:
其中,SpO2为血氧饱和度,A和B为经验系数,IAC和IDC为光的交流分量和直流分量。从以上经验公式中可以看出,血氧饱和度的提取主要是容积波信号中IAC和IDC的提取。
由于每个周期的容积波信号最大最小值存在差异,所以当获得的容积波信号波形较好时,通常是将红、蓝波的平均值作为IDC,而交流分量的提取通常采用的是峰谷值法[28,38]。但是在原始信号波形较差的情况下,无法获取准确的峰谷值波形。因此研究者通常采用红、蓝两波的标准差(方差)作为IAC[34,37,39],其平均值作为IDC。A与B是以接触式血氧仪的同步测量结果为标准信号,与利用iPPG技术测得的结果经过线性拟合得到的经验系数。
(3)心率变异性提取
心率变异性是指每次心跳周期差异性的变化,是评估自主神经控制的有效方法。临床上对心率变异性的检测主要通过心电信号分析。
有研究表明,心率变异性与脉搏变异性(Pulse Rate Variability,PRV)具有等价性[40],因此,心率变异性可以通过脉搏变异性的检测获取。目前使用最多的脉搏变异性信号线性分析方法为时域分析、频域分析以及时频联合分析方法。
Sun等[19]研究发现基于iPPG技术采集到的RR间期等心率变异性信息包含且可分析出部分的心率变异性信息。
2.3 数据处理技术
基于iPPG技术实现生理参数检测的信息处理过程中涉及到的算法。
2.3.1 容积波信号提取相关算法
由于iPPG技术得到的BVP容易受到面部肌肉运动、头部晃动等不稳因素的干扰。因此,如何在现实场景中准确地提取BVP进而提高心率检测的准确性,成为国内外学者研究的难点和热点。当脉搏容积波信息得到后,可能会存在噪声。因此需要对提取到的容积波信号进行滤波去噪处理,常用的方法是使用滤波器对信号进行处理。优化去噪方法如表2所示。
表2 常用的优化BVP的去噪方法
2.3.2 消除运动伪迹相关算法
早期基于iPPG的生理参数检测基本都是在检测对象处于静止的情况下进行的,因为即使是轻微的运动都会造成ROI和摄像头、光源之间的距离和角度发生变化,从而带来更大的干扰和噪声。但现实场景下检测对象不可能一直保持这种理想条件,因此越来越多的研究开始关注如何去克服运动带来的影响。表3为消除运动伪迹的一些相关算法。
表3 消除运动伪迹的方法
2.3.3 消除视频压缩伪影的相关算法
基于iPPG技术进行生理参数检测过程中由于采集到的原始视频数据量巨大,难以上传及下载,所以往往需要对视频进行压缩预处理。利用视频压缩降低视频的比特率,但同时也要保证视频内容的质量。在McDuff等[53]的研究中,分析了两种常用的编解码器(X264和X265),比较了不同比特率下的脉冲回复率,结果表明,随着比特率的降低,所提取的脉冲信号的信噪比有明显的下降,即证明视频压缩会降低iPPG的检测精度。在Zhao等[54]的研究中提出了一种基于感兴趣区域的视频压缩算法来保持生理信号。首先将皮肤/非皮肤特征分类问题建模为稀疏子空间聚类。然后将生理信号分配到感兴趣(非感兴趣)区域来保存。最后再基于感兴趣区域进行视频压缩。这种方法能够有效地保存面部视频的生理信号。Zhao等[55]还分析了压缩对iPPG测量的影响。提出了基于单通道信号处理的iPPG脉冲提取框架。并对四种常用的压缩方法(X264、X265、VP8和VP9)、两种运动类型(静止和运动)进行了大量的实验。实验结果表明,该方法提高了现有算法在静态视频中的性能,对低码率下的运动视频效果较好。脉冲信号的质量随着比特率的降低而降低。X265保留了最好的信号质量,VP9的效果最差。
现有的iPPG方法几乎都是基于未压缩的视频数据,限制了其在需要长距离视频传输的场景中的应用。在处理运动场景以及复杂场景下的检测等方面也存在一定的局限性,在以后的工作中需要进一步研究。未来的研究工作之一将集中在运动鲁棒性的视频压缩算法设计上。
2.4 数据集
很多基于视频进行生理参数检测的方法使用未公开数据进行性能评估。而公开的视频数据集非常有限,使得很多方法无法充分地进行性能评估。目前基于视频进行生理参数检测研究使用较多的是MAHNOBHCI[56],该数据集由27名受试者的527段视频组成,记录了包括心率在内的面部视频、音频信号、眼睛注视和外周及中枢神经系统生理信号。此外还有一些可用于心率检测的公开数据集如表4所示。
表4 用于生理参数检测的视频数据集
常用的非接触式心率检测评估指标有五种,且都是基于测量误差HRe=HRv-HRt,即从视频中检测出来的心率值HRv与真实值HRt的差。与SDe分别为测量误差HRe的绝对平均值与标准方差,RMSE为均方根误差,用来估计检测值与真实值得误差,MeRate为平均错误率百分比表视频总量,MeRate值越小表示检测值越接近真实值。r为皮尔逊相关系数,用于评估心率的检测值与真实值的之间的线性相关性,||r越大,相关程度就越高。在公共数据集MAHNOB-HCI上,不同的心率估计方法的性能比较结果如表5所示。
综合表5可得,在头部动作幅度相对较小的情况下,非接触式心率检测的误差绝对平均值可以降低到1.68次/min,均方根误差降低到3.26次/min,检测值与真实心率值的相关性达到了0.95。与指夹式脉搏血氧仪±1次/min的测量精度已经十分接近。
表5 不同心率估计方法的比较
以上数据集结构与分类还比较简单,大多以正脸静止或小幅度运动为主,更为复杂的条件下的数据集有待整理。Hassan等[69]基于MAHNOB-HCI对27名不同肤色的受试者进行了验证。基于统计的量化指标包括平均误差、标准差、均方根误差、皮尔逊相关系数和Bland-Altman分析等。Chen等[70]考虑了在头部旋转等较为复杂情况下的生理参数检测。未来需要有更为丰富和开放的数据集为复杂情况下的生理参数检测方法的研究提供支持。
3 生理参数检测在教育领域的应用
3.1 接触式生理参数检测在教育领域中的应用
生理参数是反映学生学习状态的重要信息,已经有大量研究工作使用了接触式的检测方式对学生生理状态进行检测,并将学习状态数据用于教育相关研究。接触式生理参数检测在教育领域的应用流程如图5所示。
图5 接触式生理参数检测在教育领域的应用流程图
待检测学生使用接触式的生理信号检测仪器进检测,例如监护仪、一次性电极传感器、血氧饱和度仪、手指脉搏血氧仪等。教育研究人员对检测到的生理信号进行分析,可以获得学生心率、心率变异性、血氧饱和度等生理参数。将检测到的生理数据进行汇总分析以反馈学生的学习、心理、身体状态。
近年来随着大数据与人工智能的不断发展,国内外研究者对生理参数检测在教育领域的应用进行了大量的研究。目的主要包括提高学生成绩,学生情绪识别,体育艺术教育以及特殊人群教育四个方面。
3.1.1 生理参数检测应用于提高学生成绩
生理参数对学生的学习成绩有着直接或间接的影响。Scrimin等[71]将光电容积仪传感器连接到受试者非常用手的食指尖上连续记录BVP来检测心率变异性(HRV)。并以心率变异性(HRV)为指标,记录学生在观看学校相关压力(School-Related Stressor,SRS)视频之前、期间和之后的心理生理反应,探讨青少年对SRS的心理生理反应。结果表明观看SRS视频片段时学生的HRV与其成绩呈正相关。Cowley等[72]使用电极检测心率变异性(HRV),通过研究分析在游戏过程中的生理参数及其与学习成绩的关系,发现一定难度下HRV会预测到学习结果,如表6所示。
表6 生理参数检测应用于提高学习成绩
3.1.2 生理参数检测应用于学生情绪识别
情绪的变化可以通过生理参数检测反应出来。Bland等[73]发现当学生在接触进化论主题时会以生理变化的形式产生可检测到的情绪反应。Stavroulia等[74]通过脑电图(Electroencephalogram,EEG)测量心率,利用心率记录和自我报告的数据评估虚拟现实VR系统对参与者情绪和情绪状态的影响。结果发现,参与者的负面情绪和情绪状态发生了显著变化,表明场景和VR体验对他们的影响很大。Versluis等[75]研究了基于智能手机的减少时间焦虑的培训是否可行并且是否改善了生理健康状况即心率变异性增加。结果发现通过正念练习进行的减少烦恼的及时训练和情绪记录都可以使HRV增加。Cranford等[76]研究认为心率可以用来测量学生认知负荷的变化。Thompson等[77]使用3 mm传感器进行生理参数测量,结果表明心率变异性测量可用于推断情感激活和情感价值。Calderón等[2]的研究中将血氧仪用于检测研究生课程参与者中出现的情绪反应。如表7所示。
3.1.3 生理参数检测应用于体育及艺术教育
学生在体育教育、舞蹈及音乐的艺术教育中伴随着大量的生理特征的变化。通过对学生的生理参数的采集分析,可以找出学生学习状态与生理参数的关系,适时地调整学习训练计划。
表7 生理参数检测应用于学生情绪识别
Orman等[78]研究了生理参数检测在音乐教育中的应用,让30名大学生分别听取了Billboard 100最受欢迎和最不喜欢的音乐流派的音乐选曲。每种音乐聆听之前,需要学生经过两分钟的静默,然后记录心率变异性(HRV)。与静默时相比,在聆听音乐时,所有HRV指标均下降。在从事精神活动时,HRV会降低。Marmeleira等[79]评估葡萄牙高中生在体育教学中的体育活动(Physical Activity,PA)水平,将心率遥测和计步器测量用于评估PA水平。Frömel等[80]使用监视设备ActiTrainer对捷克共和国的24所中学学生进行心率检测,参与者佩戴了ActiTrainer加速度计,该加速度计可监测PA和心率。结果表明在参与学校教育能力评估的所有指标和强度方面,参加体育课的学生比未参加体育课的明显好得多。Menno等[81]对7~9年级(11~15岁)13个班的216名学生(90名女生;42%)进行男女混合组和单性组的打篮球运动。同时采用心率监护仪评估参与者的中高强度活动对感知能力的影响。如表8所示。
表8 生理参数检测应用于体育及艺术教育
3.1.4 生理参数检测应用于特殊人群教育
对医学特殊的学生进行生理参数检测,能够进行更有效的沟通,使他们得到更公平可靠的教育。
Dijkhuis等[82]通过对患有自闭症的人进行生理参数检测得出患有自闭症的年轻人心率变异反应性较低,这表明他们不能有效地调节自己的压力。Zamunér等[83]研究得出脑瘫患儿的心率变异性指数较低,表明交感神经不平衡。脑瘫患儿心率变异性的降低与运动障碍水平有关。Heather等[84]对自闭症患者的心率进行检测得出自闭症患者在有无束缚时的心率变化:当施加某种形式的约束时,心率通常在静息心率范围内或附近;当解除束缚或发出解除束缚的信号时,心率在短时间内急剧增加;当重新施加约束时,心率下降,并最终在几分钟内恢复到静止范围。Zantinge等[85]评估29名自闭症谱系障碍儿童和45名典型发育期儿童在挫折情境下情绪的生理唤醒和行为调节。Lauren等[86]通过电极检测孩子心跳的IBI,并将其传输到接收器。研究表明在高度焦虑状态下孩子们均表现出明显较高的心率。儿童社交恐惧症也是教育中会遇到的特殊人群,特征是社交焦虑与过度的生理反应。Krmer等[87]对照健康儿童,研究了社交恐惧症儿童在主观焦虑以及自主神经和内分泌压力方面的情况。结果发现社交恐惧症儿童表现出了慢性HR水平升高,这表明社交恐惧症儿童存在普遍的自主神经反应过度。如表9所示。
表9 生理参数检测应用于特殊人群教育
3.2 非接触式生理参数检测在教育上的应用
通过归纳分析接触式生理参数和检测的教育应用,可知在教育领域中,生理参数检测技术已经应用于情绪分析,而心率、心率变异性等指标也成为支持教育领域应用的重要数据。但是目前研究中大多是基于传统接触式的检测方式,而基于视频的非接触式生理参数的检测在教育领域的应用几乎空白,有很大的发展潜力。
首先,基于视频的非接触的方式便于学生的生理参数检测。学生在学习过程中无需佩戴仪器就能获取可靠的生理数据。
其次,基于视频的非接触式的生理参数检测便于特殊人群的生理状态获取。患有自闭症或者社交障碍的学生可能会对一些接触式的检测仪器产生心理抵触,导致检测困难,同时也会对检测到的数据造成影响。而非接触式的生理参数检测无需接触学生,通过视频采集就可以进行生理参数的测量。
最后,基于视频的非接触式的生理参数检测大多使用普通摄像头即可满足视频采集的需求,无额外的硬件成本,有利于在教育领域大范围推广。
建议的基于视频的非接触式生理参数检测在教育领域的应用流程图如图6所示。在学生学习或自然运动状态时,使用监控摄像头或笔记本摄像头等设备采集学生面部视频。对采集到的人脸视频进行处理分析,获得学生的生理参数数据,将采集到的数据进行分析,可为学生的学习状态反馈提供数据支持。
图6 非接触式生理参数检测在教育领域的应用流程图
4 总结与展望
基于iPPG的生理参数检测技术因其无接触式的优点一直吸引着很多研究者的关注,经过十多年的研究,iPPG技术在非接触式生理信号检测上有很多优势,但仍存在不足。结合iPPG技术的特点和发展现状,未来研究应主要包括以下几个方面:(1)运动伪影的消除。对真实场景下的移动的人体生理参数检测还不够准确。因此运动伪迹的消除仍是待解决的问题之一。(2)在侧脸状态下或人脸局部信息缺失情况下检测效果有待提高。(3)建立公开的标准视频数据集,包括测试对象距离、帧率、分辨率、照明条件以及肤色等方面都可以有针对性地分类采集。
iPPG的使用场景在逐渐接近真实场景,而且具有广泛的应用前景,尤其是与教育领域相结合,能够为智慧教育的发展提供技术支持,是非常有潜力的一个研究方向。近十年来生理参数检测在教育领域的应用主要是基于接触式的,需要被检测人佩戴检测设备。这在很多时候限制了应用范围,尤其是对特殊人群。同时接触式测量也会给予被检测学生一定的心理暗示与压力,造成数据不够客观准确从而影响检测效果。而基于视频的非接触式检测方式无需佩戴任何设备,使检测过程具有可移动性。同时对于被检测人尤其是特殊人群来说,非接触式生理参数检测过程友好,不易对其正常的活动产生干扰,使检测结果更具客观性。但目前将基于视频的非接触式生理参数检测应用于教育领域的研究还在起步阶段,可参考的成熟应用几乎空白。在智慧教育迅速发展的今天,将基于视频的非接触式生理参数检测方式应用于教育领域已经成为研究重点。