基于网格化特征提取的恐高症筛查方法

2024-01-11刘帅鲍本坤成贤锴

江苏科技大学学报(自然科学版) 2024年6期

摘要：基于视觉探索特征的恐高症筛查方法主要运用瞳孔特征，然而瞳孔特征易受环境光强干扰，严重影响恐高症筛查模型准确性.为解决该问题，提出了基于网格化的视觉探索特征提取算法，对视觉探索数据进行网格划分，解耦光强信息后再提取相关信号特征和行为特征；同时提出了主动视觉探索诱发范式来更好地诱发恐高状态.实验结果显示：基于网格化的视觉探索特征提取算法准确率提高了11.77%，同时主动视觉探索诱发范式的恐高诱发程度提高了13.57%.结果表明，基于网格化的视觉探索特征提取算法和主动视觉探索诱发范式具有较好的应用前景.

关键词：网格化；视觉探索；特征提取；虚拟现实；恐高症

中图分类号：TP391.9"" 文献标志码：A"""" 文章编号：1673-4807（2024）06-083-07

收稿日期： 2024-01-31"" 修回日期： 2021-04-29

基金项目：国家自然科学基金项目（62301556）；国家重点研发计划项目（2022YFC2405603）；江苏省重点研发计划项目（BE2022064-2）

作者简介：刘帅（2000—），男，硕士研究生

*通信作者：成贤锴（1984—），男，副研究员，研究方向为虚拟现实技术、人因工程、生物医学信号检测与处理.E-mail： chengxk@sibet.ac.cn

引文格式：刘帅，鲍本坤，成贤锴.基于网格化特征提取的恐高症筛查方法［J］.江苏科技大学学报（自然科学版），2024，38（6）：83-89.DOI：10.20061/j.issn.1673-4807.2024.06.013.

Acrophobia screening method based on gridding feature extraction

LIU Shuai^1，2， BAO Benkun^1，2， CHENG Xiankai^1，2*

（1.Division of Life Sciences and Medicine， School of Biomedical Engineering （Suzhou）， University of Science and Technology of China， Suzhou 215163， China）

（2. Suzhou Institute of Biomedical Engineering and Technology， Chinese Academy of Sciences， Suzhou 215163， China）

Abstract：The screening methods based on visual exploration features mainly use pupil features. However， pupil features are easily disturbed by ambient light intensity， which seriously affects the accuracy of the acrophobia screening model. To solve this problem， the grid-based visual exploration feature extraction （GVEFE） algorithm is proposed. This method involves dividing visual exploration data into grids and decoupling light intensity information before extracting relevant signal and behavioral features. Meanwhile， the active visual exploration elicitation （AVEE） paradigm is also proposed to better induce the acrophobia state. Experimental results show that the GVEFE improves the accuracy by 11.77%， while the AVEE paradigm improves the degree of acrophobia elicitation by 13.57%. The results show that the GVEFE algorithm and the AVEE paradigm hold promising application prospects.

Key words：gridding， visual exploration， feature extraction， virtual reality， acrophobia

广义恐高症在成人中的终身患病率为28%，其中65%的轻症患者症状会持续或恶化，导致产生眩晕、心悸等不良反应^［^1-2^］，然而轻症患者对自己是否患病没有明确认知.因此，恐高症的筛查有助于患者认识到自己的患病风险并及时获取治疗.多模态生理信号筛查是恐高症筛查的常用方法，文献［3］使用心电、皮电、脉搏等6种生理信号取得了89.75%的筛查准确率，文献［4］使用脑电、心电、皮电达到了89.5%的准确率.但生理参数采集设备穿戴复杂，繁琐的穿戴过程会对受试者产生心理压力，此外某些脑电设备甚至与实验所需虚拟现实（virtual reality， VR）设备产生冲突，从而影响实验准确性^［⁴^］.

使用视觉探索特征进行恐高症筛查所需设备最少，以HTC Vive Pro Eye为代表的数据采集与VR场景显示一体化设备可以采集瞳孔直径、眼球运动、头部运动等视觉探索数据，在眼科学和情绪识别等领域被广泛应用^［⁵^］.文献［6］使用瞳孔直径、眼球运动等数据分别进行恐高筛查，提取数据方差、功率谱密度等特征，单模态筛查准确率分别为83.00%和78.14%.然而VR场景中不同位置的光照强度可能不同，对瞳孔直径产生干扰^［⁷^］，导致瞳孔特征无法反映受试者的恐高状态，严重影响模型准确性.目前恐高症筛查研究未融合视觉探索行为特征，恐高症筛查方法的准确性仍有较大提升空间.

为解决瞳孔特征易受环境光强干扰从而影响模型准确度的问题，文中提出基于网格化特征提取的恐高症筛查方法.首先将主动视觉探索诱发实验（active visual exploration elicitation，AVEE）过程按照环境光强拆分为不同的任务段，其次提出基于网格化的视觉探索特征提取算法（grid-based visual exploration feature extraction， GVEFE），对任务段进行网格划分，针对亮度不同的任务段分别提取视觉探索信号特征，解决了瞳孔特征受环境光强干扰的问题.在此基础上，将网格化行为特征融合在视觉探索特征提取算法中，进一步提高了筛查模型准确率.

1 实验范式与算法模型

基于网格化特征提取算法的恐高症筛查方法包括AVEE实验范式、GVEFE算法和机器学习分类器.AVEE实验范式由多个任务段构成，GVEFE算法将环境光强不同的任务段重构为独立任务段和合并任务段，分别提取信号特征，排除环境光强变化对视觉探索特征的干扰.此外，GVEFE算法充分挖掘网格化行为特征，为机器学习分类器提供多样化特征.

1.1 主动视觉探索诱发实验范式

为了更好地诱发受试者的恐高状态，提出AVEE实验范式，通过捡拾、放置、跳跃任务引导受试者主动注视地面，诱发其恐高状态.

实验使用VR头戴显示设备HTC Vive Pro Eye（图1（a）①）显示虚拟场景并采集视觉探索数据.图1（a）中，实验场景由站立平台（②）、木板（③）、4个框子（④）、2个追踪器（⑤）和防滑垫（⑥）组成，受试者看到的VR虚拟场景与真实场景一一对应，包括虚拟电梯（图1（b）②）、虚拟高空木板（图1（c）③）、虚拟框子（图1（c）④）、虚拟网球（图1（c）⑤）和虚拟平台（图1（d）⑥）.每位受试者的实验过程可拆分为T0至T11共12个独立任务段：受试者蒙眼进入实验室，佩戴VR头显后站在站立平台上，开始实验（图1（a）T0）.在虚拟场景中，受试者看到自己乘坐电梯到达60层（T1），然后电梯门自动打开（T2），受试者走出电梯（T3），走到高空木板的尽头并捡拾框子中的网球（T4），回到木板起始位置并放下网球（T5）.受试者再次走到木板尽头捡拾另一侧框子中的网球（T6），并将其放回木板起始处的框子中（T7）.两次捡拾与放置任务后，受试者走到木板尽头（T8），短暂准备（T9）后跳跃至虚拟平台上（T10），实验结束（T11）.任务过程中受试者的活动范围是电梯内部、高空木板、虚拟平台3个位置，如图1（b）、1（c）、1（d），3个位置的光照强度分别为19、124和78 Lux，光照强度变化会引起瞳孔直径变化^［⁷^］，对恐高状态分析引入干扰，因此需要对光照强度不同的任务段分别提取视觉探索特征.

1.2 基于网格化的视觉探索特征提取算法

通过构造独立任务段和合并任务段，GVEFE算法在解决环境光强干扰瞳孔直径特征问题的同时兼顾了任务段的连续性，并以此为基础对每个任务段提取网格化信号特征和行为特征.

1.2.1 网格化信号特征的提取

网格化信号特征的提取方法如图2，包括任务段、数据维度和信号特征3个层面的网格划分，编号的具体含义如表1.

任务段的网格划分首先将实验过程拆分为12个独立任务段，如图1（a），其编号为T0～T11.在相同任务段内受试者感受到的环境光强相近，瞳孔直径等数据受环境光强的干扰较小，能够更真实地反映恐高状态.为了兼顾任务过程的连贯性，根据独立任务段的承接关系组合得到6个合并任务段，编号为T12～T17.独立任务段与合并任务段的含义如表1，合并任务段的具体含义为：T12：T3+T4，受试者见到高空场景并完成第一个捡拾任务.T13：T4+T5，受试者完成第一次捡拾与放置任务.T14： T4+T5+T6+T7，受试者完成两次捡拾与放置任务.T15： T6+T7，受试者完成第二次捡拾与放置任务.T16：T8+T9，受试者在跳跃任务前的准备.T17：受试者从T0～T11的全过程.构造合并任务段能够以连贯任务的角度提取特征，对受试者的视觉探索特征进行更细致的对比.数据维度编号为C1～C16，包括视线方向x/y/z三轴分量、双眼瞳孔直径等16个维度，数据维度网格的含义如表1.信号特征编号为SF1～SF29，包括均值、均方根、均值频率、重心频率等29种时域、频域特征，信号特征网格的含义如表1.

偏态系数、方差和三阶中心矩等信号特征可以反映数据分布^［^8-10^］，被广泛应用于数据特征分析，受试者的头部坐标、瞳孔直径等数据的分布可以体现其恐高状态^［1，7^］.偏态系数是评价序列分布偏斜程度的指标，计算如式（1）.视线方向y轴分量的偏态系数特征编号为C11SF15，代表受试者视线方向在铅垂方向分量的分布偏斜程度，特征值越小表示视线方向越偏下.

Sk=1N∑Ni=1（y-Y）3δ3（1）

式中：Y是y的均值；δ为脉动均方根；N为样本数量.

δ= ∑Ni=1（y-Y）N（2）

方差是评价数据分布离散程度的指标，计算如式（3）.头部坐标y轴分量的方差特征编号为C2SF7，代表受试者头部高度的波动情况，波动越大表明头部活动幅度越大.

s2=∑Ni=1（y-Y）2N（3）

三阶中心矩表示数据分布的非对称程度，计算如式（4）.双眼瞳孔直径的三阶中心矩特征编号为C16SF5，代表受试者瞳孔直径分布的非对称程度，三阶中心矩小代表瞳孔直径多分布于较大值附近.

Sc=∑Ni=1（y-Y）3N（4）

1.2.2 网格化行为特征的提取

在恐高筛查模型中融合视觉探索行为特征^［^3-4，6，11^］，行为特征能够表达受试者实验过程中的行为特点，直观地反映恐高状态.网格化行为特征的提取方法如图3，包括任务段、行为特征和特征边界3个层面的网格划分.

任务段的网格划分方式与前文相同，将实验过程划分、合并为T0～T17共18个任务段.行为特征的编号为BF1～BF18，包括任务段耗时、眨眼频率、兴趣区注视点数量、俯视总时长等行为特征，行为特征网格含义如表1.在VR高空环境中，受试者兴趣区（area of interest，AOI）注视点数量、俯视总时长等特征反映了其恐高程度^［¹²^］.如图4（a），兴趣区为受试者跳跃任务目标区域，兴趣区注视点数量能够表明受试者对地面方向的观察情况，注视点数量与恐高程度呈负相关^［¹^］.对编号为BF11～BF18的行为特征进行特征边界的网格划分.俯视总时长特征编号为BF15，其网格划分过程如图4（b）.边界线所形成的区域下界固定在90°，上界从0°开始以3°为步长递增至87°，与固定下界构成了30个大小不等的范围，编号为R1～R30.当范围上界在0°时，区域表示广义的视线朝下；当范围上界在45°时，区域范围比广义的范围小；当范围上界在75°时，区域表示较为狭义的视线朝下，代表受试者正在以较大的俯角观察场景.通过网格化细分特征，构造特征阵列，可以达到精细化探索恐高症患者行为特点的目的.

文中提出的GVEFE算法将环境光强不同的任务段进行拆分与合并，分别提取信号特征，解决了瞳孔特征受光强干扰的问题，并融合了网格化行为特征，完成了视觉探索特征的精细化提取.

1.3 特征筛选与分类模型

文中通过GVEFE算法提取网格化特征组成特征矩阵，使用过滤法完成特征筛选.采用独立样本t检验计算每个特征的显著性水平p^［13^］，p越小表示组间差异越显著，根据p值从小到大对特征排序，分别选出30个最优的信号特征和30个最优的行为特征.将特征矩阵拼接后计算特征间相关系数，对于相关系数大于阈值的特征组，保留显著性水平p最优的特征，删除其余特征，完成特征的筛选.

在恐高症筛查模型以及情绪识别模型中，支持向量机（support vector machine，SVM）、K 近邻（k nearest neighbors，KNN）和朴素贝叶斯方法（naive bayesian，NB）被广泛使用^［^3，6，14^］，3种分类器的共同优点是只需要很少的训练数据就能达到较好的效果，适合小样本实验.

2 实验结果与分析

2.1 实验对象

排除未完成完整流程以及信号丢失的实验记录后，有效记录为45人次（28男17女）.根据恐高症筛查标准HIQ量表得分是否大于29分^［²^］将受试者划分为恐高组或正常组，两组的平均年龄和性别比例均无显著差异（pgt;0.05），高度演绎问卷（heights interpretation questionnaire，HIQ）量表得分存在显著差异（plt;0.001）.

2.2 数据预处理

文中使用HTC Vive Pro Eye设备采集视觉探索数据，采样频率为30 Hz.数据预处理分为注视方向校准和数据降噪两部分.每位受试者穿戴设备后，凝视设备中的3个控制点各2 s，采集受试者的标准视线方向数据，用布尔莎模型校准视线方向数据.恐高患者在高空环境时头部运动的0～3 Hz频段内与正常人有差异^［¹⁵^］，因此在恐高分析中，头部运动信号的有效信号为低频信号，噪音干扰为高频信号.等权重滑动平均降噪函数能够消除随机波动，保留低频有用信号，因此选用等权重滑动平均降噪函数对数据降噪.

2.3 实验范式对比与分析

文中提出的AVEE实验范式能够诱导受试者注视地面，更好地诱发其恐高状态.在恐高组受试者中选取若干名受试者分别进行3种实验范式的对比实验，采集所有受试者在不同实验范式过程中的视线方向y轴分量和心率.视线方向y轴分量越接近-1，表明受试者俯视角度越大，用心率的提升表示受试者的恐高状态诱发程度的增加.3个实验范式分别为：PA：受试者在木板起点站立观察60 s；PB：受试者走到木板末端并站立观察60 s；AVEE：文中提出的主动视觉探索诱发范式.PA和PB是相关研究常用的实验范式^［^6，11^］.用均值（标准差）的形式表示受试者在3种实验范式中的视线方向y轴分量和心率，如表2.

2.4 网格化视觉探索特征提取结果与分析

通过GVEFE算法对每个受试者提取网格化特征，组成特征矩阵.根据独立样本t检验的显著度p排序选出30个最优信号特征和30个最优行为特征，特征编号与特征显著度如图5和6.提取并筛选的最优信号特征p值都小于0.005，组间差异非常显著；最优行为特征的p值都小于0.05，组间差异显著.

编号为T13C11SF15的特征含义为第一次捡拾与放置任务中视线方向y轴分量的偏态系数.正常组的T13C11SF15均值为-0.81，恐高组为-0.31，表明正常组的视线方向比恐高组更偏向下方，能够更多地注视下方目标物以便完成任务，恐高组受试者虽完成了捡拾、放置、跳跃任务，但视线分布更偏向上方.

编号为T2C16SF5的特征含义为见到高空场景的一秒内的瞳孔直径偏斜度.正常组的T2C16SF5均值为10.95，恐高组为10.82，表明恐高组见到高空场景的一秒内瞳孔直径分布比恐高组更偏向大的一侧，恐高组的瞳孔直径维持在较大值的时间更长，对应恐惧状态下人的瞳孔直径上升的结论^［⁷^］.

编号为T9BF10的特征含义为跳跃前注视兴趣区（AOI）内注视点数量.如图7，方框代表AOI，是跳跃目标范围，边长为0.5 m.

以正方形平台中心为零坐标点，将2 m×2 m的范围划分为500×500的网格，将每个网格里视线落点数量经过高斯滤波后绘制为热度图.正常组受试者的注视点集中在AOI范围内和木板末端，注视点多且集中，如图7（a）；恐高组在跳跃前的注视点少且分散，如图7（b），体现了恐高组受试者的视线分布与正常组受试者的不同，与相关研究中恐高患者视线分布异于正常组的结论相符^［¹^］.提取的最优特征的组间差异显著，将特征筛选后输入机器学习分类器建立恐高症筛查模型.

计算最优特征的皮尔森相关系数矩阵，以0.8为阈值筛选后的特征矩阵与相关系数图如图8.经过筛选后，高度相关的特征组中p值较大的特征被删除，p值最小的特征被保留.

2.5 恐高症筛查模型结果与分析

实验的正常组样本有20例，恐高组样本有25例，不平衡比例为4∶5，需要对正常组样本进行过采样.使用k-means合成少数类过采样技术（synthetic minority oversampling technique，SMOTE）方法对不平衡的特征矩阵进行过采样，将平衡后的特征矩阵标准化后输入朴素贝叶斯、随机森林（random forest，RF）、支持向量机、多层感知器（multilayer perceptron，MLP）等7种标准机器学习分类器分别进行分类.以视觉探索数据为基础，分别使用BASE，SF，BF，GVEFE 4种方式提取视觉探索特征，计算筛查模型准确度.其中BASE代表文献［6］所用的特征提取方式，并将其作为对比基准，SF代表网格化信号特征提取方式，BF代表网格化行为特征提取方式，GVEFE代表文中提出的基于网格化的视觉探索特征提取算法，该算法融合了网格化信号特征和行为特征.如表3，加粗部分为特征提取方法对应的最优模型准确率，基线方法BASE的最佳准确率是84.31%，单独使用SF方法的最佳准确率为92.16%，比基准方法提升了7.85%，单独使用BF方法的准确度较低（76.47%），融合了网格化信号特征和网格化行为特征的GVEFE算法对应的准确率最高（96.08%），比基线方法提升了11.77%.在7种分类模型中，KNN、NB、SVM的准确度最高，分类效果最好，其余分类模型如极端随机树（ExtRaTrees）、逻辑回归分类（logistic regression，LR）等标准分类器的准确度也达到了94%以上.由此得出：GVEFE算法所提取的网格化信号特征和行为特征能够有效地提升筛查模型准确度，并且在多种标准分类器中都能达到较好的分类效果.

3 结论

瞳孔特征是视觉探索特征中的重要特征，然而瞳孔直径的变化受到环境光强变化的干扰，无法直接反映恐高程度，导致筛查模型准确度低.对环境光强不同的任务段进行拆分与合并，分别提取信号特征，解决了上述问题.仅使用网格化信号特征提取方法能够将基线模型准确率提升7.85%，在此基础上，融合了行为特征提取的GVEFE算法进一步将准确率提高至96.08%，比基线方法提升了11.77%，验证了所提算法的有效性.同时提出的主动视觉探索诱发实验范式将恐高诱发程度提升了13.57%，未来可用于其它类型恐惧症、焦虑症等心理疾病的筛查和干预.

参考文献（References）

［1］ HUPPERT D， WUEHR M， BRANDT T. Acrophobia and visual height intolerance： Advances in epidemiology and mechanisms［J］. Journal of Neurology， 2020， 267（Sup 1）： 231-240.

［2］ FREEMAN D， HASELTON P， FREEMAN J， et al. Automated psychological therapy using immersive virtual reality for treatment of fear of heights： A single-blind， parallel-group， randomised controlled trial［J］. The Lancet Psychiatry， 2018， 5（8）： 625-632.

［3］俞洋钊，何炳蔚，白丽英，等. 基于虚拟现实和动态加权决策融合的恐高情绪识别［J］. 计算机系统应用， 2023， 32（7）： 35-46.

［4］ BALAN O， MOISE G， MOLDOVEANU A， et al. An investigation of various machine and deep learning techniques applied in automatic fear level detection and acrophobia virtual therapy［J］. Sensors， 2020， 20（2）： 496.

［5］ SIPATCHIN A， WAHL S， RIFAI K. Eye-tracking for clinical ophthalmology with virtual reality （VR）： A case study of the htc vive pro eye′s usability［J］. Healthcare， 2021， 9（2）： 180.

［6］ ZHENG R， WANG T， CAO J， et al. Multi-modal physiological signals based fear of heights analysis in virtual reality scenes［J］. Biomedical Signal Processing and Control， 2021， 70： 102988.

［7］ MAHANAMA B， JAYAWARDANA Y， RENGARAJAN S， et al. Eye movement and pupil measures： a review［J］. Frontiers in Computer Science， 2022， 3： 733531.

［8］黄飞，陈纪宇，戴健，等. 基于特征暂态零模电流偏态系数的有源配电网单相故障定位方法［J］. 电力系统保护与控制， 2022， 50（20）： 12-21.

［9］ CHEN W， CARRERA M， KWON E， et al. A comprehensive review of thermoelectric generation optimization by statistical approach： Taguchi method， analysis of variance （anova）， and response surface methodology （rsm）［J］. Renewable and Sustainable Energy Reviews， 2022， 169： 112917.

［10］杨莉，周松，周年荣，等. 基于统计特征量的电能表家族特性评价研究［J］. 电力科学与工程， 2020， 36（10）： 24-28.

［11］ WANG H， WANG Q， HU F. Are you afraid of heights and suitable for working at height？［J］. Biomedical Signal Processing and Control， 2019（52）： 23-31.

［12］ FINK J， SVENSSON F， SCHMITZ J， et al. Are you looking or looking away？ visual exploration and avoidance of disgust-and fear-stimuli： An eye-tracking study［J］. 2021，22（8）：1909-1918.

［13］唐立婷，段先华. 改进中心先验的显著性检测［J］. 江苏科技大学学报（自然科学版）， 2023， 37（3）： 60-65.

［14］蔡闯闯，刘庆华. 基于多特征数据融合的疲劳驾驶检测研究［J］. 江苏科技大学学报（自然科学版）， 2023， 37（5）： 52-57.

［15］ BZDUSKOVA D， MARKO M， HIRIJAKOVA Z， et al. The effects of virtual height exposure on postural control and psychophysiological stress are moderated by individual height intolerance［J］. Frontiers in Human Neuroscience， 2022， 15： 773091.

（责任编辑：曹莉）