基于加法网络和自注意力机制的OSA检测方法

郑雅纯 郑和裕 林美娜

开发设计

基于加法网络和自注意力机制的OSA检测方法

郑雅纯 郑和裕 林美娜

（广东工业大学自动化学院，广东 广州 510006）

为实现准确率高且计算复杂度低的阻塞性睡眠呼吸暂停（OSA）检测，根据血氧饱和度（SpO2）提出一种基于加法网络和自注意力机制的OSA检测方法。该方法引入加法网络用于SpO2的特征提取，以降低计算复杂度；采用自注意力机制调整采样点间的特征权重，以提高检测精度。在数据集Apnea-ECG上实现了敏感性94.56%、特异性96.91%的检测性能，且浮点运算数量为2.88 K FLOPs，比卷积操作减小了40%。实验结果表明：该方法在获得较高检测精度的同时，可以保持较低的计算复杂度。

血氧饱和度；阻塞性睡眠呼吸暂停检测；加法网络；自注意力机制

0　引言

阻塞性睡眠呼吸暂停（obstructive sleep apnea, OSA）表现为睡眠期间患者的呼吸气流减少或呼吸受阻[1]。研究表明，长期OSA会增加人们患高血压、冠心病、中风等疾病的风险[2-4]。2019年，柳叶刀呼吸医学杂志报告显示：全球30～69岁人群中约9.36亿人患有OSA[5]。因此，尽早发现和治疗OSA具有重要意义。血氧饱和度（oxygen saturation, SpO2）是表征OSA事件的参考信号之一[6]。其采集设备脉搏血氧计具有廉价、简单和非侵入式等特点[1]。因此，本文采用SpO2作为OSA检测的参考信号。

过去十几年间，研究人员提出了许多基于SpO2经验特征的OSA检测方法。如BURGOS等采用2种时域特征并结合决策树实现OSA检测[7]。MOSTAFA等利用遗传算法、最小冗余最大相关性算法等特征选择算法和人工神经网络（artificial neural network, ANN）、支持向量机（support vector machine, SVM）等分类器实现OSA检测[8-9]。BEHAR等利用数据特征、患者信息，并结合逻辑回归算法检测OSA[10]。上述方法虽然有效实现OSA检测，但严重依赖经验参数，且未能很好地提取SpO2潜在的复杂特征。近年来，不少研究人员将卷积神经网络应用于OSA检测。如CHAW等构建一个具有10个卷积层，32 614个参数的深度卷积神经网络检测OSA[11]；VAQU- ERIZO-VILLAR等构建基于卷积神经网络和贝叶斯优化方法的网络模型预测儿童OSA的严重程度[12]；MOSTAFA等开发具有自动网络结构及超参数选择能力的一维卷积网络（one dimensional convolutional neural network, CNN1D）检测OSA[1]。上述方法都取得了显著成果，但存在以下问题尚未讨论：1）卷积网络运算量大，运算复杂度高，不利于在移动设备，如手表、手机上部署；2）SpO2采集过程中，由于被测者肢体运动产生的大量运动伪迹造成SpO2的非平稳变化，影响OSA的检测精度[13]。

为减少伪迹干扰，提高检测性能，同时降低模型运算复杂度，本文提出一种基于加法网络（AdderNet）和自注意力机制的OSA检测方法。同时，构建并训练可以准确识别含有呼吸暂停事件的SpO2片段的网络模型，从而实现基于SpO2的OSA检测。其中，加法网络采用L1距离运算代替卷积操作，提取SpO2的波形特征，以降低计算复杂度[14]；自注意力机制用于调整不同时间采样点特征的权重，以适应伪迹干扰带来SpO2的非平稳变化。

1 检测方法

1.1 问题描述

1.2 基于加法网络和自注意力机制的OSA检测方法

1.2.1 特征提取

为降低网络模型的计算复杂度，用加法网络代替卷积操作，实现SpO2形态特征的提取。加法网络是由CHEN等提出的一种仅含加法计算的网络，其加法层利用只具有加法的距离度量函数L1距离，代替卷积神经网络中的卷积计算，以实现更高的速度和更低的能耗[14]。

1.2.2 特征权重调整

为适应伪迹干扰带来的SpO2非平稳变化，提高检测精度，利用自注意力机制生成含有相邻样本点间时序关系的掩码，以自适应调整特征权重。自注意力机制是由VASWANI等提出的一种注意力机制，广泛应用于文本识别、机器翻译等领域[17]。

自注意力机制的数学计算过程如下：

1.2.3 基于加法网络和自注意力机制的网络模型

基于加法网络和自注意力机制的网络模型（neu- ral network based on AdderNet and Seft-attention, A-S- NN）主要包括输入层、加法层、自注意力机制、全连接层及Sigmoid激活函数，如图1所示。

基于加法网络和自注意力机制的网络的具体数学计算如下：

5）特征向量通过全连接层及Sigmoid激活函数输出预测值。

2 数据处理

2.1 数据集

本文采用来自Physionet的公开数据集呼吸暂停-心电图数据库（Apnea-ECG database, AED）中的SpO2数据进行实验[18-19]。AED中有8个含有SpO2数据的记录，这些记录持续时间为7 ～10 h。医生给出每分钟的注释，若该分钟出现呼吸暂停则标注为A，否则标注为N。SpO2的采样频率为100 Hz。

2.2 数据预处理与数据划分

为适应网络输入，去除异常数据，对原始SpO2数据进行预处理：

1）将采样频率降为1 Hz；

2）将数据切为1 min的片段；

3）剔除含有异常值的片段，即SpO2低于50%的片段[20]。

根据受试者不同，将8个记录划分为四折交叉验证对结果进行评估，具体划分如表1所示。

表1 四折交叉验证的数据划分

3 实验结果与分析

3.1 实验环境

实验采用的深度学习框架为Pytorch，服务器CPU为Intel(R) Core(TM) i7-9750H CPU @ 2.60 GHz，内存为16 GB。

3.2 参数设置

A-S-NN网络的参数设置如表2所示。

表2 A-S-NN网络参数设置

模型训练采用的优化器为Adam，迭代步数为500，学习率（learning rate, LR）为

式中，为当前已迭代的步数。

3.3 评估指标

利用灵敏度（sensitivity, Se）、特异性（specificity, Sp），平衡错误率（balanced error rate, Ber）来评估模型的检测性能。

同时，使用浮点运算量（amount of floating point arithmetics, FLOPs）、乘加次数（amount of multiply- adds, MAdd）和内存使用来评估模型所需的算力及其他计算资源，这3个指标均由torchstat工具包计算得出。

3.4 实验对比与分析

为验证本文采用的加法层及自注意力机制的有效性，构建以下4种网络模型：

1）卷积网络（neural network based on convolution, C-NN）；

2）卷积及自注意力机制网络（neural network based on CNN and Seft-attention, C-S-NN）；

3）加法网络（neural network based on AdderNet, A-NN）；

4）基于加法网络和自注意力机制的网络（neural network based on AdderNet and Seft-attention, A-S- NN）。

卷积层与加法层的参数设置一致，如表2所示。4种网络模型的OSA检测性能对比如表3所示，其中、、为跨被试四折交叉验证的平均结果。

表3 4种网络模型的OSA检测性能对比

由表3可以看出：

1）C-S-NN和A-S-NN的检测性能分别高于C-NN和A-NN，说明自注意力机制能有效减小运动伪迹的干扰，提高检测性能；

2）A-S-NN与A-NN的浮点运算量、乘加次数及内存使用均小于C-S-NN与C-NN，说明加法层可有效减少计算量；

3）A-S-NN与A-NN的浮点运算量和内存使用相等，表明自注意力机制几乎不增加模型的运算复杂度。

A-S-NN与其他OSA检测方法的性能对比如表4所示。

表4 A-S-NN与其他OSA检测方法的性能对比

由表4可以看出：

1）ANN方法取得最好的检测性能，但其采用非跨被试方法，即被测者的数据同时存在于训练集与测试集，但在实际检测时，需要先采集新患者数据并重新学习模型参数，显然是不合理的；

2） A-S-NN、CNN1D取得了比SVM更好的检测性能，说明深度学习方法更能从数据中学习到有效信息；

3）与CNN1D相比，A-S-NN的提高了2.7%，提高了1.2%。

4 结语

为减少SpO2中的运动伪迹干扰，提高OSA检测性能，同时降低模型运算复杂度，本文提出一种基于加法网络和自注意力机制的OSA检测方法，并在公开数据集AED上获得较高的OSA检测精度（: 94.56%,: 96.91%）。首先，与CNN1D相比，、分别提高了2.7%和1.2%；然后，与A-NN相比，提高了0.9%，说明应用自注意力机制可有效提高模型的检测性能；最后，A-S-NN的浮点运算量仅为2.88K FLOPs，比C-S-NN小了约40%，说明加法层可有效降低计算复杂度。因此，本文提出的A-S-NN能够在保持较低计算复杂度的同时，实现较高的OSA检测性能，适合部署在算力及其他计算资源配置较低的设备上。

[1] MOSTAFA S S, MENDONÇA F, RAVELO-GARCIA A G, et al. Multi-objective hyperparameter optimization of convolu- tional neural network for obstructive sleep apnea detection[J]. IEEE Access, 2020,8:129586-129599.

[2] GROTE L, PLOCH T, HEITMANN J, et al. Sleep-related breathing disorder is an independent risk factor for systemic hypertension[J]. Journal of Hypertension, 2000,18(6):679-685.

[3] MOOE T, FRANKLIN K A, HOLMSTROM K, et al. Sleep-disordered breathing and coronary artery disease: long- term prognosis[J]. American journal of Respiratory and Critical Care Medicine, 2001, 164(10):1910-1913.

[4] MOHSENIN V. Sleep-related breathing disorders and risk of stroke[J]. Stroke, 2001, 32(6):1271-1276.

[5] BENJAFIELD A, AYAS N, EASTWOOD P, et al. Estimation of the global prevalence and burden of obstructive sleep apnoea: a literature-based analysis[J]. The Lancet Respiratory Medicine, 2019, 7(8):687-698.

[6] QUAN S F, GILLIN J C, LITTNER M R, et al. Sleep-related breathing disorders in adults: Recommendations for syndrome definition and measurement techniques in clinical research. editorials[J]. Sleep (New York, NY), 1999, 22(5):667-689.

[7] BURGOS A, GONI A, ILLARRAMENDI A, et al. Real-time detection of apneas on a PDA[J]. IEEE Transactions on Infor- mation Technology in Biomedicine, 2009,14(4):995-1002.

[8] MOSTAFA S S, CARVALHO J P, MORGADO-DIAS F, et al. Optimization of sleep apnea detection using SpO2and ANN[C]//2017 XXVI International Conference On Informa- tion, Communication and Automation Technologies (ICAT). IEEE, 2017:1-6.

[9] MOSTAFA S S, MORGADO-DIAS F, RAVELO-GARCÍA A G. Comparison of SFS and mRMR for oximetry feature selection in obstructive sleep apnea detection[J]. Neural Computing and Applications, 2018:1-21.

[10] BEHAR J A, PALMIUS N, LI Q, et al. Feasibility of single channel oximetry for mass screening of obstructive sleep apnea[J]. EClinicalMedicine, 2019, 11:81-88.

[11] CHAW H T, KAMOLPHIWONG S, WONGSRITRANG K. Sleep apnea detection using deep learning[J]. Tehnički Glasnik, 2019, 13(4):261-266.

[12] VAQUERIZO-VILLAR F, ALVAREZ D, KHEIRANDIS H -GOZAL L, et al. A convolutional neural network architecture to enhance oximetry ability to diagnose pediatric obstructive sleep apnea[J]. IEEE Journal of Biomedical and Health Informatics, 2021 (99):1-11.

[13] 闫佳运.可穿戴式睡眠监护设备中若干关键技术研究[D]. 北京:北京工业大学,2016.

[14] CHEN H, WANG Y, XU C, et al. AdderNet: Do we really need multiplications in deep learning?[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020: 1468-1477.

[15] YAN L, DODIER R H, MOZER M, et al. Optimizing classifier performance via an approximation to the Wilcoxon-Mann-Whitney statistic[C]//Proceedings of the 20th International Conference on Machine Learning (ICML- 03), Washington DC, 2003: 848-855.

[16] RUOPP M D, PERKINS N J, WHITCOMB B W, et al. Youden Index and optimal cut-point estimated from observations affected by a lower limit of detection[J]. Biometrical Journal: Journal of Mathematical Methods in Biosciences, 2008, 50(3): 419-430.

[17] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. arXiv preprint arXiv:1706.03762, 2017.

[18] GOLDBERGER A L, AMARAL L A N, GLASS L, et al. PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals[J]. Circulation, 2000,101(23):215-220.

[19] PENZEL T, MOODY G B, MARK R G, et al. The apnea- ECG database[C]//Computers in Cardiology 2000, IEEE, 2000: 255-258.

[20] XIE B, MINN H. Real-time sleep apnea detection by classifier combination[J]. IEEE Transactions on Information Technology in Biomedicine, 2012,16(3):469-477.

OSA Detection Method Based on Additive Network and Self-attention Mechanism

Zheng Yachun Zheng Heyu Lin Meina

(School of Automation, Guangdong University of Technology, Guangzhou 510006, China)

In order to achieve obstructive sleep apnea (OSA) detection with high accuracy and low computational complexity, according to blood oxygen saturation (SpO2) proposes an OSA detection method based on additive network and self-attention mechanism. In this method, additive network is introduced for SpO2feature extraction to reduce the computational complexity; self-attention mechanism is used to adjust the feature weight between sampling points to improve the detection accuracy. The detection performance of sensitivity 94.56%, specificity 96.91% and floating-point operation are realized on data set Apnea-ECG. The number is 2.88 K flops, which is 40% less than the convolution operation. The experimental results show that this method can obtain high detection accuracy and maintain low computational complexity.

oxygen saturation; obstructive sleep apnea detection; AdderNet; Seft-attention mechanism

郑雅纯，女，1996年生，硕士研究生，主要研究方向：模式识别，机器学习，生物信号处理。E-mail: zheng_yachun@163.com

郑和裕，男，1996年生，硕士研究生，主要研究方向：模式识别，机器学习，生物信号处理。E-mail: zheng_hy1209@qq.com

林美娜，女，1997年生，硕士研究生，主要研究方向：模式识别，生物信号处理。E-mail: meina.lin@mail.gdut.edu.cn

TP391

A

1674-2605(2021)06-0008-06

10.3969/j.issn.1674-2605.2021.06.008