一种通道自适应与局部增强的Transformer术中血压预测方法∗

王 尘 蔡晶晶 郝学超 张伟义 舒红平 王亚强 陈 果

（1.成都信息工程大学软件工程学院 成都 610225）（2.成都信息工程大学数据科学与工程研究所 成都 610225）（3.成都信息工程大学软件自动生成与智能服务实验室 成都 610225）（4.四川大学华西医院麻醉手术中心 成都 610044）

1 引言

由于术后并发症导致的非心脏手术患者的术后30 天死亡是全球第三大死亡原因，据统计约有2%的住院非心脏手术患者在术后第一个月内死亡［1］。而术中低血压（Intraoperative Hypotension，IH）事件的发生是导致术后并发症的重要因素［2］。目前对于IH 的治疗大多依靠医生的经验进行判断和干预，并且经常发生一些延迟。因此，若够提前预测患者的血压状态，可以实现早期的干预，例如调整麻醉剂、液体和血管活性药物，从而减少IH 对患者伤害［3］，具有重要研究意义和实际应用价值。

IH 的预测是围术期人工智能的研究热点问题之一，现有的IH 预测研究主要集中在事件的预测，即利用术中实时监测的生理数据预测IH 在未来5min、10min、15min 是否会发生。Hatib 等［9］利用术中监测的动脉压波形数据，将IH 的预测定义为二分类问题。然而，一方面由于临床IH 的定义存在差异，导致这些方法存在普适性不足的问题。另一方面仅仅依靠分类结果，没有考虑患者血压发展变化的过程，进而限制了干预策略的制定，因为通常麻醉医生在判断主动给予液体、血管加压药或肌力药物时，是基于一定时间范围内的临床证据。因此提前预测血压的变化和趋势，具有更重要的临床研究和应用价值。当前一些研究开始使用深度学习技术对术中血压的连续值进行实时预测，Jeong等［4］使用循环神经网络实时预测未来3min 的血压，初步验证了实时预测术中血压的可行性，但仅限于短期预测。Lee等［5］使用卷积神经网络建立了回归任务来预测未来5min、10min、15min 的术中血压值，但精准度仍有待提升。鉴于高精度，长范围的预测血压序列是一项挑战，同时长序列的预测也是时间序列预测领域相对忽视的问题，因此当前对于术中血压实时预测的探索尚不充分。

近年来，基于深度学习的时间序列预测模型取得很大进展，尤其是基于Transformer 模型，受益于注意力机制，Transformer在序列数据的长期依赖关系建模方面获得了巨大优势［6］。先前的一些研究如Zhou 等［7］提出的Informer 采用了稀疏注意力算法以降低注意力机制的复杂度，并在各类时序预测任务有优异表现。然而，在血压序列预测任务中仅使用规范的注意力机制来捕捉序列内部的重要信息，忽视了血压序列中的局部特征的提取以及多生理序列之间的依赖关系建模。针对上述问题，本文在前人工作Informer 的框架上，设计了相应的改进策略，提出名为CACformer 的通道自适应与局部增强Transformer模型，通过术中多项生理序列来实时预测术中血压，主要贡献如下：

以往的术中血压预测方法存在预测长度短，精准度不高的问题。针对这一挑战，本文提出了一种基于Transformer 的术中血压预测方法，利用Transformer 的长序列建模的优势，能够更准确地捕捉术中血压的动态变化，并实时预测未来的血压变化趋势。

针对血压序列中存在相似节律的特点，引入了局部增强的卷积注意力机制，取代了原始的规范注意力机制，使其在捕捉长序列依赖的同时，引局部时间相关性和趋势性，从而更加准确地预测术中血压变化。

考虑到血压的变化受益于多个生理序列的信息，同时生理序列之间存在复杂的交互关系。本文提出了一种通道自适应模块嵌入模型中，该模块能够自适应地学习不同通道之间的权重，增强模型对于多通道输入的通道间关系的建模能力，更好地利用多个生理序列的信息，提高血压预测的准确度。

实验结果表明，本文提出的CACformer 在术中血压预测上优于目前先进的时间序列预测模型，相比于改进前的基准模型在5min、10min、15min 预测精度分别提升4.88%、8.2%、8.42%，平均绝对误差达到2.997、3.393、3.743，能够更准确地预测术中血压的变化。此外，通过可视化分析表明预测结果的稳定性，并进一步通过消融实验验证了改进模块对于血压预测的有效性。

2 相关工作

2.1 术中低血压

当前许多研究致力于通过机器学习技术预测IH，Kendale 等［8］开发了用于预测全身麻醉后诱导性血压发生的机器学习算法，该算法涉及特征复杂，无法实现IH 的实时预测。Hatib 等［9］从术中动脉波形中提取出数千个组合特征，并使用逻辑回归方法来实时预测IH，但仅使用动脉波形作为单一数据源。上述机器学习方法需要基于领域知识人工提取特征，深度学习的作为机器学习的分支弥补了这一缺陷。Lee等［5］使用卷积神经网络用多个波形信号进行实时的预测IH，并取得了的不错的效果。

以往研究都是把IH 预测当作分类任务，既根据特定阈值划分出样本来预测IH 是否会发生，然而临床IH 的定义仍存在争议。Bijker 等［10］在审查了130 篇文章后，确定了140 个IH 定义，这些不同的定义会导致不同的IH 发生率。最近，Weinberg等［11］的一项IH 定义研究表明，在接受非心脏手术的人中，IH 主要由收缩压（Systolic Arterial Pressure，SAP），平均动脉压（Mean Arterial Pressure，MAP）或两者的组合的变化来定义，大多数研究报告MAP < 60 mmHg 或SAP < 90 mmHg 作为IH 发生的绝对阈值，部分相对阈值的定义则是MAP 或SAP 较基线下降百分比（10%～60%）作为标准。

近年来，一些初步的研究开始关注术中血压连续值的预测，并尝试用深度学习模型建立实时血压预测模型。Jeong 等［4］使用循环神经网络通过监护的生命体征数据来实时预测未来3min 的血压，但仅限于短期预测。Lee等［5］使用卷积神经网络分别建立回归与分类模型比较，并认为通过回归任务预测血压值更具临床适用性。因此在本研究中，将致力于填补实时术中血压预测领域的研究空白，旨在开发一种创新的方法，能够准确、实时地预测术中血压的变化。

2.2 基于Transformer的时间序列预测模型

当前Transformer 的许多变体被提出来解决时间序列预测中的特殊挑战，Zhou等［7］研究的Informer 提出了一种稀疏注意力和蒸馏技术来提取最重要的键。Wu 等［12］研究的Autoformer 借鉴了传统时间序列分析方法的分解和自相关思想，在周期性的数据上的预测效果有显著提升。FEDformer［13］使用傅立叶增强结构来获得线性复杂度。Nie等［14］提出的Patch_TST，利用通道独立补丁操作来降低模型的计算的时空复杂度。这些模型大多侧重于设计新颖的机制以降低原始注意机制的复杂性，从而在预测上取得更好的性能。但原始注意力机制是从时间维度上提取重要信息，忽略了时序通道维度之间的潜在关联，同时大多数使用的逐点注意力，来关注全局的信息，忽略了局部的特征重要性，本文提出的CACformer 模型则针对以上问题进行优化，充分利用生理序列的有效特征，达到提高的预测精度的目的。

2.3 任务定义

2.4 模型架构

本文提出的CACformer 架构如图1 所示，采用原始的编码器、解码器架构，主要包含卷积注意力层、标准化层、通道自适应模块、自注意力蒸馏层。编码器输入Xt，经过位置编码，将序列的位置信息融入，注意力层采用卷积注意力机制［15］，增强序列局部特征的提取。为了降低注意力机制复杂度，利用了Informer 的稀疏自注意力策略［7］（ProbSparse Self-attention），提取卷积注意力机制中重要的查询和键，将注意力机制的时空复杂度缩减到O（LlogL），每一个注意力层后嵌入通道自适应模块进一步提取通道维度的依赖关系。最后通过自注意力蒸馏层［7］，消除特征图的冗余值，进一步缩减输入的时间维度的同时让模型更加关注主导特征。

图1 CACformer模型架构

2.5 卷积注意力层

规范注意力机制是对时间序列进行逐点运算，旨在提取不同序列点之间的相关程度来提取序列内的重要信息，而对于细粒度采集的生理数据，单个序列的值不像文本具有重要的语义信息，因此提取局部信息十分重要。

从数据中截取的血压序列的片段如图2（a）所示，血压序列中存在明显的局部相似性，即不同时刻存在相似节律。为了引入序列中的局部信息以更好地捕捉时间相关性、趋势性和异常情况，采用一种卷积注意力机制，如图2（b）。在卷积注意力层中，多头注意力子层将隐层H∊RLx×dmodel分别转化为h个不同的查询矩阵Qh、关键矩阵Kh、值矩阵Vh。Qh、Kh的转化方式使用内核大小为k，步幅为1 的一维卷积构造（使用0 进行适当填充维持维度大小），即，而Vh使用卷积核大小为1构造，Vh=，其等同于线性变换。W为参数矩阵，。这样生成的Qh和Kh可以通过局部的上下文信息计算相似性而不是逐点值，从而更好的捕捉血压中的相似节律。其次，在对序列进行注意力计算时，只有部分点积对贡献主要注意力，而其他点积对产生微不足道的注意力，因此采用ProbSparse Self-attention 来提取重要的Qˉ，公式如下：

图2 血压的局部特征捕获

2.6 通道自适应模块

心率、灌注指数、呼吸指标等生理指标与血压相关［16］。而手术技巧，机械通气，用药这些外部因素也会引起生理数据的变化，成为风险事件发生的信号，意味着各生理序列之间交互关系是动态变化的。自注意力机制作为Transformer 的核心构建模块，主要学习序列在时间维度上的依赖关系，并没有显式地对通道之间的依赖关系建模，在血压预测任务中限制了多生理序列输入的预测能力。挤压激励块［17］（Squeeze-and-Excitation Block，SE_Block）图像分类任务中取得成效，受此启发，本文提出了一种应用于时序数据通道自适应模块，如图3，把SE_Block嵌入到每个卷积注意力层之后，作为注意力机制的补充，以进一步提高模型对通道重要性的建模能力。

图3 通道自适应模块

具体来说，经过卷积注意力层后的输出为O∊RL×dmodel，O包含了在序列时间维度上的相关信息，为了进一步提取通道关联性，先聚合时间维度上的信息，如式（2）所示：

oc表示O的第c个通道，zc代表聚合时间维度后第c个通道的平均值。式（2）表示对oc在时间维度上进行全局平均池化，即通过对序列长度L的所有时间步i进行求和，并除以L，将通道oc汇聚到一个标量值，在聚合时间信息得到通道平均值z后，下一步旨在捕获通道之间的依赖性，如式（3）所示。

2.7 自注意力蒸馏层

经过卷积注意力层的ProbSparse Self-attention机制会导致特征图具有冗余值，因此使用自注意力蒸馏层［7］来提取主导特征，同时削减了输入的时间维度，减少了内存的使用量，其定义如下：

[∙]cs包含卷积注意力层和通道自适应模块的操作。ELU(∙)为激活函数，对输入特征图进行一维卷积和最大池化操作来聚焦特征图，并从编码器的j层传递到j+1层。

2.8 生成式预测

2.9 损失函数

在预测目标序列时选择均方误差（Mean Square Error，MSE）作为损失函数，Yi和Ŷi分别为真实值和预测值，损失函数定义如下：

3 实验结果及其分析

3.1 实验数据

3.1.1 数据介绍

数据描述如表1 所示，数据集来源于某三级甲等医院通过监护仪采集的术中生理监护数据，共150 台手术，包含58 种指标，在本研究将无创血压作为预测目标，为了提高普适性，仅选取了大多数手术监测常见的11 种生理指标，其中包括无创血压在内，采集频率均为1s。

表1 数据介绍

3.1.2 数据预处理

数据下采样：原始数据采集频率为每秒一次，因此一次手术过程可能会有几万个数据点，数据冗余的同时对于模型计算十分耗时。进行初步实验后，本研究对数据进行下采样为每5s 一个值，即每隔5s 取一个点，避免过多信息损失的同时，能够平滑噪声以及降低数据量。

缺失值处理：数据部分缺失值用线性插值法填充。

样本划分：使用常见的滑动窗口技术构建样本，首先将所有手术截取出平稳期的数据，并使用滑动窗口对连续时间的数据划分为固定长度的数据块来创造样本集。如图4 所示，滑动窗口向后滑动，每个新的数据块由前一个数据块向后移s个步长所得。滑动窗口由回溯窗口和预测窗口两个部分组成，回溯窗口用于输入，包含用于预测的历史生理序列数据，而预测窗口对应于预测的血压序列数据。

图4 样本划分

3.2 评估指标

预测值的误差衡量采用平均绝对误差（Mean Absolute Error，MAE）和均方根误差（Root Mean Square Error，RMSE），MAE（见式（9））用于评估模型预测结果与真实值之间的误差绝对值，RMSE（见式（8））则加大了对异常值的惩罚，两者越小越好。此外使用相关系数（Correlation，CORR）（见式（10））来评估真实序列和预测序列的线性相关度，CORR的取值范围在-1～1 之间，代表序列之间的负相关性和正相关性，当CORR越接近1时，相关性越强。

3.3 实验设置

3.3.1 实验对比设置

在术中血压预测任务上，实验设置预测未来5min、10min、15min，对应的预测时间步为60、120、180、三个预测范围进行对比实验，5min 为目前大多数低血压预测任务设置的基准，临床医生能够在这个窗口期根据预测结果及时采取措施，10min、15min 则是在允许误差的范围内去评估模型长序列预测的效果，为临床提供更多的决策时间，所有实验均采用5 折交叉验证，最终结果取平均值。时间窗口的大小很大程度影响预测效果，可视为超参数，在进行模型对比实验时，均设置为预测长度的3倍。

3.3.2 参数设置

模型训练使用初始学习率为10-4的Adam 优化器，批量大小为64，最大训练轮次设置为100，并使用早停机制。

CACformer 模型参数经实验调整，卷积注意力的卷积核大小设置为3，通道自适应模块中r的设置为4，模型隐层维度为512，编码器层数为2，解码器层数为1，dropout设置为0.05。

3.3.3 对比模型

为了验证CACformer 的有效性，使用下面当前5种先进时序预测模型对比。

LSTNet［18］，一种CNN+GRU 结构的模型，是深度学习模型在时序预测中重要的基线，可作为一种自回归结构预测模型的代表。

Patch_TST［14］，一种最新的利用通道独立补丁技术的Transformer模型。Dlinear［19］，一种多变量时序预测的线性模型。Autoformer［12］，一 种 基 于 时 序 分 解 架 构 的Transformer模型，可作为时序分解预测的代表。

最后Informer 作为本方法改进前的基线，通过选择以上模型进行对比，能够充分验证CACformer在术中血压预测任务上的有效性。

3.4 实验结果及其分析

3.4.1 模型对比分析

通过将不同模型在设置预测长度分别为5min、10min、15min 作对比（见表2），用舒张压、平均动脉压、收缩压、三者预测的平均误差指标作为结果，本文提出的方法在三个指标上均表现最优。此外，相较于Informer 的MAE 分别降低了4.88%、8.2%、8.42%。

表2 模型对比结果

同时图5 展示了各模型在预测长度为10min（120 个时间步），平均动脉压的预测效果对比图，可以观察出，本文的模型对于血压的上升、平稳、下降趋势都能很好地捕捉，并且显著优于其他对比模型。

图5 预测效果可视化对比

3.4.2 预测结果分析

表3 为本文模型在分别三个血压的误差指标，例如预测5min预测的平均动脉压MAE为2.997，一部分研究将MAP 小于65mmHg 作为低血压的发生的阈值，意味着如果实际血压值为65mmHg 时，本文模型的预测结果可能在62mmHg 到68mmHg 之间，然而在极端情况可能会导致两种相反的管理方式，当预测值为62mmHg，医生可能会寻找低血压的原因进行干预，而当预测值为68mmHg 时，医生可能只会观察血压而不采取任何措施。在这种模糊地带，预测结果可能很难为医生提供有效帮助，但至少大部分情况，这个误差范围对于临床医生在术中麻醉期间的辅助决策是有重要意义的。

图6 显示了三个血压真实值和预测值的Bland-Altman 图，其中TBP 和PBP 分别表示真实血压和预测血压，首先我们观察到大多数据点分布在平均差异线的上下限内（95%置信区间），较少的数据点超出上下限，说明所提出的术中血压预测模型在整体上展现出较高的可靠性。此外，可以观察到图中数据点呈现出带状分布的趋势，这种分布模式表明预测误差在不同血压值范围内可能存在一定的系统性差异。这可能与术中生理变化和血压波动模式有关，对于血压预测模型的进一步改进，可以考虑这种系统性差异，并针对不同血压范围进行模型的调整和优化。同时也要注意到一些超出上下限的数据点，这可能是由于特定的个体差异、噪声数据或其他未知因素导致的。因此在实际应用中，仍然需要谨慎解释和使用预测结果，并结合其他临床指标和专业知识进行综合评估和决策。

3.4.3 消融实验

为研究通道自适应模块和卷积注意力机制对血压预测的影响，本文设计了消融实验，如表4 所示，CACformer 为本文模型，Informer+c 代表用卷积注意力替换原始的规范注意力，Informer+s 代表添加通道自适应模块，Informer则是未改进的模型。

表4 消融实验结果

经观察表4，在用卷积注意力代替规范注意力后，MAE 降低了2.42%，这表明卷积注意力引入的局部性进行注意力提取来关注序列的局部相似性，能够在一定程度上提升模型的预测性能。此外，仅加入通道自适应模块，MAE 降低了6.98%，表明通过建模通道维度的重要程度，从而增强模型对多通道生理序列的深层交互关系的捕捉，能够有效增强模型的预测能力。

4 结语

本文提出了一种通道自适应与局部增强Transformer模型，通过生理监护数据对术中血压实时预测。该模型考虑了血压序列的特点，引入卷积注意力机制有效捕捉血压的局部性相关性。此外，针对多个生理时序输入通道间潜在关联建模的不足问题，还提出了通道自适应模块嵌入模型来进一步提高了的血压预测的准确度。实验结果表明，所提出的模型在术中血压预测的任务上显著优于对比模型，通过消融实验验证了卷积注意力和通道自适应模块在血压预测任务上的有效性。为医学时间序列领域提供了新的思路和方法，具有重要的理论价值和实际应用价值。未来的工作将集中在收集更多的数据，并进行实验和临床应用验证，更加全面地评估该模型在临床实践中的性能，为术中血压管理提供更可靠的预测和干预策略。