APP下载

基于TransMP模型的Web系统剩余寿命预测方法

2024-07-31党伟超张桄菖

计算机应用研究 2024年6期

摘 要:针对当前软件剩余使用寿命预测方法忽略了多性能指标间所蕴涵寿命信息的问题,提出一种融合多性能指标Transformer(TransMP)模型的Web系统剩余寿命预测方法。首先,搭建内存故障型Web系统加速老化实验平台,创建包含内存使用量、响应时间和吞吐率性能指标的数据集;其次,考虑不同性能指标蕴涵老化特征信息的差异性,构造由多编码器-解码器组成的TransMP模型,将性能指标数据分别输入内存指标编码器、响应时间编码器和吞吐率编码器提取老化特征信息,再引入特征融合层进行信息融合;最后,将融合信息输入由掩码注意力-多头注意力结构构成的解码器,预测得到系统状态达到老化阈值的剩余寿命。实验结果表明,该Web系统剩余寿命预测方法与最优的SALSTM方法相比,均方根误差分别降低了12.0%、17.3%和13.2%,平均绝对误差分别降低了13.3%、21.0%和10.4%,证明了该方法的有效性。

关键词:Web系统; 软件老化; 剩余使用寿命; Transfomer; 软件再生

中图分类号:TP391 文献标志码:A

文章编号:1001-3695(2024)06-026-1784-06

doi:10.19734/j.issn.1001-3695.2023.10.0437

Remaining useful life prediction method of Web systembased on TransMP model

Abstract:Focused on the problem of current software remaining life prediction methods ignore the life information contained among multiple performance indicators, this paper proposed a remaining life prediction method of Web software system based on the Transformer model with multiple performance indicators(TransMP). Firstly, it constructed an accelerated aging experimental platform for a memory fault type Web system, and created a dataset containing performance indicators such as memory usage, response time, and throughput. Secondly, considering the differences in aging characteristic information contained in different performance indicators, it constructed the TransMP model consisting of multiple encoders-decoders. The performance indicator data was separately input into the memory indicator encoder, response time encoder, and throughput encoder to extract aging characteristic information, then it introduced a feature fusion layer for information fusion. Finally,it input the fused information into the decoder composed of a mask attention-multi-head attention structure to predict the remaining life when the system reached an aging threshold. The experimental results indicate that the remaining life prediction method of the Web system, compared to the SALSTM method, reduces the root mean square error by 12.0%, 17.3% and 13.2%, and decreases the mean absolute error by 13.3%, 21.0% and 10.4%, demonstrating the effectiveness of this method.

Key words:Web system; software aging; remaining useful life(RUL); Transformer; software rejuvenation

0 引言

软件老化[1]是指软件内部错误使得可用资源逐渐减少,性能衰退而导致软件发生故障。内存泄漏[2]会使Web系统出现响应时间变长、吞吐率下降的现象,当系统的资源消耗或性能衰退至系统不可接受状态时,最终将导致系统挂起或崩溃[3]。

为避免软件老化引起重大损失,Huang等人[4]提出了软件再生概念。基于老化阈值的软件再生是通过收集软件老化相关特征指标(如内存使用量、响应时间和吞吐率等),设定老化特征阈值,在软件到达老化特征阈值前及时采取软件再生的方式。因此,高效准确地预测软件当前时刻到达失效时刻的剩余使用寿命(RUL)[5],对于切实提高软件运行的安全性、可靠性与可用性具有重要的实际意义[6]。

近年来,由于深度学习具有强大的非线性映射能力而逐渐被应用于软件老化预测[7]。谭宇宁等人[8]针对Web服务器老化数据的时序特性,使用循环神经网络(recur rent neural network,RNN)及其变种长短时记忆单元(long short-term memory,LSTM)预测内存变化趋势来评估软件老化。然而,由于LSTM中存在循环结构,序列数据需要依次通过每个处理单元来提取有用的特征信息,这不可避免地导致了重要信息的遗忘问题,对长序列依赖关系学习效果较差。Tan等人[9]考虑卷积神经网络(convolutional neural network,CNN)能有效地捕获软件老化数据中存在的空间特征,构建CNN-LSTM模型用于预测性能指标的变化趋势,但是其输入数据依次进入CNN和LSTM模块,导致提取的特征信息之间相互影响。党伟超等人[10]考虑注意力机制能更多地关注老化数据中的重要特征信息,在LSTM架构基础上引入自注意力机制(self attention,SA),提出基于SALSTM的RUL预测方法,然而其注意力机制是与LSTM架构相结合使用的,因此处理长序列仍然存在局限性。而且文献[8~10]均仅以一种性能指标(即内存使用量、响应时间或吞吐率等)构建软件老化预测模型,忽略了软件运行过程中多性能指标间的相关性,因此难以充分利用各性能指标所包含的寿命信息。

综上所述,虽然使用深度学习方法在软件老化预测上取得了巨大成功,但现有方法从长序列中提取信息方面存在困难。Transformer是一种完全基于注意机制的编码器-解码器架构[11],在自然语言处理[12]、计算机视觉[13]等领域都取得了巨大的成功。在Web系统RUL预测时,也可以使用自注意力机制来更多地关注老化数据中重要的特征信息,与RNN和LSTM等深度学习模型相比,能更有效捕获长序列中的依赖关系。然而,对于Web系统RUL预测,原始Transformer模型忽略了不同性能指标之间所蕴涵寿命信息的差异性,导致在特征提取时不同性能指标相互影响。

为了克服上述问题,本文将Transformer架构引入到Web系统RUL预测领域,提出了一种融合多性能指标Transformer(multi-performance transformer,TransMP)模型的Web系统RUL预测方法。TransMP由三个编码器(内存指标编码器、响应时间编码器和吞吐率编码器)组成,每个编码器都使用自注意力机制分别提取不同性能指标的老化特征信息,从而避免了不同性能指标在特征提取时相互影响。将编码器提取的老化特征信息融合并输入解码器,得到RUL预测。通过与多种软件老化预测方法的对比实验验证该方法的有效性,为及时实施软件再生提供理论依据。

1 Web系统RUL预测框架

1.1 Web系统RUL预测任务

Yt=f(Xt)(1)

1.2 Web系统RUL预测流程

基于TransMP模型的Web系统RUL预测方法流程如图1所示。具体步骤如下:

a)采集性能指标数据。搭建内存故障型Web系统加速老化实验平台,在Web系统从开始运行到发生内存资源耗尽故障过程中,创建反映系统资源使用情况和性能变化的性能指标数据集,为后续Web系统RUL预测提供数据支撑。

b)数据预处理。首先对原始性能指标数据作归一化处理,其次计算数据集剩余使用寿命标签,再使用滑动窗口法将原始性能指标数据序列分割为若干较短的性能指标数据序列,最后将数据集划分为训练集和测试集。

c)构建TransMP模型。基于经由数据预处理得到的性能指标数据作为模型的输入,采用均方误差作为模型训练的损失函数并使用Adam优化器进行优化。

d)测试集验证。将测试集性能指标数据输入训练好的TransMP模型中,预测性能指标数据对应的RUL值,从而实现对Web系统的RUL预测。

2 基于TransMP模型的Web系统RUL预测方法

2.1 Web系统性能指标选择

Web系统运行过程中,资源使用量和性能变化趋势中蕴涵丰富的寿命信息,能够反映系统的老化状态。有效收集系统性能指标数据是基于老化阈值Web系统RUL预测方法的前提。为了提高系统RUL预测的准确性,需要根据系统的特点选择能够准确反映系统老化状态的性能指标。

在Web系统运行时,随着会话请求的增加,内存使用量也会相应上升。当内存使用量[14]达到系统内存资源上限时,系统状态不断恶化,系统没有可用资源而出现宕机现象,内存使用量是衡量系统老化状态的重要资源型性能指标。系统资源的消耗也会导致系统性能下降,表现为服务器对用户的会话请求响应时间变长甚至不响应,且单位时间内服务器处理的会话请求数量下降,响应时间[15]和吞吐率[16]是能有效反映系统服务器性能变化的指标。

本文研究内存故障型Web系统的RUL预测问题,通过将服务器中注入内存泄漏的方式,使系统可用内存资源枯竭而达到老化状态。因此搭建系统老化平台,收集内存使用量数据作为反映系统老化状态的主要性能指标,响应时间数据和吞吐率数据作为辅助性能指标。三种性能指标都能描述系统老化状态,共同影响系统RUL值,充分利用多种性能指标对Web系统RUL预测具有重要意义。

2.2 数据预处理

不同性能指标之间单位不同且取值范围差异较大,如果直接用于模型训练可能会影响RUL预测的精度[17]。因此为了消除性能指标之间可比性差的问题,使用最大-最小归一化方法对数据集中内存使用量、响应时间和吞吐率指标数据分别进行处理,从而使每个性能指标数据都在(0,1)缩放,归一化方式如式(2)所示。

Web系统RUL预测目标输出为一个RUL值,需要对数据集设置剩余使用寿命标签。每个时刻的性能指标数据对应一个RUL值,系统在t时刻到老化阈值T时的RUL计算方法如下:

RUL=T-t(3)

在归一化后的数据基础上,采取滑动窗口方法对性能指标数据集进行采样。滑动窗口法是一种在时间预测任务中常用的数据处理方法[18],可以利用数据集中有限的样本数据构建若干个短序列,既能保留前后数据之间的依赖性,也能提升模型训练效果。

首先从数据集的第一个数据开始,按照窗口大小m选取出第一个滑动窗口,然后将窗口向后滑动一步选取出第二个窗口,将每个滑动窗口中最后一个数据的RUL值作为该窗口的RUL值,以此将数据集所有样本数据分割成若干个滑动窗口。在t时刻的滑动窗口序列可以表示为

2.3 基于TransMP的Web系统RUL预测模型

本文基于Transformer模型的编码器-解码器架构,设计了一个TransMP预测模型,它能够同时学习不同性能指标的老化特征信息,并通过信息融合来获得更有价值的描述系统老化状态的信息。模型具体结构如图2所示。模型主要由编码器层(包括内存指标编码器层、响应时间编码器层和吞吐率编码器层)、特征融合层和解码器层三部分组成。根据各个性能指标老化特征信息不同,对每个性能指标设计一个基于多头自注意机制的编码器进行特征学习,每个编码器可以被看作是一个独立的性能指标特征信息提取器。模型的工作流程如下:首先多编码器分别学习性能指标中的老化特征信息;其次通过特征融合层将从三个编码器提取的老化特征信息进行融合;最后将融合后的特征信息发送到解码器输出最终的RUL预测结果。

由于Transformer模型使用并行计算而失去了学习序列中位置信息的能力,所以需要在序列中注入一些相对的位置标记。本文使用不同频率的正弦和余弦函数来添加位置信息,如下所示。

其中:p为特征向量的位置;dmodel为特征向量的维度。

本文设计的内存指标编码器、响应时间编码器和吞吐率编码器都具有相同的结构,它们并行提取三种性能指标的特征信息,避免了特征信息的相互影响,有助于提高RUL预测的性能。每个编码器均由N个编码器层堆叠组成,编码器层主要包括多头自注意力层和前馈神经网络层两个子层。编码器层沿着时间维度提取性能指标数据的特征信息,它的多头自注意机制可以不受人工经验干扰,自动学习权重较高的老化特征信息。如图3所示,每个子层中都有残差连接和层归一化,可以减轻模型训练的难度,使模型收敛速度加快。

自注意力机制首先将数据序列映射为查询矩阵、键矩阵和值矩阵,然后对查询矩阵和键矩阵进行点积计算并使用softmax作归一化处理,得到权重系数后再对值矩阵进行加权求和,如式(7)~(10)所示。

其中:Q为查询矩阵;K为键矩阵;V为值矩阵;Xf为特征矩阵;WQ、WK、WV为可训练的权重系数矩阵;d为Q、K、V的维数。

多头注意力机制由多个自注意力机制组成,可以使模型分别学习不同子空间的信息,然后拼接为多头注意力矩阵,从而提高预测性能。计算如下:

MultiHead(Q,K,V)=concat(H1,H2,…,Hm)·W(11)

Hk=attention(XWQK,XWKK,XWVK)(12)

其中:WQK、WKK和WVK分别为第k个注意力头Q、K和V的权重矩阵;W为多头注意力权重矩阵;m为注意力头的数量;Hk为第k个注意力头计算结果;concat函数表示拼接注意力头计算结果。

从编码器中提取老化特征信息后,对三种特征信息进行融合。特征融合层将三种特征信息相结合,生成了一个新的老化特征信息。特征融合计算方法为

Ft=concat(Ft1,Ft2,Ft3)Wf(13)

其中:Ft1、Ft2、Ft3为三种特征信息;Wf表示为特征融合层的权值。

解码器主要由N个编码器层和全连接神经网络层组成,解码器层主要包括掩码多头自注意层和编码解码器多头自注意子层两个子层,如图4所示。编码-解码多头自注意机制的键矩阵K和值矩阵V来自编码器的输出,而查询矩阵Q来自掩码多头自注意力层的输出。掩码多头自注意力机制通过将相应的点积设为-∞,保证模型预测时不会学习到未来的数据。最后,使用全连接神经网络层对解码器层降维,输出RUL预测。

2.4 评价指标

为了检验本文Web系统RUL预测方法的有效性,使用均方根误差(root mean squared error,RMSE)和平均绝对误差(mean absolute error,MAE)评估模型的预测性能。RMSE和MAE值越小,表示预测效果越好。计算如下:

3 实验与结果分析

本文实验在CPU(AMD R7 6800H)、GPU(NVIDIA GeForce RTX 3060)、16 GB内存、Microsoft Windows 11操作系统的环境下进行。

3.1 内存故障型Web系统加速老化实验

为了能够有效地对Web系统的老化现象进行研究,梁佩[19]建立了一个实验平台,并部署软件以模拟真实的运行环境。该实验平台使用Xen虚拟化服务器技术创建两个虚拟机(virtual machine,VM),其中:一个VM充当应用服务器,部署Apache Tomcat应用服务器和MySQL数据库;另一个VM充当客户端,部署一组模拟浏览器。本文实验平台环境配置与该平台一致,如表1所示。

在实验平台基础上构建了一个典型的基于Web技术开发并符合TPC-W基准测试规范的电子购书系统[20],用于模拟用户对该系统进行购书访问,如图5所示。该购书系统能够稳定高效地应对长时间、高负荷的工作,老化过程非常缓慢。为了尽快取得实验数据,针对Web系统老化特性,在服务器中注入内存泄漏代码以加速系统老化。

实验主要模拟用户在客户端以一组模拟浏览器向服务器端发送会话请求,服务器将请求信息发送至应用程序,应用程序接收到请求后与数据库连接、访问并将操作结果返回给服务器,然后再由服务器将响应返回给客户端。

当前内存泄漏被认为是造成系统老化故障的主要原因之一,然而在现实环境中,系统内存泄漏到耗尽所有可用内存资源需要很长时间。为了加速系统内存资源的泄漏,本文在服务器端应用程序中的购物结算页面注入了一段内存泄漏代码,在系统重新启动之前,该应用程序每响应一次购物请求,Java虚拟机(Java virtual machine,JVM)泄漏6 KB虚拟内存。应用程序频繁响应请求时会不断消耗系统的可用内存资源,造成系统性能下降,当系统可用内存资源耗尽(out of memory,OOM)时发生宕机故障。

现实的系统应用环境中拥有大量的业务请求。本文实验中,客户端使用一组浏览器模拟大量用户在同一段时间内向服务器端发送连续的购物会话请求,以实现系统真实运行环境的模拟。服务器的负载并发数为客户端发送会话请求的并发数量,客户端中每个浏览器模拟一个客户向服务器发送购物会话请求。本文通过设置客户端模拟浏览器的并发数量为200、250和300来实现三种不同的负载发生方案,随着服务器的负载并发数加大,会缩短系统到达老化状态的寿命周期。

检验系统是否到达老化状态,可以通过监视系统性能指标数据,分析数据变化趋势来判断系统状态。本文使用注入内存泄漏的方式来加速系统老化,因此当系统发生OOM故障时,系统可用内存资源耗尽,服务器出现对用户的请求响应时间变长甚至不响应的现象,此时系统达到老化状态。

在启动客户端模拟浏览器对服务端发起会话请求的同时,调用监视脚本每隔1 s采集一次系统老化相关的性能指标数据并记录。当模拟浏览器不断发生请求错误且监视到系统可用内存资源接近于0时停止实验,此时系统因发生内存故障达到老化状态,记为一次完整的Web系统全寿命周期实验。保存此次实验的数据,重新启动服务器以重置系统状态,从而进行下一次实验。

3.2 数据集

本文共进行了9次Web系统全寿命周期实验,每次实验都是用内存泄漏注入的方式加速系统的老化,因此9次实验系统都进入了老化状态,并且由于负载并发数的差异,系统达到老化状态的寿命周期也会明显不同。负载并发数越大,系统的寿命周期越短。负载并发数为200时,系统在4 h左右达到老化状态;负载并发数为250时,系统在3 h左右达到老化状态;负载并发数为300时,系统在2 h左右达到老化状态。

实验共采集到9组完整代表系统全寿命周期运行时资源使用情况和性能变化的数据集,每组数据集包含内存使用量、响应时间和吞吐率三种性能指标数据。其中内存使用量描述了系统的资源使用信息,响应时间和吞吐率描述了系统的性能变化信息。

本文在每种负载并发数下选取两组数据集为训练集和一组数据集为测试集,划分data1、data2、data4、data5、data7和data8数据集为训练集,data3、data6和data9数据集为测试集,用于验证本文的基于TransMP模型的Web系统RUL预测方法的有效性。数据集的详细信息如表2所示。

以data4数据集为例,该数据集为加速老化实验中负载并发数为250下Web系统在连续全寿命周期10 880 s内的内存使用量、响应时间和吞吐率的变化情况。如图6所示,可以看出系统运行时三种性能指标随时间的变化情况,能够全面反映系统全寿命周期的老化趋势。内存使用量整体表现出单调递增的趋势,在系统运行前期发生几次骤降是因为服务器自带的软件再生机制发挥作用释放了一些内存资源,在将达到老化状态时内存使用量达到最高点,接近系统总内存资源量。响应时间和吞吐率在系统运行前期趋势较为平稳,在将达到老化状态时响应时间骤升、吞吐率骤降。

3.3 基于TransMP模型的Web系统RUL预测

本文使用Python 3.7编程语言、Anaconda 3.8解释器、TensorFlow 2.3.0深度学习框架搭建模型,使用网络搜索法得到最优的超参数,模型具体超参数如表3所示。模型训练时使用RMSE作为损失函数,Adam为优化函数,学习速率设置为0.001,批量大小设置为64,迭代次数设置为30。每个编码器层和解码器层都设置dropout率为0.1。

Web系统较长老化寿命周期内,选择合适的预测起始点至关重要[20],过早预测效果不明显,过晚预测不能起到提前维护的作用。Web系统发生OOT故障时,老化阈值为内存使用量256 MB、响应时间20 s和吞吐率0 rps。依据经验设置内存使用量192 MB、响应时间5 s和吞吐率20 rps为测试集中预测起始点,将测试集输入训练好的模型,预测系统达到老化阈值时的RUL。

训练前需要选择一个合适的滑动窗口大小,窗口过小则难以学习到数据中的依赖信息,过大则会导致运算速度降低。将窗口大小设置为100、110、120、130和140,在测试集进行对比实验。从表4可以看出,滑动窗口大小设置为120时,RMSE值最小。

为验证本文TransMP的优越性,与目前最新的基于深度学习的软件老化预测模型在内存使用量、响应时间和吞吐率三种性能指标上进行对比分析,对比模型包括LSTM[10]、CNN-LSTM[9]、SALSTM[8]和原始Transformer模型。表5展示了五种模型在测试集上使用RMSE和MAE两种评价指标对比结果。

相较LSTM、CNN-LSTM和SALSTM三种方法,TransMP的RMSE和MAE值均最小。具体地,在data3测试集,本文方法RMSE值分别降低了26.6%、25.6%和12%,MAE值分别降低了20.8%、17.2%和13.3%。表5结果表明,本文基于Transformer架构提出的TransMP,有效提取长序列性能指标数据中老化特征信息的能力优于目前最新的基于RNN软件老化预测模型,使得RUL预测结果更加精准。

为验证TransMP改进的有效性,与原始Transformer进行对比分析。在三个测试集上,TransMP相较于原始Transformer的RMSE值分别降低了14%、8.3%和12.6%,MAE值分别降低了9.9%、17.4%和8.9%。表明TransMP中三个编码器分别提取不同性能指标中的老化特征信息,能有效避免特征提取时的相互影响,进一步提升了RUL预测精度,在实际RUL预测中具有良好的应用前景。

各种预测方法对比结果如图7所示。相比较而言,TransMP预测RUL曲线与真实的RUL曲线具有相似的轨迹,并且明显优于其他预测方法,说明本文方法预测效果更好。

通过消融实验来验证本文考虑内存使用量(memory)、响应时间(response)和吞吐率(throughput)的多性能指标的Web系统RUL预测方法的有效性,为此设计了六个实验。实验1使用内存使用量性能指标和响应时间性能指标数据作为输入。实验2使用内存使用量性能指标和吞吐率性能指标数据作为输入。实验3使用响应时间性能指标和吞吐率性能指标数据作为输入。实验4使用内存使用量性能指标数据作为输入。实验5使用响应时间性能指标数据作为输入。实验6使用吞吐率性能指标数据作为输入。以data3数据集为例,实验结果如表6所示。

实验结果表明,本文提出的多性能指标预测方法预测性能优于以往的单一性能指标方法。当任何一个性能指标被移除时,预测性能均会显著下降,这表明来自三个性能指标的信息对RUL预测都是有价值的。实验结果进一步验证了考虑多性能指标能够提升RUL预测的性能。

4 结束语

本文提出了一种基于TransMP模型的Web系统RUL预测方法,并使用Web系统加速老化实验平台收集的老化数据集来验证本文方法的有效性。根据实验结果,该方法能够准确地预测系统RUL。未来工作将研究利用深度学习方法实现Web系统RUL预测时对预测结果进行不确定性量化,以及探索深度学习方法与数据增强技术的结合来解决训练数据缺乏的问题。

参考文献:

[1]Yan Yongquan. Variance analysis of software ageing problems[J]. IET Software, 2017, 12(1): 41-48.

[2]Cotroneo D, Natella R, Pietrantuono R, et al. A survey of software aging and rejuvenation studies[J]. ACM Journal on Emerging Technologies in Computing Systems, 2014,10(1): 1-34.

[3]Grottke M, Li L, Vaidyanathan K, et al. Analysis of software aging in a Web server[J]. Discussion Papers, 2005,55(3): 411-420.

[4]Huang Yennun, Kintala C, Kolettis N, et al. Software rejuvenation: analysis, module and applications[C]//Proc of the 25th International Symposium on Fault-Tolerant Computing. Piscataway, NJ: IEEE Press, 1995: 381-390.

[5]Si Xiaosheng, Wang Wenbin, Hu Changhua, et al. Remaining useful life estimation-a review on the statistical data driven approaches[J]. European Journal of Operational Research, 2011,213(1): 1-14.

[6]Araujo J, Melo C, Oliveira F, et al. A software maintenance metho-dology: an approach applied to software aging[C]//Proc of IEEE International Systems Conference. Piscataway, NJ: IEEE Press, 2021: 1-8.

[7]Vizarreta P,Sieber C,Blenk A,et al. ARES: a framework for management of aging and rejuvenation in softwarized networks[J]. IEEE Trans on Network and Service Management, 2020,18(2): 1389-1400.

[8]谭宇宁, 党伟超, 潘理虎, 等. 基于SATLSTM的Web系统老化趋势预测[J]. 计算机应用与软件, 2020,37(4): 17-24. (Tan Yuning, Dang Weichao, Pan Lihu, et al. Prediction of Web system aging trend based on SATLSTM[J]. Computer Applications and Software, 2020,37(4): 17-24.)

[9]Tan Xueyong, Liu Jing. ACLM: software aging prediction of virtual machine monitor based on attention mechanism of CNN-LSTM model[C]//Proc of the 21st IEEE International Conference on Software Quality, Reliability and Security. Piscataway, NJ: IEEE Press, 2021: 759-767.

[10]党伟超, 李涛, 白尚旺, 等. 基于自注意力长短期记忆网络的Web软件系统实时剩余寿命预测方法[J]. 计算机应用, 2021,41(8): 2346-2351. (Dang Weichao, Li Tao, Bai Shangwang, et al. Real-time remaining life prediction method of Web software system based on self-attention-long short-term memory network[J]. Journal of Computer Applications, 2021,41(8): 2346-2351.)

[11]Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook,NY: Curran Associates Inc., 2017: 6000-6010.

[12]Han Kai, Wang Yunhe, Chen Hanting, et al. A survey on vision transformer[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2022,45(1): 87-110.

[13]Gillioz A, Casas J, Mugellini E, et al. Overview of the transformer-based models for NLP tasks[C]//Proc of the 15th Conference on Computer Science and Information Systems. Piscataway, NJ: IEEE Press, 2020: 179-183.

[14]Inoue H, Komatsu H, Nakatani T. A study of memory management for Web-based applications on multicore processors[C]//Proc of the 30th ACM SIGPLAN Conference on Programming Language Design and Implementation. New York: ACM Press, 2009: 386-396.

[15]Chen Yingying, Mahajan R, Sridharan B. A provider-side view of Web search response time[J]. ACM SIGCOMM Computer Communication Review, 2013,43(4): 243-254.

[16]Ahmed W, Wu Yongwei, Zheng Weimin. Response time based optimal Web service selection[J]. IEEE Trans on Parallel and Distributed Systems, 2013,26(2): 551-561.

[17]Li Han, Zhao Wei, Zhang Yuxi, et al. Remaining useful life prediction using multi-scale deep convolutional neural network[J]. Applied Soft Computing, 2020,89(3): 53-82.

[18]李兆玺, 刘红岩. 融合全局和序列特征的多变量时间序列预测方法[J]. 计算机学报, 2023,46(1): 70-84. (Li Zhaoxi, Liu Hongyan. Combining global and sequential patterns for multivariate time series forecasting[J]. Chinese Journal of Computers, 2023,46(1): 70-84.)

[19]梁佩. 基于WEB技术的软件老化趋势预测研究[D]. 哈尔滨: 哈尔滨工程大学, 2013. (Liang Pei. Research on the tendency of software aging for the WEB technology developed software[D]. Harbin: Harbin Engineering University, 2013.)

[20]Wang Youdao, Zhao Yifan, Addepalli S. Remaining useful life prediction using deep learning approaches: a review[J]. Procedia Manufacturing, 2020,49(1): 81-88.