融合深度神经网络特征的ARIMAX雾霾PM2.5预测

张钰洁，王 钰，杨杏丽

(1.山西大学 数学科学学院，山西 太原 030006；2.山西大学 现代教育技术学院，山西 太原 030006)

0 引 言

雾霾天气是一种大气污染状态，雾霾是对大气中各种悬浮颗粒物含量超标的笼统表述。雾霾的主要成分包括PM2.5颗粒物、PM10颗粒物、臭氧、二氧化氮、二氧化硫和一氧化碳等，尤其是由有毒物质如重金属和致癌物质等组成的有机化合物PM2.5(空气动力学当量直径小于等于2.5微米的颗粒物)被认为是造成雾霾天气的“元凶”[1-2]。

PM2.5对人类健康的危害极大，会导致心血管和心肺部疾病、呼吸系统问题，增加癌症的发病几率，也可能会造成婴儿的畸形发育等[3-4]。另外，PM2.5雾霾污染对气候变化和生态环境也有很大影响，PM2.5浓度的增加可能是极端天气和气候事件增加的主要原因之一，如引起城市大气酸雨、光化学烟雾现象，导致大气能见度下降，极大阻碍空中、水面和陆面交通的正常运行。

因此，准确监测雾霾变化，获取雾霾相关信息，尤其是及时准确预报雾霾污染物的浓度，对于大气科学、大气环境监测、气候分析、气象预报、环境保护、国民经济和军事等诸多方面均具有重要意义[5-6]。

目前，文献中已经提出了多种雾霾污染浓度的预测模型和技术，如差分自回归滑动平均(Autoregressive Integrated Moving Average，ARIMA)模型[7]、多元线性回归模型[8]、季节性差分自回归滑动平均(Seasonal Autoregressive Integrated Moving Average，SARIMA)模型[9]、向量自回归模型[10]、支持向量机(Support Vector Machine，SVM)模型[11]、决策树[12]、随机森林[13-14]、长短期记忆网络(Long and Short-Term Memory，LSTM)[15-17]等。进一步，朱旭辉等[18]针对单个SVM方法的不鲁棒问题，通过使用多数投票算法对多个SVM模型进行选择性集成，给出了一种集成的雾霾天气预测方法，实验结果表明集成后的SVM方法具有更高的精度和鲁棒性。刘梦炀等[19]构建了一种基于LSTM和全连接神经网络的混合神经网络模型，并提出了数据桶划分的训练方式来解决由于训练数据与预测数据存在较长时间间隔导致精度下降的问题，进而实现PM2.5浓度的精确预测。然而，上述方法都仅仅使用了雾霾数据本身的信息，但实际上温度、压力、相对湿度等气象因子对于雾霾的预测都有显著的影响。为此，该文考虑融合温度、压力、相对湿度的气象数据和雾霾数据给出更为准确的雾霾预测结果。

然而发现，简单融合三个常用气象因子的ARIMAX雾霾预测模型并不能得到满意的预测结果。这是因为雾霾的形成和发展过程是非常复杂的，这些模型可能无法充分有效地模拟复杂的雾霾过程，从而无法捕获重要的深度语义特征，造成预测结果不准确。

特别地，深度神经网络模型由于其强大的特征表示能力得到了极大的关注，为此，该文考虑将深度卷积神经网络模型提取的深度语义特征融入到ARIMAX模型，给出一种新的雾霾序列预测框架。首先，由于卷积神经网络[20]能够自动准确地学习图像空间相关性等深度语义信息，将数值气象因子数据转化为图像数据；然后，基于具有优越性能的ResNet-50 (Residual Network-50)卷积神经网络模型[21]提取气象因子图像序列中的深层特征，进一步采用主成分分析(Principal Component Analysis，PCA)技术处理高维特征，得到最佳深度语义特征组合；最后，用简单有效的ARIMAX模型建模捕获雾霾的时间序列相关信息。

1 提出的雾霾预测框架

1.1 ARIMAX模型

ARIMAX模型是指带回归项的ARIMA模型，又称扩展的ARIMA模型，通过回归项的引入进一步提高模型的预测效果。此模型把输出序列表示为随机波动的过去值和预测因子序列的过去值的结合，即：

其中，Yt表示输出序列，{X1t},{X2t},…,{Xkt}表示输入变量序列，{εt}为回归残差序列，{at}为零均值白噪声序列，B为滞后操作算子，Θi(B)为第i个输入变量的自回归系数多项式，Φi(B)为第i个输入变量的滑动平均系数多项式，li为第i个输入变量的滞后阶数，且：

Φ(B)=1-φ1B-…-φpBp

Θ(B)=1-θ1B-…-θqBq

1.2 ResNet-50神经网络模型

ResNet-50模型是目前深度学习中的主流卷积神经网络模型，其内部的残差块使用了跳跃连接，极大地缓解了梯度消失问题，克服了由于网络深度加深而产生的学习效率变低与准确率无法有效提升的问题。因此，该文使用ResNet-50模型提取深度语义图像特征。具体地，ResNet-50模型的网络结构如表1所列，它包含了49个卷积层、1个全连接层，总共由16个残差块组成，如图1所示，每个残差块包含3个卷积层、1个跳转连接和激活函数。经过前五部分的卷积计算，输出7×7×2 048的特征图，然后池化层将其转化成一个2 048维特征向量。

表1 RestNet-50结构

图1 残差块网络结构

1.3 提出方法

提出的预测框架如图2所示。

图2 预测框架

首先，将三因素气象因子数值型数据转化为三通道气象因子图像，即根据目标城市和邻近城市的经纬度等相关信息生成目标城市和邻近城市的地图，并用归一化后的三个基本气象因子数值数据填充相应城市地图的像素，生成三通道气象因子图，其中温度、气压和相对湿度各对应t时刻图像的一个通道。继而运用ResNet-50模型提取三通道气象因子图像深度语义特征，每个图像的特征均为2 048维。由于图像的特征维度较高，可能对后续的预测性能带来不好的影响。因此，用PCA技术进行降维，使用MSE评价准则选取主成分的最优个数，该个数记为n*，使用前n*个主成分得到最优的特征组合，即{X1t},{X2t},…,{Xn*t}。该组合包含了数据气象因子的大部分信息，作为后续ARIMAX模型的Xt，PM2.5序列数据作为ARIMAX模型中的Yt。由于ARIMAX模型要求输入的时间序列数据是平稳序列，因此在建立模型前检验{X1t},{X2t},…,{Xn*t}，PM2.5序列的平稳性和方差齐性。若数据是平稳的，则运用最优特征组合和PM2.5数据建立ARIMAX模型实现PM2.5的高精度多步预测。若数据不平稳，则对数据进行差分变换至平稳序列再建立模型。具体地，融合深度卷积神经网络特征的ARIMAX雾霾PM2.5浓度预测算法过程如下：

输入：三因素气象数据、PM2.5数据；

a)数值数据转化为三通道图像

b)ResNet-50提取图像特征，特征维数为2 048

c)forn=1 to 2 048

End

e)将前n*个主成分{X1t},{X2t},…,{Xn*t}作为最佳特征组合

f)检验{X1t},{X2t},…,{Xn*t}，PM2.5序列的平稳性

g)如果序列是平稳的，则转到第i步，否则第h步

h)对数据进行(一次或多次)差分操作

i)检验方差齐性，如果序列是异方差，转到第j步，否则转到第k步

j)对原始数据进行数据变换，转到第g步

k)识别模型，确定p和q

输出：预测值。

2 实验分析

为了验证提出的雾霾预测框架的有效性，收集了一个数据量大小为1 826的PM2.5 浓度和气象因子数据集，并在此数据集上将提出的预测框架与广泛使用的ARIMA模型、三因素ARIMAX模型、多元回归模型、ResNet-多元回归模型、LSTM模型和SVM模型在四个常用的性能评价指标上进行了对比。

2.1 数据及其分析

主要收集了山西省11个城市(太原、大同、朔州、忻州、阳泉、吕梁、晋中、长治、晋城、临汾、运城)2015年1月至2019年12月的空气质量和气象数据：(a)主要空气污染源PM2.5浓度数据；(b)三个基本气象因子：温度、气压和相对湿度数据。然后，将三个基本气象因子数值数据转化为图像数据。具体地，根据目标城市和邻近城市的经纬度等相关信息生成目标城市和邻近城市的地图，并用归一化后的三个基本气象因子数值数据填充相应城市地图的像素，生成1 826张的三通道气象因子图像，如图3所示。

图3 三通道气象因子图

基于生成的图像，通过ResNet-50模型提取2 048维特征，继而为了保证模型的预测精度，采用PCA降维，找到最佳的特征组合。经过实验，如图4所示，因子个数为34时得到了最小的RMSE，即34维特征为PCA提取的最佳特征组合。最后，基于上述34维重要深度语义特征和PM2.5序列，经过平稳性、方差齐性和白噪声检验后，建立ARIMAX模型预测PM2.5浓度。例如，在大同市地区，大同市气象和雾霾序列数据通过平稳性、方差齐性和白噪声检验后，建立ARIMAX(2，1，3)模型，对大同市未来PM2.5浓度进行预测。

图4 特征个数与RMSE变化关系

2.2 评价指标

使用几种常用的雾霾污染预测评价指标评估预测模型性能：皮尔逊相关系数(Pearson’s Correlation Coefficient，PCC)、均方误差(Mean Square Error，MSE)、均方根误差(Root Mean Squared Error，RMSE)和平均绝对误差(Mean Absolute Error，MAE)，它们的表达式如下：

2.3 实验结果

将该文提出的方法与LSTM模型、SVM(三因素)模型、多元回归(三因素)模型、ResNet-多元回归模型、ARIMA模型、ARIMAX(三因素)模型进行比较：

(1)LSTM模型：原始LSTM模型，直接使用PM2.5序列建立模型。

(2)SVM(三因素)模型：直接使用三个气象因子作为PM2.5预测的影响因素，建立SVM回归模型。

(3)多元(三因素)模型：直接使用三个气象因子作为PM2.5预测的影响因素，建立多元回归模型。

(4)ResNet-多元回归模型：首先使用ResNet神经网络提取三通道气象因子图深度语义特征，经过主成分分析找到最佳特征组合，继而基于最佳特征组合建立多元回归模型。

(5)ARIMA模型：仅使用PM2.5序列建立ARIMA模型。

(6)ARIMAX(三因素)模型：直接使用三个气象因子作为PM2.5预测的影响因素，建立ARIMAX模型。

表2～表5给出了11个城市的平均MSE、RMSE、MAE和PCC值对于1、3、5、7天的长短期PM2.5预测的多个模型的对比结果，图5给出了预测长度为1天时，各个城市的多个模型的MSE、RMSE、MAE和PCC对比结果。

表2 其他模型与提出框架对四种度量的1天PM2.5浓度预测比较

表3 其他模型与提出框架对四种度量的3天PM2.5浓度预测比较

表4 其他模型与提出框架对四种度量的5天PM2.5浓度预测比较

接着，鉴于单纯使用ARIMA模型预测PM2.5浓度模型性能较差，该文将影响雾霾浓度的三个气象因子加入到ARIMA模型，建立了三因素ARIMAX模型。在1、3、5、7天长短期PM2.5预测下，提出的预测框架在四个指标下始终优于三因素ARIMAX模型。在某些情况下，提出的预测框架改进达到了10%～30%。例如，如表5所列，在7天PM2.5浓度预测的情况下，所提出的预测框架分别与三因素ARIMAX模型的MSE、RMSE、MAE和PCC度量进行比较，性能提高了27.9%、16.5%、15.5%、27.2%。这是因为，雾霾的形成和发展过程是非常复杂的，而直接将三因素数据建模可能无法充分有效地模拟复杂的雾霾过程，从而导致模型性能较低。这一原因在多元回归中也得到了验证。例如，在四个粒度下，使用卷积神经网络提取的特征作为自变量建立的多元回归模型的性能均远远超过直接用三个气象因素建立的多元回归模型的性能。

表5 其他模型与提出框架对四种度量的7天PM2.5浓度预测比较

图5 山西省11个城市的七种模型的四种评价指标比较

首先，在1、3、5、7天长短期PM2.5预测下，提出的预测框架在四个指标下始终优于ARIMA模型。例如，如表2所列，在预测时长为1天时，11个城市的平均MSE、RMSE、MAE和PCC值，ARIMA模型分别为992.043、30.978、21.486、0.632，而提出的预测框架分别为327.135、17.275、12.958、0.769，显著优于ARIMA模型。这些结果验证了单纯使用ARIMA模型预测PM2.5浓度是远远不够的，ARIMA模型无法考虑到影响雾霾浓度的因素，导致预测结果不准确。

然后，该文使用卷积神经网络提取的特征作为自变量建立多元回归模型，实验结果验证了单独利用卷积提取图像特征做预测是有缺陷的，这样的预测模型只关注了数据之间深度语义特征，如空间相关性，忽略了序列相关性，而ARIMA模型更擅长捕获序列相关性进行短期预测，进而验证了提出的预测框架能够同时利用序列相关性和空间相关性等信息进行建模的有效性。另外，提出的预测框架在1、3、5和7天长短期PM2.5预测和四个指标下的性能始终优于SVM模型和LSTM模型，产生了最佳的实验结果。

最后，给出了预测长度为1时，山西省每个城市的七个预测模型的MSE、RMSE、MAE和PCC值的对比结果。如图5所示，ARIMA模型、三因素ARIMAX模型、多元回归模型、ResNet-多元回归模型、LSTM模型和SVM模型在MSE、RMSE和MAE度量下的线条明显高于提出的预测框架的线条，上述六个模型在PCC度量下的线条明显低于提出的预测框架的线条。这进一步证实了提出的预测框架无论是11个城市的平均结果还是各个城市独立结果上均展示了最优的性能，进一步验证提出预测框架的有效性。

3 结束语

综上所述，该文提出了一个融合卷积神经网络特征的ARIMAX雾霾序列预测框架。运用ResNet-50卷积神经网络捕获雾霾影响因素序列中的深度语义特征，如邻近城市的雾霾的空间相关信息，用ARIMAX模型建模捕获雾霾的时间序列相关信息。在真实的空气质量和气象数据集(中国山西省)上验证了提出的雾霾PM2.5浓度预测框架的有效性。实验结果表明，在1、3、5、7天长短期PM2.5浓度预测中，提出的预测框架始终优于当前广泛使用的ARIMA模型、三因素ARIMAX模型、多元回归模型、ResNet-多元回归模型、LSTM模型和SVM模型。