基于联邦学习在机场旅客量的预测

林子谦，安艾芝，樊重俊

（上海理工大学 管理学院，上海 200093）

0 引言

随着经济的快速发展，人民对生活质量的要求越来越高，旅客对空中交通的需求也越来越大，这对机场造成了很大的影响。机场的客流量是民航机场的重要生产指标，这是实现机场资源有效分配的基础，也是进行机场项目投资决策的重要依据。近年来，许多学者提出了基于机器学习和深度学习的方法来进行交通流预测。其中，高伟等学者基于熵值-BP 神经网络的机场旅客吞吐量预测。王超等学者为了提高精度使用了改进的灰色模型并且仿真上海虹桥的吞吐量。李航等学者使用注意力机制加上EDM 的模型对旅客量进行预测，通过编码器与解码器的功能对数据做正反向的特征提取，提高预测的精度。但是由于机场的价格政策与军机演练等问题，以单个机场的数据不能很好地进行旅客吞吐量预测。由于民用机场相关数据涉及商业机密以及旅客隐私安全等问题，汇总难度大，数据孤岛现象严重。

谷歌提出了一个新的框架，叫做联邦学习，就有效地解决了隐私安全的问题。在联邦学习模式的训练中，每个客户端参与了模型的训练，都可以将其数据存储到当地，而不需要上传。因此，每个机场使用自己的数据从服务器下载模型进行训练，并将训练好的模型上传至网络，将训练的模型或梯度导入服务器以进行汇总，汇总后的模型或梯度信息将由服务器发送到客户端。

在联邦学习过程中，最经常使用的则是同态加密方案。同态加密是一种可以直接对自己的数据进行加密专用算法，其结果与明文下的计算值是相当吻合的，由于传送能力的不同，通常情况下这些加密方案可以分为：部分同态加密方案、有限同态加密方案、全同态加密方案。其中，部分同态加密，也就是只支持相加或相乘，比如Paillier 方案，只支持密文之间的加法，而不支持密文间的相乘操作。有限同态加密，则是既支持同态相加、又支持同态相乘，但对计算的次数有一定的局限性，例如Bonh-Goh-Nissim 方案可以支持无限次的同态相加，但最多只能支持一次同态相乘；而全同态算法，在不需要自举运算的情况下，可以支持任何数量的同态相加和同态乘法。

本文中，设计了基于联邦学习预测吞吐量的模型，首先各个机场对历史数据进行预测处理，在剔除异常值后对吞吐数据进行归一化，消除量纲的影响；其次，通过使用逻辑回归算法与同态加密相结合，使其机场在不泄露相关数据的情况下，能够共享训练一个预测模型。

1 算法原理

1.1 联邦学习

联邦学习是一种新的分布式机器学习技术，技术目的在于确保信息安全与合法合规的前提下，通过对各参与节点进行高效的机器学习，使其能够更好地进行协同训练，从而获得整体的模型。研究中的基本算法并不限于统计机器学习技术，还包括目前快速发展的深层神经网络。具体的联邦学习的目标函数为：

其中，第个参与方的梯度为g＝∇F(w)，学习率为，则第轮迭代得到的新参数为：

每个参与方的本地更新为：

1.2 同态加密的逻辑回归

Paillier 半同态加密算法是由Paillier在1999年提出的，是一种非对称加密算法的实现，可以处理加密后的数据，计算的结果仍然是加密的，拥有密钥的用户对该加密的结果可以进行解密。

假设参与训练的机场的参数分别为θ，θ，则二者聚合在一起的目标函数为：

则机场的模型与机场的模型参数更新为：

由于Paillier 加密算法只支持加法同态和标量乘法同态，因此文献［8］使用泰勒展开式的方法进行近似原始对数损失的方法。本文首先将公式对数损失函数log (1＋e) 在0 处的泰勒展开，表达式为：

其中的最后一项由于＝1，因此直接去掉，得到：

因此，对应加密后的梯度为：

2 基于联邦学习的机场模型构建

本文的模型当中，首先对2 个机场数据进行异常值处理，同时进行归一化处理消除量纲的影响。通过逻辑回归的方法进行训练，并使用同态加密的方法进行隐私保护，联邦服务器端通过聚合两者本地模型，最终训练出适用于当地机场评估的模型。机场联邦学习框架如图1 所示。

图1 机场联邦学习框架Fig.1 Federated learning framework of the airport

2.1 异常值处理

由于机场会出现极端天气、演练事件的影响，容易出现异常值。因此，当旅客吞吐量数值未能分布在（-3，3）时，将被判定为异常数据。根据式（11）剔除异常值：

2.2 数据归一化

假设X为某机场某一时段的机场旅客吞吐量，则研究推出的归一化公式为：

其中，为数据中旅客量最小值，为数据中旅客量最大值。

2.3 同态加密下的训练过程

近年来研究发现通过梯度的传输也会导致数据隐私泄露的风险，因此在传送梯度的过程中进行同态加密是十分重要的。算法步骤具体如下：

机场的吞吐量和机场吞吐量分别产生一对公私钥，并将公钥发送到服务器。

服务器以同样的过程进行加密，传送给机场与机场。

机场与机场通过解密得到L，并根据式（8）得到计算梯度，再使用梯度下降法进行参数更新。此后再次同态加密传送到服务器。

重复Step1～Step5，直到模型收敛。

2.4 同态加密下的预测过程

当服务器进行询问时，模型部署在机场和机场中，预测过程和上述训练过程类似。对此拟做阐释如下。

3 实验及结果分析

3.1 实验环境与数据集准备

根据本文航空旅客吞吐量进行预测，由于选取的实验数据集完整不存在缺失值、但是存在异常值的问题，所以对数据集进行归一化与异常数据剔除的处理。本文所选数据集为某市2 个机场从2017年1 月1 日到2017 年12 月31 日的每天旅客吞吐量的数据集。

实验环境配置为Ubuntu21.0 操作系统，Intel Core i5-8300H，8 GB 内存，Python3.6 编程语言，Pytorch3.6 框架，显卡型号RTX 3080。其中，模型的学习率为0.01，动量为0.9，迭代次数都为50，且取80%为训练值，剩下的20%为预测值。

3.2 评价指数

本文中，分析模型的实验结果，采用平均绝对百分比误差（）作为模型评价函数，以此评价模型的预测效果，具体公式如下：

3.3 对比实验分析

机场真实数据与逻辑回归预测对比如图2 所示，机场真实数据与联邦学习预测对比如图3 所示，机场真实数据与逻辑回归预测对比如图4 所示，机场真实数据与联邦学习预测对比如图5 所示。由图2 可知，很明显在单个机场进行训练的过程中，由于存在一定的噪声的原因，导致模型在拟合的过程中，出现预测过高、或者波动大的问题，图2与图4 都出现了跳动比较大或者预测值过高的情况。而联邦学习后的训练值不论是机场、还是机场的拟合度都特别高，特别是机场的拟合不论是时间的波动、还是预测的误差值都十分接近真实。

图2 机场A 真实数据与逻辑回归预测对比图Fig.2 Comparison between real data and predictions of logistic regression for airport A

图3 机场A 真实数据与联邦学习预测对比图Fig.3 Comparison between real data and predictions of federated learning for airport A

图4 机场B 真实数据与逻辑回归预测对比图Fig.4 Comparison between real data and predictions of logistic regression for airport B

图5 机场B 真实数据与联邦学习预测对比图Fig.5 Comparison of real data and predictions of federated learning for airport B

逻辑回归与联邦学习回归的对比结果见表1。由逻辑回归与联邦学习两种方法值的对比显示，若直接使用逻辑回归进行预测，分别得到的准确值为0.2204 与0.1914，而通过将二者聚合之后的模型有着明显的提升的效果。由此也可以证明本方案的可行性与有效性。

表1 逻辑回归与联邦学习回归MPAE 的对比表Tab.1 Comparison table of MAPE between logistic regression and federated learning regression

4 结束语

通过对旅客吞吐量进行预测，机场可选择在客流量较少的时段内进行维修或其它建设活动，使得对机场运行和管理造成的影响降到最低；同时，在客流高峰期，适当配置与之相适应的内外资源，例如：地面公共交通资源、地勤人员、安保人员等，以保证机场的畅通和生产的安全。本文中，应用在联邦学习的方法使得2 个机场在发生涉及隐私的情况时会训练一个共同的模型，并且在传递模型的过程中，用到了同态加密，由此保障了数据不会被泄露。本方案是首次将联邦学习应用在2 个不同的机场旅客量预测当中，未来将会把机场图像分割与其他传感器的数据相结合并扩展到深度学习模型当中。