面向车路协同推断的差分隐私保护研究

吴茂强，黄旭民，康嘉文，余荣

（广东工业大学 自动化学院，广州 510006）

0 概述

随着人工智能技术的快速发展，各种智能驾驶应用通过深度卷积网络的实时推断提高车辆驾驶的安全性［1-2］和效率［3-4］，但是车载终端计算资源有限，难以承担深度卷积网络推断的计算开销［5］。为了减少车辆计算负荷，车联网（Internet of Vehicle，IoV）边缘计算通过在路侧部署边缘服务器，就近为车辆提供丰富的计算资源［6］，然而车辆采集的数据量庞大，传输到边缘服务器进行推断处理需要消耗巨大的带宽资源，导致服务应用的时延过高［7］。为此，研究人员提出车路协同推断架构，旨在联合车载终端与边缘服务器进行推断运算，从而提高推断效率［8］。具体地，深度卷积网络被切分成两部分，依次由车载终端和边缘服务器运行［9］。车载终端上传前半部分网络的计算结果（即中间数据）至边缘服务器接力处理，边缘服务器得到最终的结果并返回至车辆［10］。车路协同推断主要有3 个优势：前半部分网络一般为特征提取网络，计算开销较小，适合车载终端执行［11］；中间数据远小于原始图像，传输过程的通信量明显减少［12］；车载终端保留原始数据，在一定程度上保护了数据隐私［13］。

然而，针对现有车路协同推断架构，攻击者可能根据上传的中间数据复原车载终端的原始图像，从而泄露用户隐私［14］。为了防御图像还原攻击，文献［15-16］选择更深的深度卷积网络层作为切割点，减少中间数据的信息量，降低图像复原效果。文献［17］在输出的中间数据中添加随机噪声，从而干扰图像还原。这些防御方法需要通过总结大量实验的经验，在实际应用中可操作性不强，同时主要针对白盒攻击，即假设已知车载终端的深度卷积网络结构和参数，无法很好地适配实际应用情况。

本文研究车路协同推断的黑盒图像还原攻击并提出3 种防御算法，分别在车载终端深度卷积网络的模型参数、输入图像、输出结果中添加随机噪声，干扰黑盒攻击者对图像的复原，同时对于3 种防御算法进行差分隐私理论分析及性能评估。

1 车路协同推断的隐私泄露问题

1.1 车路协同推断架构

如图1 所示，车路协同推断架构由车载终端、边缘服务器以及深度卷积网络组成。以路标识别应用为例，车载终端设备利用深度卷积网络推断，对车载摄像头拍摄到的路标图像进行类型识别。深度卷积网络被切分成两部分：前半部分在车载终端处进行处理；后半部分在边缘服务器处进行处理。车载终端以路标图像X0作为输入，执行前半部分网络，得到中间数据作为输出。车载终端上传中间数据给边缘服务器，边缘服务器以中间数据作为输入，执行后半部分网络得到最终识别结果，将结果返回车载终端，至此完成协同推断任务。

图1 车路协同推断架构Fig.1 Collaborative vehicle-road inference architecture

1.2 黑盒攻击

在车路协同推断中，攻击者可能是开放环境下的窃听者，从车联网通信中窃取车载终端上传的中间数据以复原原始图像，泄露用户隐私。假设攻击者不知道车载终端设备存储的前半部分网络的结构，但是攻击者可以输入图像集合X={x1,x2,…}到网络去查询计算结果该假设通常应用于车载终端开放自己的API 给其他车辆使用时，通过提供查询服务获取利益。

在黑盒攻击的假设下，本文采用反卷积网络算法［14］，通过训练一个反卷积网络，学习中间结果和原始图像之间的关系。

算法1反卷积网络算法

算法1 包含3 个阶段：1）查询阶段，攻击者使用图像集合X={x1,x2,…}作为输入查询车载终端设备网络，得到中间数据集合2）训练阶段，攻击者用中间数据集合V作为输入，图像集合X作为目标对象，样本数量为n，训练反卷积网络gω，采用图像像素空间的l2范数作为损失函数（如式（1）所示），其中反卷积网络gω的结构不需要关联车载终端设备网络的结构，本文实验中所用的反卷积网络结构和车载终端设备网络结构完全不同；3）复原阶段，攻击者对训练好的反卷积网络输入获得的中间数据得到复原数据

2 差分隐私防御

2.1 差分隐私理论

差分隐私是数据分析和机器学习中定义隐私保护程度的一种数学范式［18-19］。

定义1当给定的两个相邻数据集D和D'中至少有一条数据不同时，如果算法M符合条件式（2），则算法M满足ε差分隐私［20］。

其中：S为算法输出集合。隐私预算ε控制输入D和D'的算法输出分布的接近程度，体现了隐私保护程度。ε越小，算法输出分布越接近，攻击者越难区分，隐私保护程度越高。

常见的隐私保护方法是在算法输出分布中加入随机噪声进行扰动［21］，如拉普拉斯噪声［22］。如果要保证算法满足ε差分隐私，需要加入的噪声随机采样自均值为0、尺度为σ≥Δ/ε的拉普拉斯分布［23］，其中为全局敏感度，即任意相邻数据集D和D'的算法输出的最大差异。

2.2 防御算法设计

本文提出3 种差分隐私防御机制，即模型扰动、输入扰动、输出扰动。如图2 所示，分别在车载终端网络的模型参数、输入图像和输出数据中加入拉普拉斯噪声扰动，影响攻击者复原的图像质量。

图2 车路协同推断的差分隐私保护过程Fig.2 Process of differential privacy protection for collaborative vehicle-road inference

模型扰动机制的具体流程如算法2 所示。首先，将所有模型参数的大小限制在阈值CM以内。根据文献［18］，阈值可以设定为模型参数的无穷范数的中值。然后，对模型参数添加随机生成的均值为0、尺度为σM=2CM/ε的拉普拉斯噪声。最后，用噪声扰动后的深度卷积网络进行推断，得到中间数据。算法的复杂度取决于模型参数的维度，为其中，Kl为第l个卷积层的卷积核边长，Hl-1为该卷积层的输入通道数，即上一层的输出通道，Hl为该卷积层的输出通道数。

算法2模型扰动算法

输入扰动机制的具体流程如算法3 所示。首先，限制输入图像像素值在阈值CI以内。根据文献［18］，阈值可以设定为模型训练期间一组输入样本的无穷范数的中值。然后，随机生成均值为0、尺度为σI=2CI/ε的拉普拉斯噪声并注入输入图像的灰度值中。最后，用扰动后的图像进行推断，得到中间数据算法的复杂度取决于输入图像的维度，为其中nI为输入图像的边长。

算法3输入扰动算法

输出扰动机制的具体流程如算法4 所示。首先，推断得到中间数据V，并限制输出结果元素值在CO内。根据文献［18］，阈值可以设定为模型训练期间一组输出结果的无穷范数的中值。其次，对每个元素添加随机生成的均值为0、尺度为σO=2CO/ε的拉普拉斯噪声，得到中间数据算法的复杂度取决于输出结果的维度，为，其中nO为输出结果的边长。

算法4输出扰动算法

输入图像集合X，车载终端深度卷积网络输出结果元素阈值CO，隐私预算ε

输出模型扰动后的输出结果

上述3 种算法是在车载终端执行模型推断的过程中，分别对模型参数、输入图像、输出结果执行添加随机拉普拉斯噪声的操作。因此，算法的复杂度与深度模型本身的计算无关，而与添加噪声的对象维度有关。显然，输出结果维度最小，其次输入图像，模型参数维度最大。因此，输出扰动算法复杂度最低，其次输入扰动算法，模型扰动算法复杂度最高。

2.3 隐私保护分析

定理1给定输入图像集合X和车载终端深度卷积网络当注入模型参数的拉普拉斯噪声尺度为2CM/ε时，算法2 满足ε差分隐私保护。

计算得到：

因此，根据定义1，当噪声尺度σM≥2CM/ε时，算法2满足ε差分隐私。

定理2给定输入图像集合X和车载终端深度卷积网络fθ1，当注入输入图像的拉普拉斯噪声尺度为2CI/ε时，算法3 满足ε差分隐私保护。

证明因为输入图像像素值在范围CI内，所以对于任意相邻输入X和X'，全局敏感度表示如下：

因此，根据定 义1，当噪声 尺度σI≥2CI/ε时，算法3 满足ε差分隐私保护。

定理3给定输入图像X和车载终端深度卷积网络当注入计算结果的拉普拉斯噪声尺度为2CO/ε时，算法4 满足ε差分隐私保护。

证明因为计算结果元素值限制在范围CO内，所以对于任意相邻输入X和X'，全局敏感度表示如下：

因此，根据定义1，当噪声尺度σO≥2CO/ε时，算法4 满足ε差分隐私保护。

3 实验结果与分析

3.1 实验设置

实验使用GTSRB 数据集［24］，该数据集用于路标识别任务，由39 208 个训练样本和12 630 个测试样本组成。如图3 所示，实验所用的深度卷积网络由6 个卷积层和2 个全连接层组成。每个卷积层有32 个通道，核大小为3，并使用ReLU 函数作为激活函数。每2 个卷积层后面连接1 个池化层。考虑车路协同推断选择第2 个池化层作为切分点。攻击者采用的反卷积网络由2 个解卷积层和1 个激活层组成。深度卷积网络和反卷积网络的训练均采用ADAM 优化器，学习率为0.001。

图3 深度卷积网络与反卷积网络结构Fig.3 Structure of deep convolutional network and deconvolutional network

3.2 实验度量标准

假设A和B为原始图像和复原图像，大小为m×n。A（i,j）和B（i,j）分别为图像A和B在位置（i,j）的像素值。实验采用以下3 种度量标准衡量图像复原的质量［17，25］：

1）均方误差（Mean Squared Error，MSE），以两张图像像素值的均方差衡量两张图像的相似度。MSE 越小，两张图像的相似度越高。MSE 定义如下：

2）结构相似度（Structural Similarity，SSIM），根据两张图像的结构信息衡量相似度，取值范围为[0,1]，SSIM 越大，两张图像的相似度越高。令图像A和B的像素均值分别为μA和μB，方差分别为σA和σB，协方差为σAB，c1和c2为参数。SSIM 定义如下：

3）峰值信噪比（Peak Signal-to-Noise Ratio，PSNR），基于对应像素点的峰值误差来衡量相似度。PSNR越大，两张图像相似度越高。PSNR 定义如下：

3.3 实验结果

对比3 种差分隐私防御算法与选择切点防御法对图像还原攻击的防御效果。选择切点防御法主张选择更深的网络层作为切割点切分深度卷积网络，使得攻击者复原效果变差［15-16］。

图4 给出了在使用不同防御算法时，攻击者使用还原攻击复原的图像。模型扰动算法的防御效果最好，在隐私预算ε=10 时，复原的图像已经无法看清路标的细节。输入扰动算法和输出扰动算法只有在ε=1 时，才能完全抵御攻击者的图像复原。当ε<1 时，在输出扰动算法保护下的复原图像像素均匀，而模型扰动算法和输入扰动算法防御下的复原图像仍存在噪点。这是因为输出扰动算法直接在输出结果中注入噪声，而另外两种扰动算法是间接扰动输出结果。当使用选择切点法进行防御（即选择更深的切割点）时，攻击者复原效果明显变差。但是，即使选择最后一层激活层作为切割点，其输出结果复原的图像仍能看到路标的细节。而且，如果选择更深的切割点，则车载终端的计算开销会显著增加，车路协同推断的效率会降低。相比之下，本文提出的3 种差分隐私防御算法对图像复原攻击的防御效果更好。

图4 不同防御算法保护下的复原图像Fig.4 Recovered images protected by different defense algorithms

图5、图6 和图7 分别给出了对于不同的隐私预算，在3 种防御算法干扰下复原图像的MSE、PSNR和SSIM。模型扰动算法的防御效果明显最优，在其干扰下的图像还原质量最低，其次是输出扰动算法，最后是输入扰动算法。但是当ε<100时，随着隐私预算降低，输入扰动算法防御下的复原图像MSE 急剧升高，PSNR 急剧下降。这是因为在输入图像添加噪声尺度太大，复原图像像素极度不均匀。

图5 不同隐私预算对应的复原图像MSEFig.5 MSE of recovered images corresponding to different privacy budgets

图6 不同隐私预算对应的复原图像PSNRFig.6 PSNR of recovered images corresponding to different privacy budgets

图7 不同隐私预算对应的复原图像SSIMFig.7 SSIM of recovered images corresponding to different privacy budgets

图8 表示不同隐私预算对推断精确度的影响。当ε≥101时，添加噪声对推断精确度的影响较小。当ε<101时，推断精确度急剧下降。模型扰动算法比另外两种算法可达到更高的推断精确度，当ε=101时，其推断精确度为0.9。总体来说，当ε取值为［101，102］时，差分隐私保护算法可以有效降低黑盒攻击还原图像质量，并确保了一定的推断精确度。

图8 不同隐私预算对推断精确度的影响Fig.8 Impact of different accuracy budgets on inference accuracy

图9、图10 表示推断精确度和还原图像质量之间的关系。当PSNR 和SSIM 越小，推断精确度越低，即还原图像质量越差时，对黑盒图像还原攻击防御效果越好，同时对深度卷积网络模型的推断精确度影响也越大。在达到相同的防御效果时，模型扰动算法达到的推断精确度最高，其次是输出扰动算法，最后是输入扰动算法。因此，在3 种差分隐私保护算法中，模型扰动算法在均衡隐私保护和推断精确度方面获得最优效果。

图9 推断精确度与PSNR 的关系Fig.9 Relationship between inference accuracy and PSNR

图10 推断精确度与SSIM 的关系Fig.10 Relationship between inference accuracy and SSIM

4 结束语

本文针对车路协同推断中的黑盒图像还原攻击，提出3 种基于差分隐私的防御算法，分别在车载终端深度卷积网络的模型参数、输入图像、输出结果中注入随机生成的拉普拉斯噪声。通过理论分析得出3 种算法均满足ε差分隐私保护的结论。实验结果证明，3 种算法在有效防御黑盒图像还原攻击的同时保证了车路协同推断的精确度。后续将结合传输压缩等方法设计更高效的防御算法，进一步提高车路协同推断的效率和精确度，实现用户隐私保护。