边缘协作的轻量级安全区域建议网络

熊金波，毕仁万，陈前昕，刘西蒙

（1.福建师范大学数学与信息学院，福建 福州 350117；2.福建师范大学福建省网络安全与密码技术重点实验室，福建 福州 350007；3.福州大学数学与计算机科学学院，福建 福州 350108；4.福州大学网络系统信息安全福建省高校重点实验室，福建 福州 350108）

1 引言

随着人工智能和物联网技术及其覆盖面不断扩延，智慧城市[1]、智能家居[2]、智能物流等概念自提出以来就受到广泛关注。根据中国智能物联网（AIoT,artificial intelligence and Internet of things）白皮书预测[3]，到2025 年，中国物联网设备接入量将达200 亿台。自动驾驶车辆[4]、视频监控[5]、机器人等依赖物联网设备的群智感知视觉应用[6]，同时扮演着数据生产者和消费者的角色，通过装载的高清摄像头实时拍摄室内或室外场景信息，正确识别视野内目标的类别和位置，进而提供适当的行为策略或应用服务。

考虑目标检测任务本身的复杂开销问题，智能设备通常将预处理后的图像数据及检测任务外包给第三方进行存储和分析处理[7-8]，以最大程度地减少存储空间占用、计算开销和设备电源损耗。同时，由于网络容量、带宽等限制，边缘计算范式[9]将计算任务卸载至网络边缘，可以大大降低智能终端与边缘节点间的通信时延，从而满足时延敏感的智能应用需求。

目前，已经有学者结合边缘计算展开目标检测模型研究[10-11]，Ren 等[12]针对实时监控的应用需求，利用边缘计算来实现分布式、时延敏感的目标检测任务，有效地降低了通信开销和应用程序部署成本。Nikouei 等[13]提出了一种轻量级卷积神经网络，并将该网络部署在边缘节点上，利用边缘计算的优势实现了实时的密集行人目标检测。Zhang 等[14]提出了一种匹配边缘计算设备与建议区域的滤波算法，该算法利用有限的计算能力和内存来实现目标的跟踪和检测，并能保持较高的精度和较低的计算开销。

就目标检测技术而言，根据对检测精度和计算开销之间的权衡程度，主流的目标检测模型可以分为单目标检测与双目标检测模型两类[11]。Girshick等[15]最早提出了一种分类和位置检测分离的目标检测方法R-CNN（region-convolutional neural network），利用选择性搜索方式裁剪获得固定数量的目标位置区域，将这些区域缩放为固定尺寸后，顺序地通过卷积神经网络（CNN,convolutional neural network）进行分类[16]。显然，这需要大量的时间开销，缩放过程中的裁剪操作也会破坏完整的图像信息，导致检测精度下降。为了高效、准确地捕捉目标区域，Ren 等[17]提出了优化的端对端网络模型Faster R-CNN，利用卷积神经网络获取图像的特征图，并引入了区域建议网络（RPN,region proposal network）概念，利用多种长宽比和尺寸的锚在特征图上进行检测，根据每个目标的残差值生成对应的边界区域，通过共享图像特征和边界框坐标，同时获得所有目标的位置及其类别。相比于双目检测模型，Redmon 等[18]将目标检测视为包含类别信息的位置回归问题，提出端对端的单目检测模型（YOLO,you only look once），具有计算效率方面的优势，但这类模型的检测精度相对较低。

然而，摄像头收集的图像数据通常包含大量隐私信息，例如自动驾驶车辆所拍摄的图像涉及特定目标的位置和车辆自身的移动轨迹信息[5]、室内监控图像包含私人的生活环境信息[6]等。当数据拥有者将原始数据与任务提交至边缘节点时，边缘节点是否可信、边缘环境是否存在恶意敌手是数据拥有者无从得知的，这意味着原始数据所包含的隐私信息存在泄露的风险，因此，原始数据必须以密文形式上传至边缘节点进行存储或处理[19]。目前，学者们主要基于同态加密（HE,homomorphic encryption）[20]或加性秘密共享方案来寻求处理密态数据的解决方法。Dowlin 等[21]提出了基于HE 的隐私保护卷积神经网络模型CryptoNets，该模型允许数据所有者以加密形式将数据发送至云服务器来执行图像分类任务，但只能支持简单的线性运算。为了弥补网络模型单一的缺陷，Hesamifard 等[22]设计了一些低阶多项式函数，利用线性HE 可以近似处理线性修正单元（ReLU,rectified linear unit）、Sigmoid函数等激活操作。Juvekar 等[23]结合HE 和安全两方计算，设计了一些支持向量的密态计算协议。相比于基于HE 的解决方案，在牺牲少量通信开销的前提下，Huang 等[24]结合加性秘密共享方案设计了安全乘法与安全比较协议，提出了一种轻量级特征提取框架，具有较高的执行效率。然而，ReLU 激活层耗费了大量时间开销计算符号进位加法，难以应用于实时深层CNN 任务。Liu 等[25]提出了第一种隐私保护目标检测模型SecRCNN，设计的一系列安全计算协议可以保证检测过程中图像数据的隐私性，但多轮迭代计算的特征使目标检测任务需要耗费大量的时间开销。

针对当前目标检测模型只专注于检测精度和执行效率的提升与优化，忽视了图像数据的隐私性，本文借鉴数据信息全生命周期的隐私保护和计算体系结构[26]，基于加性秘密共享方案为RPN 设计相应的安全模型，同时贴合网联自动驾驶车辆等实时应用的低延时需求，在不影响图像隐私性的前提下尽可能地压缩时间和通信开销。本文的主要贡献具体如下。

1) 基于加性秘密共享方案设计了安全激活（SRU,secure ReLU）、安全Softmax（SST,secure softmax）、安全锚变换（SAT,secure anchor transform）、安全边界框裁剪（SBC,secure bounding-box clip）、安全边界框过滤（SBF,secure bounding-box filter）、安全非极大值抑制（SNMS,secure non-maximum suppression）等安全计算协议，实现网络函数功能的同时避免泄露隐私信息。相比于同态加密原语和多轮迭代逼近方法，本文方案具有计算和通信复杂度优势。

2) 提出一种安全RPN 结构SecRPN，智能终端随机地拆分图像数据并分别上传至边缘节点，2 台边缘服务器调用上述安全计算协议协同执行SecRPN，依次包含安全特征处理、安全锚变换、安全边界框修正、安全非极大值抑制等计算模块，最终获得图像内目标的边界框和相应的分类概率。由于双方均不能获得完整的计算结果，SecRPN 可以保证目标位置区域和所属类别的隐私性。

3) 通过完备的理论分析证明安全计算协议和SecRPN 的正确性、安全性和高效性。实验性能评估表明，SecRPN 的计算误差可以维持在10−5左右，所获得的安全边界框与明文环境下的安全边界框几乎完全重合，并且时间成本仅为0.34 s。

2 基础知识

2.1 区域建议网络

RPN 将图像内拟合的目标边界区域提取出来，分别送入全连接层模块进行分类，进而实现目标位置和类别检测的双重目的。在提取CNN 特征图后，RPN 分别利用大小为2×9 和4×9 的单位卷积核执行逐点卷积操作，起到联通所有特征通道的作用。围绕每个特征点匹配9 种不同比例和尺寸的锚（示范边界框），根据锚的左上角和右下角坐标，以及是否包含目标的分数进行描述，并利用Softmax 函数将分数映射至区间[0,1]。为了获得所需要的目标边界框，RPN 将锚{xup,xbottom,yup,ybottom}变换为{wa,ha,xa,ya}，其中，(xup,yup)和(xbottom,ybottom)分别表示锚的左上角和右下角坐标，wa、ha和(xa,ya)分别表示锚的宽、高和中心坐标，然后利用三类方向上的位移值(dw,dh,dx,dy)执行锚变换获得目标边界框{wb,hb,xb,yb}，即计算wb=waedw、hb=haedh、xb=wdx+xa和yb=hady+ya。随后，执行的裁剪和过滤操作的目的是为了将边界框控制在图像边界内，并删除小于单位面积的无意义边界框。NMS协议用于剔除检测分数较低、冗余的边界框，保留分数较高、有价值的边界。为了判定2 个边界框的相似程度，本文定义交占比（IoU,intersection over union）为边界框重叠区域面积与覆盖区域面积的比值，当IoU 低于设定的阈值时，则认为2 个边界框是相似的，进而保留检测分数较高的检测框。经过这一系列操作之后，所得到的一批目标边界框可以代表整个特征图内的目标区域。

2.2 基本安全计算协议

3 模型定义

3.1 系统模型

本文旨在解决智能物联网环境下数据采集设备将目标检测任务移动至边缘节点导致的图像数据隐私问题，并尽可能地减少计算和通信开销浪费。系统模型如图1 所示，参与实体包含数据拥有者O、可信第三方服务器T、2 台边缘服务器(S1和S2)、应用服务提供商P，具体职能描述如下。

1) O 负责采集物联网智能终端中的实时图像，将特征图随机拆分为2 份加法副本，并分别提交给 S1和 S2。

2) T 仅负责离线生成随机数，并按照协议要求分别传递给 S1和 S2。

3) 接收到上传的加法特征副本后，S1和 S2将加法副本隐藏至随机数中进行交互，根据安全计算协议执行安全特征处理、安全锚变换、安全边界框修正、安全NMS 等模块操作，然后将各自获得的检测结果副本发送给P。

4) P 仅需要执行加法便可以恢复出完整的检测结果，包含目标的类别和位置信息。

图1 SecRON 网络模型

3.2 安全模型

本文定义隐私为检测目标的类别和位置信息，具体表现为网络处理过程中检测目标的每一位特征值。在半可信模型中，T 对于其他实体而言是完全可信的，不直接参与 S1和 S2的交互计算，因此不会影响模型的安全性。S1和 S2被认为是诚实且好奇的实体，严格遵循所设计协议的要求，并期望通过已知信息推测出完整的隐私信息。S1和 S2是不能共谋的，只能通过传递随机数进行交互，并且安全模型参与方的信息传递需要经过安全信道，以避免信息被恶意篡改。在计算过程中，若完整的隐私信息不会被 S1和 S2及概率多项式时间敌手A 截获，那么认为提出的模型是安全的。

类似于安全模型定义[24-25,28-30]，假设具备以下攻击能力：①A至多可以窃听一类（图1 中的“链路1”或“链路2”）通信链路并获得传递的特征副本；②A至多可以破坏一台边缘服务器（S1或S2）并获得拥有的特征副本；③A不能恶意干扰数据拥有者与(S1,S2)、T 与(S1,S2)、P 与(S1,S2)、S1与S2之间的正常通信，不能篡改传递的信息内容。

4 构造SecRPN

4.1 SecRPN 概述

SecRPN 结构如图2 所示。当接收到2 份特征图副本后，S1和 S2顺序地交互执行安全特征处理、安全锚变换、安全边界框修正和安全NMS 等模块操作，然后分别输出目标检测结果副本。为了便于区分，S1执行图2 中深灰色部分的操作，S2执行浅灰色部分的操作。在安全特征处理模块中，S1和 S2利用大小为3×3的卷积核计算线性卷积，并在ReLU激活层中将2份加法副本之和的负特征值设置为0。为了联通所有深度特征通道，S1和 S2利用大小为1×1 的卷积核协同执行逐点卷积操作生成目标边界框的分数和位移特征，额外地，S1和 S2需要执行安全Softmax 操作将锚的分数映射至区间[0,1]。随后，S1和 S2生成9 种不同比例和尺寸的锚，并利用目标边界框的位移特征执行安全的锚变换操作。安全边界框修正操作的目的是将逾越图像边界的边界框限制在图像边界内，并且剔除小于单位大小的边界框。根据边界框的概率大小及修正边界框之间的重叠程度，S1和 S2执行安全NMS 操作删除概率较低的相似边界框。

4.2 安全特征处理模块

特征图中隐含着图像目标的类别和位置边界信息，经过安全特征处理操作，S1和 S2可以采用2路卷积模块输出目标的分类概率和边界框坐标位移量。关于常规卷积和逐点卷积的线性计算，S1和S2分别拥有特征图副本x1和x2，已知公共的卷积核权重和偏置参数(ω,b)，S1和 S2利用加性秘密共享独立计算z1=ωx1+b和z2=ωx2+b，可以获得完整特征图(x1+x2)的卷积结果，即z1+z2=ωx+b。然而，ReLU 激活层负责计算非线性函数max(y,0)，这显然不能直接拆分，因此本文提出了SRU 协议。已知输入z1和z2，满足z=z1+z2，S1和 S2协同执行SComp 协议获得y与0 的比较结果，即z的符号位b。若z≥ 0，则b=0；若z< 0，则b=1。S1和S2直接将输入与相乘获得激活结果，若z≥ 0，则；否则。具体过程如协议1 所示。

图2 SecRPN 结构

4.3 安全锚变换模块

4.4 安全边界框修正模块

4.5 安全非极大值抑制模块

为了进一步缩减目标边界框的数量，提高位置检测效率，SecRPN 采用NMS 方法来剔除相似的目标边界框，保留概率较高的目标边界框。IoU 用来描述2 个边界框的相似程度，其定义为重叠区域面积与覆盖区域面积的比值，取值范围为[0,1]。如果IoU=0，表示边界框无重叠；如果IoU=1，表示边界框完全重叠。已知边界框H和R的位置关系如图3 所示，则IoU 可表示为，其中，ΩH表示边界框H的面积，ΩR表示边界框R的面积，ΩH∩R表示边界框H和边界框R的重叠区域面积。选择公共的相似阈值η′，若η′≤IoUH,R≤ 1，则认为边界框H和R是相似的。

图3 边界框H 和R 的位置关系

在此基础上，S1和 S2协同执行SNMS 协议，如协议7 所示。已知目标边界框副本U1和U2，以及其相应的概率副本P1和P2，S1和 S2通过传递坐标差值间接地计算边界框的面积S（步骤2)～步骤4)），而不会泄露完整的边界框坐标值。然后，S1和S2调用SDS 协议计算概率值降序排列后的索引列表ϒ（步骤5)），保留概率最高的边界框索引d（步骤8)），将剩余边界框与之进行相似性判比，相似性问题可以归纳于重叠区域面积的安全计算。对于索引为d和k的2 个边界框，首先借助图3 来判断两者的位置关系，比较左上角和右下角坐标值，获得重叠区域T1+T2（步骤11)～步骤14)），接下来，S1和 S2计算T1+T2的面积s，若s≤ 0，则认为2个边界框无重叠，此时IoU=0（步骤15)～步骤16)）。若IoU≥η′，则认为边界框存在冗余，并从列表ϒ中删除这些冗余索引（步骤18)～步骤19)）。经过若干次迭代分类边界框索引，直到ϒ←∅，终止迭代。根据索引列表Ψ，S1和 S2可以获得NMS抑制的边界框副本V1和V2。

5 理论分析

5.1 正确性分析

5.2 安全性分析

在半可信模型中，假设存在概率多项式时间的模拟器M，为敌手A 生成一组模拟视图，若该视图在计算上与真实视图无法区分，则认为提出的计算协议是安全的。在安全性证明之前，需要引入下述引理[28-30]。

引理1若协议调用的所有子协议在概率多项式时间内是可模拟的，那么该协议是可模拟的。

引理 2若a∈ℤm是均匀分布的，并且与b∈ℤm相互独立，那么认为a±b也是均匀分布的，并且与b相互独立。

根据引理1 所述，SecRPN 的安全性可以归结于所设计协议的安全性证明。其中，SMul、SComp协议和SExp 协议的子协议的安全性在文献[22,26]中已经得到证明。同时，所设计协议以数组作为输入，由于每个数组元素的计算形式一致，根据引理2 可知，参与计算的随机数组也是均匀分布的。

定理1在半可信模型中，SRU 协议、SST 协议和SAT 协议是安全的。

5.3 复杂度分析

本节从计算复杂度和通信复杂度两方面评估和分析所提SecRPN 中安全计算协议的效率，其结果分别如表1 和表2 所示。从表1 可以看出，相比于明文环境下的RPN[17]，引入安全计算协议后显然会增加计算开销。在SRU 协议中，SecRCNN[25]采用的比较协议[24]与数值的二进制位长度相关，而SecRPN 基于顺序结构的SComp 协议可以完成激活计算，其计算复杂度为O(N)。在SST 协议中，相比于SecRCNN[25]，SecRPN 调用的SExp 协议不需要多轮迭代，并且采用传递公共分母方式可以避免额外的比较计算，其计算复杂度为O(N)。关于SAT协议、SBC 协议和SBF 协议，由于SecRPN 底层的SComp 协议是顺序执行的，因此计算复杂度均与RPN[17]相同。关于SDS 协议，SecRCNN[25]的每一次比较均需要调用比较协议，而SecRPN 的SDS 协议与RPN[17]的快速排序相似，其计算复杂度为O(NlogN)。此外，SecRPN 的SNMS 协议顺序执行SDS 协议和计算IoU 的循环结构，其计算复杂度为O(NlogN)。

表1 安全计算协议的计算复杂度

表2 描述了协议中 S1和 S2之间的通信轮数及其通信开销，底层的SMul协议、SExp协议和SComp协议均不依赖任何循环操作，仅需要一轮或3 轮通信。在SecRPN 中，SRU 协议执行一次SComp 协议，SST 协议执行2 次SExp 协议和一次数据传递，均需要3 轮通信。在SAT 协议中，包含4 次乘法和2 次指数计算，共需要6 轮通信。SBC 和SBF 分别执行8 次和2 次SComp 协议，分别需要24 轮和6轮通信。SDS 协议仅需要一轮通信传递虚构概率副本，SNMS 协议的通信开销依赖于IoU 循环次数，需要2 +13logN轮通信。

表2 安全计算协议的通信复杂度

6 性能评估

本节将对所提安全计算协议和SecRPN 的实际性能进行评估，同时分析验证基于SecRPN 的目标检测结果的正确性和安全性。本文实验环境为Intel(R) Core(TM) i7-8565U CPU@1.80 GHz，20 GB RAM 硬件配置的64 位计算机，在Pycharm 仿真平台上进行实验，利用Numpy 工具完成协议的数组传递和计算。

6.1 安全计算协议性能

本文将从实际计算开销、通信开销和计算误差3 个方面评估安全计算协议的性能。通过断点测试，利用安全计算协议的运行时间衡量计算开销，服务器之间传输的数据量大小衡量负载的通信开销，将安全计算协议与明文函数的输出结果的最大差异作为计算误差。批处理大小（数组长度N）是影响计算和通信开销的主要因素，从图4(a)～图4(f)可知，安全计算协议的计算开销随着批处理的增大而增加。相比于文献[22]中的安全ReLU 协议，当N=105时，SRU 协议的计算效率提高了近30 倍，其时间开销约为ReLU 计算的4 倍（图4(a)）。SST和SAT 协议的时间开销与原始的Softmax 函数和锚变换操作相比较，时间开销没有明显增加，若利用泰勒展开方式[32]设计这2 种安全协议，时间开销会随着迭代次数m而增加，且远高于本文提出的协议（图4(b)和图4(c)）。相比于明文环境下RPN 的边界框裁剪、边界框过滤和NMS 计算，SBC 协议、SBF协议和SNMS 协议处理长度为104以内的数组，计算开销没有明显增长趋势，即使处理长度为105的数组，计算开销也可以分别控制在95 ms、410 ms和1 150 ms 内（图4(d)～图4(f)）。

由图4(g)和图4(h)可知，计算协议的通信开销随着数组长度N的增大而增加，当处理长度为105的数组，SRU 协议、SST 协议、SAT 协议和SBF协议的通信开销控制在4 MB内，SBC协议和SNMS协议的通信轮数相对频繁，其通信开销也可以控制在15 MB 内。输入范围是影响计算误差的主要因素。图4(i)显示当输入在1～20 时，SST 协议的计算误差维持在10−5量级，等同于迭代40 次的SecST 协议。从图4(j)可知，SAT 协议的计算误差与锚的坐标值范围和位移值范围有关，当位移大于10后，SAT 协议的计算误差增长比较缓慢，且远小于SecAT 协议。由于SComp 协议的计算误差不会影响到整数部分，因此输出的符号位不会影响比较结果，不考虑系统抖动因素，在此基础上设计的SRU 协议、SBC 协议、SBF 协议和SNMS协议可以实现零误差。

6.2 目标检测结果

本文采用数据集PASCAL VOC 2007[31]进行实验，该数据集包含20 个类别，共9 963 张图片（其中，5 011 张为训练图片，4 952 张为测试图片），超过27 000 个目标边界框。随机挑选一张图片，S1和 S2利用设计的安全计算协议交互执行SecRPN，开销如表3 所示，执行512 条通道的安全卷积操作需要52.0 ms，相应的安全ReLU 激活需要178.5 ms，然后利用大小为1×1 的卷积核获得目标位移值和分数需要0.6 ms，针对目标和背景2 个类别执行安全Softmax 操作需要3.0 ms。根据9 种不同比例和尺寸的锚，执行安全锚变换、安全边界框修正（裁剪和过滤）及安全NMS 操作均可以维持在毫秒级。在SecRPN 中，因数值精度引入的计算误差如图5(a)所示，SST 协议的计算误差约为10−8，后续协议操作的计算误差可以维持在10−5量级。综上所述，SecRPN 实际产生的计算开销为340.7ms，约为明文环境下RPN 的4 倍，通信开销为27.21 MB，均优于现有工作[25]，具体如表4 所示。

图4 安全计算协议性能结果

随机挑选的图片经过SecRPN 处理后，S1和 S2将各自的目标边界框副本和分类概率向量发送给P，如图5(b)所示，P利用加法可以恢复出完整的目标检测边界框[80,46,422,298]和预测类别“bus”，并且与明文环境下的目标检测边界框仅存在10−5误差。图5(c)显示，相比于正确的目标边界框，S1和S2获得的边界框副本[374,501,2974,1 038]和[−294,−455,−2 552,−740]是无意义的。特别地，为了进一步凸显SecRPN 的安全性，下面提出一种测试方法。S1和 S2独自地进行检测操作，重复独立执行3 次后，检测结果分别如图5(d)和5(e)所示，相比于正确的目标边界框和类别，S1和 S2获得的目标类别和位置结果是随机的，并且目标概率近似于均匀分布，约为0.05。由此可见，S1和 S2及约束下的敌手A 均无法获得正确的检测结果，证明了SecRPN 是正确且安全的。

表3 网络层的开销比较

表4 网络的开销比较

图5 SecRPN 的检测结果

7 结束语

针对物联网外包环境下目标检测任务的图像隐私泄露问题，本文在双边缘协作模式下基于加性秘密共享方案设计了一系列安全计算协议，组合的SecRPN 可以在保证目标特征和位置隐私性的前提下实现目标检测。完备的理论分析证明了安全计算协议和SecRPN 的正确性、安全性和高效性，实验结果表明SecRPN 仅耗费0.34 s 的时间成本，边缘节点之间需要负载27.21 MB 的通信开销，并且计算误差可以控制在10−5左右，这对于实时需求严苛的物联网服务具有良好的应用前景。在未来工作中，将继续研究降低隐私目标检测任务开销和误差的解决方法。

附录 协议的构造过程