基于联邦学习的无监督跨域车辆重识别方法

刘世豪

（河北工程大学，河北邯郸 056000)

0 引言

车辆重识别是智能交通系统的前沿研究课题，旨在识别在多个非重叠跨域摄像头拍摄的车辆图像中的同一辆车。尽管车辆重识别已取得了一些进展，但在实际应用中仍存在以下局限性：

传统车辆重识别算法采用有监督的训练方式，但标注成本高，需寻求高效的无监督方式；不同域的偏差会导致源域模型在目标域的测试准确率下降，无法直接应用于新的未知域；不同区域的图像来自不同摄像头，路侧计算能力有限，无法实时更新模型。

本文提出了一种基于联邦学习框架[1]的无监督领域自适应车辆重识别方法。该方法通过有监督预训练源域数据和无监督训练目标域数据来解决以上问题，并可以动态聚合多个预训练模型以实现相互适应。使用联邦学习结构，在边缘计算单元中部署不同结构的骨干网进行局部训练。在服务器中，多个模型通过协同学习进行聚合并相互适应，以获得最优参数。

图1 联邦学习的无监督识别框架

1 车辆重识别模型

1.1 联邦学习框架

本文使用联邦学习技术进行车辆重识别。在深度学习模型训练阶段，采用了源域到目标域的模型集成方法，该方法包含了源域监督学习和目标域无监督适应。

如图1 所示，本方法采用三层结构。最高层结构是中央服务器，具有高性能计算和数据共享能力，能够执行全局缓存和聚合计算任务。中间层有多个边缘计算单元，每个采用不同的CNN 网络结构，负责训练重识别模型参数并上传中央服务器。底层是若干监控摄像头，每个区域的摄像头归属于该区域的边缘计算单元，将采集到的车辆图像原始数据上传到边缘计算单元中。

1.2 边缘计算模型

在模型中，边缘计算单元会接收到本地数据采集设备采集的图像数据，并使用这些数据进行模型训练。实验阶段，本文使用带有标签的源域数据的模型预训练和不带标签的目标域数据的模型训练相结合的方式对本地模型进行无监督领域自适应的模型训练。

本文将源域数据记为SD：

本文将带有标签平滑效果的交叉熵损失函数定义为：

当j=时：

Ms是源域车辆标识的数量，本文将σ设置为0.1。交叉熵损失表示图像的网络输出的预测值和实际真实样本标签之间的差异。

考虑到传统形式的三重损失函数无法支持多网络的软标签训练，本文中采用soft-max 的三重损失。损失函数定义为：

2)目标域无监督学习：由于目标域上的图像没有进行人工标注，所以目标域无监督的学习过程由一个基于聚类的伪标签生成过程和一个特征学习过程组成，如图2所示。训练共三个步骤：目标域图像的特征提取；将提取的特征进行聚类分簇；将聚类生成的簇用作伪标签对模型进行训练。

②特征进行聚类分簇：在聚类阶段使用k-means的聚类方法。

③模型训练：将聚类生成的簇用作伪标签对模型进行训练。

图2 无监督学习流程

为了在聚类的过程中获得稳定的伪标签，本文引入身份损失函数和三重损失函数组成的决策损失函数。身份损失定义为具有标签平滑的交叉熵损失，这里的三元组损失函数与监督学习中的保持一致。整体聚类决策损失函数可以表示为：

针对不同模型间的独立性，本文在每个计算单元向中央服务器提交参数的过程中引入时间平均模型。中央服务器使用经过时间平均的模型参数来对其他网络进行监督训练，减小因实验参数不稳定对整个模型训练的影响。通过时间平均模型得到的参数定义为：

1.3 模型聚合

图3 服务器上的模型聚合

图3展示了本文提出的基于联邦学习的多网络协同学习模型。边缘计算单元中部署的网络使用硬伪标签进行监督模型训练，从而能够捕获训练数据的分布。使用中央服务器下发的硬伪标签和本地模型聚类产生的在线软伪标签共同训练协作网络。通过使用在线硬伪标签训练边缘计算单元上的网络，可以迭代改进学习的特征表示，提供更准确的软伪标签，并进一步提高学习特征的鉴别性。

对于每个边缘计算单元网络模型，本文将其他模型的时间平均模型和当前网络一次的分类预测模型之间的交叉熵损失定义为相互身份损失，某一个模型的相互身份损失设置为所有的其他模型在学习该模型时损失的平均值。将其表示为：

整个模型的相互身份损失可以定义为所有模型Mk相互身份损失的平均值：

另外，在对不同边缘计算单元上传的网络模型预测进行聚合时，考虑到由于网络结构的差异，可能造成聚合不收敛。针对聚合过程中的相互三元组损失，本文将其他模型在学习某一模型之间的相互三元损失定义为：

综上所述，对于中央服务器中训练网络的损失函数为：

为了适应不同网络模型的异质性，本文引入了一种权重正则化模块。它根据每个边缘计算单元网络模型的集群间和集群内分散度来调制不同模型的权重值。网络模型在提取图像特征后，用聚类算法将所有样本分组为Mt，聚类为C。每个模型的权重可定义为聚类间散点和聚类内散点之和的比值，以此得到每个网络模型的权值。在协同学习的过程中，该权值表示中央服务器对各边缘计算单元提交的模型参数进行融合时的置信度。簇Ci的簇内散度可以计算为：

μi是簇Ci的平均特征，表示Ci中的特征个数，簇间散度的定义为：

μ表示所有训练目标域样本的平均特征。簇间散度与簇内散度之和的比率R可以定义为：

如果一个模型具有较好的识别能力，则当簇间散度较大或簇内散度越小时，R的标量就会越大。

对于主服务器中的动态聚合，在每个迭代的特征学习之前，每一个模型Mk的权重wk可以定义为R的均值归一化。所以对上述互相关身份损失和互相关三重损失可以重新定义为：

很多企业管理者对审计价格、经济合同的流程并不了解，使得要么审计者并不能自如的进行评估审核，要么使得经费滥用严重，造成重大损失。企业只是单方面的重视各类活动的事后经济审计，忽略了事前预算审计的重要性，许多经费使用者套用经费的现象依旧存在，并且依旧严峻。另外，一些人对于各类企划的预算编制没有节制[2]，使得最终使用的经费与当初的预算有着很大的偏差，导致出现很大的浪费。

通过权重正则化方案，中央服务器中调节了每个边缘计算单元的权重，以促进在目标领域的识别。在训练过程，将硬伪标签和软标签与提出的软损失相结合，对多个边缘计算单元进行训练。

1.4 实验参数

本文采用DenseNet-121、ResNet-50 和Inceptionv3作为三个分支。使用骨干网络与SE注意力机制融合来提取图像特征。对于训练集的每个标识，用随机选择的车辆和随机采样的图像进行采样，用于计算批处理三联体损失。使用权重衰减为0.000 5 的Adam衰减函数。设置初始学习率为0.000 35，在总共80个epoch的训练中，在第40个epoch和第70个epoch达到之前值的1/10。

在目标域训练的过程中，共有100 个训练迭代过程，学习率设置为0.000 35。在每一次训练迭代过程中都进行一次500个集群的聚类，一次训练迭代过程由800个训练迭代组成。

1.5 实验结果

将本文提出的算法与现有具体有代表性的无监督领域自适应的车辆重识别算法进行比较[4]。对比算法如下：

①FACT：该算法使用车辆的显著特征和卷积神经网络提取的GoogleNet 深度特征进行融合作为伪标签进行无标签目标域的车辆重识别[5]。

②MixedDiff+CCL：该算法利用双分支深度卷积网络将原始车辆图像投影到欧几里得空间中，其中距离可以直接用来度量任意两辆车辆的相似性，实现车辆重识别任务。

③PUL：该算法使用一种局部正则化的方法，将局部特征和非局部特征集成到一个统一的架构中。

⑤CycleGAN：该算法提出了多对多映射的方法克服了传统一对一映射的局限性。

⑥DirectTransfer：该方法使用已有的网络结构在源域数据上进行训练得到网络模型后，直接在目标域上进行测试。

⑦VR-PROUD：该算法结合图像的多种特征，通过两个渐进式程序考虑车辆重新识别。

⑧PAL：该算法基于FDNet的多标签学习算法，为目标域中未标记的样本分配多个潜在标签，通过特征融合形成伪标签。

本文在VeRi-776 和VehicleID[6]两个数据集上进行了实验，将两个数据集进行交叉学习。VehicleID作为源域，VeRi-776作为目标。实验结果如表1所示：

表1 VeRi-776测试集对比结果

VeRi-776作为源域，VehicleID 作为目标域，实验结果如表2所示。

表2 VehicleID 测试集对比结果

通过观察表1、表2，在本算法与FACT 和Mixed-Diff+CCL算法的比较中，本模型mAP和Rank值[7]都有了很大程度的提升。这是因为FACT使用浅层显著特征，MixedDiff+CCL 对浅层显著特征进行简单的度量学习。由此可知对图像进行深层次的特征提取的优势。与VR-PROUD 和PUL 进行比较，各指标均有提升。这是因为这两类算法中k-means 聚类模块在形成伪标签时，簇的数量未知，会存在漏检。与Direct-Transfer 进行比较，相比直接将源域上的训练模型应用到目标域的方法，本方法各项指标上都超越了很多。以上证明了本方法可以满足跨域车辆重识别的任务。

与CycleGAN 算法相比，本算法各项指标均有提升。这是由于本算法通过迭代后，中央服务器对于各边缘计算单元提供的伪标签进行聚合，得到新的伪标签使得在训练时目标区域的真实样本能更可靠地生成特征。结果表明了目标域可靠伪标签的优越性。

对比PAL算法，本算法各项指标均有提升。这是因为该算法虽然同样使用伪造标签法进行无监督训练，但骨干网方面只使用了Resnet-50。本文使用了多个边缘网络进行协同学习，通过多网络的互相监督增强伪标签的准确性。证明了通过多个网络联邦学习的必要性。

2 结束语

本文提出了一种利用联邦学习框架进行无监督域车辆重新识别的方法。该方法利用边缘计算单元对具有不同网络架构的多个模型进行预训练。经过训练，每个计算单元将模型参数传输到主服务器。在服务器中，多个模型被聚合，并利用未标记的目标域样本进行重复的协作学习，以适应其他模型。实验结果表明，该方法有效提高了车辆重新识别模型的识别能力。