边缘实时视频流分析系统配置动态调整算法研究

仇红剑,曹 磊,谷开超

(江苏电力信息技术有限公司,江苏 南京 210024)

0 引言

基于深度神经网络[1-3](DNN)的实时视频流分析使智慧城市建设、智慧工地项目以及智能驾驶等成为可能。 实时视频流对于任务的响应时延极其敏感,随着离用户更近、响应时延更低的边缘计算技术的不断发展,边缘服务器成为基于深度神经网络的视频流分析的主要运行位置。 通过在边缘服务器上执行视频流分析并向云端或用户传输分析结果信息,可以降低视频流分析任务的响应时延,减少大量高清视频对于广域网带宽的消耗,同时提高用户信息的安全性。

但随着基于深度神经网络的视频流分析越来越多的部署在边缘服务器上,边缘服务器上需要处理的工作负载迅速增多。 边缘服务器上的实时视频流分析任务的服务质量和配置选择存在着变化的对应关系,任意时刻服务质量和配置之间的对应关系是随机的。 边缘服务器面临着如何面对随机的服务质量和配置对应关系为边缘上的实时视频流分析任务选取执行配置的问题。 亟须研究一种面向边缘的实时视频流分析系统配置动态调整算法,提高边缘服务器上实时视频流分析任务处理能力。

本文描述了一种基于侧写的实时视频流任务配置更新和调整算法,通过动态调整边缘上实时视频分析任务的执行配置,并动态对实时视频分析任务的配置服务质量进行更新,达到提高边缘上实时视频流分析任务总体服务质量的效果。 系统周期性的根据各实时视频流分析任务的服务质量与配置的对应关系选择需要更新服务质量的配置,并决定各个实时视频流分析任务的执行配置,之后根据决定的配置进行任务的执行并获取任务的反馈信息,最后根据任务的反馈信息对于各实时视频流分析任务的服务质量与配置的对应关系进行更新,以达到时刻维护系统中各任务服务质量与配置对应关系同时保证系统中任务的分析精度。

1 边缘实时视频流分析系统模型

为了提升系统整体服务质量,需要对于系统运行过程建模。 以最大化系统长期服务质量为目标,在考虑边缘上资源约束以及服务连续性约束的基础上,本文提出了面向边缘的视频流分析系统运行时模型。

系统的长期服务质量定义如下,由每个时间槽和每个视频流的服务质量总和决定:

每个视频流的服务质量定义如下:

其中,yit代表在t时间时视频流i是否需要更新配置,更新配置时系统会为该视频流分配额外的资源用于部署标准配置,使用标准配置的结果作为其他配置更新服务质量信息时的参照信息。xijt代表在t时间时视频流i是否部署一个以j配置运行的视频流任务。yit与xijt均为0~1 变量。 当yit为1 时,系统会在时间槽结束时为视频流的执行配置运行服务质量评估流程,以此更新系统中各视频流的服务质量与配置的对应关系。aijt代表在t时间时视频流i以配置j进行视频流分析时能够得到的精度。 由于在每个时刻决策时无法获取当前时间视频流分析时能够得到的精度,系统使用当前维护的视频流预估精度μijt进行计算。

系统中的约束主要存在两种,一种是边缘服务器的计算资源约束。 其含义是平均每个时刻视频流使用的GPU 资源不能超过边缘上的可用资源,否则会产生任务堆积,影响响应时间。 计算资源约束的建模形式如下:

其中,P代表服务器的可用计算资源,oij代表视频流分析任务i在使用配置j运行时每秒消耗的GPU 运行时间,该变量随着时间变化波动较小,因此可以任务运行前通过额外实验获取。 特别的,oi0代表该视频分析任务标准配置运行消耗的资源量,标准配置在任务运行前需要手动指定,并在系统运行过程中保持不变。

另一种是系统中服务连续性约束,实时视频流分析任务需要连续不断的运行,需要保证每个时刻每个视频流至少有一个配置正在运行。 在该视频流的配置服务质量需要更新时,该视频流执行的配置可以超过一个。 因此,连续性约束建模形式如下:

第一个约束表示每个时刻每个视频流都需要至少一个配置,第二个约束表示只有在视频流的配置服务质量需要更新时,该视频流执行的配置可以超过一个。

2 实时视频流任务配置选择算法

2.1 配置筛选

在视频流分析任务中存在多维可选参数,每维可选参数存在多种可选值,每维可选参数的所有可选值的笛卡尔积组成视频流分析任务的所有配置,故视频流分析任务中的配置数十分庞大,可能达到数百个配置。 每个配置都进行考虑并更新对于问题求解以及系统运行都是巨大的负担,因此首先通过帕累托最优筛选出具有代表性的配置,在后续选择时只选择这些配置。

首先,筛掉所有效益预期低于系统预期的配置,这些配置的执行效果太差,一旦执行会导致任务挤压,所以应当首先出去。

其次,将所有的配置按照其消耗的资源量进行排序,后续一定不会被选到的配置方案为满足以下任一条件的配置方案:

其中:μ′ij-1为配置方案cij-1的准确率,wij-1配置方案cij-1的计算资源开销,cij-1为实时流式数据分析任务i以配置j -1 执行的配置方案;μ′ij+1为配置方案cij+1的优先级,wij+1配置方案cij+1的计算资源开销,cij+1为实时流式数据分析任务i以配置j +1 执行的配置方案。 第一项筛掉的是前一项比后一项优秀的配置,因为此时配置j -1 的资源量比j的资源量要少,而且其处理准确率比j要好,显然选择j -1 要优先于j。 而后一项筛掉的是选取前后两个配置要好于只选j配置的方案。

2.2 启发式求解算法

将上文提出的长效优化问题分解成每个时隙求解的子问题。 平均资源消耗则化为严格在每个时间资源消耗不超过P。 以上提出的每个时隙解决的问题是背包问题的特例,因此也是NPH 问题,无法在多项式时间内给出最优解。 本文针对上述问题提出启发式算法进行求解。 启发式算法首先考虑不更新配置服务质量关系以及只更新单一配置的情况,该种情况是原问题的一个可行解。 接着利用剩下的资源求解一个背包问题,即目标是最大化所有流的服务质量,约束条件是资源使用不超过限制,使得更新配置与服务质量关联关系的视频流能够得到尽量多的信息。 将第一步得到的结果与第二步得到的结果结合,得到的解仍然是原问题的一个解,这样就得到了原问题的一个可行解。

3 实验结果与分析

本文研究了面向边缘环境的实时视频流分析系统的配置更新与执行问题,以最大化系统长期服务质量为目标,在考虑边缘上资源约束以及服务连续性约束的基础上,提出了一种启发式的服务质量最大化算法以实现较优的系统效益。

为了证明本文算法的可行性与效果,本文实现了实时视频流分析原型系统,并选取了真实交通路口车流监控视频进行实验。 在实验中,配备CPU、Intel(R)Xeon(R)Gold 5117 CPU@ 2.00 GHz、GPU、GeForce RTX 2 080 Ti(11 GB)、内存128 GB 的物理机器上部署视频分析系统,以便处理所有分析。 分析任务是基于DNN 的目标检测。 使用CUDA 10.1 和cuDNN 7.0 来加速DNN 推理速度。 本文使用darknet Python API 执行DNN 模型进行检测,使用预先训练的对象检测模型Yolov3-416,分类阈值为0.7。 该模型在COCO 图像数据集上预训练,可以检测80 个类。 实验与目前最先进的相关算法进行对比,验证了本算法能够提升系统的整体服务质量。 实验结果如图1 所示。

图1 实验结果

4 结语

针对边缘服务器上的实时视频流分析系统的配置选择问题,本文提出了基于侧写的实时视频流任务配置更新和调整算法用于提升边缘服务器的实时视频流分析任务的处理能力,想必其他同类算法。 本文算法能够利用有限的资源提升边缘服务器上现有任务的服务质量或在平均服务质量相近的情况下提升边缘服务器上的视频分析任务执行任务数。