面向移动增强现实的实时深度学习目标检测方法综述

高文婷，刘 越,2

(1.北京理工大学光电学院，北京 100081；2.北京电影学院未来影像高精尖创新中心，北京 100088)

增强现实(augmented reality，AR)是一种将真实世界与虚拟信息融合的技术，通过实时计算摄像机的位姿并融入计算机生成的文字、图像、三维模型、视频等虚拟信息实现对现实世界的增强。近年来，AR 技术发展迅猛，吸引了大量国内外科研人员的目光。移动AR 借助移动设备实现AR 技术应用，具有不限制用户移动的优点。近年来随着便携、智能的移动设备快速发展，特别是谷歌眼镜、微软HoloLens，爱普生Moverio BT-300，Magic Leap 等专用 AR 设备的出现，强大的开发工具包(如ARCore 和ARKit 等)、移动设备和传感器集成性能的改善以及计算机视觉技术的进步和网络技术的发展，AR 技术与网络和各种移动设备的结合使得移动AR 在旅游和导览、娱乐和商业、培训和教育[1]、装配和维修[2-3]等领域获得了广泛地应用。

构建成功移动AR 应用的关键技术之一是实时准确的环境感知。通过环境感知可以识别用户附近需要增强的对象和事件，带来更好的交互体验。环境感知可通过基于深度学习的目标检测方法实现，算法是否能在复杂的场景中稳定并准确地对环境中的物体进行识别直接决定了移动AR 系统的性能。将目标检测与移动AR 结合，不仅给用户带来更方便高效的交互场景体验，也是一种对技术整合的探索和创新。但由于移动AR 设备的计算能力有限、能耗大、模型尺寸大以及卸载任务到边缘云端的网络延迟严重等问题，很难将深度学习目标检测应用在移动AR 中。

本文就面向移动AR 的目标检测方法进行综述。

1 目标检测问题

目标检测(object detection)是计算机视觉领域的核心问题之一，其任务是找出图像中的感兴趣对象，即以标签和包围盒(bounding box)的形式给出类别以及具体位置。目标数量、目标外观、形状和姿态以及目标成像时的光照条件、遮挡、视角差异等因素都会给目标检测带来一定难度。

传统的目标检测算法都是基于人工设计的特征构建的，由于缺乏对图像的有效表示方法，因而提出了各种复杂的特征表示，采用不同加速方法来利用有限的计算资源。传统的目标检测算法主要分为4 个阶段对输入图像进行目标检测，其流程如图1 所示：

(1) 候选区域选取。采用滑动窗口的方法以不同的大小和宽高比进行遍历，并对目标可能所在的区域进行特征检测。这种枚举的区域选取策略没有针对性，时间复杂度高，使得窗口冗余问题严重，其严重影响了后续特征提取和分类的速度与性能。

(2) 特征提取。由于目标的外观、形状和姿态各异，同时存在目标成像时的光照条件、遮挡、视角差异等影响因素，使得难以设计出一种鲁棒性很强的特征提取策略。常用的特征提取包括哈尔特征(Haar-like features)、尺度不变特征变换(scale-invariant feature transform，SIFT)以及方向梯度直方图 (histogram of oriented gradient，HOG)等。

(3) 分类器。对特征进行分类通常采用Cascade (级联)、支持向量机(support vector machine，SVM)和Adaboost 分类器等。

(4) 非极大值抑制(non-maximum suppression，NMS)。为了消除检测得到的多余框，找到目标物体的最佳位置，选取临近框中分数最高的框，同时抑制分数低的框。

由于基于滑动窗口的区域选择策略没有针对性，导致传统目标检测算法的时间复杂度高、效率低；同时手工设计的特征对于多样性的变化鲁棒性较弱，整个检测过程效率和精度都较低。

2 深度学习目标检测算法

随着深度学习技术和目标检测算法的快速发展，其检测速度和精度有了大幅提升。深度学习目标检测的方法主要分为Two Stage和One Stage目标检测算法。以下对2 类目标检测算法进行综述。

2.1 Two Stage目标检测算法

Two Stage目标检测算法亦称为基于候选区域的目标检测算法，该算法首先对输入图像生成一系列候选框，然后对其进行分类和位置回归，进而得到最终的检测结果。

2014 年，GIRSHICK 等[4]提出区域卷积神经网络(region-based convolutional neural networks，R-CNN)，首先采用选择搜索(Selective Search)算法[5]提取出2 000 个左右候选区域，然后，将其调整为一个固定大小的图像(227×227 像素)，并输入到训练好的卷积神经网络(convolutional neural networks，CNN)中进行特征提取，最后利用SVM分类器和全连接网络回归操作对每个区域内的目标进行预测，进而得到目标类别和位置。R-CNN 的提出为目标检测问题的解决提供了新的可能性，同时也奠定了Two Stage目标检测算法的基础。但其缺点是在候选区域需进行大量冗余的特征计算使得检测速度很慢。随后，GIRSHICK[6]将R-CNN 与空间金字塔池化网络(spatial pyramid pooling network，SPPNet)[7]的优点进行融合，提出的Fast R-CNN[6]只需对整张图像进行一次卷积层特征提取，再将所有的候选区域在网络中某层进行映射，使得目标检测速度和精度大幅提升。2015 年，REN 等[8]提出Faster R-CNN 检测器，引入区域建议网络(region proposal network,RPN)代替Selective Search 算法产生候选区域，将原有的2 000 个左右的候选区域减少到300 个，在精度和速度上有了进一步地提升。但其在ROI Pooling 层之后的检测阶段存在计算冗余，仍然难以满足实时性的要求。

Faster R-CNN 成为Two Stage目标检测算法的一个里程碑，之后的诸多算法都是在Faster R-CNN的基础上进行改进得到的。2016 年DAI 等[9]提出了R-FCN，针对分类网络的位置不敏感性和检测网络的位置敏感性之间的矛盾进行改进，分类网络的位置不敏感性指的是在分类任务中，随着目标在图片中的位置移动，检测器都能准确识别目标类别；检测网络的位置敏感性指的是在检测位置任务中，随着目标在图片中的位置移动，检测器可以准确地输出目标所在的位置，即对目标位置的移动很敏感。R-FCN 通过提出位置敏感的分地图(position-sensitive score maps)来权衡分类和定位之间的矛盾。2018年，CAI 和 VASCONCELOS[10]提出的 Cascade R-CNN 可看作是级联的Faster R-CNN，每个阶段的输入边界框是前一阶段边界框的输出，不断提高候选框的质量，可解决目标检测任务中产生大量噪声的假阳性(将错误样本误归为正确目标)问题，有效提高模型的检测精度。

在不断提升Two Stage目标检测精度的过程中，模型的规模逐渐增大、但检测速度的有效提升始终未解决，为了满足实际应用轻量级和实时性的要求，One Stage目标检测算法应运而生，该算法舍去了候选区域提取过程，通过直接回归的策略有效提升了检测速度。

2.2 One Stage目标检测算法

One Stage目标检测算法是基于回归的目标检测算法，该算法省略了候选框生成阶段，通过直接回归的策略得到目标的分类结果和位置。

2.2.1 YOLO 系列算法

2015 年REDMON 等[11]提出的YOLO (You only look once)系列算法属于One Stage 检测器的范畴。YOLOv1 把目标检测变成一个回归问题，将整张图作为网络的输入，仅经过一个神经网络直接得到位置和所属类别的概率。YOLOv1 将输入图像划分为s×s个网格，每个网格只负责检测中心落在该网格的目标，通过设定阈值过滤掉置信度较低的包围盒，最后通过NMS 确定最终的检测结果。YOLOv1 的检测速度较Two Stage目标检测器大幅提升，但由于每个网格至多预测一个物体，导致其对小目标和邻近目标的检测效果不佳。针对该问题，REDMON 和FARHADI[12]提出YOLOv2，网络通过WordTree 混合检测数据集和识别数据集中的数据，采用一种新的联合训练算法(joint training algorithm)同时在ImageNet 和MS COCO 数据集上进行训练，用巨量的分类数据集将检测种类扩充到9 000 种。YOLOv3[13]在YOLOv2 的基础上使用DarkNet-53 残差网络并结合特征金字塔网络(feature pyramid networks，FPN)[14]对3 个不同尺度的特征图进行目标检测，有效提高了目标检测、特别是小目标检测的精确度和检测速度。

2.2.2 SSD 系列算法

2016 年，LIU 等[15]提出的单阶段多框目标检测器(single shot multiBox detector，SSD)目标检测器沿用了YOLO 中将目标检测问题转化为回归问题的思路。SSD 的核心是设置不同尺度和长宽比的先验框，提取多尺度特征图进行检测，最后几层卷积对不同尺度的特征图进行先验框提取，得到分类和位置结果。由于低层的特征非线性程度不够，无法训练到足够的精确度，对于小目标的检测效果仍然较差，达不到Faster R-CNN 的水平。之后有学者相继提出R-SSD[16]和F-SSD[17]对传统SSD 进行了改进。

近年来，基于深度学习的目标检测算法飞速发展，并针对已有算法的缺陷进行改进，通过将更好的基础网络或融合不同特征的卷积层叠加在经典的方法(如，Faster R-CNN，YOLO，SSD 等)上，同时使用优化技巧来产生有效的变体，以提高改进算法的检测结果。

3 移动增强现实的目标检测解决方案

移动AR 中目标检测问题的关键在于要求系统能够准确、实时地检测出需要增强的目标类别和位置，以确保虚拟物体能够准确地叠加到真实场景中的正确位置，达到环境感知的效果，这使得移动AR 中的目标检测任务与通用目标检测任务相比，对实时性、准确性有着更高的要求。另一方面，移动AR 的高移动性要求其提供的服务不限制用户在有限空间内移动，即在各种环境条件下都能作为移动AR 的功能模块，准确实时地完成目标检测任务，为后续AR 主要任务的完成提供支持。因此，移动AR 中的目标检测任务会受到本地端计算资源、电源性能以及网络带宽等的限制。此外，移动AR 应用中除目标检测任务需要占用大量计算资源外，跟踪注册、渲染等任务也属于计算密集型任务。移动AR 设备的电源性能、计算性能，网络性能和目标检测算法性能都是影响移动AR 中目标检测性能的重要因素。

深度学习目标检测算法在目标检测任务中表现出优越的性能，但其模型规模庞大，对存储空间和计算能力要求很高。由于现有的商用移动AR 设备的计算能力不能满足运行复杂深度学习目标检测算法时准确性和实时性的要求，因此需要借助移动计算平台或依靠云端、边缘端计算。为使深度学习目标检测算法能够和移动AR 有效结合，近年来国内外研究人员提出了许多不同的方法和相应的架构，主要可以分为基于本地端、基于云端或边缘端和基于协作式的移动AR目标检测系统3 类。

3.1 基于本地端的移动增强现实目标检测系统

无需网络通讯，所有目标检测计算操作全部在本地平台的移动AR 系统即为基于本地端的移动AR目标检测系统进行。自从2004 年MOHRING等[18]提出基于手机的AR 应用至今，手机在嵌入式摄像头、内置传感器以及强大的处理器等方面都取得了巨大的进步，凭借其便携、社会接受度高的优点已成为移动AR 系统的主要平台[19-20]。

TANG 等[21]提出一种户外词汇学习移动AR 应用，利用深度学习目标检测算法识别生活环境中的日常物品，用户通过按下对应按钮，则相应物品的名称会被系统读出，用于帮助自闭症儿童在家庭环境中学习词汇以达到早期干预和治疗的目的。由于该应用可面向农村以及户外环境使用，采用离线执行任务的方式进行，因此使得其算法的实时性无法得到保证。

已有研究者通过将深度卷积神经网络模型进行轻量级化操作来保证其目标检测的实时性。RAO等[22]将SSD 算法进行轻量化操作以便其在移动设备或嵌入式设备上直接运行，结合GPU 和惯性测量单元提出了一种面向地理实体目标检测的户外移动AR 系统(图2)。该系统可对校园内的建筑进行识别，实时计算出边框和类别信息，为新生或游客提供导览。通过将原始SSD 网络结构的前置网络VGG-16 替换成SqueezeNet[23]，并结合一系列附加特征层，模型尺寸减小到约为17.8 MB 左右，有效地减少了计算量。

图2 面向地理实体目标检测的增强现实系统[22] Fig.2 Object detection of geographical entity based on outdoor augmented reality[22]

该方法所有的计算任务都由用户的移动设备离线执行，因而消除了网络延迟的影响，并且可以应用在信号条件不受控制的户外环境中。但由于该方法提出的轻量级SSD 对原始模型进行了简化操作以实现轻量化，简化后的模型在VOC2007 数据集上的MAP 仅有53.7%，精确度较低。此外，这种基于应用程序的方法依赖于设备平台(IPhone 和Android)，存在着无法跨平台运行的限制。尽管以移动手机作为计算平台的发展非常迅速，但由于其计算能力十分有限，无法达到实时性和准确性的统一。

早期有学者提出使用笔记本电脑[19-20,24]作为背包计算平台，然而其尺寸和重量仍是大多数用户接受的障碍。由于笔记本电脑只用于计算分析和调试，因此需要如头戴显示器等(head mount display，HMD)额外的显示设备来进行显示。

张少博[25]提出一种基于头戴式显示设备和计算机的移动AR系统，设计并实现了基于HTC VIVE与鱼眼摄像头的AR 博物馆游览系统(图3)，该系统利用HMD 设备HTC VIVE 和鱼眼摄像头全方位采集用户所看到的现实环境并传给计算机，通过计算机运行基于深度学习的目标检测算法对收集到的摄像头画面进行识别，实时地将对应的虚拟物体叠加至摄像头所捕捉到的现实环境中，最后在HMD设备中渲染相应的模型。为实现实时目标检测，将SSD 与二值神经网络相结合，将SSD模型中的参数二值化，在保证精度的前提下提升检测速度并减少内存占用量和模型尺寸。

图3 HMD 和计算机的增强现实系统架构[25] Fig.3 The architecture of augmented reality based on HMD and computer[25]

这种基于HMD 和计算机的AR 系统基本满足了实时目标检测，但需要附加一台计算机以利用其强大的运算能力运行目标检测算法和渲染场景，不符合移动AR 的要求，给用户带来了极大的不便，降低了用户的体验感。

3.2 基于云端/边缘端的移动增强现实目标检测系统

近年来出现了多个利用云端服务器进行云图像识别的案例[26-28]。基于云端的AR 系统能够弥补移动设备计算能力不足的缺点，然而，使用移动云计算架构会导致核心网络拥塞和网络传输延迟。基于云端的AR 系统会受到任务卸载(将目标检测任务卸载传输至云端或边缘端执行并返回结果)延迟的困扰，包括网络传输延迟和服务器处理时间延迟。由于目标检测请求的结果需要在短暂的等待后返回，在此期间用户的视野可能会发生移动，使得云检测延迟结果与当前的视图不匹配，且会由于用户视图变化而显著降低检测精度，严重损害用户体验和渲染质量。

对于这种无法避免的任务卸载延迟，一种思路是移动AR 程序应该正确地处理“过时”的结果；另一种思路是尽量将任务卸载延迟减少到最小。对于第一种思路，要求用户保持稳定，对当前视图和结果进行粗略匹配，或在延时匹配方案上进行改进。对于第二种思路，寄希望于5G 技术，结合网络切片[29]、移动边缘计算[30]等技术解决上述问题。

ECKERT 等[31]构建了一种用于视力损伤人群的实时目标检测移动AR 系统(图4)，通过扫描周围环境进行环境感知，以帮助盲人寻找日常生活中的基本物品。该系统通过Hololens 捕捉图像并将其发送至独立服务器中，在服务器端运行YOLOv2 深度学习模型，最后将结果返回Hololens 中。由于系统基于Client/Server 结构构建，需要搭载消费级的GPUs (如NVIDIA Titan X)，系统进行目标检测的响应时间大约为1 s，包括平均网络传输时间627 ms、平均目标检测时间312 ms 以及平均客户端处理时间101 ms。

图4 用于视力损伤人群的增强现实目标检测系统架构[31] Fig.4 The architecture of augmented reality for people with visual impairment[31]

由于该系统基于客户端/服务器结构搭建，主要的计算任务是在服务器上实现的，因而网络传输延迟时间占总时间成本的60%，同时网络信号的稳定性也会对系统性能造成影响。

DASGUPTA 等[32]提出一种利用基于深度学习目标检测算法、AR 设备(如HoloLens)和便携式物联网(Internet of Things，IoT)边缘计算设备来实现场景理解的框架和方法(图5)，将目标检测和渲染的任务在硬件层面上分离，以实时实现目标检测任务，并提出一种应用于装配维修的场景。系统通过在当前视图上叠加虚拟箭头、标签和对齐虚线等辅助信息并结合目标检测环境感知的能力来加快整个装配过程，方便维护。该方法使用IoT 边缘摄像机获取图像，使用单独的边缘设备(如NVIDIA Jetson 边缘设备或Intel GPU)运行YOLOv3 或GoogleNet 算法用于目标检测任务，AR 设备(如HoloLens)用于渲染计算。最后将检测结果即对应标签通过网络通信返回AR 组件。使用该方法进行目标检测任务的总响应时间为0.427 s，其中用于目标检测的时间为0.347 s。由于目前的AR 设备并不能满足同时处理渲染和运行深度学习算法的要求，在该系统中单独的边缘计算设备负责目标检测，AR设备只需要根据检测标签接收和显示必要的反馈即可。

图5 基于IoT 设备的增强现实系统架构[32] Fig.5 The architecture of augmented reality based on IoT devices[32]

上述系统采用IoT 边缘计算设备来提供计算能力的支持，且网络延迟较短，但系统的搭建需要额外的IoT 计算设备和摄像机，使得其搭建不够简便。

QIAO 等[33]设计部署了一种5G 网络环境下由本地端、边缘服务器和公共云服务器组成面向Web AR 的移动边缘计算框架(图6)，旨通过使用标准Web技术结合移动边缘计算(mobile edge computing，MEC)提供实时、灵活且易于部署的移动AR 服务。基于Web 的移动现实系统解决方案与基于可穿戴设备和移动设备相比，具有无需预先安装下载应用程序包、使用更加简便及不受平台限制的优点。考虑到本地端设备计算能力和存储能力较弱，本地端主要负责Web 服务调度和基础处理；边缘服务器承担大部分的计算任务，并将当前性能参数(包括CPU、内存和存储使用情况等)发送至公共云服务器，以便Web AR 应用程序进行部署的决策制定。与3G 和4G 网络相比，5G 网络的延迟和带宽占用问题得到缓解，边缘服务器较云端服务器离用户端更近，且计算能力更强，因此MEC 技术的引入有望进一步优化网络资源的利用，大幅降低网络延迟，提高移动AR 等应用程序的性能。

图6 Web AR 的移动边缘计算框架[33] Fig.6 Mobile edge computing framework for Web AR[33]

虽然MEC 技术的引入使得网络延迟不再是移动AR 的瓶颈，然而完全将计算密集型任务卸载给边缘服务器会浪费本地端上空闲的计算资源，且边缘服务器的计算成本比较昂贵，网络环境的不稳定以及不可避免的数据传输延迟也会影响用户体验。针对上述问题，有学者提出基于协作式的移动AR目标检测系统。

3.3 基于协作式的移动增强现实目标检测系统

基于协作式的AR目标检测系统指的是通过划分深度学习模型实现分布式计算，本地端、边缘端或云端均承担部分计算任务的系统。

分区卸载是进行协作式任务中比较经典的方法。Neurosurgeon[34]针对移动设备，通过自动选取分区点提前在移动设备上部署分区深度神经网络(deep neural networks，DNN)模型，使得延迟和能耗最小。Edgent[35]自适应地将DNN 计算划分在设备和边缘服务器之间的DNN 分区，利用相邻的混合计算资源进行实时的DNN 推理，同时利用提前退出机制[36]来加速DNN 推理，从而进一步降低计算延迟。McDNN[37]通过生成性能和能耗的替代DNN模型，研究在云或在移动设备上执行的智能协作。

LIU等[38]提出了一种边缘协作式实时目标检测AR方案，将渲染流程从任务卸载流程中分离出来，通过无线网络将用于本地跟踪和渲染的移动设备和用于目标检测的边缘云进行连接。为了隐藏目标检测任务卸载造成的延迟，该方案将渲染过程和CNN 卸载过程分开为2 个独立的流程，在等待目标检测结果的同时本地开始对上一帧的结果进行跟踪和渲染，然后在得到检测结果后将其合并到下一帧图像中。此外，该系统还通过采用动态ROI 编码技术降低帧内背景区域的编码质量以降低带宽消耗，减少了卸载延迟(图7，8)。实现结果表明，该系统在AR 设备上跟踪目标仅需2.24 ms 的延迟时间，总延迟在20 ms 以下，因此可留下更多的时间和计算资源来为下一帧渲染虚拟元素，从而获得更高质量的AR 体验。

图7 边缘计算延迟分析[38] Fig.7 Latency analysis off mobile edge computing[38]

图8 边缘协作式实时目标检测增强现实系统架构[38] Fig.8 Architecture of edge assisted real-time object detection for augmented reality[38]

HUANG 等[39]提出了面向Web AR 的轻量级协作式识别系统，并设计了一个复合神经网络，通过引入二值神经网络[40]和提前退出机制[36]来减小模型大小，减少内存使用，以便在本地端上运行，若本地端的运行结果可满足要求，则直接输出结果；否则，将特征图传递至边缘服务器，运行完整的目标检测模型来弥补二值分支的不足，并返回结果(图9)。该系统通过这种本地端与边缘端协作的方式提高了检测的速度和准确度，减少了延迟带来的影响。

图9 Web AR 协作式增强现实目标检测系统架构[39] Fig.9 Architecture of edge-assisted object detection for Web AR[39]

REN 等[41]针对公共云端、边缘端和移动Web浏览器之间协作的细粒度进行自适应DNN 划分，通过基于深度强化学习的分布式DNN 协作算法实现将密集型计算分配至边缘服务器，提出了一种针对边缘服务器的DNN 计算调度方法(图10)。

图10 分布式DNN 协作式增强现实目标检测系统架构[41] Fig.10 Architecture of edge-assisted distributed DNN collaborative computing approach for mobile Web AR[41]

总之，由于硬件的限制，少有商用移动AR设备(穿戴式AR 设备或智能手机等)直接应用深度学习方法进行目标检测。计算能力不足、能耗大、网络延迟高、DNN模型尺寸大以及跨平台限制等问题是影响移动 AR 实时目标检测系统广泛应用的重要因素，距离达到实时性和准确性统一的真实需求有很大差距。因此，将深度学习目标检测算法应用到移动AR 中还需要进一步研究与发展。表1 为移动AR目标检测系统性能对比。

表1 移动增强现实目标检测系统性能对比 Table 1 Performance comparison of representative object detection for mobile augmented reality

4 总结与展望

移动AR 可将虚拟模型实时地渲染到真实环境中实现对现实的增强。目标检测承担了对环境中需要增强的物体进行检测和识别的功能，为移动AR在各个领域的应用提供了新的可能性。本文分析了移动AR 实时目标检测中的核心问题和关键技术，从Two Stage 和One Stage 的2 个方面对目前深度学习目标检测算法进行综述，分析了基于本地端、基于云端或边缘端和基于协作式的移动AR目标检测系统并总结了各自的优势和局限性。

深度学习的应用使得目标检测效果实现了极大地提升，深度学习模型中复杂的网络结构包含着大量的参数，需要极大的存储空间、运行空间和高级的硬件配置才能完成检测任务，距离达到实时性和准确性统一的要求有很大差距。为了使移动AR 系统能够实现准确、实时的目标检测，迫切需要优化深度学习目标检测算法，将其进行轻量化处理，提高目标检测算法的精度和速度，在实时性和准确性之间得到最优的权衡。近年来国内外研究者人员陆续提出许多轻量级模型算法，文献[42-44]提出了MobileNet 系列目标检测算法，通过深度可分离卷积来有效减少计算量。ZHANG等[45]提出 ShuffleNet，通过通道交换(channel shuffle)将分组卷积的结果重新排序，在保证准确率的同时减少计算量。除此之外，研究人员还提出SqueezeNet[23]，ThunderNet[46]，YOLO Nano[47]，Gaussian YOLOv3[48]等轻量级模型，以及模型剪枝、网络量化和知识蒸馏等模型压缩的方法。如何进一步改进和优化轻量级模型，对网络进行高效地压缩和加速，推动其落地应用并使其能够在移动设备上稳定运行，以满足移动AR 实际应用需求是下一步亟待解决的问题。

穿戴式计算设备的移动AR 系统昂贵且笨重，应用程序的移动AR 需要提前下载和安装，且具有跨平台的限制，这些局限性使得移动AR 的普及和广泛应用受到限制。移动Web AR方案不失为一种轻量级、跨平台且低成本的方案。然而如何解决Web 浏览器存在的计算效率低、交互延迟大等问题是应用移动Web AR 的关键。

虽然在计算卸载、协作计算等技术方面有了快速进展，但为减少网络环境的影响、提高用户体验，很多移动增强设备都被设计成在本地端运行。5G时代将带来更快的数据传输速度和更低的通信延迟。边缘计算是5G 的核心技术之一，在靠近接入侧的边缘机房部署网关、服务器等设备，增加计算能力，降低时延业务和局域性数据等在边缘端进行处理和传输，无需通过传输网返回核心网，进而降低时延、减少回传压力、提升用户体验。然而完全将计算密集型任务卸载至边缘服务器会浪费本地空闲的计算资源，且网络环境不稳定等不可控因素也会使得系统性能下降。通过采用协作式目标检测方案，如本地端+边缘端或本地端+边缘端+公共云等协作式工作模式，根据本地端计算能力、电量使用以及网络环境等因素动态做出最优调度决策，在减轻本地端计算压力的同时使得其计算资源得以利用，在实时性和准确性之间达到最优权衡。因此，如何在动态环境下做出协作式决策方案，满足移动AR 的实际需求是未来非常关键的研究方向。