基于增强现实的智能远程可视化指导系统设计

马全宇 唐蓉 李雪峰 邴柏春 李超 贾振 张颖刚 姜德雨 贾松茹 宋飞 白景莲

1 研究背景

在日常工作中，有很多场景需要远程协作，但现有的远程协作模式和系统在实际应用过程中存在诸多问题，例如：传统的视频直播和会议系统采用复杂的微控制单元架构，扩展性较差，难以实现高质量的双向音视频互动操作;微信和TeamViewer等工具用于远程协作时难以实现数据全过程管理和溯源;執法记录仪等数据采集终端虽然能够传输音视频数据，但无法以第一视角实时呈现现场情况。此外，现有的远程协作系统大多不具备人工智能分析等功能，导致远程协作停留在简单的互动协同层面，缺乏智慧性。为了提升相关作业场景的工作效率和质量，亟须借助新一代信息技术探索适用于远程可视化指导的新模式和新系统。

借助物联网、大数据、第五代移动通信（以下简称“5G”）和云计算等新一代信息技术提升远程可视化指导的智能化水平，是提升远程可视化指导效率和质量的主要途径。近年来，我国大力发展5G技术，各大通信运营商积极推进5G移动边缘计算（mobile edge computing，MEC）技术研发。5G技术的应用不仅能够有效提升无线频谱的利用效率，而且能够加快无线数据传输速率，支持更多的终端接入。未来，5G技术还能实现所有物体实时联网和相互感知[1-2]，并实现5G网络优化和资源分配优化[3]。增强现实（augmented reality，AR）是未来5G技术的典型应用领域。在2019年世界移动通信大会上，AR技术被预测为5G时代具有广阔发展前景的十大应用场景之一。随着AR技术和虚拟现实（virtual reality，VR）技术的发展，未来的信息交互手段将由一维交互、二维交互、三维交互逐渐转变为基于AR和VR的沉浸式交互。鉴于此，本文针对远程可视化指导过程中存在的作业环境复杂且差异较大、作业人员专业水平参差不齐等问题，设计基于AR的智能远程可视化指导系统。该系统采用基于选择性转发单元的音视频服务架构实现多人双向音视频传输，并采用智能AR眼镜（见图1）作为前端音视频数据采集终端，通过AR技术和5G网络实现信息实时交互，从而为使用者带来沉浸式体验，使其能够实时掌握现场情况，实现无接触式协作办公。此外，该系统设置人工智能引擎，能够对海量数据实施人工智能分析，从而提高远程协作的智能化水平。

2 基于AR的智能远程可视化指导系统整体结构设计

基于AR的智能远程可视化指导系统可作为政府部门和企事业单位的业务团队与相应领域专家之间的实时沟通交流平台，其设计思路如下：现场作业人员佩戴智能AR眼镜采集现场信息，并通过5G网络将现场的图像、音频、视频等数据实时传输至远程专家，使专家能够对现场作业实施有效的远程指导;利用人工智能引擎，现场作业人员能够在专家的远程指导下更加高效地解决问题。基于AR的智能远程可视化指导系统拓扑结构如图2所示。为了实现图像、音频、视频等数据的远程传输以及远程专家与现场作业人员的互动，在基于AR的智能远程可视化指导系统中部署移动视频客户端、指挥中心客户端和服务器端应用。

（1）移动视频客户端 移动视频客户端设置在现场作业人员佩戴的智能AR眼镜上，其主要包含控制接口、数据通信接口、视频采集接口和语音通信接口等，能够实现与指挥中心客户端之间的实时双向音频通信。利用移动视频客户端，现场作业人员能够将现场信息直观且实时地传递至远程专家，并接受远程专家的语音指导。

（2）指挥中心客户端 指挥中心客户端设置在远程专家的移动设备上，能够实现与现场作业人员的移动终端之间的实时双向音频通信，可安装在平板电脑、笔记本电脑等能够运行Windows操作系统的移动设备上。

（3）服务器端应用 服务器端应用设置在相应的指挥中心，主要包含音视频服务器、数据库服务器、录像存储服务器、Media Relay视频转发服务器、管理平台和业务管理系统等，具备视频转发、音视频数据存储、业务管理、数据库管理、远程工作站点呼入和呼出管理等功能。

3 基于AR的智能远程可视化指导系统分层结构设计

针对功能需求和应用场景，本文设计的基于AR的智能远程可视化指导系统支持公有云部署、私有服务集群部署和单机部署，可通过标准化接口适应远程指导作业场景中的各种复杂应用。如图3所示，基于AR的智能远程可视化指导系统分为采集层、存储层、分析层、应用层和显示层，其中：采集层通过智能AR眼镜（集成一体化麦克风）采集图像和视频，支持AR光波导显示和夜视拍摄，可传输高清视频数据;存储层由辅助数据库、应用数据库、系统数据库、音视频数据库和远程连接设备等组成，可存储全流程作业数据;分析层包括机器视觉、音视频处理、深度学习和大数据分析等模块，具备三维交互、渲染引擎、环境理解、物体识别等功能，可通过MEC技术完成复杂计算;应用层主要实现具体的查验功能;显示层可实现AR光波导显示和AR平板电脑显示功能。

4 基于AR的智能远程可视化指导系统功能结构设计

（1）双向音视频通信 系统采用Media Server作为音视频服务器，支持多人双向音视频通信，具体流程如图4所示。作为基于Go语言的商用高性能流媒体服务器，Media Server依托Go语言对多核的原生优势，具备极强的并发性能，支持主流的实时消息传输协议、超文本传输协议（传输FLV数据）、WebSocket实时传输协议（传输FLV数据）、基于超文本传输协议的流媒体传输协议等。

（2）AR显示 系统支持AR可视化信息显示，其功能原理如下：通过智能AR眼镜实时采集图像数据，并利用算法计算目标位置和方向，从而实现真实世界与虚拟图像叠加，并支持两者之间的信息互动。

（3）图像标记 系统具备远程自定义画笔标记、屏幕共享以及文字和图片传输等功能。

（4）信息查询 系统支持查询远程指导过程中的全部数据，包括文字、图片和音视频等，从而实现数据全程保存和溯源。

（5）智能识别 系统具备光学字符识别和二维码识别功能，支持热成像测温识别和人脸识别等，可用于识别特殊物品和核验人员身份。

（6）人机交互 系统支持语音交互和手势交互：语音交互能够解放作业人员双手，手势交互能够简化操作流程。

（7）数据库管理 系统建立人员数据库、危险物品数据库和作业过程数据库，分为原始存储区、基础数据区、元数据区和业务数据库等，并配置人工智能算法引擎接口。

5 结束语

基于AR的智能远程可视化指导系统以第一视角采集作业现场信息，能够高效率、高质量地实现远程作业指导、监督和取证。在2020年新冠肺炎疫情防控期间，该系统被大连金普海关应用于海关远程查验业务，不仅充分释放海关执法资源，而且显著提高海关查验效率和质量，取得较好的应用效果。在此基础上，大连金普海关将结合查验业务的实际需求，继续开展深入研究，探索更加智能化的远程可视化查验模式。

参考文献：

[1]  张平，陶运铮，张治. 5G 若干关键技术评述[J]. 通信学报，2016，37（7）：15-29.

[2] 王东明，张余，魏浩，等. 面向5G的大规模天线无线传输理论与技术[J]. 中国科学：信息科学，2016，46（1）：3-21.

[3] 尤肖虎，张川，谈晓思，等. 基于AI的5G技术――研究方向与范例[J]. 中国科学：信息科学，2018，48（12）：1589-1602.