VR远程无线控制系统设计与仿真

刘雪林,王晓东(通信作者),范知遥

(1 厦门大学嘉庚学院 福建 漳州 363105) (2 北京林业大学经济管理学院 北京 100083)

0 引言

在工业控制领域,很多一线操作/驾驶人员身处高空、高腐蚀性、高辐射、高温、高压、缺氧等恶劣环境,工作安全风险高,这是导致此类岗位人力成本提升和恶性事故频发的直接原因。

针对该问题,领域专家及工程技术人员建议采用远程控制技术,以帮助操作员规避环境风险。所谓远程控制是指本地计算机通过网络系统对远端的设备进行监测与控制。目前,很多先进的远程控制解决方案已经被设计出来,并应用于工程实践,具体包括:煤矿掘进机[1]、油田注水井[2]、机械系统[3]、机器人等。随着近些年来5G、虚拟现实(virtual reality,VR)、物联网、人工智能技术的日渐成熟,打造新一代、高可靠、高逼真的远程无线控制的条件业已成熟。

基于此,为了进一步提升工业设备操作的可靠性以及操作体验,本文提出设计一种新型具有高可靠性的VR远程无线控制系统方案。通过该方案的应用,一方面可以显著降低操作人员的工作安全风险,远离高危环境,另一方面也为未来建立多设备集中远程控制室,从而为实现“一人多机”(单一操作人员同时操控多台设备)、批量操作(通过自动化手段整合多项操作)等高级运行模式提供条件。

1 系统设计需求分析

实现工业设备无线远程控制,必须确保操作的安全性、可靠性、逼真性,才能满足工程实践的需求。

1.1 安全性

对于远程控制系统,必须考虑时延带来的安全性影响。由于网络控制系统的状态参数采样、通讯结构的延迟、数据传输和接收的等待等行为,必然会造成整个控制闭环回路的传输延迟现象。即使存在轻微的时延,也会导致设备运转过程中产生较大的位移偏差,造成难以估计的安全损失。

1.2 可靠性

远程控制操作必须是高可靠的,这就要求设计者采取特殊保障手段确保指令传输在各种恶劣条件下都通畅可达。鉴于进行远程控制通信距离长、网络设备多,通信不稳定性大大增加的实际问题,系统设计对远程网络可靠性和时滞指标需要制定严苛的指标。

1.3 逼真性

在现场远程操作视景呈现时,如果仅仅采用简单的二维图像方式实现,显然会丧失操作人员的空间感。因此新一代的远程控制系统应该更多引入三维图像技术,使得操作人员具有身临其境的感觉。同时,为了实现与日前逐渐流行起来的驾驶培训三维技术[4]无缝结合,远程控制界面向三维图像过渡也成为必然趋势。

2 系统设计关键技术

针对上文提出的问题,本节针对性引入关键技术加以解决。

2.1 冗余通信

对于重要、昂贵系统的现场通信来说,冗余通信一般是指在任何两个通信端点之间存在两条或者更多的通信信道并且能将这两个端点之间的通信在这些信道之间作动态切换。在此情况下,如果使用单一信道进行远程数据的通信,往往无法满足上述远程通信可靠性的需求。为此就需要采用冗余通信方式。

2.2 时延控制

网络机械控制系统需要考虑传输延迟,这对于安全尤其重要。目前,针对这种通信时延的抑制/补偿主要有两种解决方案,一种是改善网络的带宽和通信结构,例如:采用更大的网络带宽,通过改进网络任务的调度策略来减少网络传输的拥堵问题。另一种方案通过分析网络的传输特性,改进相关的控制策略,对网络滞后信号进行鲁棒控制等。

2.3 时滞滤波

操作的时延问题可以通过信号处理加以解决,也就是引入时滞滤波器。时滞滤波器是一种专门用于处理含有时滞信号的滤波器。在控制系统、信号处理和仿真等领域中,延时信号经常会引入不稳定性和不平滑性,影响系统的性能和稳定性。时滞滤波器可以对这种含有时滞信号进行滤波和补偿,从而提高系统的响应速度、稳定性和平滑度[5]。

2.4 VR

VR技术通过结合网络技术、仿真技术、人工智能技术、三维图形技术、多传感交互技术等多种高新技术,使得机器可以生成逼真的虚拟环境,可以确保交互性、感知性、动态性、实时性,这使其成为远程现场演示的理想选择。并且,近年来在德国、美国和其他一些工业发达国家的实践也表明,VR技术有助于实现工业控制领域中最优成本、质量和安全性的统一。

3 系统框架模块设计

本节提出设计的高可靠VR远程无线控制系统是软硬件综合的复杂系统,主要由四个子系统构成,分别为:数据采集子系统、网络通信子系统、远程控制子系统、VR视景显示子系统,如图1所示。

图1 VR无线远程无线控制系统模型

3.1 数据采集子系统

该子系统的主要任务在于收集设备的现场数据,并将数据发送到控制中心,这是整个远程控制系统交互功能的重要基础。为了保证远程操作端体验的真实性,数据采集子系统将选用基于模块化的信号采集驱动板,包括:多路摄像头、音频采集、设备状态传感器、电源、输入输出等模块。主控芯片采用高性能单片机,并选择专用采集通信板采集外部模拟量和数字输入量。此外,还需要保证整个数据采集子系统接口的一致性和可拓展性,以保证未来可以连接更多的监控设备与传感器。

3.2 网络通信子系统

该子系统是控制器与远程控制中心之间的传输桥梁,数据之间的交换和通信都需要由网络系统来完成,才能使得整个系统呈现出典型的分布式交互式系统特征。该子系统具有显著的分布性、交互性、实时性和异构性。为了实现上述冗余通信和时延控制,系统采用多路通信,各路并发进行信号传输,一方面确保信号可达,另一方面相当于增加了网络带宽。

3.3 远程控制子系统

该子系统用以获取及发送用户远程操作指令,分为本地端和设备端,内部包括:指令输入输出器、指令编解码器、指令收发器模块。通过远程控制,使得控制不再需要操作者亲临现场,保证了操作者的安全,节约时间,且充分提高了操作者的工作效率、舒适度、体验等。该子系统内含多路信号的比较器,依据传输时延估算和数据完整性校验,选取网络通信子系统中时延最小一路信号。该子系统还整合了的时滞滤波算法,实现对操作信号的修正。

3.4 VR视景显示子系统

该子系统构建视觉显示场景(视景),主要部件包括投影仪、投影控制设备、柱形投影幕等,特别是通过VR眼镜可以有效增强控制器的体验真实感[6]。在这种VR环境中,操作者能够更加直观地查看平台各个系统的运行状态,如:通过手柄可以在平台上漫游行走,通过漫游查看能够直观地查看现场不同的操作情况等。该子系统实现技术主要包括:三维建模、图像生成、交互软件等[6]。

(1)三维建模。将作业环境在虚拟的环境下进行还原,真实呈现现场物资分布、结构、高程参数等,从而以此为基础了解作业情况。本文三维建模基于3ds Max的多边形工具,其优点在于能够在输入参数和输出模型之间建立准确的联系,并保持模型的准确性和美观性。该方法有助于还原细节,并且提升后期渲染的速度。在建模的过程要特别注重保持实际设备的原始比例。

(2)图像生成。在三维建模的基础上,基于成像计算机获取真实图像,对其进行几何变形矫正、光学边缘融合等修饰调整工作,以确保各通道之间的完整性和连续性,从而保证图像的沉浸效果和完整性。

(3)交互软件。通过设备的运行实现用户与软件系统之间的交互,当操作者单击按钮时即可进入操作过程。系统还会将每个设备动作流程均备份到数据库,以确保操作整个过程可追溯。此外,具体的业务交互设计对于确保运营流程与实际活动兼容也至关重要,业务模块会进一步分为许多组件,以保证完整业务组合的完整性。组件一般包括:基础信息管理、流程管理、数据管理和统计查询等。

此外,该子系统还内含一个警告系统来协助安全管理。

4 VR远程无线控制系统仿真

本文通过搭建塔吊VR远程无线控制仿真系统对上述模型进行验证。

4.1 控制系统软硬件设计与设备选型

主要利用嵌入式系统和Wi-Fi,以及“轻量级”发布/订阅模式通信协议实现控制平台系统。

(1)遥控器设计

本远程无线控制子系统设备如图2所示。系统采用ESP32主控芯片开发板实现模拟控制。该开发板正面装有一块OLED显示屏,用于显示当前的通信模式;两侧装有两个摇杆,通过两根摇杆的位置信息发出控制指令及进行指令编码,实现对模拟塔吊舵机的控制[7]。另外,采用Esp8266开发板模拟接收器实现塔吊连接。

图2 ESP32主控芯片与Esp8266开发板

(2)通信协议

系统网络通信子系统基于ESP-NOW和消息队列遥测传输协议(message queuing telemetry transport,,MQTT)。ESP-NOW是一种无连接Wi-Fi通信协议,旨在用于物联网设备之间的简单、可靠的通信,广泛应用于智能照明、远程控制、传感器等领域。ESP-NOW设备之间的通信可以通过预定义的数据结构进行,不需要复杂的网络配置或路由设置。而MQTT可以以极少的代码和有限的带宽,为远程连接设备提过实时可靠的消息服务。本仿真模拟系统通过多路TCP连接实现冗余信道。

(3)VR显示

从工业实用性等多方面考虑,本仿真模拟系统选择HTC Vive Pro 2实现塔吊VR头显。该款VR头显具有高分辨率(2448×2448像素/眼),提供清晰的视觉效果,有助于用户更好地进行塔吊操作。它具有120°的视场角,为用户提供更广阔的视野,可提高沉浸感。此款设备还能够配合SteamVR基站实现六自由度跟踪,提供更高的精度和稳定性,以及针对企业级应用和专业训练场景进行了优化,具备更高的耐用性。设备选取120Hz刷新率,有助于提高视觉舒适度,降低运动模糊,对长时间操作更为友好。与此同时,该设备还具有良好的软件兼容,可以直接运行或通过SteamVR连接计算机终端(本模拟系统中,将三维建模、信道比较、软时滞滤波器部署在该终端上),构成了本仿真模拟系统的VR视景显示子系统。

4.2 虚拟环境搭建

本仿真模拟系统的设备部分是采用3D Max与UE5搭建的虚拟设备,实现过程中采用了以下设计。

(1)渲染。包括:实时光照、阴影、抗锯齿等。开发对塔吊模型进行渲染设置,使得模型在VR环境中呈现逼真的光照和阴影效果,增强用户的沉浸感。通过调整渲染参数、光源设置、材质属性等,以获得符合实际塔吊的视觉效果。

(2)物理模拟。通过设置塔吊的物理属性,如质量、惯性、摩擦力等,以模拟塔吊的运动行为;通过设置塔吊的运动轨迹、吊钩位置、荷载效应等,从而实现塔吊在虚拟现实环境中的逼真操作。

(3)互动性应用。利用UE5为塔吊模型添加与塔吊远程控制子系统操作互动性的应用,包括:控制塔吊的运动、调整吊钩位置、观察荷载效应等。具体采用UE5的脚本编程功能(蓝图系统或C++)来实现与前述嵌入式系统的互动逻辑。

由于本仿真系统采用UE模拟现场,因此无需现场图像采集。

4.3 仿真结果分析

在本仿真模拟系统上实现对虚拟VR塔吊的操作,效果如图3所示。

图3 塔吊远程控制仿真3D场景

通过仿真测试对系统的进行定性分析,得出以下初步结论:基于VR的远程无线控制系统可以较为逼真地实现现场的塔吊操作,浸入感强;通过抓包分析,确定通过冗余通信(多路TCP)可以有效提高数据可靠性,包括降低时延和误码;数据分析表明,通过软件整合方法实现塔吊远程操作时滞滤波是可行且有效的。

5 结语

VR技术通过计算机技术和感知设备创建虚拟环境,使用户能够在虚拟世界进行互动。随着VR技术与无线通信技术的日渐成熟,将其应用于高危岗位的远程无线控制,在确保逼真性的同时提高了工作效率是一种非常具有现实意义的工作。本文结合目前远程无线控制的最新软硬件技术,设计并仿真实现了一种多通路、低延时,具有时滞滤波功能的VR远程无线控制系统模型,较好地拓展了传统无线远程控制系统的功能,也开阔了相关设计思路。