基于VR设备的跌落式熔断器操作虚拟实训系统设计

陈丽丹, 张 哲, 梁丰驿, 刘蕴樟

(华南理工大学广州学院 电气工程学院, 广东 广州 510800)

虚拟仿真技术探索与实践

基于VR设备的跌落式熔断器操作虚拟实训系统设计

陈丽丹, 张 哲, 梁丰驿, 刘蕴樟

(华南理工大学广州学院 电气工程学院, 广东 广州 510800)

针对电工进网作业许可考证实操项目“跌落式熔断器的拉合操作”,利用3ds Max完成电力实训现场场景搭建,基于Unity游戏引擎进行脚本开发,使用穿戴式HTC vive手柄结合头戴式显示器进行虚拟实训操作。系统包括实训介绍、设备学习、实操训练和考核4部分,并通过渲染、交互、控制和操作4个模块实现。该虚拟实训系统具有良好的现场沉浸感、可操作性、人机交互等特点,丰富了电力实训教学和培训方式。

虚拟现实； 3ds Max； Unity3d； HTC vive； 实训教学

目前,高校电力专业学生实训和电力公司员工技能培训主要采用理论讲解和实际操作相结合的方式,这种方式受到实训场地、设备和时间的限制,所以实训人员数量受限、受训者操作机会少,且存在人员和设备的安全隐患[1]。虚拟现实(virtual reality,VR)技术的发展为电力专业学生实训提供了新的途径。近年来,VR技术已被应用到军事、医学、石油、航空、建筑、房地产、影视等众多领域中,在电力行业的应用同样备受关注[2-5]。一些高校将VR技术应用于数字电路实验、船舶辅机拆装训练、测量实验等实验实训教学中并取得了一定成效[6-8],但其输入设备普遍采用鼠标、键盘和触屏,显示设备为显示器、投影仪等,局限于桌面式平面虚拟化,用户参与感、体验感、沉浸感不强。

笔者基于VR设备开发了跌落式熔断器操作虚拟实训系统。该系统通过3ds Max软件建立拉合跌落式熔断器虚拟实训设备和场景三维模型,生成.fbx格式文件导入Unity3d引擎进行交互设计与制作,利用NGUI控件完成实训系统UI界面和控件设计与制作,并通过HTC vive虚拟现实头戴式显示器(VR头显)结合HTC手柄实现沉浸式拉合跌落式熔断器的操作。该系统的创新点包括:(1)采用市场主流的头盔式显示器替代传统的显示设备,使用户身临其境地沉浸于三维虚拟实训现场；(2)编辑脚本控制手柄,实现虚拟场景中设备的操控,具有更好的人机交互性能,提高了用户的体验效果；(3)不仅能进行虚拟操作训练,还能以音频、动画、视频展示方式学习基本知识理论,同时能完成实训内容的考核。

1 拉合跌落式熔断器虚拟实训系统概述

1.1 系统功能

拉合跌落式熔断器是配电网电力现场一项操作频繁的项目,在高校电力专业实训环节开设,电力企业员工培训也有该操作项目。笔者开发的拉合跌落式熔断器虚拟实训系统的使用对象为高校电力专业学生、企业的一线电工及电工进网作业许可考证的学员,他们通过实训熟悉跌落式熔断器的基本结构,掌握拉合跌落式熔断器的基本操作技能。另外,为减少实训教师的重复性指导,系统还具有自主学习、自主考核功能。基于VR设备的跌落式熔断器操作虚拟实训系统功能模块如图1所示。

图1 基于VR设备的跌落式熔断器操作虚拟实训系统

其中,实训介绍模块以文字界面和音频讲解同步呈现；设备学习模块主要以演示功能呈现,结构分解是用动画演示跌落式熔断器的结构,真人示范指虚拟系统提供提前录制的真人示范操作的视频；实操训练模块是虚拟现实人机交互的核心部分,不仅可以进行无限次数的拉合操作训练,还可以进行拉闸和合闸操作的顺序练习,系统设置报错和提醒功能；自主考核模块包括判断题和单项选择题两种题型,用户通过做题巩固操作顺序、操作注意事项等基本知识。

1.2 虚拟实训系统搭建

跌落式熔断器拉合操作虚拟实训系统的搭建包括2部分:一是建立能够使用户在实训时产生沉浸感的三维场景模型,二是系统功能的实现。其中场景建模阶段又分为数据收集、模型建立和整体集成3个阶段(见图2)。

图2 拉合跌落式熔断器虚拟实训系统搭建过程

1.3 系统的软硬件基础

跌落式熔断器操作虚拟实训系统基于HTC vive设备和Unity3d引擎平台开发实现。HTC vive是目前优秀的穿戴式虚拟现实设备之一,其硬件部分包括VR头显、Lighthouse定位器以及交互手柄[9]。相比传统的键盘、鼠标或触摸屏等虚拟现实输入设备操作,采用HTC vive特制的手柄设备结合VR头显,用户便能通过肢体动作同虚拟场景中的电力设备及其他物体(包括UI界面)进行交互,使用户产生现场操作的感觉,增强了实训的趣味性。

在系统的设计中,HTC vive用作开发过程中虚拟现实显示设备和与虚拟场景交互的硬件,Unity3d则作为整合场景模型、脚本、控制模块等的一个综合软件平台,并采用NGUI插件进行系统界面的设计。系统主机配置为:Nvidia GeForce GTX 1070显卡,Intel core i5-4590处理器,HDMI 1.4视频输出,USB 3.0端口,Windows 10操作系统。

1.4 系统框架模块

为实现虚拟电力实训现场在HTC vive头显中显示并实现响应漫游、操作等功能,将系统框架分成4个模块:

(1) 渲染模块:用于将虚拟场景渲染至HTC vive的头显中,追踪用户头部的位姿并及时更新虚拟摄像机的位姿；

(2) 交互模块:主要功能为获取手柄的位姿以及为手柄的各个按键添加各种功能；

(3) 控制模块:主要分为控制台和悬浮两部分,包含除虚拟操作外的所有其他操作,包括一、二、三级选单的切换,声音的播放,视频的播放,定点传送,显示问题以及回答问题等部分；

(4) 操作模块:指碰撞检测及连杆运动,主要是实现熔断器的拉合操作及其跌落式运动,分为断电(拉闸)操作和送电(合闸)操作两种。

2 系统关键技术实现

2.1 电力设备及场景的建模

本文选用3ds Max三维建模软件进行设备和场景的建模,建模流程如图3所示。

图3 虚拟实训场景建模流程

首先,采集实训现场数据(包括设备和现场的技术、尺寸参数),用于建立线框模型,并现场取景拍照用于纹理、材质的制作。

其次,根据规格尺寸建立电力设备、辅材和建筑结构的三维模型,对轮廓比较规则的墙壁、天花板等建筑结构采用多边形建模(polygon建模)方法；制作轮廓相对复杂又不规则的跌落式熔断器和绝缘操作杆模型则采用曲面建模(NURBS建模)方法。

第三,检查模型、材质、贴图等各类元素准确无误后,采用烘焙工具“Rendering | Render To Texture”命令对虚拟场景进行烘焙。

最后,选择.fbx格式文件保存并导入Unity3d软件中,对导入的模型进行场景优化,调整导入过程中出错的材质贴图,优化背景环境等。

图4为主要虚拟电力设备的3D效果图。

图4 虚拟电力设备3D效果

2.2 交互功能的实现

此模块主要功能是获取手柄的位姿和为手柄的各个按键添加功能:

(1) 左手轮盘键:瞬移功能；

(2) 右手轮盘键:点击选单功能；

(3) 右手选单键:打开选单功能；

(4) 双手拾取键:抓取物体功能；

(5) 双手扳机键:触发按钮功能。

使用SteamVR Plugin中的[CameraRig]组件具体实现,该组件已包含了手柄的模型,并使用以下脚本实现交互功能:

(1) VRTK_Interact Grab:获取抓取物体的能力；

(2) VRTK_Interact Touch:获取通过触摸物体触发某些事件的能力；

(3) VRTK_Interact Use:获取使用物体的能力,通过扣动扳机键启用按钮；

(4) VRTK_Bezier Pointer:获得传送能力,按圆盘键使之从手柄发射出一道贝塞尔曲线,松开圆盘键即可传送至曲线末端的位置；

(5) VRTK_Simple Pointer:获得远程点击触发按钮的能力；

(6) menu:获得呼出悬浮选单能力。

以抓取动作为例。在虚拟场景中,用户抓取和释放绝缘操作杆的动作,是利用Lighthouse的跟踪数据来驱动手柄的位置信息,然后进行手柄模型与绝缘操作杆发生碰撞的检测。若发生碰撞并且符合抓取的条件则抓取物体,再将绝缘操作杆与手柄进行相关的绑定(采用碰撞点为结合点的绑定方式),实现绝缘操作杆跟随手部运动而运动。

2.3 虚拟界面设计

利用Unity3d提供的NGUI插件制作拉合跌落式熔断器实训系统的界面。系统选单界面采用控制台选单和悬浮式设计,使用HTC右手交互手柄上的选单键,呼出和关闭悬浮选单。利用Widget Tool创建按钮等控件,再利用NGUI的监听方法来实现按钮的响应。需先给按钮添加Event Listener组件,然后利用OnClick函数进行响应。系统交互界面如图5所示。

图5 拉合跌落式熔断器虚拟实训系统交互界面

2.4 漫游(瞬移)功能的实现

用户在虚拟场景中的运动,一是自主漫游,主要是基于Lighthouse限定区域的运动定位；二是因虚拟实训场景空间大,需基于贝塞尔曲线的位置传送(瞬移)。

前者,使用SteamVR Plugin中的预制体实现。将SteamVR Plugin中Prefabs中[CameraRig]组件拖曳至场景中,并将场景的主摄像机删除,即可实现渲染以及自动跟踪位姿,使用脚本VRTK_Height Adjust Teleport让摄像机获得自适应高度的能力。

后者,虚拟场景中用户瞬移因Lighthouse运动跟踪定位技术受场地限制,故以基于贝塞尔曲线的位置传送交互方式来实现用户的大范围活动,增强系统的体验效果。BezierPointer.cs从控制手柄发射一条二阶贝塞尔曲线,通过与可交互的地板(box collider)发生碰撞,获取碰撞点的位置信息,然后HeightTeleport.cs获取碰撞点的空间位置坐标并传送至该点。在控制器的object上添加发射射线的脚本,在整个虚拟角色模型添加高度和位置的脚本。

2.5 拉合动作的实现

跌落式熔断器的拉合操作及其跌落式运动的实现,分为断电操作和送电操作两种情形。断电操作初始状态为熔断器与触头相连,根据电力操作规定先断开中间相(见图6(a)),再断开左右相；送电操作初始状态为熔断器为跌落状态,正确操作逻辑为先闭合左右相,再闭合中间相。

以断电操作为例,使用脚本restore控制断电操作场景中间相的熔断器的运动与碰撞,绑定到中间相熔断器对应的几何组件xzt上。检测勾杆是否与勾环接触,若接触,则在钩环中心处生成一个关节连接钩环与操作杆,实现上钩状态。上钩完成后,调用脚本restoreshock_l中的函数StartCoroutine,使左手柄持续震动以指示上钩状态,并将中间相熔断器高亮显示。该脚本同时用于检测操作杆与钩环是否分离,若是,调用脚本restoreshock_r中的函数StartCoroutine与Invoke,使右手柄震动0.3 s，以指示熔断器与触头分离,并播放断开音效。

使用脚本restore_l控制断电操作场景左边相的熔断器的运动与碰撞,绑定到左边相熔断器对应的几何组件xzt_l上。检测操作杆是否与勾环接触,若均接触,再检测脚本restore中的restore.flag1是否为true。若是,即表明中间相未操作,将高亮显示中间相(见图6(b)),并且播放操作错误音频；若否,则按restore相同步骤实现断电操作。

使用脚本restore_r控制断电操作场景右边相的熔断器的运动与碰撞,绑定到右边相熔断器对应的几何组件xzt_r上。以下与restore_l功能相同。

图6 断电操作场景

3 结语

本文使用3ds Max建模技术创建跌落式熔断器、绝缘操作杆等电力设备和建筑结构的高品质模型,实现了电力实训现场的三维场景逼真呈现,使用户能够在虚拟场景中进行沉浸式漫游和跌落式熔断器的拉合操作训练,还能在虚拟系统里观看动画和真人操作示范,同时能够完成知识点的考核。该实训系统沉浸感强、界面友好、功能丰富、使用简单、安全性好,为电力员工操作训练提供平台,在电力人员培训、电力公司和电力类院校的岗前和专业技能培训方面有良好的应用前景。

References)

[1] 丁晓.基于虚拟现实技术的电力技能实训体系研究[J].供用电,2016(11):80-83.

[2] 肖迪.基于虚拟现实技术的电能计量实训仿真研究[D].武汉:华中科技大学,2013.

[3] Overbye T J. Visualizing the electric grid for power management and marketing[J].Electric & light power,2002,38(10):24-27.

[4] 陈永波.沉浸式变电站仿真培训系统的设计与实现[J].电网技术,2015,39(7):2034-2039.

[5] 陈海波,郑健,费瑞轶,等.虚拟现实技术在电力系统中的典型应用[J].电网与清洁能源,2016,32(2):20-25.

[6] 王开宇,李安琪,马驰,等.基于仿真技术的数字电路3D虚拟实验室的设计[J].实验技术与管理,2017,34(2):11-15.

[7] 王昊,曾鸿,倪文利,等.基于虚拟现实的船舶辅机设备拆装训练系统[J].江苏科技大学学报(自然科学版),2017,31(1):44-48.

[8] 周敏,范冲.基于Unity3d的虚拟测量实验设计与初步实现[J].测绘与空间地理信息,2016,39(1):179-181.

[9] 龚文飞.基于HTC VIVE的虚拟现实心理沙盘游戏设计及研究[D].哈尔滨:哈尔滨工业大学,2016.

Design of virtual training system for drop-out fuse operation based on VR devices

Chen Lidan, Zhang Zhe, Liang Fengyi, Liu Yunzhang

(School of Electrical Engineering, Guangzhou College of South China University of Technology, Guangzhou 510800, China)

According to the practical item of electricians’ permit examination for power grid operation, i.e., “Pull-close operation of drop-out fuse,” the power practical training scene is set up by using the 3DS Max. The script development is carried out based on the Unity game engine, and with a wearable HTC vive handle and a head-mounted display, the virtual training operation is conduced. The system includes the following four parts: training introduction, equipment learning, practical operation training and examination, which is realized by the four modules of rendering, interaction, control and operation. This virtual training system has the characteristics of field immersion, operability, human-computer interaction, etc., which has enriched the practical training teaching and training methods for electric power.

virtual reality; 3ds Max; Unity3d; HTC vive; practical training teaching

TP391.9;G642.0

: A

: 1002-4956(2017)09-0109-04

10.16791/j.cnki.sjg.2017.09.027

2017-03-18

中央高校基本科研基金项目(x2zdD2154920)；广东大学生科技创新培育专项资金项目(pdjh2017b0963)；广东省特色重点学科建设项目(XZD13001)

陈丽丹(1981—),女,浙江浦江,在读博士研究生,副教授,主要研究方向为电力系统规划与运行、电气工程教学.

E-mail:chenld@gcu.edu.cn