虚拟演播在虚拟实验中的应用

2018-04-11徐玉飞何岭松杜建豪

实验室研究与探索 2018年1期

徐玉飞，　何岭松，　杜建豪，　郑　武

(1.华中科技大学机械科学与工程学院，武汉 430074； 2.武汉华中数控股份有限公司，武汉 430223)

0　引　言

在机械学科的教学中，要加强学生对于知识的理解和应用能力，必然要通过一系列的学科实验教学，但是如果学生未经培训直接进行实验，操作的错误率很高，存在较大的安全隐患。为改善这种状况，教育工作者将虚拟实验技术引入实验教学，让学生通过互联网进行虚拟实验，了解实验原理、熟悉实验操作，之后再进行实际实验操作，将极大地提高安全性，降低因误操作而损坏设备的概率，进而降低教学成本。同时，学生通过虚拟实验平台能随时随地通过网络进行实验，突破了实际实验中对于实验课时、场地、设备数量和操作权限的限制[1-3]。虚拟实验凭借其较高的拟实性和交互性、开放性以及提高的资源利用率等优势，受到各大教育及研究机构的高度重视[4-6]。

虚拟演播技术原本是一种新兴的电视节目制作方式，它利用摄像机跟踪技术和视频图像处理技术，将摄像机拍摄的人物录像与计算机制作的三维虚拟场景合成，产生人物在虚拟场景中活动的效果[7]。近年来虚拟演播也开始应用于教育领域，主要用于慕课的制作和影视编导专业的虚拟教学[8-10]，成为一种新兴的电化教育手段。

虚拟仿真实验虽然一直致力于模拟真实实验的场景和功能，但与实际实验还是存在着巨大差距[11]。这种差距主要体现在：实际实验过程中，有老师面对面地对学生进行讲解和操作指导，而虚拟实验中学生只能通过PPT或说明文档的方式了解实验的内容和注意事项，缺乏生动的讲解和有针对性的指导，降低了学生的学习效率。为了弥补这一缺陷，本文通过虚拟演播的方式为虚拟实验引入“讲解者”的角色。

1　引入虚拟演播的虚拟实验

引入虚拟演播的虚拟实验的总体工作原理如图1所示。

图1虚拟实验总原理图

虚拟实验室系统以交互算法控制设备模型，模拟真实实验的环境、设备和功能。当实验者对虚拟实验室中的设备进行操作时，实验设备将反馈符合实验原理的结果，实现对整个实验过程的仿真。在虚拟演播厅中建立实验室场景和实验设备的虚拟模型，并导入绿幕下拍摄的前景(一般为人物录像)视频，通过调整虚拟摄像机[12]的位置改变拍摄画面的角度和景深。图像合成器将视频前景与三维背景相结合，营造人物在三维背景中活动的效果，并生成虚拟演播视频。

本文提出并实现了将虚拟演播应用于虚拟实验的方法：在虚拟实验的过程中，不仅将虚拟演播视频作为介绍虚拟实验的先导视频播放，还在实验过程中通过采集虚拟机床状态参数判断实验者的错误操作，调用并播放相关的虚拟演播视频片段，讲解实验的原理和操作。以短视频库的形式代替传统的帮助文档，引导实验者进行正确的实验操作，提高虚拟实验的教学效果。

下面将以虚拟机床切削实验为例介绍虚拟实验以及在虚拟实验中引入虚拟演播功能的实现。

1.1　三维实验设备构建

数控机床的设备模型以实际机床外形为模板，通过三维建模软件3ds Max建立后，导出为VRML格式，应用于虚拟实验。虚拟实验设备三维模型的封装和控制均基于VRML编程语言实现。VRML[13]作为一种图形描述性语言，可以直接通过程序语言描述建立模型，例如通过语言定义球心和半径建立一个球体模型。但是面对复杂的实验设备模型，程序语言描述建模的工作量大，因此选择在3ds Max建模完成后导出VRML语言的兼容格式，再编写控制程序的方式。机床切削虚拟实验的总体实现方案可以用图2表示。

图2机床加工实验实现方案

3ds Max导出后的VRML模型程序是混乱无序的，因此需要根据机床部件的运动层次关系，通过节点嵌套的方式封装各零部件，便于对机床部件的控制。VRML程序具有强大的控制和交互功能[14]，虚拟实验中交互算法的基本原理如图3所示。通过VRML中提供的多种传感器节点，可检测鼠标在虚拟场景中的点击、拖拽等操作，并通过定义的路由(Route)传递给对应的几何属性关键值，改变部件的位置或角度，若定义路由传值给脚本(Script)节点，则可以通过脚本函数对模型进行过更加复杂的控制，如刀具与工件的干涉检查和工件形变。在切削算法中，有两类构建工件模型的方法：一种是利用VRML中提供的挤出节点(Extrusion)，定义一个封闭或半封闭的截面曲线沿定义的脊线为轨迹挤出构建工件模型，应用于车床和外圆磨床；另一种是利用海拔栅格节点(ElevationGrid)，

图3VRML交互原理图

在空间内定义一个网格，分别确定x/y方向的网格点数量和间距，在一个数组中依次定义网格点的Z坐标值。刀具和工件的位置作为入事件传入脚本函数，通过与该位置工件尺寸的对比，判断是否干涉，若发生干涉再根据干涉程度改变该位置的形状参数，作为出事件传至定义工件形状的节点，最终实现切削效果。

VRML提供了与JavaScript通信的外部程序接口[15]，可以在JavaScript程序中通过“document.scene.Engine.Nodes().Fields()”访问和修改VRML程序中的相关参数。通过这一接口，可读写机床的工作状态参数，用于实现网页控件对虚拟机床的控制。网页对机床控制的功能包括:主轴旋转的开关，刀具、工件的进给，工件尺寸的选择，机床重置、运行特定切削程序等。大部分控制功能可直接通过前面提到与VRML程序的接口直接改写VRML中相应节点的域值即可实现，例如可通过程序接口，将VRML中控制主轴旋转的时间传感器节点的使能参数赋值为“true”，控制主轴开始转动。而运行特定切削程序的功能则需要在JavaScript中预先定义好一系列机床的操作指令序列，并在运行过程中调用相关功能函数的方式进行。

1.2　虚拟演播厅构建

为获得更加真实的实验体验，虚拟演播厅的三维场景应当贴合实际实验环境，因此，虚拟演播厅的搭建参考对应实验的实验室环境，通过三维建模软件(如3ds Max)建立实验室环境以及实验设备的模型。考虑到引入虚拟演播的需要，需要根据实验特点，分析可能需要讲解者的位置，预先定义虚拟演播屏幕模型的坐标和大小，后期可根据需要改变屏幕的可见性，在适当的位置插入虚拟演播视频。

虚拟演播厅的搭建在现有的虚拟演播软件Intensikey中进行。Intensikey使用Ogre作为三维模型渲染引擎。为了将三维场景模型导出为可被Ogre引擎识别的格式，需在3ds Max中安装OgreMax插件，并将模型材质改为OgreMax Material类型，后将场景导出为.scene格式。其中，视频源屏幕需命名为“VideosourceA”，才能被虚拟演播软件识别。

为实现虚拟演播功能，要求在绿幕背景下录制指导教师进行相关实验讲解的视频作为前景素材，导入虚拟演播软件后通过色键技术[16]抠除绿色的像素点，在虚拟演播厅中预定义的视频源屏幕上播放，即可实现人物在三维虚拟实验室场景下讲解的视觉效果，如图4所示。在讲解过程中，通过鼠标拖动改变虚拟摄像机(观察点)的坐标和旋转方向，可以模拟摄像机的推拉摇移，改变摄像的角度和景深，对需要观察细节的内容进行局部放大，不仅能更好地表达讲解内容，同时使虚拟演播的过程更具有真实感。

(a)虚拟演播厅(b)绿幕视频

1.3　虚拟演播的控制

虚拟实验需要引进讲解者的角色，使其能更好地模拟真实实验中的情景。因此，可以通过虚拟演播的方式模拟指导教师的课前讲解，录制主持人在虚拟演播厅中介绍虚拟实验室的构成与功能，讲解实验原理、内容与注意事项以及示范实验操作的虚拟演播视频。在学生开始实验前，这部分虚拟演播内容作为实验的先导环节播放，使学生对于即将进行的虚拟实验形成初步的认知。

但是，如果仅仅局限于把虚拟演播作为一个开场白性质的讲解，无法模拟实际实验中指导教师“根据实验者操作做出相应指导”的作用，而这种基于实验者操作的实验指导反馈，关系到实验中的“师生交互”，正是提升实验者实验体验的重要环节。为模拟实际实验中讲解者与实验者的交互，在虚拟实验中增加了基于反馈的实验指导。

在反馈指导算法中，通过采访经验丰富的实验指导教师，定义实验者在实验中出现概率较高的典型错误操作，并为这些错误录制针对性的虚拟演播视频片段，组成一个讲解视频库。在网页的脚本程序中，根据标准实验流程定义操作节点，在操作节点通过读取机床(包括工件)状态，判断是否出现了典型的错误操作。例如在切换工件的操作节点读取主轴的旋转状态，若旋转状态为“true”则表明主轴未停止转动，此时更换工件是不可行的；在进行完车削操作后读取挤出造型节点内的比例数组，若在数组中间位置存在(0，0)，且数组尾部元素不为0，则说明车刀在工件中间位置进给过量将工件切断，这在实验中也是不允许出现的……当检测到这些错误的操作结果，程序将返回错误代码，网页弹出错误提示，并在虚拟视频库中匹配对应的错误讲解视频，若匹配成功则进入虚拟演播环节，弹出视频窗口播放虚拟演播视频，讲解者讲解该操作的相关原理和正确操作过程，纠正实验者的操作。实验逻辑流程如图5所示。

图5引入虚拟演播的虚拟实验逻辑流程

当然，作为一种新的实验教学方式，在应用的初期，预定义的操作错误无法涵盖所有可能出现的错误操作。为解决这个问题，当检测到实验者出现了错误操作又无法映射到相关讲解视频时，后台将收集和统计用户错误操作信息，网站维护人员定期查看错误信息报表，对出现频次较高却未定义的错误操作，及时补充定义并录制对应的讲解视频，逐步完善错误操作库。同时，通过后台收集的错误操作信息，实际实验的指导教师可以了解实验者较普遍的操作误区，这样在实际实验中可以重点讲解，实现线上和线下教学的互相促进。

2　实验实例

在实验开始前，先导入一段以虚拟机床车间为背景的虚拟演播片段。场景中三排数控机床，从左边起依次是磨床、车床和铣床，主持人从右侧走进镜头画面中，并开始对虚拟实验室概况的讲解，效果如前面图4(c)。在讲解到具体的机床时，主持人走到对应机床旁边，同时虚拟摄像机推近，机床局部放大，以便于更清晰地展示机床结构，辅助主持人的讲解，如图6所示。

图6　机床介绍特写

实验介绍结束后，开始进入虚拟实验环节。虚拟实验页面由上部的虚拟机床功能控件和3D模型窗口构成，如图7所示。在模型窗口内可通过底部工具栏选择缩放、旋转、平移等不同的操作模式，鼠标在窗口中拖动时即可实现不同的场景变换效果。虚拟实验中对机床的操作既可以通过网页上的机床控制按钮，也可以通过鼠标直接在虚拟机床模型上点击和操作。实验开始时，先选择工件的半径和长度，虚拟机床中就会装载相应尺寸的工件。鼠标拖动虚拟机床上的尾架，使其顶住工件。点击启动主轴，主轴开始旋转，此时通过控制刀具位置的按钮或者通过鼠标拖动刀架，都能控制刀具的移动，当刀具与工件发生了干涉，工件干涉部分即被“切除”，如图8所示。点击运行程序按钮将控制机床自动运行一段预先定义好的程序，在此过程中为了提高实验者安全意识，将要求实验者关闭机床防护门。实验过程中若想要切换工件，则点击主轴停止，并重新选择工件尺寸。

图7　网页控制界面

(a)车床(b)磨床

在实验过程中，当操作者的错误操作导致机床出现了错误状态，则实验中止，网页开始播放针对该错误操作的虚拟演播视频片段，主持人讲解这部分的原理和正确操作，并辅以一段正确的虚拟实验操作录像，帮助加深印象。虚拟实验中可识别的错误操作有：开始切削时未开启主轴、切削过程中未关闭机床防护门、刀具进给量过大、切换工件时未停止主轴、刀具碰撞夹具或尾座等。

实验结束后，点击主轴停止按钮，并点击重置按钮，机床将恢复初始状态。

3　结　语

本文研究了虚拟演播在虚拟实验中的应用，这种应用不只是简单地把虚拟演播背景替换为虚拟实验的环境，而是将虚拟演播作为虚拟实验的一部分，将虚拟演播作为实验的讲解和指导，更接近真实地模拟了实际实验的内容，提升了虚拟实验的交互性，优化了实验者的实验操作体验。本文提出与的基于实验者操作的反馈式指导，能够针对实验者的操作错误调用相应的指导视频，更加准确高效地帮助实验者学习正确的实验操作。

但是，一方面，出于安全考虑，无论是否引入虚拟演播元素，虚拟实验都不能完全取代现场教学，可以将虚拟实验与现场教学相结合，以提升实验教学效果，减轻教师的教学压力；另一方面，由于目前图像处理技术的限制，三维虚拟演播只做到了虚拟实验室场景三维化，其中使用的视频源还只是二维的视频图像，可以说目前的虚拟演播是一种半三维效果。随着技术的发展和普及，可以利用双目视觉技术和三维重构技术拍摄三维绿幕演讲视频，在虚拟演播系统中与三维虚拟实验室相结合，实现真正全三维的效果。甚至有望将虚拟实验实室结合VR技术，实验者通过佩戴VR眼镜和肢体传感器，真正“进入”虚拟实验室，亲身操作虚拟的实验设备，还能接受虚拟演播中的讲解者 “面对面”的教学指导。

参考文献(References)：

[1]胡林岚,包峥嵘. 基于Cult 3D的机械创新虚拟实验项目研究[J]. 实验室研究与探索,2013，32(5):250-254.

[2]万桂怡,崔建军,张振果. 高校虚拟实验平台的设计及实践[J]. 实验室研究与探索,2011，30(3):386-389.

[3]张颖.机械学科网络虚拟实验室的实现方法研究[D].武汉：华中科技大学,2011.

[4]王卫国,胡今鸿,刘宏. 国外高校虚拟仿真实验教学现状与发展[J]. 实验室研究与探索,2015，34(5):214-219.

[5]李平,毛昌杰,徐进. 开展国家级虚拟仿真实验教学中心建设提高高校实验教学信息化水平[J]. 实验室研究与探索,2013,32(11):5-8.

[6]王卫国. 虚拟仿真实验教学中心建设思考与建议[J]. 实验室研究与探索,2013,32(12):5-8.

[7]王振雄. 基于Ogre引擎的虚拟演播室系统的设计与实现[D].厦门：厦门大学，2014.

[8]赵娅,杨丽波.基于Web的虚拟演播实验室在高校的应用研究[J].中国电力教育，2012(20):99-100.

[9]王正宏,李小平.虚拟演播技术在教学中的推广[J].科技信息(科学教研),2007(16):293+271.

[10]刘京洙,马金钟. 三维虚拟演播室在MOOC制作中的应用[J]. 中国教育技术装备,2015(16):45-46.

[11]王济军,魏雪峰. 虚拟实验的“热”现状与“冷”思考[J]. 中国电化教育,2011(4):126-129.