虚拟现实医学多媒体课件制作技术

肖 扬 冯 煊

(南京军区福州总医院 福州 350025) (解放军理工大学 南京 210007)



虚拟现实医学多媒体课件制作技术

肖 扬 冯 煊

(南京军区福州总医院 福州 350025) (解放军理工大学 南京 210007)

采用三维虚拟现实技术，以Director为操作平台，在医学多媒体课件中构建立体的教学空间，介绍其技术路线，从虚拟现实三维场景构建、医学场景集成及漫游两方面阐述课件制作的关键技术。结果表明三维医学多媒体课件具有更强的表现力和视觉冲击力，且运行安全稳定。

虚拟现实;医学多媒体课件;Director

1 引言

在信息技术高速发展的今天，多媒体课件已融入各行各业，广泛应用于会议、培训、教学等场合，成为表达宣讲者思想最重要的工具之一[1-2]。然而，由于各个行业间多媒体课件的思路、结构及具体的技巧有较大的差别，因此需要根据专业特点进行多媒体课件的制作[3]。医学作为一门专业性很强的学科，其多媒体课件涉及内容繁多，概念抽象，表述准确性要求高，制作难度大[4]。如何制作符合医学特点的高品质多媒体课件，将大量枯燥抽象的理论转化为精准的多媒体表达，将临床专家的想法精妙地进行展现且富有视觉冲击力和感染力，达到令人震撼的演示效果，是有待于解决的问题[5-7]。同时，传统的多媒体课件主要以二维平面为主，其在表现力、交互性及3D效果支持上已经难以满足高质量医学多媒体演示的需求，迫切需要以演示生动、交互自由、效果逼真的三维多媒体课件。本文采用三维虚拟现实技术，以Director为操作平台，在医学多媒体课件中构建一个立体的教学空间，增强演讲者与课件的交互，弥补二维多媒体课件的不足，多角度、全方位地呈现医疗内容，实现三维立体医学多媒体课件的制作。

2 技术路线

虚拟现实(Virtual Reality)是指利用计算机模拟出一个虚拟的三维空间世界，让用户能身临其境地以与现实中一样的视角去观察三维空间内的事物[8]。采用虚拟现实技术进行医学多媒体课件制作，核心是通过对医学对象的三维建模，构建三维虚拟医学场景，在进行三维医学场景漫游及浏览的基础上，辅助以文字、图片等补充信息，达到医学内容高精细度呈现、医学模型立体全方位展示的目标。根据虚拟现实技术的特点，设定课件制作流程主要包含“虚拟现实三维场景的构建”和“医学场景集成及漫游”这两个步骤，技术路线，见图1。

图1 课件制作技术路线

3 关键技术

3.1 虚拟现实三维场景的构建

3.1.1 三维医学模型的建模 在虚拟医学场景中，虚拟对象是主体，也是用户进行三维交互体验的首要载体。医学对象的虚拟再现是通过建模来实现的。当前对象建模的方法主要包括几何建模、图像建模等方法。几何建模是指建立三维几何模型，一般采用多边形表示，其主要优点是能随意改变观察点和观察方向，允许用户沉浸入仿真建模的环境；缺点为建模较为复杂，建模效率相对不高。图像建模是指利用摄像机对对象进行全角度拍摄后，获得物体的二维增强表象或三维模型，其优点是建模简单，适用于那些难用几何模型的方法来建立真实感模型的物体；缺点是所建模型只是对现实世界模型数据的采集，不能够给设计者以想象发挥的空间。为了高效建立形态逼真的医学模型，笔者综合两种建模技术优点，采用图像与几何相结合的方式进行医学模型的构建。先在不同视角对被建模物体进行拍摄，再通过建模软件进行多视图的点、线位置采样，然后分区块构建模型。这种建模方式能在几乎不影响三维模型真实度的情况下，极大地减少模型的网格数量。具体建模过程分4步。(1)数据准备工作。利用照相机从不同角度对医学对象进行拍照，通常取前、后、左、右、顶部5个方向。照片经过Photoshop 软件处理得到符合要求的纹理贴图图片。(2)勾勒外轮廓线。利用拍摄的医学对象照片作为建模外观参照，以医学对象的尺寸等测量数据为建模基础，勾画医学对象的外部轮廓，形成医学对象外部轮廓线模型。(3)构造三维模型。运用3D MAX建模工具根据所画的轮廓线依次创建三维曲面，在保证医学对象外形的情况下作最大优化，建立最优三维模型。(4)贴图。利用3D 建模工具软件的材质/贴图工具，按照相应的贴图方法，如UVW 贴图、遮罩通道等，在模型表面贴上对应的纹理和质地，以较真实地再现物体的细节。

3.1.2 虚拟医学环境的建立 根据医学演示内容，采用相应建模技术建立场景三维模型，再将虚拟场景进行烘焙处理后，通过三维互动仿真平台进行实时渲染绘制和立体显示。本文主要依托3D MAX软件[9]来进行实现，操作中可分为静态建模及动态建模两种方式。静态建模主要指以相对固定不变的场景作为医学模型的展示环境，如手术台、试验区等；动态建模主要指通过模拟对象周围环境以进行更好的场景构建，如流动血液的血管等。不同的医学课件内容对环境建模有着不同的要求，如对于介绍病理发生、发展过程和影响等原理性的课件，对模型环境的精准度要求不高，可采用相对简单的模型背景，一般以静态建模为主，而对于介绍人体组织结构属性的课件内容，由于对模型的精准度要求高，则医学环境的建立首先考虑其仿真性，建立静态和动态相结合的虚拟医学环境。

3.1.3 三维医学环境及模型的优化 一个逼真且流畅的三维虚拟场景，不仅要有逼真的模型，而且需要有流畅的运行效果，这就对三维环境及场景模型提出更严格的要求，三维场景优化技术能使模型得到优化且不影响整体效果。一般情况下，三维虚拟场景实时渲染时速度受限制的主要问题在于模型过于复杂，场景模型总三角面数太多，因此最有效的优化方式是在场景渲染时尽量减少模型的三角面，主要采用以下3种优化方式。(1)去除冗余几何面。在三维建模过程中，建立的模型会有一些多边形面处于不可见的状态，除去这些几何面不但不会影响模型本身的视觉效果，反而由于减少了模型的面数，提高场景的渲染速度。一般主要通过减少平面模型段数、优化圆柱体模型属性、删除重叠面这3种方式去除冗余的几何面。(2)利用纹理映射(Texture Mapping)。在医学虚拟对象仿真建模过程中，采用纹理映射的方法来替代详实的模型。纹理映射是将二维图像映射至三维几何形状表面，使其生成具有特殊效果或真实感三维模型的一种技术。对于虚拟对象，纹理映射技术的使用可以减少模型中的三角形面数，在建模过程中可以简化对对象模型的细节表现，提高渲染显示的速度。(3)进行实例引用。实例引用是指多个子节点引用同一个实例的父节点。三维虚拟场景集成过程中会存在一些相同属性的实体模型，若用复制的方法，就意味着场景面数的增加，不利于场景的高速渲染，利用实例引用技术，可以在增加同属性物体数量的同时，不增加场景面数。例如在实际建模过程中，有许多形状和纹理相同的人体组织结构，他们之间的差别可能只在于位置、大小、方向的不同，通过实例引用技术可以将相同类型的组织结构在内存中仅存放一份实例，然后再对其进行移动、缩放、旋转操作之后得到多个组织结构，从而大大地节省了内存空间。

3.2 医学场景集成及漫游

3.2.1 概述 医学场景集成及漫游主要是将医学三维模型及文字、图片等辅助信息集成入三维医学场景中，通过系统三维行为库及Lingo语言编程两种方式进行漫游和浏览控制，实现课件与听众间三维交互沉浸体验。这一步骤主要采用Director软件来实现。Director是Adobe公司研发的基于时间流的专业化多媒体项目开发软件，它结合多媒体制作和Lingo程序设计，具有出色的图片、声音、动画处理技术及强大交互功能，目前正广泛应用于大型多媒体及3D制作以及交互式电影等诸多领域[10]。

3.2.2 场景集成 多媒体医学课件的设计，在开发前需要搜集丰富的相关资料和素材并对其进行整理和归类。多媒体素材主要可分为静态素材和动态素材两种。静态素材主要指配合多媒体展示所需的文字及图片等素材，此类素材在集成入开发平台Director前，需要使用Photoshop软件处理成*.png格式的图像，这种格式的文件支持透明，不损坏图像质量，占用空间也不大，能较好地满足演示需要；动态素材主要指医学三维模型，其具体导入步骤如下：将建立的3D模型导入Director中舞台(Stage)上，设置其行为为“Hold on Current Frame”，拖曳该行为到Score窗中的Frame 1，即让影片停止在第1帧,为下一步的漫游交互控制做好准备。

3.2.3 虚拟场景漫游和浏览控制 虚拟场景的漫游和浏览是三维虚拟多媒体课件的最重要特色，它能让听众通过亲自的“经历”和“感受”获得知识，达到较为理想的教学演示效果。实现虚拟场景的漫游和浏览主要有两种途径：系统三维行为库实现和Lingo语言编程控制。(1)系统三维行为库实现场景漫游。系统行为库是指系统中内置的用于响应某种交互式事件的脚本动作。Director中的三维行为库包括触发器(Trigger)和动作(Action)。当某一操作动作发生时，其所触发的Trigger向系统发出信号，引起相对应Action的执行。通过不同的Action和Trigger组合，可以进行虚拟场景的漫游和浏览。具体操作以在虚拟医学场景中移动摄像机实现场景漫游为例，主要分为4个步骤：导入3D模型到舞台，选取3D类Actions中的“DragCamera”，即移动摄像机，放在Sprite 1的元素上面；在“Parameters for‘Drag Camera’”属性对话框中进行参数设定；添加Trigger。将Trigger中的“Mouse Left”行为拖入到Score窗中，放置于Sprite 1的演员之上，在随后弹出的“Parameters for‘Mouse Left”’对话框内指定Action及相关鼠标左键的设定；在“Select a Group and its Action”(选择一个群组及其动作)下拉列表框中设定“Pan camera”，便可改变场景中的摄像机位置及视角，实现医学场景漫游。(2)基于Lingo语言的场景漫游。借助Director的系统三维行为库虽可以方便地进行场景漫游，但仍难以完成一些交互性较为复杂的动作，需要借助Lingo语言进行编程实现。例如将人体心脏模型导入Director中，为其添加脚本，实现用户的按键对模型进行旋转或者平移等操作。

global heart，object

global td，sp

on beginsprite me

sp=sprite(me.spritenum)——获取当前精灵控制权

heart=sp.member ——获取当前精灵角色

object=heart.model(1) ——获取心脏模型

end

on enterframe me

if keypressed(＂w＂) then swing(-3)

if keypressed(＂s＂) then swing(3)

if keypressed(＂a＂) then scoop(-5)

if keypressed(＂g＂) then scoop(5)

end

————沿Y轴旋转模型 ————

on swing n

i=0

repeat while i<= 30

i=i+1

object.rotate(0，n*0.5，0)

updatestage

end repeat

end

————沿Z轴旋转模型————

on scoop n

i=0

repeat while i<= 20

i=i+1

object.translate(0，0，n*5)

updatestage

end repeat

end

4 应用效果及测试

本文实现了基于虚拟现实的三维医学多媒体课件制作，它相对于传统的医学多媒体课件在表现效果、视觉冲击力方面有了较大的提升，二者效果对比，见图2、图3。

图2 二维医学多媒体课件

图3 三维医学多媒体课件

同时，为了测试三维医学多媒体课件播放的稳定性，将制作的医学三维多媒体课件在Windows xp、Windows vista、Windows 7等操作系统平台上进行测试运行，测试结果表明该医学多媒体课件兼容性好、稳定性高，能达到较好三维演示效果。

5 结语

虚拟现实作为一种全新的教学媒体形式，突破时空的限制，推动计算机辅助教育不断前进[11-12]。本文运用Director技术进行医学多媒体课件制作，增强课件的视觉冲击力和感染力。同时应用三维虚拟现实技术，构建3D医学展示模型，将医学多媒体课件由二维平面扩展至三维立体，较好地实现了医学内容高精细度呈现、医学模型立体全方位展示的目标。

1 党裔武. 改进多媒体教学 增强基础医学教学效果[J].医学信息学杂志,2009,30(5) :86-88．

2 王孝宁, 赵玉虹. 开展精品课程建设培养学生信息素养[J].医学信息学杂志, 2012,33(12):87-91.

3 潘炳超.对“多媒体课件”研究的分析与思考[J].中国医学教育技术,2012,26(2):17-20.

4 John J N, Danette W M. Assessment Methods in Medical Education[J].Teaching and Teacher Education,2007,23(3):239-250.

5 张复初.浅谈计算机多媒体课件在医学院校教学中的应用[J].中国科技信息，2012，(7):188-189

6 吕婷.医学领域中可视化技术的应用[J]. 医学信息学杂志，2012，33(2):38-42.

7 陈进.建设动态人体解剖数字资源库为教学服务[J]. 医学信息学杂志，2014，35(8):86-89.

8 Burdea G,Coiffet P. Virtual Reality Technology [M]. NJ: John Wiley and Sons,1994.

9 王琦, 亓鑫辉, 王恺. Autodesk 3ds Max 2009 标准培训教材[M] . 北京: 人民邮电出版社, 2008.

10 Adobe.Comparing Adobe Director to Adobe Flash[EB/OL].[2014-05-20]. http://www.adobe.com/products/director/compare/.

11 王芳.虚拟现实技术的应用及其发展[J].科技信息，2010，(32):795-796.

12 栗文靖.近年来国际上有关医学信息学学科发展的一些探讨[J]. 医学信息学杂志，2011，32(10):7-11.

Technology for Making Virtual Reality Medical Multimedia Courseware

XIAOYang,

FuzhouGeneralHospitalofNanjingMilitaryAreaCommand,Fuzhou350025,China;FENGXuan,PLAUniversityofScienceandTechnology，Nanjing210007,China

By using 3D virtual reality technology, taking Director as operation platform, the paper constructs a 3D teaching space in medical multimedia courseware, introduces its technology pathway, elaborates key technologies from the aspects of virtual reality 3D scene construction, medical scene integration and roaming. Comparison shows that 3D medical multimedia courseware has more expressive and visual impact. Its safety and stability is excellent as well.

Virtual reality; Medical multimedia courseware; Director

2014-11-16

肖扬,工程师，硕士，发表论文10余篇。

R-058

A 〔DOI〕10.3969/j.issn.1673-6036.2015.01.021