虚拟情景融合的图像分割教学系统

焉潇潇，安效伟，戴文斌，孙农亮*

(1. 山东科技大学电子信息工程学院，山东 青岛 266590；2. 山东科技大学电气与自动化工程学院，山东 青岛 266590)

1 引言

传统教学多以师生面授为主，此方式讲师可快速传授知识内容，学生可即时向讲师反馈过程中出现的问题[1]，内容理解偏差看似易于消除，学习内容易于被快速掌握。但现实世界中的环境条件使得“单向强行灌输知识内容”难及时与实践结合，学习者容易产生枯燥乏味的感觉，学习兴趣较低。

近年来，虚拟现实技术在教育领域的应用越来越广泛，教育事业正在经历发展过程中的一次重大变革。国内外涌现出大量关于VR+教育的研究，王梅亮等[2]设计开发了基于游戏模式的行人横穿道路技能辅助训练系统，是寓教于乐地学习交通技能的有效方法和训练平台。郭倩等[3]以虚幻引擎(UE4)作为主要开发平台设计了基于虚拟现实的超快激光仿真系统，学生在虚拟环境下进行实验学习。姚陆吉等[4]提出一种基于混合现实技术的中国建筑史教学系统，有效提高了知识的传递效率和学生的学习主动性。李婷婷等[5]基于Unity3D平台设计开发出具有游戏式风格的儿童智力开发系统。现阶段国内研究多是VR与教育的机械性结合，缺乏游戏情景性的沉浸感，无法有效激发学生对学习的兴趣。David Checa等[6]研究并验证了学生对虚拟现实环境表现出的更强烈的兴趣在学习过程中也产生了积极结果。 Priyanka Jain等[7]提出一种行为丰富的交互式3D场景的动态组合，作为使用视觉和语言分析进行认知支持的虚拟环境，其虚拟场景画面粗糙，真实感欠缺，沉浸感差。KANG HAO CHEONG等[8]提出以交互式Java小程序的形式进行数学教育的虚拟实验室，但是小程序交互方式的情景性和趣味性不足。Matthew E. Nelson等[9]通过游戏扩展基于问题的学习(PBL)来教授专业发展技能，使学习过程更具吸引力，但其在注重游戏式学习的同时一定程度上忽略了导入式情景的衔接性。

针对已有研究在趣味性和情景设计方面的欠缺，本文提出将问题启发式学习与虚拟现实可视化结合，利用UE4虚幻引擎开发可交互虚拟教学系统，采用虚拟情景融合脚本情节的思路，借助虚拟情景导入模式，自主控制人机交互，实现思维和行为多维参与学习活动，在改进教学模式提升学生独立思考能力和问题解决能力的同时，有利于学习者深入掌握知识点，充分调动学习积极性，提高学习效能。

2 教学情境设计

学习系统默认以第一人称创建虚拟角色，学习者根据提示在虚拟场景中漫游学习。系统整体技术框图如图1所示。

图1 系统技术框图

2.1 虚拟场景构建

该教学系统共包括三个虚拟场景：办公室、教学系统场景和图像处理研究中心。3Ds Max是一款专业且功能强大的建模软件[10]，该系统的虚拟场景模型和人物模型都是在3Ds Max中进行建模、贴图和烘焙，并且为人物模型建立骨骼和蒙皮。然后将模型导出为FBX格式，并导入到UE4中，进行虚拟场景的搭建，并将虚拟人物模型和骨骼运动模型绑定，添加丰富的动作实现动画效果。

系统以学习者为主人公设计，跟随小林的视角在虚拟情景中漫游学习，如图2为小林所工作的公司办公室场景。

图2 办公室场景

在进入正式学习系统时，学习者为帮助

医生处理小林体检产生的医学图像，需要进入教学系统学习图像分割课程。

图3 虚拟学习系统场景

2.2 虚拟情节设计

该系统以虚拟故事情节为背景，推动学习者在虚拟环境中漫游学习，增强学习的趣味性和沉浸感。具体情节为某公司职员小林跟随公司赴医院体检：其体检产生的红细胞计数图像和肝脏CT图像的肿瘤区域需要计算机辅助手段进行医学图像分割，以协助医生诊断病情。

2.2.1 办公室情节设计

利用蓝图编程调用事件和函数，设计小林与领导和同事的对话和动作，交待清楚公司全体职工集体体检的故事导入。情景对话设计如图4所示。

图4 虚拟情景对话

2.2.2 学习情节设计

整体学习情景以PBL模式为基础，根据虚拟故事情节的发展，学习者回答提出的问题，从而进一步思考发现问题，在解决问题的同时寻求新的知识和更好的解决方法。总体系统设置为奖惩升级模式，分场景学习，知识难度由低到高，循序渐进。

学习系统共分为两个关卡，关卡一学习阈值分割算法；关卡二学习边缘检测算法和区域分割算法。首先根据提示观看学习视频，然后进入答题模块开始答题，答对一题得一颗星星，利用条件函数控制，只有全部答对获得满额奖励，才可以模式升级，开启关卡二；否则只能返回重新学习答题，达到要求之后进入关卡二。

学习系统的两个关卡如图5和图6所示。

图5 关卡一展示 图6 关卡二展示

2.2.3 图像研究中心情节设计

在完成前面的任务并通关后，学生可以根据自身学习能力，选择是否进入该部分继续分割肝脏肿瘤。学习者进入图像研究中心后，可以根据如图7提示开启扩展实践系统的学习内容，如图8所示可选择FRFCM算法、DRLSE模型和本文提出的FRFCM+DRLSE模型。

图7 扩展实践系统提示 图8 扩展算法选择

3 教学系统设计

在虚拟系统中，小林是一个虚拟化身，是进行交互的媒介，它也是学习者的身份行为等在虚拟现实中的投影。该教学系统设有两个关卡，设计流程框图如图9所示。

图9 学习系统设计流程框图

3.1 学习答题模块

3.1.1 视频点播设计

首先根据交互界面提示，点击键盘特定按键进入学习视频点播模块，跟随学习视频进行完整的理论知识学习。首先设定按键“P”为开启视频点播的入口，以复式输出口Multigate节点为控制条件，当触发P键后，利用Set View Target with Blend函数将对学习者的控制权视角转移到视频屏幕前，当观看完学习视频后，再次触发P键，将控制权还给学习者，继续后续学习，蓝图逻辑设计和点播视频界面分别如图10和图11所示。

图10 视频点播设计 图11 视频点播界面

3.1.2 答题交互设计

控件蓝图是UE4自带的一款视觉UI创造工具，设计者可以利用UI将想要呈现的游戏内的HUD、菜单或与界面相关的其它图形呈现给用户，可以设计画面丰富的提示画面和交互方式。

每道选择题有四个选项，学生根据题目点击选择自己认为对的选项，然后交互界面显示出正确答案。若选择正确，提示回答正确并获得奖励，同时屏幕上方星星奖励数量增多，若答错，则会显示出所选错误选项的详细解析。如图12为答对界面显示结果，图13为答错界面显示结果。

图12 答对显示结果 图13 答错解析结果

在正确选项点击事件触发后，利用“序列”节点控制同时实现显示对错，显示回答正确获得奖励提示以及同时增加星星奖励三项功能，具体蓝图设计如图14所示。

图14 正确选项触发逻辑设计

3.2 奖惩升级控制机制

为规范学习进程，控制学习系统每个部分之间的衔接，利用蓝图可视化脚本编写程序，实现学习进程的关联性，通过答题对错触发脚本获得奖励，同时出现文字提示，在答对所有题获得满额奖励之后才可以触发碰撞检测识别脚本程序，设计系统自动识别读取所获奖励信息，并解除限制开启下一关卡，学习者可以继续学习，实现了学习系统升级的强制性控制。

在关卡二入口设置空气墙，创建On Actor Begin Overlap事件控制空气墙的消失，通过Get All Widgets Of Class函数获取是否获得全部奖励的信息，并通过AND判断节点检测七道题目是否都答对获得满额奖励，若AND节点七个输入都判断为true，则输出也为true，并作为分支判断节点的条件输入，条件true满足后，启动销毁节点DestroyActor销毁空气墙。若无法达到满额奖励则无法触发AND事件，则销毁函数无法执行，空气墙仍然存在，学习者就无法进入关卡二。编程逻辑流程图如图15所示。

图15 奖惩升级设计流程

具体蓝图编程逻辑设计如图16所示。

图16 奖惩升级设计逻辑

4 实践模块

该学习系统的目的是运用图像分割知识帮助医生分割医学图像诊断病情，为保证该学习系统简便易操作，主要采用鼠标键盘作为交互设备。

4.1 关卡一分割实践结果

一幅图像的灰度分布情况能够很直观的展示出图像中各个灰度级所占的多少，灰度直方图是灰度级的函数，描述的是图像中具有该灰度级的像素的个数。横坐标是灰度级，纵坐标是该灰度级出现的频率。通常将纵坐标归一化到[0，1]区间内，也就是将灰度级出现的频率(像素个数)除以图像中像素的总数，灰度直方图的计算公式如下：

(1)

其中，rk是像素的灰度级，nk是具有灰度rk的像素的个数，MN是图像中总的像素个数。

如图17所示，可以选择查看红细胞图像和灰度直方图。

图17 红细胞图像和灰度直方图演示

利用MATLAB对学习系统中使用的医学图像进行分割，在第一关卡中利用阈值分割算法[11]对红细胞计数图像进行处理分割，灰度阈值分割首先确定一个灰度门限来区分物体与背景，在门限之内的像素属于目标，其它的则属于背景；或者反之，门限内的像素为背景，其余的像素为目标。这种分割方法对于目标和背景有明显差别的图像特别有效，设一幅灰度图像f(x，y)，其灰度范围为[L1，L2]，如果给定一个阈值，则这个灰度阈值可以把原图像分成两部分。通常把这两部分分别赋予不同的灰度值，即

(2)

其中a、b是指定的灰度值。如果a=1，b=0，则分割后的图像就是二值图像，目标和背景呈现最大的对比度。如果背景的灰度小于阈值，可以使a=f(x，y)，b=0，则分割后的图像背景为0，目标保持不变，这样就变成了背景均一的图像。点击“选择分割阈值”按钮，出现不同的阈值选择，共设置4种阈值选择，分别为T=180，T=200，T=220，T=240，如图18为T=180和T=220时的分割结果。

图18 不同阈值分割结果

4.2 关卡二分割实践结果

4.2.1 肝脏分割

在关卡二的分割实践模块中，对肝脏肿瘤CT图像进行分割，首先从肝区CT图像中分割出肝脏。如图19所示为肝区CT图像展示和分割出肝脏的结果。

图19 肝脏分割演示

4.2.2 肿瘤分割

FCM算法是一种基于目标函数的聚类算法，将图像像素点集合分为c类的问题，每个类属中均有唯一的聚类中心，在不断迭代中实现聚类中心的更新，通过目标函数不断最小化实现聚类，使用隶属度矩阵来描述各个像素点的类属性质，通过单个像素点与聚类中心的相似程度来判断其在不同类别中的隶属程度。

分水岭算法是基于区域的典型分割方法，就是将雨水积聚的区域(汇水盆地)分开的线，当处于不同汇水盆地的水将要聚合在一起时，建立起一道水坝以阻止水汇聚。当浸没过程结束，每个盆地被水淹没，并被水坝完全包围，这些水坝就简称为分水岭[12]，图20为分水岭原理图。

图20 分水岭原理图

利用FCM算法和分水岭算法分别对肝脏肿瘤进行分割，如图21和图22为分割结果。

图22 分水岭分割结果(过分割问题较明显)

图21中红色区域为分割出的肿瘤部分，由于FCM算法分割结果很容易受到图像中的噪声、异常点和纹理的影响，分割结果的肿瘤边缘存在粘连，而且肝脏左下部位存在错分割。图22显示分水岭算法过分割问题明显。以上两种算法的分割结果并不理想。学习者需要寻求更有力的帮助，因此可以选择进入扩展实践系统，研究探索更优秀的算法对肿瘤进行分割。

4.3 扩展实践系统

在完成完整教学系统的学习之后，学生可以根据自身情况选择是否进入扩展实践内容，分别运用三种算法将肿瘤分割出来：FRFCM算法[14]、DRLSE模型[15]和本文提出的FRFCM+DRLSE模型分割算法。

4.3.1 FRFCM算法

FRFCM算法通过引入形态学重构操作将图像的局部空间信息融入FCM算法中，提高了抗噪性和图像细节保留率，而且通过使用更快的隶属度过滤，降低了计算复杂度，FRFCM算法是利用目标图像的灰度直方图进行聚类分割，目标函数可被写为

(3)

其中，μkl表示灰值l相对于聚类k的模糊隶属度。

(4)

(3)式中，ξ是经过形态重建的图像，ξl表示灰度级，1≤l≤q，q表示ξ中包含的灰度级数，通常远小于N。ξ定义如下

ξ=RC(f)

(5)

其中RC表示形态闭合重建，f表示原始图像。

利用FRFCM算法对肝脏肿瘤进行分割，如图23为分割结果。

图23 FRFCM算法分割结果

图中红色区域为分割出的肝脏肿瘤，FRFCM只将肿瘤区域大致分割出来，肿瘤边缘仍不清晰，且与肝脏非正常区域有粘连。

4.3.2 DRLSE模型

距离正则化水平集(DRLSE)模型演化方法消除了重新初始化符号距离函数的需要，从而避免了其引起的数值误差。DRLSE模型的能量泛函定义为

(6)

式中，第一项为内部能量项，第二和第三项为外部能量项，μ、λ、ν为各能量项系数。DRLSE模型演化分割结果如图24所示。

图24 DRLSE模型分割结果

DRLSE模型对噪声和初始化轮廓敏感，对于本文含噪肿瘤CT图像的分割具有局限性。

4.3.3 FRFCM+DRLSE模型

刘善伟等[16]将FCM和DRLSE模型结合的图像分割算法应用于SAR溢油图像的分割提取，所得分割效果良好。但是，传统FCM算法对噪声敏感，医学图像在生成时无法避免噪声干扰。所以本文提出将FRFCM和DRLSE模型结合的分割算法，对肝脏肿瘤进行分割。

首先，运用FRFCM算法从肝脏中粗分割出肿瘤区域，作为DRLSE模型的初始化轮廓，且水平集参数可根据聚类分割结果自动计算出，实现了DRLSE模型根据FRFCM聚类结果进行演化，较准确分割出肝脏肿瘤轮廓。本文算法不同迭代次数的分割结果如图25所示。

图25 不同迭代次数分割结果

由不同迭代次数分割结果可以得出，178次迭代的分割结果最佳，如图26为最佳肿瘤分割结果的3D展示图。

图26 肿瘤分割3D展示图

该算法既解决了FRFCM算法分割结果的区域粘连问题，也克服了DRLSE模型对噪声和初始化轮廓敏感的问题，准确地从肝脏中分割出了肿瘤，有利于医生根据肿瘤的大小和形状对后续治疗做出判断。

5 教学系统评估

以我校电子信息工程专业40名本科生作为实验对象，设置一个实验组和一个对照组，每组20人。实验前，采用问卷调查方式了解学生的VR体验次数基本无差异，实验组的学生使用VR情景化教学系统学习图像分割课程，对照组学生通过传统课堂方式学习图像分割课程。

在学生学习完课程之后，开展问卷调查了解两组学生对VR教学和传统教学的兴趣度，并对调查数据进行处理。采用Likert5点计分方式，并对两组学生的兴趣度调查结果进行独立样本T检验，数据分析结果如表1所示。

表1 兴趣度T检验结果

调查结果表明，实验组对VR教学课程的兴趣体验均值(M=4.25)高于对照组均值(M=3.3)，两组学生的兴趣度差异显著(t=3.1783，p=0.0020.005)。由此表明，学生对VR情景式教学的兴趣高于对传统课堂教学的兴趣。

6 结论

随着VR+教育的不断发展，虚拟现实技术必将广泛应用于教育教学工作中，本文研究创新性可总结为以下两点：

1)开创性地将数字图像处理课程的PBL教学模式与虚拟现实结合，开发基于图像分割理论知识的可视化虚拟情景教学系统，从多模块，多场景，多方法入手，实现教学系统的趣味性、沉浸感和拓展性。

2)在利用该学习系统时，结合老师现场即时指导，答疑解惑，既不失趣味性又可以得到及时真实的反馈，不拘泥于时空限制，可以多次反复学习，提高学习效果。

虚拟现实技术为图像分割理论知识开启了创造性的学习模式，必将为教育事业发挥重大作用，但是本文研究也存在不足之处：该教学系统为兼顾虚拟情景学习和老师的及时指导反馈，采用的交互工具为鼠标键盘，相比于利用VR头盔和手柄交互，沉浸性可能会有所欠缺。因此，下一步工作将致力于开发更加多元化的学习场景和模式操作，并在保证教学效果的同时考虑加入HTC Vive或Kinect等，丰富交互方式，完善教学系统。