VR手术视频示教平台的构建与应用

肖 扬，冯 煊，陈大鹏*

（1.联勤保障部队第900医院，福州 350025；2.陆军工程大学，南京 210001）

0 引言

临床手术示教是广大医学生和临床实习医生获得外科临床经验的最佳途径之一[1]。当前的数字视频手术示教平台仅支持普通二维高清手术示教视频，存在交互性差、手术视角受限、移动观看不便等问题，影响了示教效果及平台的推广应用，因此迫切需要研发一种新的可以解决上述问题的手术示教平台。虚拟现实（virtual reality，VR）是当今发展最快的一项综合技术，将该项技术应用在医学手术示教领域能较好地满足教学中实时情景化及移动交互的需要，达到理想的教学效果[2]。本研究以VR技术为基础，采用客户端/服务器（Client/Server，C/S）架构，在Visual Studio平台上基于HTML 5技术，利用软件工程的思想设计并实现VR手术视频示教平台。本平台通过采集制作全景手术视频和非全景3D手术视频，充分发挥VR的技术特点，使终端用户能沉浸于虚拟手术空间，清楚地看到每一步手术操作细节，实时观摩、学习医生和护士之间、主刀医生和助手之间以及手术医生和麻醉医生之间的默契配合，从而获得更好的观看体验，达到更为理想的教学效果。

1 平台架构设计

VR手术视频示教平台由采集制作模块和终端播放模块组成。采集制作模块主要制作、编辑VR全景手术视频及VR非全景3D手术视频，为平台提供丰富的手术示教资源。终端播放模块主要为用户终端提供基于移动终端的VR眼镜观看及基于手机的裸眼观看2种方式，采用多屏互动技术使手机上的VR视频可共享到电视、计算机等其他多媒体终端，以实现更好的观看体验。VR手术视频示教平台架构如图1所示。

图1 VR手术视频示教平台架构

2 平台功能设计及实现

2.1 采集制作模块

2.1.1 VR全景视频

VR全景视频是利用拼接技术将360°柱面图像连接起来形成全景视频空间，用户通过不同视点的切换主动地选择方向和观察点来了解环境[3-4]。本平台采用Insta360 Pro全景摄像机采集视频，利用新光流算法、借助Adobe Premiere Pro CC软件制作VR全景视频，其整体制作步骤主要包括采集、拼接、剪辑编码及传输4个部分，如图2所示。

图2 VR全景手术视频制作过程

2.1.1.1 视频采集

与普通视频不同，全景视频的采集需要借助全景摄像机完成。VR手术视频示教平台应用Insta360 Pro全景高清8K摄像机，机身环绕6枚摄像头，每个摄像头光圈均为f/2.4，可同时采集、录制手术现场6个方向的视频。拍摄时通过吊臂脚架将全景摄像机固定于手术术野上方，在确保患者隐私的前提下，调整拍摄位置，并在手术过程中保持稳定，实现对手术术野全方位的采集。VR手术视频拍摄现场如图3所示。

图3 VR手术视频拍摄现场

2.1.1.2 视频拼接

将Insta360 Pro全景摄像机采集的手术现场6个方位的视频批量导入全景拼接软件Insta360 Stitcher中，采用新光流算法进行拼接。由于手术术野光线与周边光线反差较大，在手术术野光线恰当的情况下，周边环境光线容易偏暗。为解决这一问题，在拼接过程中需启用低光环境优化和陀螺仪防抖校准，使拼接完的视频在整体亮度方面无明显反差。

2.1.1.3 视频剪辑编码

VR手术视频示教平台采用Adobe Premiere Pro CC软件对手术视频进行剪辑。将拼接生成的视频文件导入软件进行检测、解释、分配后，按照手术视频内容进行剪辑，同时对剪辑的节点添加沉浸式视频过渡效果，保证VR视频的流畅性。剪辑完成后对VR手术视频进行编码输出，为了便于传输和观看，选择MPEG-4格式对手术视频进行编码，帧率采用30帧/s。

2.1.1.4 视频传输

将制作好的VR手术视频通过VR手术视频示教平台的传输模块，借助超文本传输协议（hyper text transfer protocol，HTTP）上传至视频服务器。

2.1.2 VR非全景3D视频

VR非全景3D视频是将具有左右视差的图像分别呈现在VR输出设备左右两眼所对应的显示屏幕上，这样就可以给观看者带来具有出画感（即影像从屏幕上延伸出来）的立体效果[5]。目前，应用最广泛的VR视频为VR非全景3D视频[6]。当前VR手术视频相对较少，VR手术视频示教平台根据手术视频的特点，采用结构重建（structure from motion，SFM）技术将现有的2D高清手术视频转换为VR非全景3D视频，使VR影像的制作成本大幅降低，解决了VR手术视频资源不足这一难题。2D高清手术视频转换为VR非全景3D视频的过程如图4所示。

图4 2D高清手术视频转换为VR非全景3D视频的过程

2D高清手术视频转换为VR非全景3D视频的转化过程分为5个步骤，具体如下：

（1）根据视频图像场景的特点利用SFM技术对原始2D视频进行场景的深度信息提取，得到2D场景对应的深度图，并对深度图初始化。

（2）对所得到的深度图进行后处理，如滤波降噪、平滑、边缘锐化等，以提高深度图的质量。

（3）将原始2D视频图像与得到的一系列深度图像釆用基于深度图像渲染（depth-image-based rendering，DIBR）技术进行虚拟视点的绘制、重构得到2路2D视频。

（4）在虚拟视点绘制的过程中，利用填补空洞的方法对拍摄的视频图像进行遮挡。

（5）利用图像合成算法将处理后的2路2D视频合成为1路3D视频，然后生成MPEG-4格式的视频。

2.2 终端播放模块

2.2.1 VR全景视频

VR手术视频示教平台针对VR全景视频提供沉浸式和全景式2种播放方式，分别适用于用户佩戴VR眼镜和借助手机裸眼观看。沉浸式播放方式采用偏振式显示技术，其终端用户需借助VR眼镜进行观看。全景式播放方式无需借助VR眼镜，用户在手机端用手指拖动视频即可改变视角，实现水平360°和垂直360°的全视角观看。同时，在全景式播放模式下，采用基于数字生活网络联盟（digital living network alliance，DLNA）协议的多屏互动技术，用户可将手机上的全景视频连接到Pad、电视、计算机等多媒体终端进行播放，便于手术视频的高清示教。

VR全景视频播放模块是基于OpenGLES（Open-GL for Embedded Systems）进行开发，具体如下：

（1）导入VR全景视频帧，获取当前帧像素，并搭建OpenGL环境。

（2）将VR全景视频采用透视投影技术映射到三维球体，将球面分割成若干个三角形，根据顶点Vertex（x，y，z）和纹理坐标 Texture Coordinate（u，v）将图片进行纹理映射。

（3）运用模型-视图-投影矩阵（Model-View-Projection，MVP）将贴到球体上的图片进行显示。其中模型矩阵用于确定球体位置，视图矩阵用于确定摄像机位置，投影矩阵用于确定场景的投影方式。

（4）设定当用户旋转图像时三维球体向反方向旋转，借助转换矩阵

将颜色域从YCbCr转到RGB，绘制转换后的图像到屏幕。

2.2.2 VR非全景3D视频

1）一个永远你对她负责，她却不对你负责的是谁？答:二奶。错！是银行。2）和你时刻相关，但需要时却找不着的是什么？答:空气。错！是组织。3）脱了衣服是兽，穿上衣服是什么？答：衣冠禽兽。错！是教授。4）某人第一个月工资一千，第二个月七百，工资涨了还是降了？答：降了。错！是在负增长。

与沉浸式播放方式相同，终端用户可以借助VR眼镜观看VR非全景3D视频。为了适应移动环境下用户可能未携带VR眼镜的情况，VR手术视频示教平台也允许用户将视频由3D降为2D高清视频，从而方便裸眼进行观看。VR非全景3D视频播放模块是在Visual Studio平台上基于HTML5进行开发的，具体如下：

（1）设置播放器的属性，包括宽度、预加载、预览图等。

（2）创建JavaScript视频控件，具体包括：

①调用av_register_all函数初始化库，注册MPEG-4文件格式；

②使用av_open_input_file函数确立视频的输出参数及缓冲区大小等信息；

③提取视频流中的信息到AVFormatContext数据结构中，并利用avcodec_alloc_context函数为AVFormatContext分配内存；

④使用codec_type_video函数查找所有视频流，使用avcodec_find_decoder函数查找对应解码器；

⑤利用avcodec_open函数打开解码器，申请空间pFrame保存视频帧；

⑦使用img_convert函数实现视频帧格式的转换；

⑧完成视频数据的读取后，调用avcodec_close函数释放解码器的上下文资源；

⑨关闭视频文件，调用av_close_input_file函数。

（3）采取Flowplayer的降级方案，确保多浏览器对播放器的支持。

3 系统测试及应用

VR手术视频示教平台在某院进行了部署实施，反响效果良好。为了更好地评估VR手术视频示教平台的性能，应用仿真测试的方法对平台各功能模块进行了测试。

3.1 测试环境

选取3部手机对VR手术视频示教平台的功能进行测试。手机配置见表1，测试视频信息见表2。

表1 测试手机配置

表2 测试视频信息

3.2 测试结果

（1）UI测试。VR手术视频示教平台UI界面友好，布局合理，各控件放置符合用户习惯，操作便捷，导航简单、易懂，页面美观，显示信息完善，如图5所示。

图5 VR手术视频示教平台UI界面

（2）功能测试。

VR手术视频示教平台功能符合要求，接口规范，数据准确，代码逻辑严谨，视频播放流畅，无卡顿现象。本平台播放根治性全胃切除术全景手术视频如图6所示，播放肝癌切除术非全景3D手术视频如图7所示。

图6 根治性全胃切除术全景视频

图7 肝癌切除术非全景3D视频

（3）性能测试。利用3台测试机分别对全景手术视频和非全景3D手术视频进行播放。客户端App播放视频时的CPU使用率、视角切换流畅度、响应时间等信息见表3。测试结果表明，VR手术视频示教平台能较好地满足用户需求。

表3 播放性能测试结果

3.3 应用效果

VR手术视频示教平台在某院普通外科实习研究生中进行了示教应用：由实习研究生佩戴VR眼镜观看相关手术示教视频，并在示教结束后进行教学效果问卷调查。此次调研共发放25份调查问卷，回收有效调查问卷24份，回收率96.0%。回收的调查问卷中，有22人（91.7%）认为VR手术视频示教平台打破了手术示教观看角度的限制，达到了准现场示教的氛围；21人（87.5%）认为VR手术视频示教平台教学性、实用性强。同时，实习研究生普遍认为沉浸式的观看体验提升了学习兴趣和学习效率，为手术视频示教提供了一种新的教学方案。

4 结语

VR作为一项综合性新兴技术，在各个领域，特别是医疗教学等方面有着广阔的应用前景。VR手术视频示教平台提供了全新的全景手术沉浸式和3D立体观看体验，提升了用户参与感，扩充了手术视野，全方位地展示了手术信息。同时，本平台不仅提供了佩戴VR眼镜及手机裸眼2种观看模式，便于在移动终端随时随地学习，还支持多屏互动协议，可实现VR手术视频的共享播放，方便用户使用。由于VR手术视频清晰度高、数据量大，多个终端同时播放时对服务器的负载是一项重大考验。如何进一步优化VR视频编码方式，减少数据量，提高服务器的吞吐负载能力，确保多终端播放时视频数据的流畅度是下一步的发展方向。