基于Web医学影像三维可视化技术研究进展

陈慧娟 陈传剑 张琦 丁伟丹 陆佳伟 杨天化 朱姬莹

作者单位： 310053 杭州医学院（陈慧娟 陈传剑 张琦 丁伟丹 陆佳伟 杨天化）

310006 杭州第一人民医院（朱姬莹）

医学影像三维可视化是利用图形学技术和计算机技术，将二维医学图像重建出立体的三维图像，使之能清晰、全面的展现病灶及内部信息，有助于提高医师在临床诊断或治疗中的准确性，已经广泛应用于临床［1］。由于基于C/S架构的系统必须在用户终端安装客户端软件，其封闭性、安装繁琐、不易扩展等局限性，已经不能适应远程会诊、区域医疗等现代医疗发展的新需求［2］。全球广域网（Web）是一种基于超文本和HTTP、全球性、动态交互、跨平台的分布式图形信息系统［3］。基于Web的可视化具有无需安装插件、简化软件维护、跨平台、异构性、分布式部署等特点，已成为医学影像可视化研究的主流趋势［4］。本文将对基于Web的医学影像三维可视化技术发展进行介绍，并从医学影像可视化的数据压缩和传输、数据预处理、三维可视化以及Web可视化技术等4个方面进行综述。

1 基于Web的医学影像可视化技术路线发展

早期，在Web客户端实现简单的三维动画及交互操作主要是利用Java Applet和VRML（Virtual Reality Modeling Language）技术，另外还集成Java、JavaScript和Flash等，均需要依赖于特定的平台或安装相关的浏览器插件，并受限于传输带宽和网络延迟，用户体验一般［5］。基于Web的医学影像可视化主要采用在服务器进行渲染。如张艳等［6］采用Java Applet完成了WebPACS分布式工作站。

近年来，随着Web技术的迅速发展，特别是HTML5、Ajax和WebGL（Web Graphics Library）等技术的应用，基于Web的可视化可以在Web终端的GPU（Graphics Processing Unit）加速渲染，不需要在用户终端安装任何插件，已成为医学三维影像可视化研究的主流趋势［7］。在用户端进行渲染的优点是避免用户终端频繁与服务器进行参数交互和结果渲染，减少网络延迟，提高用户体验。雷辉等［8］应用WebGL+HTML5技术实现了面向Web的医学影像可视化，前后端异步操作提供渐进式可视化。MASOUD等［9］使用HTML5和WebGL技术实现医学图像数据读取、影像浏览等交互显示。刘兆明等［10］设计的可视化系统，通过HTTP协议从服务器端获取影像数据，在用户Web终端进行影像数据的三维渲染，提高三维图像的实时性及流畅性。

目前，主流的解决方案有基于Web服务端三维重建和基于Web客户端可视化［11］。基于服务端三维重建是在服务器端对医学影像原始图像进行处理及渲染，在Web客户端显示出渲染后的结果。基于客户端的三维可视化是从服务器端获取医学原始数据，在客户端进行三维重建。另外，对于复杂的三维图像渲染，部分渲染计算在服务器端进行预处理或渲染，有助于提高浏览器渲染的速度，将是不错的选择。基于Web的医学院三维可视化研究处于初级阶段，尚未有成熟稳定的产品，将有广阔的发展空间。

2 医学影像可视化技术

2.1 医学影像数据压缩和传输技术 快速从服务器端获取高质量的医学影像数据，是实现医学影像三维可视化的第一步。DICOM（Digital Imaging and Communications in Medicine）为适应B/S架构，在DICOM 3.0中加入能够实现多点通信传输WADO（Web Access to DICOM Persistent Object）协议，采用http/https协议，由Web终端向Web服务器发出http请求，Web服务器接收到请求后，进行解析请求，通过用户身份标识向PACS（Picture Archiving and Communication Systems）服务器查询数据，再返回相应的信息（包括患者信息和图像信息）给浏览器端［12-13］。赵缓缓等［14］应用视频压缩、流媒体传输和Web技术开发基于DICOM动态图像的Web浏览器系统。

数据传输管线包括数据的编码、传输、解码和渲染等环节，每个环节都非常重要，而基于Web的交互可视化主要瓶颈是在客户端执行解码和渲染。已经建立的流线型和渐进式网格格式方法，利用隐藏延迟来改进交互性，提升用户体验。目前有基于CPU（Central Processing Unit）的高效解码和使用GPU友好格式，使用GPU友好格式通过减少客户端的解码时间和更少的CPU-GPU带宽来提高性能。LAVOUE等［15］应用基于CPU的解码技术，通过解码线程与主线程解耦，使渲染和用户交互性能不受解码时间的影响。WEN等［16］提出一种渐进式网格压缩技术，基于识别模型中的相似部分，并用单个实例替换冗余部分，通过创建每个部分（轻量级渐进网格）的连续细节级别（CLODs）获得一个渐进网格，最后使用WebGL在浏览器中逐步渲染。PONCHIO等［17］在WebGL中提出一种网格渲染技术，从不同客户端设备和网络带宽出发，进行优化压缩比，提高解码和渲染。

2.2 影像数据预处理技术 Dicom图像在压缩、传输和转换等过程中，由于受到多种因素的影响，会产生噪音和失真，导致在Web传输形成的数据成像质量下降，需在成像前做相应的数据处理，以提高影像图像的重建质量和速度。目前主要的数据预处理方法：插值、平滑和滤波、增强等［18］。对原始数据进行插值运算处理增加数据量，进一步进行平滑和滤波处理，从而达到消除噪声，增强图像的效果。

2.3 三维可视化技术 医学影像三维可视化是将影像数据通过信息技术直接呈现三维图像，并可以进行人机交互。当前医学影像可视化的常见方法有面绘制和体绘制两大类［19］。另外，还有一些医学影像处理工具：VTK、MITK、ITK、DCMTK等。

面绘制是提取物体平面元信息逼近显示物体表面，通过渲染后得到三维图像，并利用特定的图形加速器进行绘制和渲染的过程，有体素级重建和切片级重建两种［20］。面绘制的速度较快，计算量小，算法效率高，交互性强，但由于面绘制只能显示一个等值面的信息而忽略了细节，显示效果较差。

体绘制的方法是基于体素与体数据场的关系，直接由三维数据场产生三维图像的技术［21］。体绘制在不进行分割的情况下而直接进行绘制，不需要构建中间几何图元，将三维体数据的内外部特征及结构展现在屏幕上。体绘制的图像清晰度高，细节逼真，但计算量大，算法复杂，绘制速度相对面绘制慢。体绘制的主要算法包括光线投射算法、足迹表算法、错切-变形算法、纹理映射算法、最大密度投影法等［22］。

目前，医学影像三维可视化技术的研究方向是改进和优化重建算法，提高图像质量和交互速度。在医学临床辅助诊断和治疗的过程中，要求绘制的图像必须高性能和高质量，因此光线投射算法在基于Web医学影像可视化应用中较为广泛，但其运算量大、重建速度缓慢等问题也较为突出。国内外学者开始一些改进算法的研究，提出多种基于WebGL的光线投射改进算法，来解决传统体绘制的缺陷，基于GPU的光线投射是目前最先进的体绘制方法［23-25］。

2.4 Web可视化技术 按照应用程序所采用的基础架构进行划分，主要有基于Web服务的可视化、基于网格的可视化、基于云的可视化和浏览器中的本地渲染等Web可视化技术。 Web服务是一中用来支持通过网络实现机器间信息交互的软件系统，由于Web服务是基于标准化的接口进行交互，不同编程语言或工具不需要考虑细节就可以顺利进行通讯和协作。Web服务有基于RESTful（Representational State Transfer）架构和基于SOAP（Simple Object Access Protocol）架构两种，基于RESTful的服务更为简单，更易与其他Web标准集成，是当前的主流趋势，但在医学影像三维可视化服务方面未得到足够关注［26］。

基于网格的可视化源于高性能和复杂仿真的高需求，利用网格资源计算和仿真结果。由于网格资源是分布式部署的，因此如何有效的使用分布式基础设施实现可视化渲染的同时，处理好带宽和交换延迟问题，将面临巨大挑战。大多数的网格可视化均是充分应用Web服务来解决此问题，Koulouzis等［27］应用Web服务的方法，实现医学图像的可视化。

基于云计算的可视化是一种新的分布式模型，是虚拟化、Web技术和网络技术进步的结果。由于云服务通常需要接入计算或存储资源有限的访问设备（如笔记本、PAD、手机等设备），因此基于云计算的可视化最大的挑战是如何在云端和接入设备之间有效的传输数据，同时减少用户端对计算资源的需求。为解决这一问题，一般将要求高、计算量大的预处理任务放在云端完成，在客户端只提取和传输可视化所需的数据。段婷婷等［28］应用HTML5和VTK实现零足迹、跨平台、瘦客户端的面向浏览器的医学影像三维可视化。

基于浏览器的本地渲染主要是为了解决在服务器端渲染所带来的网络延迟，提高可视化过程中的交互速度。随着WebGL技术的发展和JavaScript性能提高，使得在浏览器中实现高性能渲染成为可能。HTML5综合HTML4.0和XHMTL1.0的标准，结合CSS3.0和JavaScript技术，其canvas元素使得Web浏览器不需要安装插件直接显示三维图像和动画，让Web的应用开发更为高效。

WebGL是一种基于OpenGL ES 2.0，利用JavaScript API呈现3D计算机图形的技术，提供跨平台的、标准的、统一的API接口规范，为HTML5 Canvas提供硬件3D加速渲染，无需安装插件［29］。WebGL技术解决了现有的Web三维动画交互式的个难题：难以支持Web端的GPU硬件加速和对浏览器插件的依赖。为了便于开发人员理解和应用，提供较多框架和类库，如Three.js、Babylon.js等类库，通过浏览器访问GPU实现3D渲染的顶层封装库，如X3DOM和XML3D等框架，将3D图形与HTML5的DOM（document object model，文档对象模型）集成。但WebGL也存在一些不足，如易因JavaScript的计算瓶颈而受到不同程度的限制，需要将大量的医学影像数据传输至Web用户端，占用较多的带宽资源，交互响应效率不高等。

3 小结

基于Web架构的医学影像可视化系统具有跨平台、不需要安装插件，有利于远程协作和资源共享，必将成为医学影像可视化的首选平台。充分利用各端资源，将复杂的可视化预处理放在服务器或云端（如云计算）进行，在浏览器端执行渲染的混合可视化解决方案将更有发展。目前，基于Web的医学影像三维可视化主要问题仍然是带宽和延迟。在远程可视化的两个主要挑战中，虽然较多研究人员在保证图像质量的前提下，通过各种技术和算法来提高传输速度和交互延迟，但延迟问题尚无成熟的解决方案。这使得提高图像质量和减少延迟成为基于Web的医学影像三维可视化领域中最具有挑战性的问题。