面向直接体绘制的空间一致性分析方法与应用

罗月童(1978-),男,安徽青阳人,博士,合肥工业大学副教授,硕士生导师.

面向直接体绘制的空间一致性分析方法与应用

韩娟，罗月童,朱会国

(合肥工业大学 计算机与信息学院,安徽 合肥230009)

摘要:空间信息对揭示体数据内部特征具有重要意义,传统基于传递函数的直接体绘制法难以有效利用空间信息。对于基于直方图的传递函数,文章提出基于特征的空间一致度概念以刻画特征的空间特性——体素的空间聚集度,并提出考虑空间一致度的自适应光线投射法,该方法能基于空间一致度自动调节颜色和不透明度以优化绘制结果，并通过上述方法将空间信息引入到直接体绘制。多个实际体数据的测试结果表明，文中所提出的方法能有效考虑体数据的空间特性,可优化绘制结果。

关键词:直接体绘制;传递函数;空间一致度;光线投射法

收稿日期：2014-02-11

基金项目：国家自然科学基金资助项目(11005028;61070124);安徽省自然科学基金资助项目(090412066)

作者简介：韩娟(1990-),女,安徽临泉人,合肥工业大学硕士生;

doi:10.3969/j.issn.1003-5060.2015.01.010

中图分类号:TP391文献标识码：A

Researchonanalysismethodofspatialcoherence

fordirectvolumerenderinganditsapplication

HANJuan,LUOYue-tong,ZHUHui-guo

(SchoolofComputerandInformation，HefeiUniversityofTechnology，Hefei230009，China)

Abstract:Spatial information is of great significance for revealing the internal features of volume data. The traditional direct volume rendering(DVR) based on transfer function is difficult to use the spatial information effectively. In this paper， the spatial information is introduced into direct volume rendering through the following two aspects. Firstly， for the transfer function based on histogram， the spatial coherence based on features is put forward to describe the space characteristic of features， which indicates the spatial gathering degree of voxels. Secondly， the adaptive ray casting method considering the spatial coherence is proposed. The method can automatically adjust the color and opacity based on space coherence to optimize the rendering results. The test results of various volume data prove that the proposed method can effectively consider the spatial characteristic of volume data and optimize the rendering results.

Keywords:directvolumerendering(DVR);transferfunction;spatialcoherence;raycasting

0引言

直接体绘制(directvolumerendering,DVR)方法直接将3D体数据映射到2D屏幕,能快速地揭示体数据内的感兴趣特征(以下简称“特征”),已经成为最有效的体数据可视化方法之一,在生物医学、科学计算及地质勘探等领域得到广泛的应用[1]。

直接体绘制通常使用传递函数描述特征。传递函数的作用是将体数据的属性值(如密度、梯度模)映射为颜色和不透明度等光学属性,设计合适的传递函数一直是可视化领域的难点和热点[2-3]。虽然人们发展很多自动/半自动传递函数设计方法,但基于直方图的传递函数因具有形式简洁、直观、普适性强等优点[4],仍被广泛使用。目前密度-梯度模直方图[5]、密度-特征尺寸直方图[6]、LH直方图[7]等均被用于传递函数的设计。

通常特征包含一组属性相似、空间位置相连的体素,空间信息对准确刻画特征有重要意义[8]。文献[9]指出直方图/散点图完全抛弃了空间信息,因此众多研究人员积极探索在基于直方图的传递函数中保留空间信息的方法。

文献[10]通过局部范围直方图(partialrangehistogram,PRH)将体素与其领域的关系——空间信息融入传递函数,但这些方法主要用于器官检测、传递函数自动设计,难以和探索式的传递函数设计模式相结合。

文献[8]为直方图的柄添加空间属性——柄所对应体素空间位置的均值和方差,然后基于空间属性对直方图的柄进行聚类,从而发展出空间传递函数(spatialtransferfunction)。文献[4]基于空间一致性调节直方图——放大空间一致度高的直方图柄,获得名为α-histogram直方图。因为用户特征通常空间一致度较高,所以对应的柄在α-histogram中更突出和明显,因此用户也更容易设计传递函数。

文献[4，8]都是通过分析直方图的单个柄所对应体素的空间位置获取空间信息,但这可能存在不足。体数据如图1a所示,体数据中各个柄的直方图如图1b所示,基于柄的空间一致性分析结果如图1c所示,柄1~4组成1个特征F,组成特征的所有体素紧密相连,即具有很高的空间一致度,但若基于柄计算一致度，则每个柄都获得较低空间一致度,不能客观描述特征F。事实上,体绘制通过传递函数将数据分为若干特征,然后向用户展示特征,因此分析特征的空间一致性更有价值。

基于上述分析,本文提出基于特征的空间一致性分析方法。新的传递函数设计界面[4，8]一方面失去了传统基于直方图方法灵活性的优点,另一方面不利于利用用户长期积累的宝贵经验,因此本文保留传统传输函数设计模式,通过自适应体绘制将空间信息融入体绘制结果,这也是本文与之前工作的差别。

图1　空间一致性分析示例

1相关工作

1.1　传递函数

本文将从直方图和空间信息2个方面总结相关工作。直方图因信息丰富且形式简洁而被广泛应用于传递函数设计。针对基于密度-梯度模直方图,文献[5]开发了一套分类控件(如倒三角、矩形等)，允许用户自由调节设计传递函数。在文献[5]的基础上,研究人员引入曲率[9]、特征尺寸[6]、Hessian矩阵[11]、LH值[7]等属性构造不同直方图。但是用户使用分类控件设计传递函数仍需要不断尝试,为减轻用户负担,很多研究人员提出“先分析,后调节”的半自动方法,很多数据分析方法被用来构造初始传输函数,如层次聚类法[12]、迭代自组织聚类[13]、核密度估计[14]、高斯混合模型[15]及拓扑分析[16]等,但这些方法都未能考虑到数据的空间信息。文献[9]指出直方图/散点图完全失去空间信息,呼吁保留部分空间信息，并提出计算并记录直方图柄所对应体素的位置均值和方差,然后基于位置均值和方差对直方图柄进行初始聚类,并根据聚类结果自动/半自动生成传递函数。因为该方法基于位置均值和方差进行聚类,所以称之为空间传递函数。文献[4]提出生成包含数据空间一致性信息的直方图——α-histogram直方图,但分析空间一致性时没有考虑特征。本文分析了数据的基于特征分析空间一致性,这更符合直接体绘制的要求,也是本文的主要创新点。

1.2　自适应体绘制

光线投射法是最常用的直接体绘制方法,由采样、分类、积分3步组成,其中分类一般通过传递函数将采样点的属性映射到颜色和不透明度等光学属性,最终结果严重依赖于传递函数。由于传递函数的设计问题一直未能很好解决,因此人们尝试发展自适应体绘制方法,以减少对传递函数的依赖。文献[17]综合DVR方法和最大密度投影(maximumintensityprojection,MIP)方法的优点提出最大密度差积分(maximumintensitydifferenceaccumulation,MIDA)算法,MIDA算法根据最大值调整采样点透明度和当前累积透明度,可防止重要特征被其他数据遮拦，但对处于最大值之后的其他特征,MIDA算法不能有效展示。文献[18]针对上述问题改进了MIDA算法,提出能有效展示隐藏特征的绘制方法;文献[19]提出自适应体绘制(adaptivevolumerendering，AVR),该方法自适应调整光线上采样点的不透明度,能保证最远采样点具有最大可见性,能有效避免遮拦问题。文献[20]通过分析光线穿过体数据所形成的标量曲线获取体数据的结构特征,进而提出考虑结构特征的自适应光线投射算法。

本文通过自适应绘制方法将数据空间一致性应用于直接体绘制。一方面,本文方法容易和现有基于直方图的传递函数设计方法相结合,另一方面也不改变用户的操作习惯,有利于新方法的推广利用。

2方法概述

通过发展基本特征空间一致性分析方法,本文实现了体数据可视化流程，如图2所示。与传统体数据可视化相比,主要有如下差别:① 在设计完成传递函数后,自动计算空间一致度;② 渲染算法改为空间一致度调节的光线投射法。从用户的角度,除添加了子块大小、区域特征相关度阈值等参数外,新方法的交互、操作流程与传统体数据可视化方法完全类似,易于学习和使用。

图2　本文方法的整体流程

3空间一致性分析

与文献[4]类似,本文首先将数据Vol划分成一组区域N′={N1,N2,…,Nn}，Ni满足:

(1)

根据区域Ni和给定特征F相关度选出N″⊆N′,再根据选出的N″计算体素voxel(·)和柄bin(·)的空间一致度,整个过程如图2中的自动计算空间一致度部分。

3.1　区域-特征相关度

区域-特征相关度ω(F,N)表征区域中属于特征的体素所占比例,计算方法如下：

(2)

其中,|S|为集合S的基数。

区域N可以是任意形状,但本文将数据Vol划分为等大小的子块N1,N2,…,Nn。虽然子块的大小没有明确标准,但因为特征F有一定大小,如果子块太大,则每个子块中都只有少部分体素属于特征F,使得所有ω(F,Ni)都很小,难以区分子块和特征相关程度;反之如果子块太小,则ω(F,N)不能体现空间一致性,所以子块的大小应与特征的尺寸相一致。通过实验可知子块大小为83时效果最好。

3.2　空间一致度

本文涉及SC(bin(·),F)、SC(bin(·),F′)、SC(voxel(·),F)和SC(voxel(·),F′)4种空间一致度,其中SC(bin(·),F′)、SC(voxel(·),F)和SC(voxel(·),F′)均从SC(bin(·),F)派生,因此本文介绍SC(bin(·),F)的计算方法。

根据给定阈值εSC挑选出NF′={N|(N∈N′)∧|(ω(N,F)>εSC)},然后计算SC(bin(·),F),其计算公式为:

(3)

其中,SC(bin(·),F)为V(bin(·))中有多少体素包含在与特征F密切相关的子块NF′中。

本文假设V(bin(·))中所有体素具有相同的空间一致度SC(bin(·),F),则可得:

SC(voxel(·),F)=

(4)

体绘制同时涉及多个特征F′={F1,F2,…,Fn},为此本文定义存在多个特征的空间一致性SC(voxel(·),F′)和SC(bin(·),F′),SC(bin(·),F′)的计算方法如下:

(5)

其中,Fbin(·)′={F|(bin(·)∈F)∧(F∈F′)}，表示包含bin(·)的所有特征；max(S)表示S中的最大元素。

与SC(voxel(·),F)类似,SC(voxel(·),F′)的计算方法如下:

SC(voxel(·),F′)=

(6)

4空间一致度调节的光线投射法

作为最常用的直接体绘制方法之一,光线投射法首先沿光线方向对数据进行采样,然后按(7)式对采样点的颜色和不透明度进行累积,产生像素的颜色。

(7)式如下：

(7)

其中，C(x,y)为像素(x,y)的颜色；x(i)为沿光线方向的第i个采样点的位置；c(x(i))和τ(x(i))分别为采样点x(i)的颜色和不透明度,它们决定了最终的绘制结果。

为了使结果图像能更好地体现数据的空间属性——空间一致性,本文基于空间一致度调节采样点的颜色c(x(i))和不透明度τ(x(i))。

4.1　颜色

颜色常被用于在体绘制结果图像中增强某些线索,文献[21]使用颜色增强结果图像的深度线索。本文调节生成采样点x(i)的颜色公式为:

(8)

其中,ωSC∈[0,1]，为由用户给定的调节权重系数;cSC(SC(x(·)))的计算公式为:

(9)

其中,Ccold和Cwarm分别为由用户给定的冷色(如蓝色、绿色等)和暖色(如红色、橙色等)空间;ψ(t|a,b)根据给定参数将t映射到[0,1]之间,具体方法如下:

(10)

因为SC(·)∈[0,1],则ψ(SC(·)|0,1)=SC(·)等同于将空间一致度线性映射到颜色。但如果空间一致度SC(·)集中于[0,1]的小子区间中,那么ψ(t|0,1)不能充分利用Ccold到Cwarm的颜色空间,因此令：

使用以上2种颜色调节策略的效果图如图3、图4所示。

由图3可看出，数据1的空间一致度直方图在[0,1]之间较均匀分布,采用2种不同颜色调节策略的效果差别不明显。由图4可看出，数据2的空间一致度直方图集中在[0,1]的一个子区间中。由图4c、图4d可看出，采用2种不同颜色映射策略时，图4d能更好地展示空间一致度。

图3　数据1基于空间一致度的颜色调节

图4　数据2基于空间一致度的颜色调节

4.2　不透明度

因为空间一致度表示体素和特征相关程度,因此增强/弱化空间一致度高/低的体素能更准确、清晰地展示特征,减少其他数据(如噪音)的干扰。本文通过调节不透明度来增强/弱化体素,调

节方法如下:

(11)

其中，φ(·)为不透明度调节策略。采用3种不同透明度调节策略的效果图如图5所示。

图5　不透明度调节策略的效果图

5结果与分析

本文方法在体绘制框架程序Voreen下[22]已经实现,空间一致度、人机交互等采用C++语言进行编写,使用GLSL着色语言实现空间一致度调节的光线投射算法,开发平台为Microsoft Visual Studio 2010。本文选取了3组实际数据展示相关算法的效果和性能,分别为足部数据、胸腔数据和盆景数据,尺寸均为256×256×256。所有实验均在以下平台上进行:Intel I3 2.93 GHz CPU、2.0 GB RAM内存、NVIDIA GeForce GTS450 GPU图形卡,操作系统为Microsoft Win7 32 bit。

使用颜色表示相应体素空间一致度的光线投射效果如图6所示。图6a、图6d、图6g为均未使用空间一致度调节的效果图;图6b、图6e、图6h中,空间一致度[0,1]线性地映射到“冷-暖”颜色空间,没有考虑数据的空间一致度的实际分布情况;图6c、图6f、图6i根据数据空间一致度的实际情况调节映射策略,将实验数据空间一致度的最小值映射到冷色调,将空间一致度的最大值映射到暖色调。在足部数据中的骨骼分布比较集中,但肌肉数据则受到其他组织的干扰,但图6a不能揭示这种现象,而图6b和图6c能通过颜色向用户揭示骨骼和肌肉的差异,但因为肌肉和骨骼的空间一致度都集中于较高部分,这导致图6b不能很好地体现两者之间的差异,而图6c则能充分利用颜色空间,体现空间一致度之间的差别。盆景数据展示了与足部数据的类似结论。图6h和图6i比较类似,这是因为盆景数据的空间一致度较均匀地分布在[0,1]之间,所以2种颜色调节策略在本质上是相同的。

图6　一致度调节颜色的光线投射效果

传统光线投射法的绘制效果如图7a、图7e所示，阶梯映射、线性映射和高斯映射3种透明度调节策略的效果分别如图7b和图7f、图7c和图7g、图7d和图7h所示。

图7　一致度调节不透明度的光线投射效果

图7a中所有器官的外表面都有一层蓝色杂质薄膜,但因为杂质数据的空间一致度较低,所以通过空间一致度可降低相关杂质数据的不透明度,从而能更清晰地展示各个器官,与图7e相比,图7f、图7g、图7h更清晰地展示了树干特征,这是因为虽然树叶和树干的密度值类似,但树干的空间一致度较高而树叶的一致度较低,所以可以基于空间一致度增强树干特征而弱化树叶特征,进而更清楚地揭示树干特征。本文实验结果显示阶梯映射、线性映射和高斯映射3种策略之间的差异不大,说明本文方法对用户参数不敏感,因此用户无需精确地调整参数,减轻用户负担,因而算法的易用性较好。

6结束语

体数据的空间属性能有效刻画体数据的内部特征,但传统基于传递函数的直接体绘制方法却未能有效考虑空间属性。本文通过基于特征的空间一致度和自适应光线投射法,在直接体绘制中引入“体数据的特征通常由一组空间位置相近的体素组成”,从而达到利用体数据的空间属性优化直接体绘制方法的目的,所有计算过程对用户透明,不影响用户的操作习惯,因此很容易被用户接受。多组数据的测试结果表明本文方法的有效性和易用性。

不同的子块划分策略对空间一致度有显著影响,目前本文通过实验选取了固定划分策略,但肯定不是最优的方案。另外本文只是利用计算空间一致度调节光线投射法,并认为空间一致度可以指导用户优化传递函数设计,因此利用空间一致度优化传递函数设计是进一步的研究方向。

[参考文献]

[1]Zudilova-Seinstra E，Adriaansen T，Van Liere R.Trends in interactive visualization:state-of-the-art survey[M].London:Springer-Verlag London Limited，2009:5-416.

[2]Pfister H，Lorensen B，Bajaj C.The transfer function bake-off[J].Computer Graphics and Applications，2001，21(3):16-22.

[3]郭翰琦，袁晓如.体数据可视化传递函数研究[J].计算机辅助设计与图形学学报，2012，24(10):1249-1258.

[5]Kniss J，Kindlmann G，Hansen C.Interactive volume rendering using multi-dimensional transfer functions and direct manipulation widgets[C]//Proceedings of the Conference on Visualization’01,2001:255-262.

[6]Correa C D，Ma K L.Size-based transfer runctions:a new volume exploration technique[J].IEEE Tansactions on Visualization and Computer Graphics，2008，14(6):1380-1387.

[7]SeredaP，VilanovaA，SerlieIWO.VisualizationofboundariesinvolumetricdatasetsusingLHhistograms[J].IEEETransactionsonVisualizationandComputerGraphics，2006，12(2):208-218.

[8]RoettgerS，BauerM，StammingerM.Spatializedtransferfunctions[C]//ProceedingsoftheSeventhJointEurographics/IEEEVGTCSymposiumonVisualization,2005:271-278.

[9]KindlmannG,WhitakerR,TasdizenT,etal.Curvature-basedtransferfunctionsfordirectvolumerendering:methodsandapplications[C]//ProcofIEEEVisualization,2003:513-520.

[11]SatoY，WestinCF，BhaleraoA.Tissueclassificationbasedon3Dlocalintensitystructuresforvolumerendering[J].IEEETransactionsonVisualizationandComputerGraphics，2000，6(2):160-180.

[12]SeredaP，VilanovaA，GerritsenFA.Automatingtransferfunctiondesignforvolumerenderingusinghierarchicalclusteringofmaterialboundaries[C]//ProceedingsoftheEighthJointEurographics/IEEEVGTCSymposiumonVisualization,2006:243-250.

[13]TzengFY，MaKL.Acluster-spacevisualinterfaceforarbitrarydimensionalclassificationofvolumedata[C]//ProceedingsoftheSixthJointEurographics/IEEETCVGSymposiumonVisualization,2004:17-24.

[14]MaciejewskiR，WooI，ChenW，etal.Structuringfeaturespace:anon-parametricmethodforvolumetrictransferfunctiongeneration[J].IEEETransactionsonVisualizationandComputerGraphics，2009，15(6):1473-1480.

[15]WangY，ChenW，ShanG，etal.Volumeexplorationusingellipsoidalgaussiantransferfunctions[C]//IEEEPacificVisualizationSymposium,2010:25-32.

[16]WangYH，ZhangJ，LehmannDJ，etal.Automatingtransferfunctiondesignwithvalleycell-basedclusteringof2Ddensityplots[J].ComputerGraphicsForum,2012,31(4):1295-1304.

[18]周志光，陶煜波，林海.一种有效揭示隐藏特征的光线投射算法[J].计算机学报，2011，34 (3):517-525.

[19]MarchesinS，DischlerJM，MongenetC.Per-pixelopacitymodulationforfeatureenhancementinvolumerendering[J].IEEETransactionsonVisualizationandComputerGraphics，2010，16(4):560-570.

[20]罗月童,谭文敏,韩娟,等.一种考虑结构特征的自适应光线投射算法[C]//第十七届全国计算机辅助设计与图形学学术会议论文集.北京:清华大学出版社,2012:186-190.

[21]DíazJ，VázquezP.Depth-enhancedmaximumintensityprojection[C]//Proceedingsofthe8thIEEE/EGInternationalSymposiumonVolumeGraphics,2010:93-100.

[22]RopinskiT,BockA,DiepenbrockS.Voreen:volumerenderingengine[EB/OL].[2014-02-11].http://www.voreen.org/.

(责任编辑闫杏丽)