心血管造影图像分割方法综述①

李 越,蒋路茸,童基均

(浙江理工大学 信息学院,杭州 310018)

心血管相关疾病患病率逐年上升,是世界公认的最常见的死因之一,严重威胁人类健康[1].《世界卫生报告》[2]指出全球每年因心血管相关疾病引发的疾病及其并发症的死亡率已经超过了所有癌症死亡率之和.其中,冠心病的致死率很高,诱发冠心病的主要因素是冠状动脉狭窄,它会影响心脏供血,严重会威胁生命[3],因此研究血管狭窄程度可以辅助相关心血管疾病的诊断和治疗评估.目前冠心病诊断的“金标准”[4]还是数字减影血管造影DSA (Digital Subtraction Angiography),其他文章也有称之为常规冠脉造影CCA (Conventional Coronary Angiography)[5,6].采用这种介入方法可以最为直观地显示血管的形态和结构.DSA 是一种用于介入放射学的透视技术,可清晰地显示骨性或致密软组织环境中的血管.成像时,向血管中注入造影剂,利用血管和其他组织部分对造影剂产生的差异来进行成像.

关于造影DSA 图像中血管的分割,相关的研究人员已有过研究和综述[7-9],对血管的分割方法进行了较为详细的总结,包含不同部位、不同类别的图像,但针对某一种类别图像及特定部位的图像分割方法涉及较少.针对心血管造影图像的分割,Tayebi 等[10]将用于血管分割的模式识别方法分为6 类:多尺度方法、区域生长方法、匹配滤波法、数学形态学法、基于骨架的方法和基于脊的方法.在其他造影图像中,眼底荧光血管造影FFA (Fluorescein Fundus Angiography)图像相较于DSA 图像而言,背景里没有骨骼,软组织,造影剂等噪声因素,其分离难度略低,相关的研究也比较多,也有相应的金标准数据集[11].很多在眼底血管分割中使用的方法可以在心血管的分割中使用,但是由于心血管DSA影像自身的特点,还需要对这些方法进行创新和调整.

本文在参考这些综述的基础上,结合近几年的文章和分割方法,专门针对心血管造影图像的分割方法进行了新的总结和,将从3 个不同的方面:预处理、分割方法、评价标准来细分和总结,技术框架如图1所示.

图1 心血管造影图像分割技术框架

1 预处理

由于心血管造影图像的特殊性,其图像内存在大量噪声,图像模糊不均匀,还存在其他组织或者骨头部分的影响.因此图像预处理效果的好坏会直接影响到后续图像分割算法的效果,图像的预处理一般有两个目的:尽可能滤除图像中的无关干扰噪声,对图像目标部分进行增强处理.

1.1 基于空域和频域的增强

传统图像处理里面的增强方法大体上分为两大类:基于空域和频域,如图2所示.基于空域的方法主要是对图像像素的空间域信息直接进行处理,基于频域的方法首先将图像由空间域变换到频率域,根据实际需要,在频率域对图像进行处理,最后再反变换回到空间域,完成降噪或增强操作.

图2 基于空域和频域的图像增强

灰度变换主要用于调整目标血管和背景造影剂之间的灰度差,使得两者之间对比度更大,以便于后续目标和背景的分离.直方图均衡是一种基于图像的全局处理方法,能在一定程度上提高图像整体对比度,但是增强过程中会导致相邻灰度级合并,进而使得图像中血管的细节消失.针对这种不足Reza 等[12]提出对比度受限的自适应直方图均衡方法CLAHE (Contrast Limit Adaptive Histogram Equalization),但是这种方法在灰度级变化范围较小的图像的增强效果不明显,在变化范围较大的区域可能会产生伪影.Zeng 等[13]提出一种新的方法,首先提取X 射线图像的边缘信息,然后根据边缘信息对图像划分区域,分别对不同区域的灰度直方图赋予不同的权值,以增强目标区域削弱背景区域.这种方法对背景较为单一、结构较为简单的图像增强效果比较好,对于结构比较复杂、对比度不高的图像效果不理想.

线性滤波和非线性滤波是图像处理领域历史悠久,且操作十分便捷的去除图像中椒盐噪声及高斯分布噪声等的滤波方法.在心血管分割中经常作为分割之前的前处理工作[14,15].陈楷丰[16]提出一种双边滤波器,他将改进后的基于Hessian 矩阵和基于高斯一阶导数的匹配滤波器结合起来对造影血管进行增强.

同态滤波是基于图像的频域,将图像的亮度范围进行压缩同时增强图像对比度的方法.Oh 等[17]提出一种基于形态学同态滤波的增强方法,对图像中较暗的血管区域,进行形态学滤波操作,提取不同层级的频域高通分量和低通分量,对其赋予不同的权值,来增强目标的特征,抑制背景部分.

1.2 基于多尺度方法的增强

多尺度方法是使得图像在不同的图像分辨率下进行处理.由于图像在选择不同分割尺度进行分割时,分割的结果会不同.若采用单一尺度进行分割,分割的结果很难全面地反映分割对象的特征,所以采用多个尺度综合多个不同分割尺度下的目标特征,可以得到更佳的分割效果.从低分辨率图像中提取大的主干结构,诸如大血管的主要结构,同时从高分辨率图像中提取其余精细的结构,末梢处细小的血管部分.多尺度方法在图像增强处理主要分为3 种:多尺度Hessian 增强、多尺度形态学增强以及多尺度Gabor 滤波器增强.

(1)多尺度Hessian 增强

基于Hessian 的多尺度增强方法由于能够获取血管的尺寸和方向信息而被广泛使用,其中Hessian 矩阵特征向量与血管结构有关.传统的基于Hessian 的增强方法[18]涉及多尺度高斯滤波器的多尺度卷积和Hessian特征值分析,以像素为基础确定结构的局部形状(线状或斑点状).

在数学中,Hessian 矩阵是函数的二阶偏导数的平方矩阵,它是一种基于二阶导数的矩阵,描述的是一个多变量函数的局部曲率[19],根据这个矩阵两个特征值的特性,可以进行线性结构的增强,以及点状噪声点的去除.根据线性尺度空间理论[20],求微分的过程可以等价于原函数于高斯滤波器函数导数的卷积.

在进行二阶偏导求取之前,需要进行高斯平滑操作,所以高斯模板的方差大小对偏导数的大小会有影响,求导窗口太大,血管中细微的结构可能会丢失,窗口太小,可能会出现空洞的现象.针对此,Frangi[18]提出使用多模板的方法,对同一个点进行多种尺度的高斯模板进行卷积操作,选择其中响应度最高的结果作为输出.

心血管造影图像中,血管类似于管状,响应值比较大,背景的响应值比较小.血管处的矩阵特征值是一大一小,血管交叉处矩阵特征值两个都很大,背景点处两个都较小,令 λ1,λ2表示Hessian 矩阵的特征值,且|λ1|＜|λ2|,用两个变量来表示两个特征值的关系,如式(1)和式(2)所示:

在当前的尺度下,血管区域的响应函数如式(3)所示:

其中,β 和c分别是控制RB和S敏感度的参数.在相同尺度的响应函数中,尺度因子越大,对较为粗的血管增强效果越好,尺度因子越小,对于细小的末梢血管增强效果越好.

这种方法的缺点在于它们有二阶导数的存在而对噪声高灵敏度,由于角点的特征与类似斑点的结构很相似,这个方法可能会抑制角点,从而导致血管网络的不连续性.为了克服上述问题,Truc 等[21]采用方向滤波器组提取线状方向特征来增强血管,以在嘈杂的环境中获得更有效地显示小而细的血管,同时它能够避免角点抑制,可以产生连续的血管树.但是,这种方法通常会导致强度不均匀性,尤其是在血管连接区域.Xu 等[22]进一步改进文献[21]的方法,通过计算血管相似性度量作为增强方向图像重组中的权重,以此来极大地保留尖锐血管边缘,但由于强度的增强,血管交叉处的信息可能会丢失.Zai 等[23]采用引导滤波器作为预处理步骤,可以抑制图像噪声,平滑血管结构.

改进血管函数可以通过减少参数或者构造新的血管函数,进而简化计算.Zhang 等[24]简化了血管响应函数,去除了参数c,引入了新的a rctan(λ2/λ1)放入血管响应函数中,可以简化计算,且能显现更多的小血管.陈建辉等[14]也将a rctan(λ2/λ1)放入血管相应函数中,构造了新的血管响应函数,对细小血管的分割效果更好.Li 等[25]在分割CT 图像时提出的血管响应函数,只有 λ1和 λ2,形式十分简单,不需要设置参数,避免了在实际使用中参数的调整以及不同图像之间相同参数但效果差异较大的情况.Zhou 等[26]在设计血管响应函数时,将尺度引入了判别条件,来适应不同尺度下的变换.Tsai 等[27]提出一种自适应特征变换函数,在函数中嵌入了尺度变换因子,结合了10 个不同的尺度,与其他增强方法相比,运算简单且精度更高.

由于Hessian 增强对于血管的增强效果良好,后续许多研究者将此方法作为分割处理的一个步骤,再结合其他不同的方法,达到更好的分割效果.

(2)多尺度数学形态学增强

数学形态学操作[28]利用形态学算子提取图像中相应的结构,可以进行图像的滤波、分割、分类等操作.心血管造影图像中血管的灰度和背景的灰度不同,可以通过数学形态学操作使得图像中亮的区域和暗的区域对比度更强.

文献[29-31]提出的多尺度形态学可以改善传统形态学变换的效果,获取更多图像细节,但是也可能在增强过程中引入新的噪声.Sun 等[32]在使用模糊滤波和分水岭变换对血管进行分割之前采用多尺度数学形态学对血管树进行增强处理.Bai 等[33]提出多尺度Top-Hat增强方法,这个方法基于4 种最基本的数学形态学运算,每种图像运算都可以改变图像的对比度特性,但不同大小的结构元对图像的效果不同,从中选择最优特征进行增强操作.这个方法在保留图像细节以及抑制图像噪声方面表现良好,但是从整体上看,整体对比度提升不明显.Fazlali 等[34]采用Bai 的方法在用超像素方法对血管进行分割之前采用多尺度Top-Hat 的方法增强原始造影图像中血管部分和背景部分的对比度.

(3)多尺度Gabor 滤波器增强

Gabor 函数是图像处理中用于边缘提取的一种线性滤波器[35],一个二维的Gabor 滤波器是一个正弦平面波调制的高斯核函数.在图像特征提取通常使用一组频率和方向都不同的Gabor 函数.Cruz-Aceves 等[36]使用多尺度Gabor 滤波器对造影图像进行增强,并和一些多尺度Hessian 增强的方法进行了对比,测试相同的图片时,其提出的方法曲线下面积最大,性能最佳.

图3分别列举了增强方法里面具有代表性的增强结果.由于心血管造影血管图像的特殊性,增强处理很难将血管完全分离出来,只能将血管增强作为一个预处理步骤,后续搭配不同的方法将血管整体分割出来.表1总结了常用的分割预处理方法及其对应文献.

图3 心血管造影图像增强效果

表1 预处理方法及其参考文献

2 分割方法

2.1 传统分割方法

由于心血管造影图像中血管具有相对好的连通性、封闭性,使得基于阈值的方法、区域生长的方法、基于统计学区域融合的方法以及基于匹配滤波的方法在分割中较为常见.

(1)阈值分割

其中基于阈值分割的方法由于其操作简单的特点,很早就被用于目标分割,它主要在目标于背景对比度较大的图像中发挥作用,分为全局阈值法和局部阈值法.全局阈值法对图像设定一个固定的阈值进行分割,只能用于目标简单,且图像较为简单的图像的分割.局部阈值法首先通过一些局部统计量例如方差等来分别计算阈值[49]或者直接将图像划分为几个子图,对每个子图进行阈值分割.还有一种常用的最大类间方差法[50]是一种可以自适应确定阈值的分割方法.对于心血管DSA图像,其背景较为复杂,分割难度较大,不管是全局阈值法还是局部阈值法都不能找到一个合适的阈值进行分割,所以阈值法一般作为分割过程中的一个处理步骤.

Khaleel 等[51]针对心血管DSA 造影图像,首先进行高斯匹配滤波器操作,再用阈值检测进行分割.Lian 等[52]使用过基于迭代阈值的方法提取血管中的畸形部分,他们首先将图像分割成数个子图像,采用最大类间方差法将这些子图像分成两个不同的类别,集合子图像间的灰度平均值和中位值不断迭代.Cruz-Aceves 等[36]采用基于多目标的阈值方法对多尺度Gabor 滤波器的幅度相应进行二值化来对血管进行分割,从40 张图像中提取阈值特征,对40 张测试图片进行测试,同时将其结果与其他7 种阈值分割方法进行对比.

(2)区域生长

基于区域生长的方法首先设定一个种子点,不断遍历种子点像素的四邻域或者八邻域,将和种子点相似的点归入同一个集合中,再寻找集合中点的邻域相似点,不断扩大区域,直至完成分割,这种方法对存在噪声以及对比度不均匀的像素区域及其敏感,很易出现空洞或者过分割的情况[53,54].因此,实际使用中,区域生长的方法经常和其他分割方法结合使用.

由于血管的管状连通结构,区域生长法十分适合对血管的连通区域进行提取.为了避免各个血管段之间以及和背景之间造成的误分割,Sekiguchi 等[55]在分割脑部MRA 血管时提出了基于分支的区域增长方法,对不同的分支采用不同的区域生长过程.Li 等[56]提出一种结合灰度信息和空间信息的方法,作为进行区域生长操作之前的条件判决,提高了算法的健壮性.但是,在一些存在伪影,或者对比度很低的血管区域,区域生长的方法效果不佳,很有可能导致误分割.

Wang 等[38]首先进行多尺度Hessian 增强,基于多个种子点进行区域增长,可以连接非连续的血管段,比单个种子点增强方法效果更好.Kulathilake 等[6]利用数学形态学方法和漫水填充方法实现区域增长操作,最后从标记的血管结构中提取血管边缘.Asma 等[40]在进行多尺度Hessian 增强之后,进行的区域生长操作也是基于不同尺度的,设定的生长规则由于考虑了不同的尺度,其结果对细小血管的分割结果更好.庄宇等[42]在多尺度Hessian 增强的特征图上采用种子点的自动选区方法分两个阶段进行区域增长来提取血管轮廓.

(3)统计学区域融合

基于统计学区域融合的方法最早由Nock 等[57]在2004年提出,此方法将图像中的像素点的灰度值看作一个统计学模型,判断相邻像素点之间的相似性,所有的像素点进行逐个判断,是否进行区域合并,最后根据统计学的分布特征来实现像素的融合.

陈建辉等[14]在多尺度Hessian 增强的基础上,采用统计学区域融合的方法对目标血管区域进行融合,得到分割好的血管,再利用水平集方法对血管骨架进行提取,进而评估血管狭窄程度.Wan 等[43]对多尺度Hessian增强后的结果中目标部分的像素值采取4 邻域统计学区域合并的方法,用3 套人工分割的结果分别和算法分割的结果进行平均绝对误差、豪斯多夫距离、DICE相似系数、敏感度、特异度、准确度的比较,同时还对比了其他几种分割方法.其分割的效果如图4所示.

图4 统计学区域融合分割效果[43]

(4)匹配滤波法

基于匹配滤波法是通过将图像与各种匹配滤波器进行卷积来完成目标提取的一种方法[58].因为造影图像中血管的大小尺度各异,所以需要设计不同方向和尺度的多个过滤器进行卷积来提取血管轮廓.在实际使用中,匹配滤波器法通常与其他图像处理算法一起使用,例如阈值分割和连通域分析.

这个方法主要是基于信号处理中的匹配滤波器,当匹配滤波器性能和信号的特性取得一致时,可以使得滤波器输出的信噪比最大,根据此来进行匹配滤波器的设计.Khaleel 等[51]设计的一种基于高斯匹配滤波器,首先进行高斯匹配滤波再进行阈值检测进行分割.Cruz-Aceves 等[59]为了优化基于高斯匹配滤波的分割方法,比较了4 种仿生算法,最后对比结果表明差分进化算法的分割效果最佳.后续他们又提出一种基于神经网络的多尺度高斯匹配滤波器[60],改善了之前只有单一尺度检验血管的缺陷,其效果如图5所示.

图5 匹配滤波法分割效果[60]

2.2 可形变模型

可形变模型首先将待分割的血管结构(一般指曲面或者曲线)定义为一个初始血管模型,这个模型受到内力和外力的作用会逐渐发生形变,当这个形变逐渐接近血管轮廓时,就可以将血管分割结构分割出来.一般血管模型受到的外力指图像的特征,比如像素灰度值,梯度等,受到的内力一般只曲线自身的形态特征,比如曲率、弧长等.根据形变模型的分割方法可以分为基于边界和基于区域的方法.

(1)基于边界

基于边界的方法中,蛇线模型[61]以及水平集方法[62]在血管分割中的应用较为广泛.其主要原理是利用梯度矢量流(Gradient Vector Flow,GVF)[63]以及区域内外的内外力约束指导模型向边界移动,实现分割.

Devi 等[64]为活动模型提供了一种新的外力,解决了很多snake 模型无法提供更好捕获范围和进化停止机制的问题.Brieva 等[65]提出一种基于Mumford-Shah函数的方法,使得在分割复杂冠脉血管树时效果更好.Sum 等[66]提出基于水平集的动态轮廓分割方法,通过引入区域的统计参数和局部的图像差异可以解决灰度强度不均匀的问题.Khokhar 等[67]在标准水平集函数中引入了曲率特征能量函数,提高了曲线演化的能力,且所需迭代次数少.

水平集分割方法对复杂的图像容易收敛于能量极值,而且计算量较大.在背景复杂的图像中,容易收到噪声和伪影的影响,造成误分割.

(2)基于区域

基于区域的形变模型方法主要通过前景和背景的区域统计信息来指导血管模型的轮廓演变,图像在分割时被分为目标前景区域和背景区域,根据边界、前景和背景的统计特征定义一个图像能量函数,当模型发生演变时,能量会随之发生变化,当总能量最小时,前景区域即为目标区域.因此能量函数的定义对分割精度影响很大.Wang 等[68]利用基于区域能量模型的方法,提取血管部分以及分割脑部MRA 图像.Dehkordi 等[45]提出的局部特征适应LFF 模型可以提取强度不均匀造影图像中的血管树.Sun 等[69]提出的局部形态学适应LMF模型能够处理强度不均匀的血管图像,这种方法鲁棒性较强,无需前后处理.

基于可形变模型的方法设置的能量泛函只依赖于曲线参数的选择,而且受初始轮廓影响较大,对于复杂的曲线拓扑结构处理起来比较困难,这是可形变模型法在血管分割泛化中受到限制的原因.

2.3 轨迹追踪法

基于追踪的分割方法是一种模板匹配方法,应用于具有连续结构的图像分割.首先指定一个特定结构的模型,通过计算模型自身和周围的局部特征来确定下一个模型的位置和方向,利用不同的图像特征例如梯度来不断评估图像和设定模型之间的匹配程度,不断修正和调整方向来获得与目标最为匹配的血管模型.这个方法多用于3D 模型的分割.在2D 图像的分割过程中,首先需要给定一个或者多个种子点,种子点可以通过手动标记或者血管增强的方法得到,再根据局部算子对中心线或者血管边界进行追踪.追踪方法可以分为基于模型的方法和最小成本路径法.

基于模型的方法,主要的缺点是如果遇到血管强度不均匀或者噪声很明显以及病变区域,追踪会提前终止.Zhou 等[26]采用一种基于多特征的模糊识别方法来指导概率跟踪算子沿着血管树的跟踪,在跟踪过程的同时实现对血管轴线和直径的测量.后续他将血管结构识别算子和血管跟踪算子引入血管的模糊推理识别中实现对血管分叉等的跟踪[44].

基于最小成本路径的方法一般是用于提取血管中心线,为后续狭窄程度评估或者三维重建奠定基础.文献[70,71]里提到了利用空间中中心线的位置以及图像灰度特征来进行血管表面的提取,其优点在于搜索速度快,避免出现局部最小值的情况.将最小成本路径方法和区域增长方法结合还可以克服血管交叉处的影响,提取较为细小的血管[54].

轨迹追踪法需要在最初人工选定起点和终点,是一种半自动化的分割方法,必须依赖于相关人员的判断和操作.如何使其自动化以及更加高效在检测血管边界和中心线的过程中有重大意义.

2.4 图论

基于图论的方法是将整个图像映射为图的一种方法.其中一种经典的图割分割算法通过求解能量函数最小化问题进行分割.Hernández-Vela 等[72]在提取中心线及进行半径测量时利用图割的能量函数进行全局优化,可以实现血管的自动分割.这种方法十分便捷,但是在计算时时间复杂度和空间复杂度较高.

另一种常用的方法是随机游走算法,它将图像看作包含固定顶点和边的连通带权无向图,首先人工指定目标初始种子点以及背景种子点,然后根据各个顶点到这两个种子点的概率判断种子点在随机漫步时的归属类.M’hiri 等[46]提出的血管随机游走方法,将Hessian 增强和随机游走相结合,需要人工选定种子点进行分割.王光磊等[37]采用一种新的自适应阈值分割法进行预分割,再通过结合数学形态学为随机游走算法提供种子点,可以实现自动化分割.其分割结果如图6所示.

图6 随机游走算法分割效果[37]

2.5 机器学习

基于机器学习的方法是将分割问题转化为一个分类问题,是近几年应用最多的一种分割方法.不断有新的机器学习方法和深度学习方法应用到医学图像的处理当中来[73,74].早在1995年,Nekovei 等[75]就采用BP神经网络来对血管结构进行检测,将预先标记好的造影图像送入神经网络中进行训练.近几年卷积神经网络CNN 在的一些图像分割处理当中取得不错的效果[76].在所有的深度学习网络结构当中,U-Net 是目前在二维医学图像分割领域中应用最为广泛的一种网络结构[77].它由Ronneberger 等[78]在FCN 的基础上提出,主要特点是网络呈现“U”型,其上采样层和下采样层数量相等.

基于机器学习的方法主要分为两类,一类是需要建立分割标准的有监督方法,这个分割标准(Ground-truth)需要由专家手工标记得到,由于血管数目繁多,手工标记比较耗费时间,用于有监督方法的机器学习要求将Ground-truth 组成训练集,从训练集数据中运用相关机器学习方法推断出一种模型,利用这个模型对未分割的图像进行分割.近几年使用很多的CNN 和U-Net 网络都属于这种有监督方法.

Nasr-Esfahani 等[47]从每个512×512 进行顶帽操作后的造影图像中提取40000 个图像块,一半来自血管,一半来自背景区域,将这些图像块输入CNN 网络,进而通过判断是血管还是背景来对血管实现分割.后续他们将全局的信息和局部信息结合起来[48],并且引入了canny 边缘检测器来进行训练,得到的分割效果更好.Yang 等[79]在CNN 单通道的方法上加入了图像掩模通道,用双通道的处理办法在去除导管区域和伪影方面效果更高,如图7所示.Jo 等[80]提出一种选择性特征映射的方法,用以分割心血管图像中的左前降主干.Zhao 等[81]在imagenet 基础上建立一个初始神经网络,再将其运用到针对半监督视频对象分割问题的单镜头视频对象分割[82]的CNN 框架上.

图7 双通道卷积神经网络分割[79]

李裕[5]使用多尺度Top-Hat 算法增强血管的细节特征,使用修改后的U-Net 模型对心血管造影图像进行分割,如图8所示.杨少戈[83]获取了大量不同体位不同病变情形的冠脉造影图像,对其进行粗标注和精细标注,使用PSPNet 网络分别训练不同体位下的冠脉造影图像,对其进行分割.Yang 等[84]提出一种基于U-Net架构的全卷积网络结构,在DICE 系数中加入了假阳性和假阴性的惩罚项,引入了一种新的损失函数PGD对主血管部分进行分割.Au 等[85]第一次采用深度学习来全自动实现评价血管狭窄程度的QCA[86]过程,主要分为狭窄部位的定位,血管的分割,狭窄程度三个方面.Fan 等[87]将造影前的图像掩模信息和造影后的血管信息都用作多通道的输入以增强血管的结构信息,还对掩模图像和血管图像进行了匹配,以获得更加精确的对准效果.Jun 等[88]为了克服U-Net 在编码和解码块之间只有一组级联层的限制,引入了T-Net 一种全新的网络,在编码器处理期时适当安排池化层和上采用层,使得预测的掩模更加精准.

图8 改进U-Net 网络分割[5]

另一类是无须制作人工标记标签的无监督方法,直接从输入数据中寻找隐藏规律,其中聚类算法使用最为广泛.Plourde 等[39]采用机器学习的方法来改善经过多尺度Hessian 增强处理之后的造影图像,使用基于轮廓的算法进行特征提取,再利用支持向量机SVM 对其进行分类.这个方法可以提升多尺度Hessian 增强的效果.Lassó等[89]利用支持向量机SVM 去学习造影剂注入后引起的图像灰度演变的特征,根据演变特征,设计增强方法,进而更好地抑制噪声部分.

2.6 超像素方法

超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的具有视觉意义的像素块,通常是不规则的.与像素相比,提取超像素更加有利于提取图像的局部特征,且计算复杂度更低.目前关于基于超像素分割的算法主要分为两类,一类是基于图论的方法,一类是基于梯度下降的方法.Achanta 等[90]提出的SLIC 算法将彩色图像转换为5 维特征向量,再构造度量标准对像素进行局部聚类,此算法运算速度块,生成的超像素块较为均匀.Fazlali 等[34]在对原始造影图像进行多尺度Top-Hat 变换和多尺度Hessian 增强操作后,利用多尺度分割方法对血管进行初始分割,然后计算每个超像素块的血管概率,和设定的阈值相比较,进而区分出血管部分和背景部分,实现分割,效果图如图9所示.

图9 基于超像素方法的分割效果[34]

由于目前没有公开的金标准数据集,不同研究人员采用的图片数据不同,评价标准也不相同,其研究成果很难拿来比较.表2总结了常用的分割方法及其对应文献,还包括检测分割算法时所测试的图片数量及使用的评价标准.

3 评价标准

对于血管分割的评价指标,金标准还是由临床专家医生手动分割的图片.由于在专家们进行手动分割时会产生人工误差及因主观性判断导致的不一致,因此需要提出使用不同的策略来对金标准进行选定,即在血管分割中选择大部分专家都认同的血管段作为分割金标准,或者建立可信度列表,在出现分割争议时,根据可信度列表排名进行评判[83].但是以上方法,不能够引入分割结构的先验信息,并且不能够评估局部的分割效果.为了解决这个问题,引入同步真实性能水平估计STAPLE (Simultaneous Truth And Performance Level Estimation)算法[91],该方法结合先验模型对被分割结构的空间分布进行约束,再对每个不一致的分割结果的性能进行度量,最后利用标签融合方法将各个专家的分割结果以最佳的方式结合起来.

表2 分割方法及其对应文献

在评估分割算法的性能时,通常采用真阳性TP(True Positive),真阴性TN(True Negative),假阴性FN(False Negative)和假阳性假正例FP(False Positive).4 种数据的参数表[92]如表3所示.分析这4 个数据又可以产生不同的评价指标,例如灵敏度,特异度,准确率(即查准率),召回率(即查全率),阴性预测值PPV,阳性预测值NPV,边界误差.除此之外,还有平均绝对误差MAD(Mean Absolute Difference)[93]、豪斯多夫距离HD[94]、D ICE 相似系数DSC[95]、Jaccard 系数JAC[96]等评价标准.

表3 用于评价血管分割的参数表

灵敏度和特异度是指在预测为真或者假里面分别真实为真或者假的概率,其定义分别如式(4)和式(5)所示.

准确率关注的是分割结果中有多少是正确的,召回率关注的是有多少血管部分被正确地预测处理,其定义分别如式(6)和式(7)所示.

事实上,准确率P和召回率R互相矛盾,P高时,R就低,R高时,P就低.所以为了综合评价分割性能,引入P-R 曲线,P-R 曲线也可根据其曲线下面积AUC(Area Under Curve)来对图像的分割效果进行评估[97],AUC 越大,其性能越好.此外,F1 度量也可以综合准确率和召回率,其定义如式(8)所示.

F1 度量值越大,其性能越好.DICE 相似系数是F1 度量的另一种表达形式,其定义如式(9)所示.

其中,X表示实际的目标血管区域,Y表示分割方法分割的血管区域.DSC值越大,表明分割方法分割的目标血管和实际血管区域重合度更高.

阴性预测值NPV和阳性预测值PPV这两个评价标准建立在算法已经对图像中的像素做出预测的基础上.NPV表示如果算法将像素预测为非血管部分,该像素被正确预测的概率,如式(10)所示,PPV表示如果算法将像素预测为血管,该像素被正确预测的概率,如式(11)所示.

边界误差可以反映在血管的边界算法的分割效果优劣,边界误差越小,算法效果越佳,计算方法如式(12)所示.

平均绝对误差MAD计算分割方法的分割结果边缘上每个点和相应手动分割金标准上最近的点的平均误差值,如式(13)所示.MAD值越小,则说明算法分割结果和手动分割金标准结果最为相似.

豪斯多夫距离HD是描述两组点集之间相似程度的一种度量,其定义如式(14)所示.

Jaccard 系数(JAC)用于比较有限样本集合之间的相似性和差异性,它的定义是集合α和β交集的大小与其并集大小的一个比值,如式(15)所示,如果Jaccard系数越大,则说明他们的相似度越高.

Brieva 等[65]在评价水平集分割效果的时候,设计了SA参数来评价分割的效果,如式(16)所示,又根据SA参数分别针对边界和区域,进而定义SAC 和SAR两个参数.

Khaleel 等[51]在提取血管树时,引入了灰度直方图和其均值的误差平方和SSE,如式(17)所示.选取其中最小的SSE作为分割效果最佳的图片.其中n是一组血管造影图像的数量,yi是血管造影图像的直方图,是血管造影图像的平均直方图.

表4是文中所提到的方法在评价其分割效果时所使用的评价标准及其对应参考文献.

表4 评价标准及其参考文献

4 展望

在医学临床应用中,计算机辅助技术和医学图像分割技术是疾病诊断的常用手段,基于血管造影的DSA 图像分割技术是相关血管疾病量化分析描述和血管三维重建的前提,造影图像的分割意义重大,分析以上所罗列的分割方法主要从以下几个方面对心血管造影图像分割的未来发展做出展望:

(1)建立心血管造影图像相关的公开金标准数据集.心血管造影图像目前还没有公开的数据集,没有一个统一的标准对各论文所提出的方法进行评估和比较,不利于不同分割方法直接的横向对比.在获取心血管造影图像时,需要对患者的隐私进行脱敏保护,只保留影像序号、图像拍摄日期、体位角度等非敏感信息[83].由于心血管造影图像在造影时注射的造影剂浓度会有差异,得到的图像的对比度清晰度也会有差异,且造影图像分为左视角和右视角,在制造金标准时也需要综合考虑这些情况.如果需要进一步研究,还可建立不同病变的数据分类,根据不同的病变建立相应数据集.此外,制作金标准的相关“专家”不能只有一个,一方面因为人工对样本进行勾画时存在误差,另一方面,对于边界的判定带有一些主观因素,制作的金标准数据集必须结合多个专家的分割结果.

(2)提升造影图像的增强效果.预处理作为分割操作的第一步必不可少,对图像中无关噪声部分的降噪以及目标部分的增强,可以借鉴文章中所总结的几种方法,向“自适应”,“多模板”方向发展,使得预处理之后的图像最大限度地保留细小血管的信息,且尽可能使得目标区域和背景区域的对比度拉大.

(3)开发全自动的分割方法.分割方法中,基于区域生长和基于轨迹追踪的方法都需要人工设定初始点,这在实际使用中会造成不便捷,且人工设定点的差异对整体的分割结果会产生影响.所以如果能够实现全自动的分割对于提高工作效率和分割效果十分有帮助.近几年,使用机器学习方法的相关研究占主要地位,使用这种方法可以实现自动化分割,但是前期训练过程十分繁琐,如何提高效率是一个巨大挑战.

(4)将分割结果用于后续冠脉狭窄程度量化,可以积累狭窄程度和血管宽度变化规律的先验知识,实现血管狭窄程度的自动测量[99],自动定位病变区域.分割质量高的图像可以极大便利医生进行QCA 测评[86],辅助医生进行诊断以及后续Syntax 系统评分.现有的全自动QCA[85]过程准确率还有待提高,可以引入新的神经网络或者补充训练数据来提高其准确率,减轻人工负担.

(5)引入造影图像序列,对动态的造影图像进行运动跟踪和分割,由于细小血管基本分布在血管末梢,其造影剂达到的时间较晚,显影较晚,且显影剂的效果也随时间流逝变得不明显,导致细小血管的分割难度大,效果不佳.如果能够综合数张造影图像,可以使得分割效果更加,得到病变处最窄部分的狭窄程度[100],提高诊断的准确度.

(6)进一步研究血管的中心线提取,口径测量,血管内部导管的分割等工作,造影血管的分割是众多研究内容所需要涉及到的,只是心血管疾病诊断等相关研究中一个重要环节.

5 结束语

本文从图像预处理、分割方法以及评价标准3 个方面,研究了心血管DSA 图像处理的流程方法.但所提及的各种方法只是涉及分割技术,后续对血管的定量分析如狭窄程度分析等并未涉及,且所介绍的每种方法有其特有的适用范围,根据数据源的不同,其分割方法和处理方法也各异,并不存在一种最好的分割处理方法,在实际情况中,需要针对特定情况进行分析,不断尝试使用不同方法的搭配组合或者设计新的方法使得分割血管的效果更佳.