基于超声视频轮廓检测与光流的下腔静脉分割检测追踪

樊 潇， 庄树昕， 邱舜敏， 郭境峰， 卢星宇， 庄哲民

(1. 汕头大学 工学院， 广东 汕头 515063； 2. 汕头大学 医学院第一附属医院， 广东 汕头 515041； 3. 汕头市超声仪器研究所有限公司， 广东 汕头 515041)

0 引 言

心脑血管疾病是一种严重威胁人类身体健康的疾病， 2018年6月， 世界卫生组织(WHO)发布了《2018世界卫生统计报告》(WorldHealthStatistics2018)， 据统计， 2016年全世界死于心脑血管疾病的人数高达1 790万人， 占非传染性疾病死亡人数的44%. 心血管病的死亡率极高， 占疾病死亡人数的40%， 高于癌症等其他疾病， 是公认的第一致死疾病， 因此， 对心血管疾病的早期诊断和治疗具有重要的意义. 在临床上， 对下腔静脉(Inferior Vena Cava， IVC)内径进行检测， 对判断心脏的多种疾病和快速评估患者血容量状态有着重要作用[1-2]. 例如， 当患者三尖瓣关闭不全时, 因收缩期大量血液从右心室返入右心房及上下腔静脉， 可使其下腔静脉内径增宽； 心衰病人和心包疾患者， 由于右心功能下降， 回心血流受阻， 下腔静脉吸气时下腔静脉内径也会增宽[3]. 由于剑突下的下腔静脉纵切面可以显示血管深度信息， 所以， 该探测点常用于测量下腔静脉不同位置的内径. 在临床上， 医生通常采用手持超声方式(Hand Held Ultrasound， HHUS)对下腔静脉进行实时探测， 并对内径进行人工手动测量， 从而实现对心脏机能的实时评估. 但由于探测的不可重复性和无标准性， 患者的呼吸、 影像伪影等因素会对下腔静脉内径的测量造成影响， 使得测量难度增加， 大大降低了对下腔静脉血管内径测量的准确性. 因此， 本文提出基于剑突下纵切面下腔静脉超声图像对下腔静脉进行实时、 自适应分割提取， 进而实现对其内径的全自动测量， 极大地降低了主客观因素的影响， 提高了测量下腔静脉内径的准确性， 在临床上具有重要的应用价值与意义.

传统上， 人们基于SNAKE、 水平集和超像素等方法， 对乳腺、 肿瘤、 颈动脉内膜等进行自动分割[4-7]， 但此类方法一般适用于封闭区域的分割， 而剑突下纵切面下腔静脉超声图像一般呈开放型， 如图 1 所示， 故上述方法对于下腔静脉的分割作用有限.

图 1 下腔静脉超声图Fig.1 Inferior vena cava ultrasonogram

人们也尝试用深度学习的方法进行分割， 例如基于卷积神经网络、 RDAU-NE、 U-Net结构对肺实质、 乳腺等进行分割[8-12]. 但基于深度学习的分割往往需要大量的样本， 对数据和样本标签有着较高的要求， 医学影像， 特别是超声影像， 在数据量往往很难满足训练运算的需求， 因此， 使用深度学习的方法进行分割也存在一定的局限性. 为此， 本文提出了一种对剑突下纵切面这类非封闭的下腔静脉进行自适应、 自动分割并测量的图像处理方法. 该方法首先使用中值滤波、 大津法、 闭操作等方法进行超声图像的预处理； 再基于拓扑结构分析对下腔静脉超声图进行自动分割并测量其内径距离； 为消除呼吸等引起的抖动， 提高实时测量的精度， 通过光流法随动追踪内径位置， 从而完成对下腔静脉内径逐帧的实时测量.

1 方 法

本文方法主要由两个步骤组成： 自适应分割检测和光流自适应追踪. 具体方法步骤框图如图 2 所示.

由图 2 可见， 由于下腔静脉分为上壁和下壁两部分， 在自适应分割部分， 首先基于轮廓检测检测出包含血管上壁和下壁的轮廓， 实现对下腔静脉的分割， 在此基础上， 对下腔静脉标准位置(临床上以测量距开口17 mm～19 mm的髂总静脉汇合处作为下腔静脉测量的标准位置)的内径进行最小内径测量， 并计算呼吸周期内的平均值作为测量数据. 在实际临床使用中， 由于大部分医生是采用手持超声仪器进行实时探测， 因此， 患者呼吸引起的波动会极大地影响下腔静脉标准位置测量的数据. 为了确保在波动中能准确地跟踪测量同一位置的内径， 我们采用光流自适应追踪， 通过追踪超声影像中的光流， 实时自适应追踪下腔静脉标准位置， 从而更准确的检测下腔静脉内径， 消除呼吸造成的测量干扰.

图 2 方法结构框图Fig.2 The method structure diagram

2 基于轮廓检测的下腔静脉自适应分割

为了消除超声影像中固有的噪声及伪影， 首先在预处理部分对原始图像进行灰度化、 中值滤波. 在此基础上， 对血管超声影像进行二值化阈值分割、 形态学和轮廓检测等处理， 从而完成基于轮廓检测的下腔静脉自适应分割.

由于超声图像二值化是下腔静脉自适应分割的重要部分， 其阈值的选取是二值化处理的关键， 由于大津法(OTSU)不受图像亮度和对比度的影响， 因此， 本文根据下腔静脉超声图的灰度分布特点， 采用大津法处理超声图并确定最佳分割阈值， 它将图像分为背景和前景两部分， 背景和前景的类间方差越大， 说明两部分差别越大， 故类间方差最大的分割意味着错分概率最小.

(1)

(2)

D1和D2类的均值分别为

(3)

(4)

图像中的总体灰度值为

(5)

根据上述可以得出D1和D2之间的类间方差为

p1(t)|μ1(t)-μT|2.

(6)

当类间方差越大时， 说明D1和D2之间的差别越大， 也就是下腔静脉与背景差别越大， 所以， 确定最佳的分割阈值就是求两类区域类之间方差的最大值， 即

(7)

根据上述公式求出最佳阈值， 即可以实现超声图像二值化生成的下腔静脉二值化图像, 如图 3(b) 所示； 二值化后， 通过形态学闭操作填补孔洞可起到去噪和减轻运算负担的作用， 其结果如图3(c)所示； 再通过轮廓检测把超声图中的下腔静脉血管轮廓检测出来， 如图3(d)所示， 从而为后续根据坐标筛选出下腔静脉， 完成分割奠定基础.

图 3 下腔静脉超声图预处理结果Fig.3 Pretreatment results of inferior vena cava ultrasonogram

由图 1 可以看出， 下腔静脉在超声图中以开放、 狭长的特点呈现， 并分为上下血管壁， 本文通过此形状特征遍历像素点， 找到轮廓区域内符合此特征的像素点， 此类像素点包括血管轮廓和噪声伪影， 由于噪声和伪影的像素点具有分散、 孤立的特点， 所以， 本文用连通域检测方法检测出图像最大连通域和第二大连通域， 即下腔静脉上壁和下壁， 从而滤除噪声和伪影， 完成下腔静脉的分割. 其结果如图4(b)所示.

图 4 基于轮廓检测的下腔静脉分割Fig.4 Inferior vena cava segmentation based on contour detection

在完成上述下腔静脉自动分割的基础上， 对下腔静脉内径值进行自动测量， 下腔静脉内径值是通过测髂总静脉汇合处的最小内径得到的， 我们通过三点取样法检测出髂总静脉汇合处的大致位置， 并测量出髂总静脉汇合处上壁点与下壁点的最短欧式距离， 即下腔静脉最小内径， 从而完成下腔静脉的内径测量.

3 基于光流技术的下腔静脉血管自适应追踪

呼吸对于测量下腔静脉内径值的影响较大， 呼气和吸气时， 下腔静脉的内径相差近1.8 mm～3.3 mm， 所以， 单独测量某一帧的下腔静脉内径是没有参考价值的. 本文考虑患者呼吸和位置误差等主客观因素， 使用光流自适应追踪算法来追踪髂总静脉汇合处位置， 此算法可随着探头的晃动、 患者的呼吸等主客观因素进行实时准确的测量追踪， 从而消除以上因素带来的测量误差. 首先， 输入第1帧进行髂总静脉汇合处的下腔静脉最小内径测量后， 获得上壁坐标及下壁坐标， 在上壁坐标附近区域处进行角点检测[13]， 检测出的角点作为基准点进行追踪. 再利用Lucas-Kanade光流算法[14]计算临近2帧所有角点的平均光流值. 下1帧的上下壁坐标以上1帧的位置为基础， 通过平均光流值的大小和方向进行位移， 最后， 根据此距离找到新帧的上下壁坐标从而免除不断分割带来的误差和不稳定性. 鉴于实时性和实用性考虑， 无需每帧都进行最短距离检测. 图 5 为间隔为25帧的8张下腔静脉追踪检测结果.

图 5 部分下腔静脉追踪检测结果Fig.5 Some inferior vena cava tracing and detection results

LK算法是多种光流算法中较简单的一种， 其本质是通过最小二乘法以一种免除迭代的方法求解光流， LK算法有一个额外的假设， 即空间一致性假设， 意为某个像素点领域内保持相同的瞬时速度， 由于下腔静脉随呼吸的变化并不剧烈， 所以， 满足空间一致性假设. 在给定窗口的情况下， 公式如下

(8)

式中：qn为搜索区域中的像素点；lx(qn)为qn在x方向的偏导；ly(qn)为qn在y方向的偏导.

Av=b.

(9)

由于下腔静脉随呼吸的运动并不剧烈， 故以上壁基准点为中心的边长为200像素的正方形区域作为搜索区域， 如图 6 区域所示.

图 6 基于上壁基准点的搜索区域Fig.6 Search area based on upper wall datum

该方程组的等式个数多于未知数个数， 所以， 为超定方程， 可通过最小二乘法求出近似解， 公式如下

(10)

即

(11)

根据Vx,Vy即可知道每一帧的下腔静脉超声图像的偏移距离和方向， 从而准确地追踪髂总静脉汇合处位置， 完成对下腔静脉内径值准确的测算.

4 实 验

4.1 下腔静脉分割结果实验

为了能数值化地衡量下腔静脉分割结果， 本文在实验部分将涉及到4种不同的误差度量， 分别为交并比(IoU)， 真阳性比(TPR)， 假阳性比(FPR)， 准确率(precision)， 分别表示如下

(12)

(13)

(14)

(15)

式中：S为超声图像全图区域；Sm为人工绘制轮廓所覆盖区域；Sc为算法所得轮廓覆盖区域. 在本文实验中， 对比高质量视频、 中质量视频和低质量视频进行测算， 其中高质量视频为患者呼吸稳定且无大面积噪声的视频， 中质量视频为总体良好， 但由于医生调整探头位置导致偶尔几帧影像中下腔静脉消失的视频. 低质量视频为由于探头位置不佳或患者呼吸过于剧烈导致出现大量噪声或大幅度晃动的视频， 高中低质量视频受测人员皆为健康成年男性.

表 1 为分割误差度量表， 可见分割的总体水平良好， 在中质量和高质量视频中尤为出色， 多项指标达到预想要求， 虽然在低质量视频中由于干扰过大导致IOU偏低， 但准确率依然维持在及格线上， 可见本分割算法具有良好的鲁棒性和准确性. 经汕头市超声仪器研究所有限公司工程师及汕头大学医学院附属第一医院的医生评估， 满足临床的实时性及准确性要求.

表 1 分割误差度量表Tab.1 Segmentation error table

4.2 下腔静脉追踪测量实验

下腔静脉呼吸变异指数(Shape Change Index， SCI)是反映右心房压力的敏感指标， 可以进行患者心脏容量负荷评价. 在自主呼吸或机械通气过程中， 随着胸腔内压力的变化， IVC回心阻力随之变化； 当循环容量不足时， IVC回心血流受到胸腔内压力变化影响越大， 其呼吸变异度越明显. 临床表明， 当下腔静脉出现明显塌陷或者变异率大于50%， 则说明患者存在血液容量严重不足； 若变异率几乎为零， 则说明患者血液容量过大导致负荷过重， 需要利尿治疗. 使用超声探查下腔静脉最大径(IVCmax)、 下腔静脉最小径(IVCmin)， 并计算SCI可快速判断血容量[15-16].

(16)

下腔静脉各段的内径各有不同， 开口处为右心房与下腔静脉交汇处， 距开口17 mm～19 mm为髂总静脉汇合处、 19 mm～21 mm为肾静脉水平处、 最宽处一般在20 mm～24 mm之间. 本文通过测量前3种位置的最大径和最小径来计算18个质量较高的视频(其中包括10例年龄在25岁～55岁的健康男性和25岁～50岁的健康女性)的SCI平均值， 通过对比金标准和算法测量的SCI平均值来判断算法测量下腔静脉内径值的准确性， 从而评估算法的性能. 经医生指导， 均值绝对误差小于0.25%可视为两组数据等效.

表 2 为SCI值对比表， 可知本方法测量下腔静脉内径与人工金标准相比误差很小， 在下腔静脉开口处均值绝对误差低至0.08%， 在肾静脉水平处由于血管收缩舒张比较剧烈， 误差为0.21%， 三处位置的误差均小于0.25%， 所以两种方法可视为等效， 总体说明本方法测量下腔静脉内径的距离值准确度很高， 可作为临床辅助诊断.

表 2 SCI值对比表Tab.2 Comparison table of SCI value

5 结 语

本文基于下腔静脉分割检测追踪的方法， 可对下腔静脉髂总静脉汇合处的内径进行准确、 快速和稳定的测量. 本文方法的分割部分是基于拓扑结构分析的轮廓检测完成， 追踪部分是基于LK光流法完成. 本方法具有较强的鲁棒性， 可随着患者的呼吸和探头的移动实时地追踪测量下腔静脉的内径信息， 无论是在视觉还是实用性上都有很好的效果. 本方法在多种血管的超声图中都可有效地进行分割、 检测和追踪. 经汕头市超声仪器研究所有限公司工程师及汕头大学医学院附属第一医院的资深医生评估， 本文方法具有较高的临床应用价值， 对于心血管疾病的早期诊断和治疗具有重要的实际意义.