利用肠道图像轮廓背景先验的显著性息肉检测

庄新凤，李 胜，何东蔚，何熊熊，朱锦辉

1(浙江工业大学 信息工程学院，杭州 310023) 2(浙江大学 医学院附属第二医院 消化外科，杭州 310023) E-mail：shengli@zjut.edu.cn

1 引 言

结直肠癌(CRC)是最常见的恶性肿瘤之一，近年来我国CRC发病率总体也呈现上升趋势，在消化系统恶性肿瘤中居第2位[1].CRC的早期形态是结肠息肉，与CRC的发生密切相关，根据结直肠息肉数目的多少分为单发性息肉和多发性息肉两种，凡2枚及以上息肉称多发性息肉.常见单发息肉较多，但多发息肉好发于老年患者，而且从病理类型看，癌变潜能最高的绒毛状腺瘤也更多地集中于多发息肉[2]，所以单发性息肉和多发性息肉的及时检测对预防结肠癌都十分重要.内窥镜是目前用于采集肠道息肉图像的主要手段，由于息肉的形态和大小多样，发现息肉的主要因素取决于医生的经验技能，通过人工的方式进行息肉的检测常常会加重医生负担，在医生疲惫的情况下更容易造成漏诊.因此，计算机辅助检测对于缓解临床医师的压力和提高检测准确率具有重要意义.

近年来，图像显著性检测成为计算机视觉领域的研究热点[3-5]，特别是在目标识别相关问题上有着广泛的应用[6-8].显著性检测主要是通过计算机模拟人类的视觉机制来定位图像中最引人注意的目标区域.医生进行息肉检测的过程，也可以看成一个在内窥镜图片中寻找息肉区域的过程.另外，显著性检测的结果会得到不同像素的显著值，值越大的像素块越有可能是显著性区域，反之为背景区域.因此，针对息肉的显著性检测算法能够量化图像中各个区域的重要性和参考意义，从而判断不同区域存在息肉的可能性.

图像显著性检测方法通常可以分为基于数据驱动的自底向上模式的和基于任务驱动的自顶向下模式两类.自底向上的算法主要利用图像的底层特征，计算不同区域之间的对比度，最后得到差异性高的区域.自顶向下的算法针对不同的任务采集大量的数据集，通过机器学习的方法得到不同区域的显著值.后者需要大量的人工标注的图片作为训练集，由于受到患者隐私保护和设备参数的影响，难以获取大量的高质量的息肉图片.因此本文主要研究自底向上的方法.

Itti等[9]首次提出自底向上的显著性检测模型来模拟生物视觉.Cheng等[10]提出基于LAB 颜色空间的全局对比度来度量像素的显著值.Goferman等[11]提出了上下文感知的显著性方法.上述方法都是通过计算特征的相似度来得到不同区域的对比度，最终生成图像的显著模型.此类方法对于目标与背景差别明显的图像具有良好的效果，但对于背景和前景相似度较高的图像单纯的利用传统特征提取方法在图像中检测息肉的效果并不理想，为了提高准确率则需要复杂的检测算法提取高层次特征，会因此增加算法复杂度.因此，许多研究将先验知识引入到显著性检测当中，充分利用背景先验知识可有效提高准确率并且降低复杂度.

自然图像的获取存在人的主观能动性，会将感兴趣的目标放在视野中央，现有的基于先验知识的算法通常假设图像的边界区域为背景，目标区域靠近图像中心，并以此作为前提来计算显著值.如Wei等[12]通过单一超像素块与边缘超像素块的最小测地距离计算该超像素块的显著性.顾广华等[13]提出了合融前景和背景种子点扩散的显著性检测算法，根据边缘概率确定背景种子.Yang 等[14]提出基于图的流形排序(Manifold Ranking，MR)的显著性算法，选取边界超像素作为背景种子点，然后通过图模型和流形排序算法计算出其他超像素相对于背景的排序值，进而得到显著值.对于无线胶囊内窥镜(WCE)图像而言，息肉图片大体可以分为3个区域：肠道中心暗区、肠壁褶皱区域和息肉区域，肠道中心暗区和肠壁褶皱是背景，息肉区域则是需要检测的显著目标.由于WCE采集不受人的主观控制，息肉的位置往往具有很大的随机性，可能位于图片中心也可能位于边缘，kvasir息肉数据集中的图片中，目标息肉位于边缘的概率为51%左右，上述基于边缘的背景先验方法虽然在自然图像的目标检测上取得了良好的效果，但处理WCE息肉图片时四周边缘的背景先验知识不再有效.

基于目标先验的算法通常使用一个峰值位于中心的各向同性的对称高斯函数来对目标区域进行加强，同时减少其他区域的背景噪声.Zhaojian等[15]通过Harris角点检测计算大体位置，再利用基于中心的高斯先验模型来增强目标区域.Yu等[16]使用KNN和K正则图模型计算显著值后，运用中心先验突出目标区域.基于中心的目标先验算法能够有效地抑制背景噪声，但是针对目标区域偏离中心和含有多个目标的图像，此类算法往往会错误的将目标当成背景进行抑制，这些因素使得现有的目标中心先验和四周背景先验的显著性检测算法难以适用于肠道息肉图片.

针对上述问题，本文提出适用于胃肠镜图像的基于轮廓先验的显著性息肉检测方法.本文主要贡献概括如下：

1)提出了一种基于暗区的肠道中心和基于边缘检测的肠道轮廓提取方法，并以此为背景先验来计算图像的显著性.不同于现有的基于图像四周边缘像素为背景的固定方式，本文方式更适用于肠道结构，并且更具灵活性.

2)提出一种改进的中心先验模型：基于前景的连通区域中心高斯先验模型.不同于现有的基于图片中心的单一高斯模型，本文的方法根据前景连通区域个数的区域面积，构建相应的高斯函数来检测一个或多个息肉，此方法有效提升了息肉偏离中心以及存在多个息肉的图像的检测性能，增加了检测的准确性.

2 显著性检测

本文主要分为两部分工作，第1部分，利用轮廓背景先验知识提取背景种子，通过流行排序得到基于背景的显著图;第2部分，在第1部分的基础上选取精确的前景种子，利用流行排序以及前景中心高斯先验分别得到基于前景的显著图和高斯显著图，融合以上2幅显著图得到最终显著图.图1所示为本文方法框架.

图1 本文显著性息肉检测方法框架Fig.1 Framework of the proposed saliency polyp detection method

2.1 基于肠道中心及轮廓背景先验的流行排序显著性检测

2.1.1 获取背景种子

内窥镜在工作过程中配有独立光源，由于肠道整体呈管状立体结构，肠道中心区域相对内窥镜摄像头有一定的纵深，这使得肠道中心区域感光较少，呈现相对偏暗的情况.因此，本文提出一种基于暗区的肠道中心位置测定方法.

图2 超像素分割及肠道中心暗区Fig.2 SLIC and the central dark area of the intestine

文献[17]指出了canny算法对轮廓检测的有效性，所以本文首先采用canny算法提取初步的轮廓信息，筛选出肠壁褶皱轮廓区域作为背景.图3(a)为原图，如图3(b)所示canny轮廓检测得到的整体轮廓图存在大量的噪声信息，比如：光斑、气泡等.这对判断某条边缘是否属于肠道褶皱轮廓造成严重干扰.考虑到噪声边缘、肠道褶皱轮廓和息肉轮廓具有以下特点：

1)褶皱轮廓和息肉轮廓具有较长的连续性，而噪声轮廓的长度普遍较短.

2)褶皱轮廓以肠道中心为中心成凸状，息肉则成凹状.

因此，采用以下策略筛选可靠的肠道轮廓：

根据轮廓长度去除噪声的影响.设定小于Tlen长度的轮廓视为噪声轮廓.去除噪声轮廓后的轮廓如图3(c)所示.

图3 肠壁褶皱轮廓背景种子选取过程Fig.3 Contour background seed selection process of the of intestinal wall fold

然后，根据凹凸性区分肠壁轮廓和息肉轮廓，筛选出需要的肠道褶皱轮廓.在剩余Ne条轮廓上，取轮廓的两个端点形成一条线段，并连接这条轮廓的中点与肠道中心点，判断这两条线段是否有交点，如果不存在交点说明该条轮廓成凹状，为息肉轮廓，息肉轮廓所在超像素区域为Fe.若有交点则为肠壁褶皱轮廓，肠壁轮廓所在超像素区域为Be.最终保留下来的Me条肠壁轮廓如图3(d)所示.图3(e)中为Me条轮廓所在的超像素区域Be={Be(1)，Be(2)，…，Be(Me)}，Be(i)为第i条肠壁轮廓所在超像素区域，Me≤Ne.

2.1.2 构建流行排序算法

将每块超像素作为一个节点来构建图模型G=(V，E).V={vi|1≤i≤N}表示为图中所有超像素节点的集合，E={eij|1≤i，j≤N}表示两节点间边的集合.边的权重由关联矩阵W=[wij]决定，wij由式(1)计算得到.

(1)

其中，ci和cj表示在LAB颜色空间中结点vi和vj所在的超像素块的平均颜色值;参数δ用于调节边权重.

文献[14]采用的图模型中，将4个边界节点相连以减少背景间的测地距离，增加背景内部的相似度.本文采用检测到的肠道中心暗区及轮廓超像素作为背景节点进行连接构图.

流行排序函数可以用于计算种子节点之间的关联度：

(2)

其中，参数μ控制平滑约束(第1项)和拟合约束(第2项)之间的比重，fi表示单一节点的排序值.

式(2)可以进一步表示为：

f*=(D-αW)-1y

(3)

其中，α=1/(1+μ)，y表示种子向量，f*表示排序向量.

以肠道中心区域Bc中的超像素作为背景种子点，得到种子向量yc=[yc(1)，yc(2)，…，yc(N1)]T，

(4)

(5)

类似地，分别利用轮廓背景Be(i)构成种子向量ye(i)计算得到对应的显著值Se(i).最后将上述显著值通过乘法进行融合，得到基于背景的流行排序显著图：

(6)

2.2 基于前景的多联通区域中心高斯先验模型

2.2.1 选取前景种子

根据第2.1.2节中得到的基于背景显著图，选取显著值大于均值的前景超像素区域Fs.

接下来，本文采用连接性的思想对2.1.1节中得到的前景区域Fe进行扩展.利用平均测地距离来衡量单一超像素p与多个超像素块组成的区域Area之间的相似度Sim(p，Area).

(7)

qiArea

(8)

其中，nArea表示区域Area所含超像素的个数，dgeo(p，q)如式(9)所示：

(9)

dapp(pi，pi+1)表示相邻两个超像素在LAB空间的欧氏距离，dgeo(p，q)表示超像素p和q之间的测地距离.

通过式(10)扩展息肉轮廓所在超像素区域.

(10)

为了保证前景种子的准确性，利用式(11)对提取到的前景区域进行优化，得到图4(b)的前景区域为Fg.

图4 优化后的前景种子及对应显著图Fig.4 Optimized foreground seeds and corresponding saliency map

(11)

2.2.2 基于前景的流行排序算法

利用2.2节所示流行排序算法，前景Fg的超像素为种子节点，种子向量为yfg=[yfg(1)，yfg(2)，…，yfg(N2)]T.

(12)

(13)

2.2.3 前景连通中心高斯模型

1)对前景计算连通区域个数，每个连通区域计算其质心，并以此为中心建立对应的高斯模型.

(14)

其中，x0(k)、y0(k)表示第k个连通区域的中心坐标，δx、δy表示水平和垂直方向的方差.

2)添加高斯模型权重.由于不同的连通区域的参考意义并不相同，显著性目标区域往往具有较大面积，而噪声区域，比如：光斑等，往往是独立的小单元，因此对不同连通区域的高斯模型增加基于面积的权重，面积越大，表示该连通区域的重要性越大，越有可能是息肉区域.

(15)

其中，AreS(k)表示第k块连通区域的面积.由于连通区域的面积跟该区域所包含的超像素块的数目呈正向关系，为了增加算法的执行效率，将公式(15)中的面积参数AreSce(k)替换为超像素块的数目NS(k).

(16)

3)将不同区域的高斯显著图相加，得到基于多连通区域的高斯显著图，如图4(d)所示.

(17)

其中，NC表示前景中联通区域的个数.

最后，将高斯显著图与式(12)中的基于前景的显著图相加，得到图4(e)最终的图像显著图.

S=Sbg+Sfg+Swg

(18)

3 实验数据与结果分析

3.1 实验设置

本研究实验设备为20GBRAM的Xeon E3-1226，操作系统Win10，采用Matlab R2019a进行仿真实验.

3.2 实验数据

由于WCE图像四角为黑色区域，且不含有用信息，为了避免此部分对实验的干扰，如图5所示去除图像不含有用信息的黑色盲区，提取内窥镜图像中方形的核心区域进行实验.

图5 提取核心区域Fig.5 Extract the core area

为了验证实验的有效性，本文一部分采用200张包含10张多息肉图像的公开数据集kvasir数据集的肠道息肉图像，另一部分为300张合作医院获取的包含40张多息肉图像的数据集.每张图像均由专业医生进行人工标定生成真值图GT.最终的实验数据集包括500张肠道息肉图和500张对应的GT图.每张图像大小为256×256像素.

3.3 对比算法与评价指标

本文选取了当前主流的以及和本文方法相关的共10种显著性算法进行比较，包括：IT[9]，FT[18]，GS[19]，MR[14]，MMR[16]，wCtr[20]，BECC[21]，WBU[22]，和GLGO[23].

本文从客观性能和主观两个方面来评价算法效果.

主观性能评价方面，采用生成的显著图与GT真值图进行直观对比.如图6中1-3行所示，与其他方法相比，本文方法可以很好的检测到息肉区域，虽然其他方法，特别是GS、wtr方法也能较好的检测到目标区域，但本文方法得到的目标息肉区域更精确，显著图更干净.如第3行所示，WBU方法有时只能检测到部分目标区域;而如第2行所示，当息肉几乎完全位于边缘区域时，BECC和MMR会出现检测区域与目标区域完全相反的情况，这可能就是以四边界为背景先验知识带来的影响.从图6中4-5行可以明显看出，本文算法准确性远远高于其他算法，可以更精准的检测到偏离中心的小息肉，并拥有检测多息肉的能力.

图6 10种算法的直观比较Fig.6 Intuitive comparison of 10 algorithms

客观性能评价方面，采用准确率-召回率曲线(Precision-Recall curve，PR曲线)、准确率-召回率-F-measure柱状图和平均绝对误差(Mean Absolute Error，MAE)3种评价指标对实验结果进行定量对比.

1)P-R曲线是重要的评价显著性检测算法性能的指标.首先将显著图的显著值量化到[0，255]区间，并将其作为阈值.然后在不同阈值下对显著图进行二值分割，再将得到的二值图与真值图GT进行对比，计算不同阈值的准确率Precision和召回率Recall，统计所有显著图的平均准确率，即可绘制出P-R曲线.Precision和Recall计算公式为：

(19)

(20)

2)F-measure是另一个常用的性能评价指标，用于综合衡量准确率(Precision)和召回率(Recall).

(21)

β2用于平衡Precision和Recall的影响程度，β2通常设置为0.3，以便突出准确率的影响.F-measure值越大表明算法效果越好.其中，W，H 分别表示图像的宽和长.

从图7PR曲线以及图8PRF柱状图可以看出，本文算法准确率(Precision)明显高于其他算法，wCtr方法的准确率仅次于本文算法，它也是优化了图像4个边界的背景种子，减小了位于边界的目标前景误判为背景的影响，也再次说明了准确先验知识对于提高检测准确率的重要性.WBU的准确率、查全率和F-measures都相对较好，说明高层次的特征的确对息肉检测有很好的帮助.本文查全率(Recall)虽然低于BECC算法，但高于其他9种方法.BRCC和MMR算法具有很高的查全率，但不能很好的抑制背景区域、精确显著区域，使准确率偏低.本文算法可以在保证较高准确率的情况下，也能够比较完整的检测到目标息肉区域.

图7 P-R曲线图Fig.7 P-R curves

图8 PRF柱状图Fig.8 Precision，Recall and F-measures values

3)上述2种评价指标(准确率、查全率和 F-measure)只考虑了目标区域的匹配程度，而忽略了背景区域，MAE指标则能够更加全面的度量结果的误差，是对(准确率、查全率和 F-measure)必要的补充.

从表1可以看出，与其他算法相比，本文算法的有较低的平均绝对误差(MAE).说明本文算法检测道的显著图与人工标注的GT图相似度高，误差低，对临床医生来说更具有参考价值.

表1 10种算法的MAE值对比Table 1 Comparison of MAE values of 10 algorithms

4 结 语

本文主要工作主要是将计算机视觉中的显著性目标检测的思想运用于生物医学图像中，并根据病理图像的形态特征提出了针对性的改进算法，提高了检测的准确度.与传统的显著性检测方法相比，本文加入的先验知识更适合胃肠镜图像，并且通过多连通区域的高斯中心先验模型，可以拥有更高的检测多息肉的能力.实验结果表明，本文的方法相比主流的显著性检测算法PR曲线以及F-measure柱状评价指标上具有明显提升，并且有更低的MAE值，保证了计算机辅助诊断的准确性，对临床诊断有一定的参考价值.鉴于有些肠道图片存在暗区不明显以及轮廓被噪声(光斑、气泡)干扰较为严重的情况，寻找更具普遍意义及鲁棒性的肠道中心定位以及轮廓检测方法将是接下来的研究工作.