肺部CT 图像病变区域检测方法

韩光辉 刘峡壁 郑光远

肺部CT 图像病变区域检测方法

韩光辉1刘峡壁1郑光远1

肺部CT图像病变区域检测是肺病辅助诊断技术的重要研究内容,其通过自动分析CT图像并输出病变区域的位置和尺寸等信息,帮助放射科医生做出决策,有利于肺病的早期发现与治疗.本文回顾了肺部CT图像中病变区域自动检测方法所取得的进步,并引入一个通用框架表示和描述现有方法,对2012年以来肺部病变区域辅助检测算法进行了系统性分析和性能汇总.最后讨论了目前存在的问题和有待克服的困难,探讨了未来可能的发展方向.

肺部CT,肺结节,肺血管,淋巴结,计算机辅助检测

肺部疾病是威胁人类健康的最严重疾病之一,具有疾病种类多、患者数量多、死亡率高的特点.根据世界卫生组织的最新报告[1],肺癌是死亡率最高的癌症,2015年导致了169万人死亡.如果被早期发现并得到治疗,肺癌患者的死亡率就可以降低.通常认为CT是肺部病变检测的最精确成像模态[2].CT成像具有分辨率高、非侵入、无痛苦等特点,在肺部疾病的早期筛查和诊断中发挥了重要作用.随着高分辨率CT的出现,图像数据量急剧增长,通常一次全肺扫描产生数百张图像数据.特别是在大规模肺部疾病筛查过程中,放射科医生面对大量图像,很容易因工作疲劳而导致疾病漏诊和误诊.另一方面,由于肺部疾病种类多且影像表现复杂,医生往往只能根据自身经验对病灶进行定性分析,具有较强的主观性,常导致同一医生在不同时期,或者不同医生对同一影像判断的一致性较差.

计算机辅助检测(Computer aided detection,CAD)1系统能够较明显地缓解上述问题.其可以降低放射科医生阅片工作量,并提供精确的定量分析,降低阅片主观性,减少人工阅片过程中的失误,从而提高工作效率和对早期肺病诊断的正确率.病变区域的检测和分割是肺部CT图像CAD系统中的主要功能之一,通过自动分析CT图像并输出病变区域的位置和尺寸等说明信息,有利于肺病的早期发现与治疗.

尽管国内外已有不少关于肺结节计算机自动检测方法的研究综述,但是本文关注范围更宽,包含但不限于肺结节.本文主要对肺部CT图像中病变区域的自动检测方法进行调查研究,这些病变区域类型包括肺结节[3],不属于结节的多种肺部CT征象[4].同时本文还调查了可以辅助病变区域检测和肺癌诊断的技术,如肺血管树检测、气管树检测、肺部淋巴结检测等.据我们所知,这是第一次较完整地对肺部CT图像病变区域自动检测方法的综述性研究.

1 肺部病变区域检测总体框架

目前对肺部病变区域的检测主要有传统的多步骤处理框架和新型的深度学习处理框架.

一般来说,传统处理框架的CAD系统都具有图像预处理、候选区域分割、假阳性去除三个基本步骤,后面步骤依赖于前一步骤,每一步骤的结果都会对最终结果产生较大影响.优点是各个步骤都容易解释,缺点是各个步骤的算法参数等细节依赖于研究者的经验,手工构建具有辨别力的图像特征十分重要也很有挑战性.

基于深度学习的处理框架构成模式也未得到统一.一方面深度学习方法可以在传统检测框架的不同步骤介入以改进系统性能,例如可分别在候选区域分割前和分割后介入.前者用于检测具有病变的切片(预处理步骤可选),但一般难以明确定位病变区域在切片内的位置;后者则作为假阳性去除步骤(分类).另一方面,深度学习方法也可以独立完成候选区域分割、假阳性去除等功能,即完全基于深度学习的CAD系统架构,这种架构的输入是CT图像序列(预处理可选),输出是最终的病变区域信息.基于深度学习的处理框架在图像特征等方面的解释上存在困难,对数据量的要求也较高,但是优点十分明显,可以进行端到端的监督式训练,自动抽取具有辨别力的图像特征,在不同应用领域间做转换的工作量小于传统方法,性能整体上优于传统方法.

为方便读者参考,本文引入一个通用框架表示和描述现有的肺部病变区域检测方法,如图1.其中灰色部分表示传统方法,深色部分表示深度学习方法.CT图像序列输入系统后,可先进行预处理以方便后续分析,包括为提高图像质量进行图像增强,为减少干扰区域进行肺实质分割、血管和淋巴结检测等.深度学习方法可在预处理前后介入以检测病变切片,接着进行候选区域分割和假阳性去除.深度学习方法可实现假阳性去除功能,也可同时实现候选区域检测和假阳性去除功能.系统最后输出病变区域信息.

2 预处理方法

2.1 图像增强

1)图像去噪

图1 通用的肺部病变区域检测框架Fig.1 The general framework of lung lesion detection

在CT成像过程中,难免会引入噪声,一些研究方案采用滤波器首先对原始CT图像进行图像去噪.2012年,Choi等[5]对初始肺模板进行高斯平滑去除噪声,Camarlinghi等[6]采用柱面滤波器(Cylinder fi lter)结合高斯函数的方法去除噪声.高婷等[7]在2014年采用中值滤波算法去除CT图像的噪声影响.Hu等[8]于2014年使用基于科特斯系数拟合公式的牛顿—科特斯平滑算法(Newton-cotes-based smoothing algorithm,NCBS)去除CT图像中的噪声.Lai等[9]于2014年提出综合使用高斯滤波器、维纳滤波器和中值滤波器等共同进行CT图像噪声滤除,其中高斯滤波器对肺部区域进行平滑处理,维纳滤波器和中值滤波器在去除图像噪声的同时可以保持对象边缘.

2)目标增强

由于肺结节等对象周围常会存在其他干扰,一些低对比度的结节(例如GGO(Ground glass opacity))以及与血管和气道粘连的结节等较难直接处理.一些研究者会在检测研究对象前先进行简单的目标增强处理.在肺结节检测工作中,通常先进行结节增强滤波.Li等[10]在2003年,设计了一个选择增强滤波器,可增强结节并抑制其他正常结构,效果如图2所示,其中图2(a)是3D CT原图的最大灰度投影,箭头处为一个肿瘤区域;图2(b)是对应的结节增强图像的最大灰度投影,其中结节得到增强,而血管则被抑制[10].刘阳[11]于2011年提出基于二维多角度、多尺度的圆点增强图像识别方法,分别对横断面、冠状面、矢状面肺结节图像进行增强.张永强等[12]于2012年设计了两步的结节增强法,首先利用单层次模糊增强方法增强结节区域和背景之间的对比度,接着采用多层次模糊增强方法实现降噪并增强结节边缘.并将图像多层次模糊增强结果进行变换,与原图的直方图均衡化图像相乘,以减弱多层次模糊增强产生的分层现象.Carvalho等[13]于2014年提出一种两步的肺实质内部结构增强方法,第1步使用二次增强算法进行选择性的对比度增强,第2步使用高斯滤波器和中值滤波器抑制对比度增强过程中增加的噪声量.Iqbal等[14]于2014年提出使用反几何扩散模型进行结节区域增强,可以扩散图像边缘以更好地定位,使形状索引图具有更好的连通性和更小的噪声敏感性.

图2 结节增强滤波器Fig.2 The nodule enhancement fi lter

2.2 肺实质分割

胸部CT成像会包含很多肺实质以外的组织或物体,例如胸壁、扫描床等,为减少肺实质以外内容的干扰,肺实质分割成为减少计算时间和降低假阳性数量的重要步骤.胸膜粘连型结节、肺部血管、图像噪声或伪影(Artifacts)、个体解剖差异等因素使得肺实质分割变得十分复杂.肺实质分割多采用阈值技术和形态学技术,Zhou等[15]于2014年提出了一个基于迭代加权平均和自适应区域阈值的快速全自动的肺实质分割方案.Cascio等[2]、高婷等[7]、Santos等[16]采用阈值分割、二维/三维区域生长和形态学操作等综合处理后得到肺实质掩膜.Elizabeth等[17]采用贪婪蛇形算法分割肺实质.Choi等[5]于2012年提出了一个全自动的三步肺实质分割方法,首先使用一个简单固定阈值(−500HU)以获取初始肺掩膜,然后使用三维连通成分标记算法抽取肺部区域,最后通过基于链码分析的轮廓纠正算法获取完整的肺部掩膜.Netto等[18]于2012年提出采用2D区域增长算法抽取胸部和肺部区域,由图像对角线的直方图阈值确定阈值T1和T2(T1＜T2),在抽取胸部时使用阈值T1和T2,抽取肺部时使用阈值T2和直方图上的最大值.在得到初始肺区域后,进一步使用滚球(Rolling ball)算法重构肺实质区域,主要是修补不完整的肺边缘区域.Khan等[19]于2014年提出一种基于模糊逻辑的位面方法自动分割医疗图像背景和定位感兴趣区域,在肺实质分割的测试中分割精确度为97.79%.¨Ozkan等[20]于2014年使用−300HU作为阈值,去除小于此阈值的体素,然后使用连通成分标记技术去除小对象,最后根据连通成分的体积分割出肺区域.Messay等[21]于2015年使用自动3D全局肺分割算法分割肺区域,然后沿着肺掩模的外部边缘使用多个连续的2D滚球滤波器(逐步减小尺寸)以修正肺部边缘.Akram等[22]于2016年综合利用阈值法、初始标记掩模、背景去除、连通成分标记、形态学操作、轮廓纠正等技术分割3D肺区域.

对于复杂病变的肺实质,常规的阈值技术和形态学技术往往分割不完全,导致检测对象的丢失,这就需要采用更复杂的分割技术.Wang等[23]提出了基于纹理分析的精确肺实质分割方法,专门处理伴有严重间质性肺病的情形,平均重叠率达到了96.7%.图3显示了基于纹理分析的肺实质精确分割效果[23],可以看到该算法可以处理严重间质性肺病的CT图像.

图3 基于纹理分析的精确肺实质分割[23]Fig.3 Accurate segmentation of lung parenchyma based on texture analysis[23]

为解决因胸膜粘连型结节导致的肺实质分割不完全问题,Wei等[24]于2013年提出综合利用最优迭代阈值、三维连通成分标记、三维区域增长等多种方法进行肺实质的初始分割,并利用Bresenham算法进行肺实质修复,整个过程自动完成,无需人工干预.选取97例肺结节(普通型)和25例胸膜粘连型结节的CT图像用于算法测试.其算法对胸膜粘连型结节的敏感度为100%,分割精确度为98.6%,肺实质分割的精确度为95.2%,每幅图像平均分割时间为0.67秒.

同样为解决因胸膜粘连型结节导致的肺实质分割不完全问题,Hu等[8]于2014年首先使用基于牛顿—科特斯的平滑算法(Newton-Cotes-based smoothing algorithm,NCBS)去除CT图像中的噪声,然后考虑到肺的新月形轮廓特点,采用一种基于曲率的修正算法(Curvature-based correction algorithm,CBC)以确定修正阈值.其基本假设是:胸膜粘连型结节的弯曲半径(Bending radius)比整个肺实质的弯曲半径小得多.算法核心是决定待包含的肺轮廓上具有特定曲率值的点集,分为三个问题,即如何表示像素曲率、如何判断点的凹度和如何确定待纠正的曲率阈值.文献对25例门诊病人CT图像的实验表明,该方法可以分割出被初始阈值方法漏掉的全部129个胸膜粘连型结节,即再次囊括胸膜粘连型结节的比率为100%.Lai等[9]于2014年采用形态学闭操作和阈值化技术分割CT图像中的正常肺实质,在肺叶裂纹、左右肺的细小接合点、血管压痕和支气管壁等解剖信息的指引下,获得了良好的肺区域分割.该方法的平均敏感度为0.97,平均特异度为0.99,平均面积误差为0.0158.Mansoor等[25]于2014年提出了一个新的病理肺分割方法,分为两个阶段,第一阶段使用模糊连通性图像分割算法抽取初始的肺实质区域,同时在不明确画出肺轮廓的情况下使用胸腔信息估计肺体积.这个初步的肺体积估计方法可以对胸腔和基于模糊连通性测量的肺体积的体积差异进行比较.较大的体积差异表示病理的存在,这将自动调用第二阶段方法以对初始分割的肺部区域进行精化.第二阶段使用基于纹理的特征来检测前一阶段易丢失的异常图像模式,例如实变、磨玻璃影、间质增厚、树芽征、蜂窝征、结节、微结节等.精化阶段使用一个新的近邻解剖信息导向的分割方法以囊括弱纹理的异常区域和胸膜区域.在含有多种异常类型的400例CT图像上的肺分割实验表明,该方法获得了大于95%的平均重叠率.

2.3 肺部脉管检测

因为肺部脉管(血管和气管)亮度与肺结节相似,甚至不少结节会在空间上靠近或粘着在脉管上,常干扰肺结节的自动检测.另一方面,肺部血管分布变化和多种疾病都有关系,例如肺部高血压病人的肺血管呈膨胀状态[26].因此肺部脉管检测也是肺部CAD的重要部分,但是肺部血管细小,对比度差,边界模糊,给自动分割带来挑战.

基于增强滤波器的方法针对感兴趣目标的形态特性、几何分布、灰度分布和梯度等特征,采用滤波器增强感兴趣区,抑制非感兴趣区,可使得感兴趣区在图像中呈现高亮状态.为分割图像中的血管结构,可以将滤波器与图像进行卷积操作以提取目标.在提取血管边缘时,可以利用图像灰度在血管横截面呈高斯型分布的特性,将高斯滤波器与含有血管结构的图像进行卷积,滤波器会在尺度相近的血管位置处产生一个较大的输出,同时还可在一定程度上平滑噪声.Gabor滤波器也能较好地增强肺部血管,提取肺部血管的方向特性,再结合阈值法,能够较好地提取出肺部血管.Cheng等[27]于2014年提出一个抽取血管中心线的自动方法,其使用一系列线检测滤波器进行小血管增强,然后使用细化算法抽取血管中心线分段,最后使用全局最优化算法分组和选择血管中心线分段.为了在二维和三维空间中识别医学图像中的血管,Koller[28]于1995年提出了增强感兴趣区的思路,之后Lorenz等[29]和Frangi等[30]分别于1997年和1999年对血管增强方法进行了更加深入的研究,但是这些算法的特异性不高.后来随着肺癌CAD研究的兴起,Sato等[31]将血管增强算法引入肺癌CAD中,增强方法在肺癌CAD中的应用逐渐增多.

肺血管整体呈树状结构,拓扑结构复杂,从肺主动脉往下分为多级,直径变化较大.针对这些特点,可采用几何形变模型[32]对肺血管进行精确分割.贾同等[33]提出了基于几何变形模型的三维肺血管分割方法.首先,定位血管内外同质区域;然后,通过目标边缘能量的计算使曲面沿着图像梯度方向的二阶导数进行演化,以使其精确收敛到目标边缘;最后,根据上述步骤,建立三维血管分割形变模型.Boskamp等[34]和陈刚等[35]分别采用二维和三维区域生长法进行血管分割,首先从血管内的一个或多个种子点开始,按照设计的生长准则,通过归并种子邻近区域的像素/体素,逐渐填充血管区域,即根据合并准则把种子点邻域内的相似像素/体素归并到该种子点的生长区域内.2013年,Park等[26]在简单分割肺实质后,选择初始阈值和自适应区域增长的方法抽取血管区域作为3D点集(点云),然后采用Hessian矩阵进行张量分析去除肺裂体素点,接着采用类似于3D扫描点云数据的树结构重建算法对血管的3D点集进行血管树重建.

基于跟踪的血管分割算法建立在血管具有连续结构特征的基础上,一般先使用一个局部算子作用在血管的某个初始点上,然后由算法自动跟踪血管的中心线、方向和半径等参数.Zhou等[36]在其检测肺栓塞的工作中,根据肺血管的方向、骨架等几何特性跟踪并重构血管树.Kawata等[37]于2013年引入了一种随机网络和粒子滤波器,在同步加速辐射CT图像中追踪穿越肺部腺泡的细小肺血管.

考虑到单一方法的局限性,混合方法在血管分割中得到应用.¨Ozkan等[20]在完成肺实质分割后,接着检测出纵隔膜区域,然后利用阈值法、2D和3D连通成分标记法、解剖结构参考点定位等多种技术,最终完成肺部血管的分割.Kitamura等[38]于2016年提出一种对胸部CT血管造影图像中的血管进行全自动分割的方法,首先从训练数据中学习到特定的地标检测器(Landmark detectors)检测肺动脉主干和左心房,然后采用图割方法分割血管区域,最后采用高阶能量函数最小化方法分离动脉和静脉区域.

2.4 肺部淋巴结检测

淋巴结的病理变化是检测恶性肿瘤(肺癌、直肠癌、乳腺癌、肝癌、宫颈癌等)和判断肿瘤转移的一个重要依据.淋巴结有高的临床相关性和例行关注需求[39],然而淋巴结的分割非常具有挑战性,因为它通常和肌肉、血管或者其他类似的组织一起出现,杂乱且对比度低;淋巴结的尺寸变化很大,正常的淋巴结一般不超过2cm,而病理性增大的淋巴结(例如因癌症或感染而增大的淋巴结)却可以达到5cm以上;通常增大的淋巴结会粘连在一起并形成聚簇,检测聚簇内的淋巴结十分困难,其边缘不清晰或根本不可见,而且聚簇的形状可以是任意的.

基于形状结构分析的方法在肺部淋巴结检测中得到应用.Dornheim等[40]在2009年提出了用3D平稳质点弹簧模型分割正常和病理淋巴结的算法,从包含潜在淋巴结节的整个数据集开始,最终定位到真正含有淋巴结的数据中.Steger等[41]在2011年提出了一种基于动态规划的方法分割CT图像中的淋巴结,即先找到围绕种子点的闭合路径,进而最小化由梯度、强度和形状先验确定的能量函数,用动态规划法找到保证全局最优的解决方案.Wang[42]在2010年提出了一种基于图的最优表面查找方法从3D CT图像中分割淋巴结,并引入半自动方法进行精调.

判别学习方法也是有效的淋巴结分割方法.Feulner等[39]于2013年采用判别学习和空间先验进行胸部CT图像中淋巴结的检测与分割,可以大幅降低假阳性数量.这些先验知识包括:在肺部的纵隔膜中,淋巴结常出现在脂肪组织中,因此可以排除其他组织空间;淋巴结并不是均匀分布在脂肪组织中,而是更易出现在主动脉弓(Aortic arch)下面和靠近气管的位置.Chen等[43]于2013年提出了基于蛇模型的淋巴结自动识别和分割方法,其首先使用含有两个步骤的图像配准方法以定位淋巴结,即基于身体部位检测的粗配准步骤和基于双模板匹配算法的精细配准步骤;然后采用灰度和边缘信息进行精细化处理;最后采用蛇模型对初始轮廓曲线进行演化并获得分割结果.在对76个淋巴结样本的实验中,该算法获得了100%的检测成功率和95%的正确临床评估率,并且具有平均2.58秒的高效计算性能.

一些研究者综合采用多种方法检测肺部淋巴结.张艳玲等[44]在2013年将基于最大类间方差与数学形态学的分割方法用于淋巴结的分割,最大类间方差法用于对原图进行二值化增强处理,而数学形态学方法用于修正二值图像的边界,通过腐蚀与膨胀操作解决二值化后出现的目标区域与其他组织相连的问题,以更好地提取淋巴结组织.Yu等[45]于2015年提出了一种带边缘约束的基于区域的蛇模型算法进行胸部CT图像中淋巴结的分割,利用自调节机制同时集成边缘和区域信息,在基线和随访图像的淋巴结分割实验中,平均Dice系数分别为0.853±0.059和0.841±0.108.

3 候选病变区域分割

图像预处理后,需将异常目标分离出来,作为候选对象输入到后续处理中.候选病变区域(Candidate lesion regions)即初步感兴趣区域(Region of interest,ROI),通常包括各种肺结节、征象等.提取候选病变区域的目的是为了快速定位疑似病变区域,缩小范围,提高计算效率.这一阶段要求较高的敏感度,保证后续的精确检测,但一般会产生较多的假阳性区域.

根据使用的技术,候选区域分割可分为阈值方法、数学形态学方法、聚类方法、分类方法、概率方法、形态结构法、区域增长法、跟踪法、混合方法.根据有没有使用邻近图层间关系,候选区域提取可分为二维和三维方法.在二维图像中,肺结节和肺血管、肺气管的灰度特征很相似,二维投影大都呈圆形或椭圆形,无法全面展示肺部组织的空间结构细节,导致大量假阳性的产生;三维方法使用三维图像数据(CT图像序列的层间距较小),其假阳性数量明显少于二维方法,产生假阳性的原因主要在于一些脉管交叉处会和结节相混淆.具体采用二维还是三维方法,依赖于当前的CT数据集特性,如果CT图像的层间距过大,则只能采用二维方法.

3.1 阈值法

阈值法利用图像中病变区域与其他区域在CT值上的差异,分析、选取较合理的阈值,以确定图像中的各像素/体素点类别归属,从而完成结节候选区的提取.

阈值法适用于目标与背景灰度对比度较大的情况,在肺结节提取中.可以容易地将结节区域和充满气体的背景暗区分开.由于肺血管、肺气管在灰度特征上与结节相似,应用阈值法容易产生由肺血管和肺气管组成的假阳性结果.阈值选择过高,会导致灰度值较低的肺结节漏检.多灰度级阈值法通过设定多个阈值分割灰度级相似的连通区域,然后去掉其中的假阳性区域.Choi等[5]于2012年提出使用最优多阈值方法抽取ROI区域,即首先利用迭代法计算最优阈值作为基阈值T,然后获得7个阈值化图像和对应的分割图像(采用的7个阈值依次为:T−200,T−100,T,T+100,T+200,T+300,T+400),这些分割图像与肺模板掩膜后组合进ROI图像中.接下来进行基于规则的剪枝处理,即基于ROI计算的5个特征(直径、面积、体积、延伸率、圆度)设计的4个剪枝规则,这些规则可以去除大部分的血管区域.Iqbal等[14]于2014年针对小尺寸结节、低/高对比度结节、血管粘连型结节、胸膜粘连型结节、毗邻隔膜/肺壁型结节提出了使用多步阈值法和形状索引阈值进行潜在结节检测.Guo等[46]于2016年提出一种从局部到全局的多阈值算法,并采用一种新的判别学习算法进行分类,以实现GGO征象的检测任务.

3.2 数学形态学

基于形态学的分割算法利用集合论的概念和运算方法,根据图像的拓扑结构进行变换,度量并提取对应形状.该方法中,膨胀和腐蚀对于灰度变化较明显的边缘效果较好;开操作可以去掉图像中小于结构元素的区域,断开狭窄区域和消除细小突出物;闭操作可消除轮廓线中的间断部分,也可消除小孔洞.该方法中结构元的选取很重要,不同的结构元可完成不同的图像分析,获得不同的结构.

很多研究者利用形态学操作分割候选病变区域[7,47−49].Moltz等[47]于2009年提出一种智能开操作算法(Smart opening algorithm)分割实性肺结节,算法对其他肿瘤类型也有作用(例如与血管或其他细长型结构比邻并且具有相似的灰度值).基于阈值的分割方法在上述情形下是不充分的,但因这类病变多数是均匀的,仍可使用阈值法预先获得体素超集,例如采用3D区域增长并将种子点定位在ROI的中心.区域增长结果除了包含完整病变区,还会额外包含部分粘连的脉管系统.形态学开操作可以去除血管,但困难在于确定最佳的腐蚀强度.因为肿瘤(结节)和血管在大小上明显不同,不能使用固定大小的腐蚀核,而智能开操作则能够自动选择腐蚀强度.2014年,高婷等[7]利用Canny算子进行边缘检测,并在连通区域连接、分支去除和填充空洞等形态学处理后,采用半径为层厚的球形结构元进行开运算以去除面积过小的连通区,最后去除直径大于3cm的三维连通区.2014年,Jacobs等[48]使用双阈值密度模板算法获取GGO衰减值的体素模板,使用直径为3体素的球状结构元进行形态学腐蚀操作(可减少部分容积效应(Partial volume eあects,PVE)的影响).然后进行连通成分分析把所有体素聚合为候选结节,并去除体积小于34mm3的对象.接着使用同样直径结构元的形态学膨胀操作去除因腐蚀造成的收缩,然后计算所有候选的体积和质心,并合并质心距离小于5mm的候选结节.

3.3 聚类方法

聚类的目的是将CT图像分割成两类或多类,常见的使用场景是聚类为肺组织区和背景区.

Ge等[50]采用中值滤波器获得图像特征向量,并采用加权K均值聚类方法形成结节簇和背景簇,然后分别计算像素特征向量与结节簇中心和背景簇中心的距离,最终通过二者的比率决定像素类别归属.该方法聚类目标明确,可自适应获得聚类阈值,但是检测结果依赖于特征向量的组成,且很难兼顾敏感性和假阳性率,无法处理粘连成分较多的结节,例如膜粘连型结节(胸膜、心脏、隔膜等).2014年,Netto等[18]采用生长型神经气算法(Growing neural gas,GNG)和3D距离变换—区域增长算法进行候选肺结节的分割,GNG是自组织映射算法(Self-organizing maps)和神经气(Neural gas)算法的优化聚类算法,其采用增量聚类方式(算法执行时聚类数量可以增加)和非监督模式(基于输入数据的统计特征形成聚类).魏颖等[51]于2016年提出结合Hessian矩阵滤波的均值漂移聚类方法分割肺部疑似病灶区域,可以较好地将结节从血管上分割出来.该方法首先进行肺实质分割和多尺度Hessian矩阵圆形增强滤波,然后将滤波后的形状特征、灰度、空间位置三种信息引入特征空间,将均值漂移聚类的核函数分解为三种特征信息分别对应的核函数乘积形式,最后采用自适应计算带宽的方法确定每个待分割疑似病灶区域的带宽,并进行均值漂移聚类.

模糊聚类是一种基于模糊数学的灰度图像分割方法,是聚类算法中非常重要的一个分支,早期工作[52−55]已将模糊聚类引入到ROI提取中.Kanazawa等[52]采用模糊聚类方法将肺实质图像分为空气簇和组织器官簇,对组织器官簇中的图像数据计算灰度加权距离等后续处理.经典模糊聚类算法仅考虑每个像素的灰度值分别与各聚类中心的距离,没有考虑邻域内像素之间的影响,也未利用图像的空间信息,针对这一问题,李翠芳等[56]于2013年提出一种改进的利用血管及类别结构信息加权的适用于亚实性(Sub-solid)肺结节的核模糊聚类(Improved weighed kernel fuzzy C-means,IWKFCM)三维分割方法.该方法首先从肺CT图像序列的中心层人工选取结节感兴趣区域(ROI),然后从该ROI临近层确定三维感兴趣区域(Volume of interest,VOI),再从VOI内进行IWKFCM 聚类,最后对聚类结果进行三维连通域标记及形态学处理得到最终结节的分割结果.Badura等[57]于2014年提出利用模糊连通性和进化计算进行3D肺结节分割.使用者需为每个结节选择两个种子点(分别表示背景和结节),然后采用含有软计算阶段的模糊连通性方法成倍增加种子点数量,使得分析过程更鲁棒.

3.4 分类方法

分类是在已知训练集样本类别标签的条件下,通过学习已知的输入输出关系而建立起样本输入与类别输出之间的映射关系.其重要内容是用先验样本训练分类器以获得最佳模型参数,进而采用训练的模型对新样本进行类别预测.

宋佳等[58]于2014年提出一种基于三维特征的肺结节概率分类算法,首先由人工给出结节中心点c和可能的最大直径r,然后把以c为中心、2r为边长的正方体作为VOI.对VOI中的每个体素,计算5×5×5邻域的灰度平均值、最小值、最大值、标准差,并计算基于三维灰度共生矩阵的纹理特征(逆差矩、相关性、角二阶矩、对比度和熵)和局部二值模式(Local binary pattern,LBP),最后利用决策树模型对体素特征进行分类.

集成学习方法生成许多分类器并聚合它们的结果,例如随机森林在Bagging集成方法中添加了一个额外的随机层,它的每棵树都生成一个分类决策并输出一个分类结果,这些结果被集成为最终结果.Kouzani等[59]于2008年基于随机森林设计了一个集成分类算法来识别二维CT图像中的肺结节,并比较了集成分类算法、支持向量机(Support vector machine,SVM)分类器和决策树分类器得到的结果,前者获得了最好分类性能.

3.5 概率方法

基于概率的方法也被用于候选区域分割.Bharath等[60]提出了基于贝叶斯网络模型(Bayesian network model based,BNMB)的ROI自动分割方法.BNMB实质是个概率图模型,首先从过分割图像构建一个概率图,表示超像素区域和边缘分割之间的关系,然后利用基于概率模型的迭代过程识别出一些区域并进行合并.该方法每张图分割时间为20∼40s,并达到了97.4%的分割准确率.为充分利用CT图像的解剖结构信息和PET(Positron emission tomography)图像的功能信息,早期研究多采用N维向量融合抽取自CT和PET图像的不同特征,近年来概率方法在协同分割中也得到应用.Song等[61]于2013年提出一种概率方法对PET-CT混合模态图像进行协同分割.该方法把分割问题作为编码了两种模态图像信息的马尔科夫随机场的最小化问题,并使用基于图割的算法进行最优化求解.实验结果表明协同分割方法比在任何一种模态图像上单独使用图割方法都具有更高的分割性能.Guo等[62]于2014年提出用模糊马尔科夫随机场模型进行肺肿瘤自动分割,设计了一个新的联合后验概率模型以有效融合PET和CT图像信息.

3.6 形态结构法

在肺部CT图像中,各类病变区域都具有一定的统计学形态特征,例如孤立性肺结节在二维空间多表现为类圆形,并且CT强度值通常从中心向边缘衰减,而在三维空间中,肺结节则多表现为类球形,CT强度值则从中心向四周衰减.基于形态结构分析的候选病变区域分割方法主要包括模板匹配、变形模型、结构分析等途径.

Farag等[63]于2004年提出了一种基于变形模板进行模板匹配的结节检测方法.针对不同结节类型具有不同几何和灰度级分布的特点,方案设计了四个不同类型的变形模板:1)实心球体模板,描述大尺寸的钙化和非钙化肺结节;2)空心球体模板,描述大尺寸含空洞征肺结节;3)圆形模板,描述仅在一个图层中出现的小结节;4)半圆模板,用以描述与肺壁粘连型结节.每种模板都有相应的灰度级模式用以匹配对应形态的结节,然后采用基于遗传优化的互相关模板匹配方法检测肺结节,最后使用贝叶斯分类器进行假阳性去除.该方法可以处理跨越多个连续图层的孤立性异常区域,在200个病例数据上的实验敏感度达到82.3%,假阳性率为9.2%.

变形模型也经常用于候选区域分割,Cascio等[2]于2012年提出使用稳定的三维质点弹簧模型(Mass-spring models,MSMs)和样条曲线重建方法进行肺部候选结节分割,可以同时处理孤立性结节和胸膜粘连型结节.MSMs是常用在软组织仿真方面的物理模型,包含一些由弹簧相连接的质点(弹簧建模质点间的连通性)以描述目标形状.稳定的MSMs在弹簧静息长度和方向方面扩展了传统MSMs,无论何时弹簧偏离了静息方向,都会出现一个扭矩试图恢复静息方向.从医学图像的角度看,稳定质点弹簧模型的一个重要优势是可以适应生物结构随时间的变化.Guo等[64]于2013年提出使用Gabor纹理特征和模糊C均值(Fuzzy C-means,FCM)算法检测候选结节,并使用随机游走算法分割候选结节边缘.主动轮廓模型常用于医学图像分割[65−67],Li等[68]于2015年提出一个基于监督式半自动3D肺组织分割方法的肺与血管模型,不同于现有文献中常用的“由粗到细”方法,该模型基于几何主动轮廓的递归策略从3D CT数据中抽取肺组织.因为肺组织在相邻切片中变化很小,模型让前一切片分割结果监督当前切片的分割过程,基于这种监督机制,所有切片的肺组织区域都可得到快速、精确的分割.该模型还解决了融合的左右肺的分离处理和胸膜结节的分割等问题.

对特定的研究对象进行形状结构分析,也是一种有效的候选区域分割方法.2014年,王凯等[69]提出一种基于自适应体窗进行组织结构分析的肺结节检测方法.该方案先采用一种结合区域生长和改进波阵面法的三维分割方法进行肺实质分割,接着进行结节检测:首先计算肺实质区域内体素的Hessian矩阵特征值并构造结构系数,对相邻体素区域的灰度分布进行初步分析;然后利用结构系数构建三维自适应体窗,分析目标组织对象的局部灰度分布和结构特征;最后利用判别函数检测结节,去除血管和血管交叉等干扰对象.Santos等[16]于2014年提出利用高斯混合模型(Gaussian mixture model,GMM)分离肺实质的内部结构对象,然后利用Hessian矩阵特征值检测类球状结构作为候选结节.Yong等[70]采用2D-Otsu算法分割肺部区域边缘,然后以20像素为间隔对肺边缘进行重采样,接着计算肺边缘点的倾斜角,一般情况下正常区域的倾斜角变化相当平稳,而病理区域的倾斜角变化具有更复杂的模式,通过检测倾斜角度变化较大的位置可定位与胸膜粘连的肿瘤区域,接下来通过对真实肺形状进行预测可以分割出胸膜粘连的肿瘤.

3.7 区域增长法

经典的区域增长算法在候选区域分割中得到较多应用,王秋萍等[71]于2014年探讨了利用空洞检测算法自动化检测肺结节内空泡和空洞的可行性,首先采用最大方差阈值和区域生长方法自动化分割肺实质并提取肺结节,然后对肺结节进行基于阈值分析和区域生长的空泡与空洞检测.实验发现利用空洞检测算法提取肺结节内空洞和空泡征象稳定、快捷、可行.Elizabeth等[17]于2012年采用区域生长算法抽取候选结节区域(ROI).2016年,Krishnamurthy等[72]采用区域增长方法和形态学操作分割候选肺结节,又采用了边缘桥接和填充技术处理胸膜粘连型结节,最后采用3D几何中心偏移分析技术排除血管区域.Song等[73]于2016年提出新的滑梯方法(Toboggan method)进行种子点检测(可同时用于实性结节、GGO结节和空洞结节),然后采用带距离约束和增长度约束的区域增长算法进行肺部病变区域分割,最后使用基于轮廓的病变区域精化方法消除血管和其他组织.

3.8 跟踪方法

跟踪的方法,主要是利用目标在时空维度上的连续性,对目标在时间或空间上的变化进行合理估计以达到检测目的.在视频分析领域主要是时间维度上的跟踪,而在医学图像领域则是空间维度的跟踪.Iwao等[74]于2014年提出一种肺部病变区域分割方法,利用失败跟踪和恢复算法正确跟踪肺部脉管、肺叶等组织结构.该方法包含了一个恢复过程,存储历史信息的数据栈,能够反向追踪到历史信息中的前一状态,当检测到失败状态时,算法能够从前一安全状态重新开始跟踪过程.申正义等[75]于2016年提出肺4D-CT肿瘤自动分割技术,采用运动估计中的完全搜索块匹配算法,获得下一相位图中与初始目标块最相似的目标块,计算出它们之间的运动位移,并以此类推得到所有相位的目标块以及对应的运动位移.

3.9 混合方法

一种方法往往很难精确分割候选区域,一些研究者综合采用多种方法分割候选对象[47,76−85],本文称为混合方法.Carvalho等[13]于2014年提出使用质量阈值(Quality threshold,QT)算法和区域增长算法分割候选结节,即使用体素的灰度相似性生成聚簇,然后使用区域增长法消除候选结节中的不连续部分.Lassen等[82]于2015年提出快速、半自动的半实性结节分割方法,用户需要画出结节的最大直径,然后执行基于结节区域和周围软组织的灰度分析和基于阈值的区域增长算法,接着结合使用连通成分分析和凸包计算方法去除胸壁,最后采用形态学操作去除结节所附着的血管结构.Lu等[83]于2015年提出一种混合方法检测CT图像中的各种类型肺结节,包括形态学操作、基于Hessian矩阵的点增强算法、模糊连通性分割、局部灰度最大算法、测地距离图、回归树分类等,这些方法被组织成具有多个节点的树结构,每个节点处理一种肺结节类型.2015年,Qiang等[84]在PET/CT混合成像模态的基础上,提出一种基于PET/CT的孤立型肺结节分割方法.在经过PET和CT图像的配准之后,分别在PET和CT图像中完成结节检测和分割.因为使用的是融合模态图像,所以可以充分利用PET图像中的高代谢区域作为种子点,进一步映射到CT图像的对应位置,再使用区域增长方法完成肺结节提取.2016年,Gon¸calves等[85]提出多个基于Hessian矩阵的肺结节分割策略,即中心线自适应规则方法、形状索引法(Shape index,SI)和弯曲度法(Curvedness,CV)以及通过各策略检测结果的联合充分利用各自优点.

4 假阳性去除方法

对象候选区提取阶段要保证算法检测的敏感性,即尽量保证真正的研究对象被提取出来,而不考虑伴随产生的假阳性数量.因此接下来需要引入分类算法区分出真正的对象区域,仅将这些区域呈现给放射科医生.肺部CAD系统中的假阳性结果主要由肺血管或气管的交叉点引起,为更高效地去除假阳性就需充分考虑这些区域与研究对象的差异.对于假阳性去除的分类问题,一般采用特征—分类器方法,即从提取到的候选区域计算能够辨别目标区域和干扰区域特性的图像特征,并进行特征选择,用最具代表性、区分性强的特征训练分类模型,最后对候选区进行分类.

4.1 遗传算法

Choi等[5]在提取候选结节后,进一步进行特征选择和基于遗传规划(Genetic programmingbased)的分类,方案选择了4种类型特征:2D几何特征(面积、直径、周长、圆度)、3D几何特征(体积、紧致性、边界框各维长度、三个主轴长度、延伸率)、基于2D灰度的统计特征(最小值、均值、方差、偏度、峰度、分割区域外的均值、中间图层像素灰度的8个最大特征值)、基于3D灰度的统计特征(最小值、均值、方差、偏度、峰度、分割区域外的均值),其中2D特征选择从候选结节的中间图层抽取,最终共构成了33个特征维度.算法准确率达到89.6%,敏感度为94.1%.

4.2 聚类方法

2015年,孙娟等[86]考虑到肺结节和非肺结节数量的不均衡性,结合肺部ROI数据的特征,提出全权模糊聚类算法(Fuzzy C-means algorithm based on plurality of weight,PWFCM)检测肺结节.其根据肺结节临床病例特征,分别为每个实例的重要属性和每个样本赋予权值,并引入隶属度约束改进收敛性,并使用二次聚类策略降低数据不平衡性.第一次聚类用以去除面积较大的ROI,例如面积较大且扁长的血管、气管,第二次聚类寻找阳性结节.2016年,邱实等[87]为降低二维CT图像序列中因血管横截面与肺结节成像特征类似所造成的假阳性,提出以格式塔心理学为基础去除血管干扰区域.在得到大量结节候选区后,根据格式塔连续性、整合性原则,对轴位CT图像序列建立各项同性数据体,滤除大量血管ROI,最后精确提取结节ROI,利用FCM进行聚类获得结节区域.

4.3 统计模式识别

Elizabeth等[17]于2012年对分割出的候选结节抽取形状和纹理特征,训练径向基函数神经网络去除假阳性.Ta¸sci等[88]于2015年计算了候选结节的40个特征(含新设计的5个形状特征和2个形状纹理特征),然后使用独立于分类器选择的滤波方法进行特征选择,接着用10个不同分类器进行候选结节分类实验,从中挑选出性能最佳的分类器,即广义线性回归模型,该方法的AUC(Area-under-thecurve)值达到了0.9679.Guo等[46]于2016年提出的GGO征象检测算法采用基于贝叶斯风险最小化和边缘最大化的贝叶斯建模过程从大量候选GGO区域识别出真阳性区域,算法达到了100%敏感度和33.13%特异度.

李阳等[79]于2013年指出传统的SVM结节分类方法都是以特征向量作为输入模式,在提取ROI后再统计其各项特征值形成若干个特征向量(一维)作为分类器输入,这种方法在图像二维输入模式转换为一维向量输入模式时,每个图像空间冗余矩阵没有得到有效利用,会丢失一些有关局域及空间关系的信息.针对上述问题,李阳等[79]利用处理二维输入模式问题的MatLSSVM(Least squares SVM based on matrix patterns)识别肺结节[89],直接把ROI输入SVM分类器,而不再计算各ROI的特征值,从而减少了信息丢失,实验敏感度为100%,特异度达到95%.Carvalho等[90]于2016年提出仅使用形状度量的结节/非结节分类方法,其采用形状图、比例测量和基于圆柱面分析等来分析感兴趣体的形状,然后使用SVM 算法进行分类,达到了平均95.33%的准确率.

研究者通常在分割出候选结节后,抽取候选结节的2D或3D形状特征(球形不均衡性、球形密度、球形度、加权径向距离、伸长率、Boyce-clark径向形状指数等)、纹理统计特征(对比度、能量、熵、同质性和动量)、空间上下文特征等,然后基于某种特征选择算法进行特征选择,最后使用SVM 模型(或经过优化的SVM 模型)进行候选结节分类[13,18,22,77,91].上述几个文献的实验敏感度分别达到85.91%,86%,95.31%,98.3%,98.03%,特异度分别为97.70%,91%,99.73%,-%,-%.王青竹等[92]于2013年提出把候选区域与整体肺部区域的相对位置关系作为传统形状、纹理特征之外的一种新的隐变量参与到SVM 的训练过程中,还引入并设计了含隐变量三维矩阵模式的SVM 分类器,实验达到97.05%的真阳性率和9.21%的假阳性率.

4.4 基于语义网络的方法

Brown等[93]于2003年借鉴来源于语义模式识别领域的语义网络模型,提出了一种语义网络模型来描述解剖结构和病理结构,例如肺实质、肺血管、肺结节等.该结构模型由节点和连接节点的边组成,其中每个节点包含一个解剖结构名称和一组特征集,连接两个节点的边代表两个节点的解剖学关系.为表示解剖变化,模型为数值特征参数分配相应的模糊集,然后输出一个隶属度以区分结节和血管,进而实现了通过模型语义网络来完成肺结节分类.通过在77个肺结节数据上的实验,敏感度达到100%(直径＞3mm)和70%(直径≤3mm),而放射科医生在独立阅片时,对应的敏感度仅有91%和51%.

4.5 混合方法

由于分类器在设计和训练过程中针对性较强,采用单一分类器去除假阳性的方案在分类器性能达到一定程度便很难改进,因此常采用多个分类器去除假阳性,本文称之为混合分类器.Camarlinghi等[6]组合了三个CAD算法自动识别肺结节:CAMCADe(基于分割血管树和结节候选的Channelerant-model以及神经网络分类器),RGVPCADe(一个检测结节候选的区域增长体积稳定算法和减少假阳性的神经网络算法),VBNACADe(两个分别基于3D点增强算法和胸膜曲面法线交叉算法的专有过程,识别内部的和胸膜粘连的结节,一个基于体素的神经网络方法减少假阳性).实验的FROC(Freeresponse receiver operating characteristic)曲线表明不同方法的组合可以胜过任何一种方法.Jacobs等[48]在分割候选结节后,抽取了候选结节的灰度、形状、纹理和上下文特征(候选结节关于肺边界、气管树、血管等的位置),然后使用两个分类模式,多种分类方法进行了分类性能评估,以选择出最优配置.Santos[16]等抽取Shannon熵、Tsallis Q熵等纹理特征,训练SVM 分类器进一步削减假阳性对象.Wang等[94]于2015年提出基于球形形状约束的Chan-Vese(CV)模型进行典型形状特征分析,并结合计算附着于候选结节的血管分支数量降低假阳性数量.

5 深度学习方法

深度学习方法已在图像、语音、文本等领域获得较大成功,近几年在医学图像分析领域也得到应用[95].目前在医学CAD领域尝试的深度学习方法事实上已经不属于传统的技术路线,即图像预处理—候选区域分割—假阳性去除,深度学习方法在CAD中的介入时机主要有两个:1)在预处理(可选步骤)前后将CT scan的每幅图像直接送入深度学习网络,这类方案的目的是可以是自动确定CT scan中哪些切片有病变区域(一般不用定位病变区域位置),也可以是同时替代候选区域分割和假阳性去除功能;2)在进行候选病变区域分割后进行深度学习,目的是对输入的数据进行分类,以去除假阳性.目前这两类方案均体现出较优异的性能.

深度学习技术在肺部病变区域检测中的应用主要是卷积神经网络(Convolutional neural network,CNN),目前主要有4种技术策略[96].策略1:从零开始(CNN from scratch),即使用手头的医学图像数据对CNN模型从头开始训练;策略2:拿来主义(Oあ-the shelf CNN),即无需使用医学领域数据再次训练CNN模型,而是将在其他领域训练好的CNN模型作为特征抽取器,把CNN特征作为现有的手工图像特征的补充信息;策略3:监督—无监督融合训练策略,即在自然图像或医疗图像上进行无监督预训练,然后在医疗目标图像上进行监督式模型精调;策略4:领域精调(Fine-tuning),也被称为迁移学习,即在自然图像数据集上对CNN模型进行监督式预训练,然后在医学图像数据集上进行监督式模型精调.

由于CNN庞大的参数空间和医学领域数据的缺乏,从零开始的策略1容易陷入过拟合;拿来主义的策略2直接把其他领域训练好的CNN模型作为特征抽取器使用,由于不同领域数据的巨大差异,CNN特征未必能很好表示目标领域的数据,但对已有手工特征的综合使用一定程度上弥补了上述缺陷;策略3实际上是在缺少足够的已标注数据情况下的妥协方法;策略4的领域精调则在具有充足数据的领域对CNN模型进行充分的预训练,然后在目标领域的适量数据上对预训练的模型进行调优训练,这具有迁移学习的特性,并且也取得了很好的性能.事实上,根据Tajbakhsh等在2016年的研究[97],领域精调方案的性能能够超越或持平(最坏情况)从零开始的方案性能,并且对训练集规模更具鲁棒性,同时该研究还表明根据可用数据量的大小进行逐层精调是达到最佳性能的可行实践策略,但无论浅层调优(Shallow tuning)还是深层调优(Deep tuning)都是具体应用的最佳选择.

5.1 从零开始

2016年,Dou等[98]在肺结节检测工作中,采用多层上下文三维卷积神经网络(3D convolutional neural networks,3D CNN)进行假阳性去除.相对于2D CNN,3D CNN能够使用3D样本数据训练得到对应的层次网络结构,并通过该层次结构编码丰富的空间信息和抽取更具区分能力的特征.更重要的是,其进一步提出了一个简单有效的策略来编码多层上下文信息,以应对结节类型的多样性带来的挑战.由于采用从头开始训练的策略,该方案为缓解数据量不足和数据不平衡问题,采用了平移和旋转的数据扩增策略,最终获得65万训练样本.该方法的评估使用了大规模基准测试集,即ISBI 2016主办的LUNA16竞赛发布的数据集(筛选自LIDC数据库的888个病例CT图像).竞赛中的假阳性去除项目,要求参与者给出候选位置集合,并给每个候选指定一个肺结节概率.上述方法在假阳性率为8FPs/scan配置下,可以达到92.2%的敏感度;而在7个预定义的假阳性率配置下,1/8,1/4,1/2,1,2,4,8,平均敏感度为82.7%.Cheng等[99]于2016年采用基于堆叠去噪自编码技术(Stacked denoising auto-encoder,SDAE)的深度学习架构对乳腺超声图像中的候选病变区域和胸部CT图像中的候选结节区域进行分类.方案采用SINGLE和ALL两种切片选择策略,前者共有1400个训练/测试ROI样本,每个样本表示一个不同结节,后者在训练/测试中包括了每个结节的所有成员切片(共计10133张切片).实验结果表明基于SDAE深度架构的CADx算法显著超越了两个传统的最佳算法.该工作虽然使用LIDC数据集中的医生标注结节作为训练用ROI区域,但很明显如果前期结合候选结节检测步骤,该方法可以用于假阳性去除工作中.Setio等[100]于2016年采用多视角卷积网络检测肺结节,从训练数据中学习具有区别能力的特征.方案使用了三个特别为实性结节、半实性结节和大结节设计的候选结节检测器,对于每一个候选,从不同方向的面数据(矢状面、冠状面和横断面)中抽取2D图块作为2D卷积网络的输入,最后采用专用的融合方法整合网络输出以获得最终分类结果.为避免过拟合,方案采用了数据扩增(Augmentation)和丢弃(Dropout)技术.实验在LIDC-IDRI数据集上进行训练和测试,在1FPs/scan的情况下敏感度为85.4%, 4FPs/scan的情况下敏感度为90.1%.另外还在独立数据集ANODE09和DLCST上进行了方案评估,整体结果表明多视角卷积网络十分适合CAD系统的假阳性去除任务.

5.2 拿来主义

计算机视觉领域的研究表明CNN特征可以是通用的,能够用在训练网络模型的特定领域之外.Ginneken等[101]和Ciompi等[102]在2015年的工作都采用了拿来主义的策略.Ginneken的工作将自然图像领域的目标检测模型OverFeat作为CNN特征抽取器,来获取CT图像中的结节特征.他们采用LIDC数据集中865组CT图像和结节检测系统获得候选结节,抽取候选结节的矢状面、冠状面和轴向面的2D图块(Patches),接着抽取OverFeat网络倒数第二层的4096维特征,最后采用SVM分类器进行结节类别分类.实验表明,CNN特征和SVM分类方案并没有达到专用检测系统的性能水平,但是如果把两者结合起来(达到71% 的平均敏感度),可以超越任何单一方法的性能.Ciompi的工作对CNN特征(OverFeat features)和Bag of frequencies(BoF)描述符做了性能比较,2D视角的CNN特征、BoF特征分别用于SVM分类器进行组合分类实验,在最佳操作点附近(靠近坐标(0,1)的位置),两类特征的性能是可比的.实验表明从自然图像等完全不同的数据域中学习出的视觉核(Visual kernels,即指CNN特征抽取器)依然能够为解决医疗图像域的问题提供有用信息.

5.3 半监督训练

尽管各种医疗成像设备不断地产生医学图像数据,但是获取充足的标注数据以表示病变的自然变化却是十分困难的.Schlegl等[103]于2014年提出利用跨图像域的无监督预训练方法提升肺部组织分类.该工作在高分辨率CT数据上,使用CNN捕获肺组织的空间外观模式并进行后续分类,通过对CNN模型的无监督预训练引入无标注数据可用的图像类别信息可以实现领域自适配.实验表明与随机初始化模型参数相比,这种在不同图像类别上进行无监督预训练的方式提升了分类准确率,并且预训练的图像域和精调的图像域越接近,分类性能提升越明显.

5.4 领域精调

Shin等[96]于2016年探讨了使用深度卷积神经网络(Deep convolution neural networks)进行计算机辅助检测的三个主要问题,即:探索和评估了宽度(参数范围从5000到1.6亿)和深度(多种层次深度)不尽相同的多种卷积神经网络(CNN);描述了不同数据规模和空间图像上下文对神经网络性能的影响;讨论了对于从ImageNet数据集预先训练好的CNN模型,什么时候迁移学习是有价值的,以及为什么有价值.该工作还验证了迁移学习的有效性,即继承了来自大规模ImageNet数据集的丰富的层次图像特征,并进一步适配到了CAD领域.该方案在两个CAD问题上进行了实验分析,即胸腹淋巴结检测(Thoraco-abdominal lymph node detection)和间质性肺病(Interstitial lung disease,ILD)分类.在纵膈淋巴结检测上,该方案在3 FPs/patient配置点上,获得了86%的敏感度,超过了之前的最好结果.

6 算法评测

比较已出版文献中的不同检测方法的性能并不容易,瓶颈在于构成不同检测方案的参数不同,这些参数包括:性能评测准则、实验所使用的数据集、目标病变类型的特性等.

6.1 评测指标

在医学图像分析领域,每个指标都会关注检测算法性能的某个方面.对已发表文献的调查表明,一些指标经常被使用,在一定程度上促进了检测算法的性能比较.文献统计研究还表明,尽管某些指标被大量采用,但是单位却没有统一.由于相关信息的缺失导致无法在不同单位之间进行换算,虽然使用了同一个指标,还是无法进行性能比较.例如假阳性率、假阳性数,其中假阳性数又分为FPs/slice,FPs/scan,FPs/patient,由于不同scan的slice数目不同,这些单位间几乎不能相互换算,给性能比较带来困难.考虑到放射科医生一般以scan为单位进行阅片,我们推荐采用FPs/scan作为性能指标.表1介绍了几个常用评价指标的简要描述和使用场景,推荐在肺部病变区域检测中使用.

6.2 肺部CT图像集

以往研究工作多采用自有数据集,为客观比较不同算法的性能造成了障碍.一些研究组织发布了公开可用的医学CT图像数据集,例如肺结节数据集Lung TIME、目前规模最大的LIDC-IDRI肺结节数据集、肺结节检测算法评估数据集ANODE09、肺部常见征象数据集LISS等.其中ANODE 09评估数据集官方已推荐使用LIDC-IDRI数据集做算法评估,Lung TIME数据集在数据规模和被采用量上也比较小,所以推荐在肺结节检测方面采用LIDC-IDRI数据集,在肺部常见征象检测方面采用LISS数据集.

1)LIDC-IDRI数据集[104].该数据集包括1018个CT序列图像,7371个被医生标注为结节的病变区域,2669个被至少一个医生标记为大于3mm的结节并被标出结节轮廓.虽然结节标注文件含有4种类别的CT征象程度数据,例如毛刺征(Spiculation)、分叶征(Lobulation)、毛玻璃影(Ground glass opacity,GGO)、钙化征(Calci fi cation),但是该数据集主要定位于肺部结节的分析,包含的征象类型也都是属于结节的一部分属性,并没有包含像支气管粘液栓、阻塞性肺炎等常见肺部CT征象.Lung Nodule Analysis 2016挑战赛使用了该结节数据库.

2)LISS数据集[4].该数据集主要定位于肺部CT征象的检测,包含了9类常见CT征象,即:毛玻璃影、毛刺征、分叶征、钙化、空洞空泡(Cavity and vacuolus)、胸膜牵拉(Pleural dragging)、支气管通气征(Air bronchogram)、支气管粘液栓(Bronchial mucus plugs)、阻塞性肺炎(Obstructive pneumonia).数据分为层厚较大的2D病例252个和层厚较小的3D病例19个,并包含了专业放射科医生标注的征象区域及其征象类别等关键信息.

6.3 现有检测方法性能分析

为促进已出版的肺部病变区域检测系统的性能比较,本文制作了一张性能汇总表格,见表2.对每个参与比较的系统,如果原始论文中有相应阐述,我们会给出如下信息:作者、出版年份、使用的数据集、检测性能结果;具体到所使用的数据集,还给出了扫描次数(Scans)、图层数(Slices)、图层厚度(Slice thickness,ST)、病变区域数量(Lesion regions,LR)、病变区域类型(Type)、大小(Size)等;关于检测性能结果,本文列出敏感度、特异度、假阳性(默认单位FP/scan,也使用百分比)、Az(ROC曲线下面积)、DSC(Dice similarity coeきcient)、响应时间等.具有如下特点:

表1 检测算法评价指标Table 1 The evaluation index of detection method

表2 肺部病变区域检测方法的性能比较Table 2 The performance comparison of detection methods for lung lesion region

表2 肺部病变区域检测方法的性能比较(续)Table 2 The performance comparison of detection methods for lung lesion region(continued)

1)关于检测任务.有18个工作的敏感度指标超过了90%,其中4个达到100%;对于特异度指标有7个超过了90%;假阳性指标的单位较复杂,在敏感度大于95%的情况下,各种假阳性单位的最小值分别为8.8%,2.45/scan,0.38/patient;Az指标超过0.95的有5个.如果同时考虑敏感度和特异度,则仅有4个工作同时超过了90%,即李阳等[79]2013年的工作,Sheeraz等[22]2016年的工作,Manikandan等[49]2016年的工作,Cheng等[99]2016年的工作,分别采用了统计模式识别法、形态学法和深度学习法.其中深度学习方案一般采用大型公开数据集,由于训练、评估得较充分,虽然在具体指标数值不是最高的,但应该具有较好的性能稳定性,例如考虑Az指标的话,5个工作超过了0.95,其中三个采用的是深度学习方案.Cheng等[99]2016年发表于Nature-Scienti fi c Reports上的文章,对基于深度学习的计算机辅助诊断方法用于辅助良恶性结节/损伤的鉴别诊断进行了综合性研究,实验用数据包括合作医院的520个乳腺损伤病例和来自LIDC-IDRI大规模公开数据集的1400个肺部结节数据,文章报告了90.8±5.3%的敏感度和98.1±2.2%的特异度.作者指出深度学习方法避免了由不准确的图像处理结果(例如边缘分割)带来的潜在错误和鲁棒性欠佳的特征集引起的分类偏差.同时认为深度学习技术可能改变CAD系统的设计范式(Design paradigm),而不再需要明确设计和选择面向问题的特征.

2)关于分割任务.DSC指标超过85%的有4个工作,其中3个属于形态结构分析方法,1个属于跟踪方法,可见形态分析法在分割类任务中较为流行,性能也较好.

需要注意的是,本文仅关注了文献中出现频率最高的常用指标,有一些工作虽然也取得了优异性能,但因为使用了其他指标,不方便进行对比分析.例如Chen等[43]检测淋巴结的工作,获得了100%的检测成功率和95%的正确临床评估率,并且具有平均2.58秒的高效计算性能.

7 目前存在的问题与未来发展趋势

7.1 应注意的若干问题

CAD研究已经取得一些进展,但一些关于肺部病变区域检测的问题需要注意.

1)真阳性判断准则.确定检测出的区域是否为真正的目标区域,对实验结果的评估具有一定影响.例如可以在系统输出的结节中心到金标准(Ground truth)结节中心的距离小于金标准结节的半径时,认为输出结节为真阳性;也可以计算系统输出结节区域和金标准结节区域的重叠率并指定阈值作为判断准则.

2)性能比较.由于多数文献使用敏感度、特异度、假阳性数/scan作为性能指标,本文推荐采用这些指标以方便对比.另一方面,应尽可能采用公开的医学图像数据集,并说明具体使用了哪些病例数据,或者说明选择实验所用病例的方法.

3)检测流程.目前在医学CAD领域,不同文献使用预处理、候选区域检测、候选区域分割、假阳性去除等各不相同的步骤及这些步骤的不同组合.例如分类技术既可以用于候选区域提取,也可用于假阳性去除.建议采用如下检测流程:图像预处理,候选区域分割,假阳性去除.

4)基准数据集.目前肺部CT研究领域最大的公开数据库LIDC-IDRI拥有1018个病例数据,即便这样离完全训练深度学习网络还存在较大差距,所以目前的深度学习方法在医学领域内多采用参数迁移的调优路径.开发更大规模的肺部CT标注图像集,或者在新建数据集时采用与LIDC-IDRI相同的数据标注协议,以方便综合利用多个数据集,对于肺部CAD领域的进一步发展十分迫切,尤其是对深度学习方法的研究.

7.2 主要发展趋势

传统的CAD技术路径一般都有图像数据预处理、候选区域分割、假阳性去除等步骤,会依次涉及图像增强、图像去噪、图像分割、特征提取、特征选择、模式分类等,不同的CAD方案一般是在这些步骤中采用了不同的算法选择与组合,但整体模型是固定的.这类方案的优点是能较充分考虑某种病变类型的特点,但缺点也是明显的:1)鲁棒性不高,例如往往针对某种结节类型的算法设计,一旦遇到另一种结节类型,其性能会急剧下降,甚至在新的数据集上表现出较差性能;2)每个步骤的性能都对下一步处理产生影响,但是又只能进行逐步骤训练,要使系统整体性能最优比较困难;3)为了能够处理稍微变化的病变类型,需要进行从预处理开始的全新的设计和算法训练测试.

目前医学图像病变区域检测技术发展呈现如下趋势:

1)深度学习技术的应用.近年来深度学习的兴起主要得益于ImageNet等大型标注数据集的发展和高性能计算等硬件资源的发展,已表现出极好的扩展性,在ImageNet等大型数据集上训练好的模型,在医学图像中仅进行并不复杂的调优训练后即可表现出优异性能,应该对该技术进行尝试性研究.

2)系统结构简化.在肝脏的病变区域检测中,Christ等[110]设计出融合多个CNN模型的深度学习系统,一次性实现了图像预处理(含肝脏区域分割)、感兴趣区域分割、假阳性去除等功能,从而简化了CAD系统结构,这对肺部CT图像病变区域检测的CAD系统研究具有参考价值.

3)利用非图像医疗数据提升基于图像的CAD系统性能.LSTM(Long short-term memory)是一种时间递归神经网络,之前主要应用在语言识别、语言模型、机器翻译、图像字幕等领域.Lipton等[111]充分展示了递归网络在处理和分析时序医学数据上的潜力.Hofmanninger等[112]于2015年提出和评估了一种语义概述(Semantic pro fi les)算法,基于图像卷和放射报告里描述放射征象的术语集进行弱监督训练.该算法可以捕获对应于临床相关术语的视觉信息,而且允许将临床术语反向映射到图像数据里的相应区域.从CAD系统的应用角度看,可以尝试与医疗机构紧密合作,把CAD系统与电子医疗记录(Electronic health records,EHR)和PACS(Picture archiving and communication system)系统互联互通,充分利用当前病例的非图像信息,以提高基于医疗图像的CAD系统的整体性能.

1 World Health Organization.Cancer:fact sheet[Online],available:http://www.who.int/mediacentre/factsheets/fs 297/en/,May 1,2017

2 Cascio D,Magro R,Fauci F,Iacomi M,Raso G.Automatic detection of lung nodules in CT datasets based on stable 3D mass-spring models.Computers in Biology and Medicine,2012,42(11):1098−1109

3 Saito H,Oshima M,Kiuchi R,Watanabe K,Kitagawa K,Masuda S.Relationship between pleural indentation on computed tomography scans and pleural invasion in small peripheral lung cancer of 2cm in size or less.Kyobu Geka,2009,62(9):767−770

4 Han G H,Liu X B,Han F F,Santika I,Zhao Y F,Zhao X M,Zhou C W.The LISS—a public database of common imaging signs of lung diseases for computeraided detection and diagnosis research and medical education.IEEE Transactions on Biomedical Engineering,2015,62(2):648−656

5 Choi W J,Choi T S.Genetic programming-based feature transform and classi fi cation for the automatic detection of pulmonary nodules on computed tomography images.Information Sciences,2012,212:57−78

6 Camarlinghi N,Gori I,Retico A,Bellotti R,Bosco P,Cerello P,Gargano G,Lopez T E,Megna R,Peccarisi M,Fantacci M E.Combination of computer-aided detection algorithms for automatic lung nodule identi fi cation.International Journal of Computer Assisted Radiology and Surgery,2012,7(3):455−464

7 Gao Ting,Gong Jing,Wang Yuan-Jun,Nie Sheng-Dong,Sun Xi-Wen.Three dimensional adaptive template matching algorithm for lung nodule detection.Journal of Image and Graphics,2014,19(9):1384−1391(高婷,龚敬,王远军,聂生东,孙希文.检测肺结节的3维自适应模板匹配.中国图象图形学报,2014,19(9):1384−1391)

8 Hu S C,Bi K S,Ge Q X,Li M C,Xie X,Xiang X.Curvature-based correction algorithm for automatic lung segmentation on chest CT images.Journal of Biological Systems,2014,22(1):1−28

9 Lai J,Wei Q.Automatic lung fi elds segmentation in CT scans using morphological operation and anatomical information.Bio-medical Materials and Engineering,2014,24(1):335−340

10 Li Q,Sone S,Doi K.Selective enhancement fi lters for nodules,vessels,and airway walls in two-and threedimensional CT scans.Medical Physics,2003,30(8):2040−2051

11 Liu Yang.Lung Nodule Recognition Methods Based on Pulmonary High-Resolution CT Images[Ph.D.dissertation],Northeastern University,China,2010.(刘阳.基于肺部高分辨率CT影像的肺结节识别方法研究[博士学位论文],东北大学,中国,2010.)

12 Zhang Yong-Qiang,Xia Shun-Ren,Chen Xing-Can,Hao Xin.Study on segmentation algorithm of pulmonary nodule based on CT images.Chinese Medical Equipment Journal,2012,33(11):19−22(张永强,夏顺仁,陈兴灿,郝欣.基于CT 图像的肺结节分割算法研究.医疗卫生装备,2012,33(11):19−22)

13 de Carvalho Filho A O,de Sampaio W B,Silva A C,de Paiva A C,Nunes R A,Gattass M.Automatic detection of solitary lung nodules using quality threshold clustering,genetic algorithm and diversity index.Arti fi cial Intelligence in Medicine,2014,60(3):165−177

14 Iqbal S,Iqbal K,Arif F,Shaukat A,Khanum A.Potential lung nodules identi fi cation for characterization by variable multistep threshold and shape indices from CT images.Computational and Mathematical Methods in Medicine,2014,Article ID 241647,DOI:10.1155/2014/241647

15 Zhou S J,Cheng Y Z,Tamura S.Automated lung segmentation and smoothing techniques for inclusion of juxtapleural nodules and pulmonary vessels on chest CT images.Biomedical Signal Processing and Control,2014,13:62−70

16 Santos A M,de Carvalho Filho A O,Silva A C,de Paiva A C,Nunes R A,Gattass M.Automatic detection of small lung nodules in 3D CT data using Gaussian mixture models,Tsallis entropy and SVM.Engineering Applications of Arti fi cial Intelligence,2014,36:27−39

17 Elizabeth D S,Retmin Raj C S,Nehemiah H K,Kannan A.Computer-aided diagnosis of lung cancer based on analysis of the signi fi cant slice of chest computed tomography image.IET Image Processing,2012,6(6):697−705

18 Netto S M B,Silva A C,Nunes R A,Gattass M.Automatic segmentation of lung nodules with growing neural gas and support vector machine.Computers in Biology and Medicine,2012,42(11):1110−1121

19 Khan Z F,Kannan A.Intelligent segmentation of medical images using fuzzy bitplane thresholding.Measurement Science Review,2014,14(2):94−101

20O¨zkan H,Osman O,Sahin S,Boz A F.A novel method for pulmonary embolism detection in CTA images.Computer Methods and Programs in Biomedicine,2014,113(3):757−766

21 Messay T,Hardie R C,Tuinstra T R.Segmentation of pulmonary nodules in computed tomography using a regression neural network approach and its application to the lung image database consortium and image database resource initiative dataset.Medical Image Analysis,2015,22(1):48−62

22 Akram S,Javed M Y,Akram M U,Qamar U,Hassan A.Pulmonary nodules detection and classi fi cation using hybrid features from computerized tomographic images.Journal of Medical Imaging and Health Informatics,2016,6(1):252−259

23 Wang J H,Li F,Li Q.Automated segmentation of lungs with severe interstitial lung disease in CT.Medical Physics,2009,36(10):4592−4599

24 Wei Y,Shen G,Li J J.A fully automatic method for lung parenchyma segmentation and repairing.Journal of Digital Imaging,2013,26(3):483−495

25 Mansoor A,Bagci U,Xu Z,Foster B,Olivier K N,ElinoあJ M,Suあredini A F,Udupa J K,Mollura D J.A generic approach to pathological lung segmentation.IEEE Transactions on Medical Imaging,2014,33(12):2293−2310

26 Park S,Lee S M,Kim N,Seo J B,Shin H.Automatic reconstruction of the arterial and venous trees on volumetric chest CT.Medical Physics,2013,40(7):071906-1−071906-13

27 Cheng Y Z,Hu X,Wang Y D,Wang J K,Tamura S.Automatic centerline detection of small three-dimensional vessel structures.Journal of Electronic Imaging,2014,23(1):013007,DOI:10.1117/1.JEI.23.1.013007

28 Koller T M,Gerig G,Szekely G,Dettwiler D.Multiscale detection of curvilinear structures in 2-D and 3-D image data.In:Proceedings of the 5th International Conference on Computer Vision.Cambridge,USA:IEEE,1995.864−869

29 Lorenz C,Carlsen I-C,Buzug T M,Fassnacht C,Weese J.Multi-scale line segmentation with automatic estimation of width,contrast and tangential direction in 2D and 3D medical images.In:Proceedings of the 1st Joint Conference on Computer Vision,Virtual Reality and Robotics in Medicine and Medical Robotics and Computer-Assisted Surgery.Grenoble,France:Springer,1997.233−242

30 Frangi A F,Niessen W J,Hoogeveen R M,Van Walsum T,Viergever M A.Model-based quantitation of 3-D magnetic resonance angiographic images.IEEE Transactions on Medical Imaging,1999,18(10):946−956

31 Sato Y,Westin C-F,Bhalerao A,Nakajima S,Shiraga N,Tamura S,Kikinis R.Tissue classi fi cation based on 3D local intensity structures for volume rendering.IEEE Transactions on Visualization and Computer Graphics,2000,6(2):160−180

32 Malladi R,Sethian J A,Vemuri B C.Shape modeling with front propagation:a level set approach.IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(2):158−175

33 Jia Tong,Wei Ying,Wu Cheng-Dong.3D lung vessel image segmentation scheme based on geometric active contour model.Chinese Journal of Scienti fi c Instrument,2010,31(10):2296−2301(贾同,魏颖,吴成东.基于几何形变模型的三维肺血管图像分割方法.仪器仪表学报,2010,31(10):2296−2301)

34 Boskamp T,Rinck D,Link F,Kmmerlen B,Stamm G,Mildenberger P.New vessel analysis tool for morphometric quanti fi cation and visualization of vessels in CT and MR imaging data sets.Radiographics,2004,24(1):287−297

35 Chen Gang,Lv Xuan,Wang Zhi-Cheng,Chen Yu-Fei.Vessel skeletonization method for lung CT images.Computer Science,40(5):274−278(陈刚,吕煊,王志成,陈宇飞.肺CT 图像的血管骨架化方法.计算机科学,2013,40(5):274−278)

36 Zhou C,Hadjiiski L M,Sahiner B,Chan H P,Patel S,Cascade P N,Kazerooni E A,Wei J.Computerized detection of pulmonary embolism in 3D computed tomographic(CT)images:vessel tracking and segmentation techniques.In:Proceedings of the 2003 Medical Imaging.San Diego,USA:SPIE,2003.1613−1620

37 Kawata Y,Niki N,Umetani K,Nakano Y,Ohamatsu H,Moriyama N,Itoh H.Stochastic tracking of small pulmonary vessels in human lung alveolar walls using synchrotron radiation micro CT images.In:Proceedings of the 2013 Medical Imaging:Biomedical Applications in Molecular,Structural,and Functional Imaging.Lake Buena Vista,USA:SPIE,2013.

38 Kitamura Y Z Y,Ito W,Ishikawa H.Data-dependent higher-order clique selection for Artery-Vein segmentation by energy minimization.International Journal of Computer Vision,2016,117(2):142−158

39 Feulner J,Kevin Zhou S,Hammon M,Hornegger J,Comaniciu D.Lymph node detection and segmentation in chest CT data using discriminative learning and a spatial prior.Medical Image Analysis,2013,17(2):254−270

40 Dornheim L,Dornheim J,R¨ossling I.Complete fully automatic model-based segmentation of normal and pathological lymph nodes in CT data.International Journal of Computer Assisted Radiology and Surgery,2010,5(6):565−581

41 Steger S,Ebert D,Erdt M.Lymph node segmentation in CT slices using dynamic programming.In:Proceedings of the 2011 IEEE International Symposium on Biomedical Imaging:From Nano to Macro.Chicago,USA:IEEE,2011.1990−1993

42 Wang Y,Beichel R.Graph-based segmentation of lymph nodes in CT data.In:Proceedings of the 6th International Conference on Advances in Visua Computing.Las Vegas,USA:Springer,2010.312−321

43 Chen Q,Quan F,Xu J J,Rubin D L.Snake modelbased lymphoma segmentation for sequential CT images.Computer Methods and Programs in Biomedicine,2013,111(2):366−375

44 Zhang Yan-Ling,He Xin-Chi,Li Li.Lymph node image segmentation algorithm based on maximal variance between-class and morphology.Computer Science,2013,40(8):296−299(张艳玲,何鑫驰,李立.基于最大类间方差与形态学的淋巴结图像分割.计算机科学,2013,40(8):296−299)

45 Yu P C,Poh C L.Region-based snake with edge constraint for segmentation of lymph nodes on CT images.Computers in Biology and Medicine,2015,60:86−91

46 Guo K,Liu X B,Soomro N Q,Liu Y.A novel 2D groundglass opacity detection method through local-to-global multilevel thresholding for segmentation and minimum bayes risk learning for classi fi cation.Journal of Medical Imaging and Health Informatics,2016,6(5):1193−1201

47 Moltz J H,Bornemann L,Kuhnigk J M,Dicken V,Peitgen E,Meier S,Bolte H,Fabel M,Bauknecht H-C,Hittinger M,KieSSling A,Pusken M,Peitgen H O.Advanced segmentation techniques for lung nodules,liver metastases,and enlarged lymph nodes in CT scans.IEEE Journal of Selected Topics in Signal Processing,2009,3(1):122−134

48 Jacobs C,Van Rikxoort E M,Twellmann T,Scholten E T,De Jong P A,Kuhnigk J M,Oudkerk M,de Koning H J,Prokop M,Schaefer-Prokop C,van Ginneken B.Automatic detection of subsolid pulmonary nodules in thoracic computed tomography images.Medical Image Analysis,2014,18(2):374−384

49 Manikandan T,Bharathi N.Lung cancer detection using fuzzy auto-seed cluster means morphological segmentation and SVM classi fi er.Journal of Medical Systems,2016,40(7):1−9

50 Ge Z,Sahiner B,Chan H P,Hadjiiski L M,Cascade P N,Bogot N,Kazerooni E A,Wei J,Zhou C.Computer-aided detection of lung nodules:false positive reduction using a 3D gradient fi eld method and 3D ellipsoid fi tting.Medical Physics,2005,32(8):2443−2454

51 Wei Ying,Xu Lu,Li Xiang,Li Rui.Segmentation of suspected nodules by multi-scale circular fi ltering combined with MS clustering.Chinese Journal of Scienti fi c Instrument,2016,37(1):192−199(魏颖,徐陆,李翔,李锐.结合多尺度圆形滤波与MS聚类的疑似结节分割.仪器仪表学报,2016,37(1):192−199)

52 Kanazawa K,Kawata Y,Niki N,Satoh H,Ohmatsu H,Kakinuma R,Kaneko M,Moriyama N,Eguchi K.Computer-aided diagnosis for pulmonary nodules based on helical CT images.Computerized Medical Imaging and Graphics,1998,22(2):157−167

53 Kubo M,Kubota K,Yamada N,Kawata Y,Niki N,Eguchi K,Ohmatsu H,Kakinuma R,Kaneko M,Kusumoto M,Mori K,Nishiyama H,Moriyama N.CAD system for lung cancer based on low-dose single-slice CT image.In:Proceedings of the 2002 Medical Imaging.San Diego,USA:SPIE,2002.1262−1269

54 Yamada N,Kubo M,Kawata Y,Niki N,Eguchi K,Omatsu H,Kakinuma R,Kaneko M,Kusumoto M,Nishiyama H.ROI extraction of chest CT images using adaptive opening fi lter.In:Proceedings of the 2003 Medical Imaging.San Diego,USA:SPIE,2003.869−876

55 Antonelli M,Frosini G,Lazzerini B,Marcelloni F.A CAD system for lung nodule detection based on an anatomical model and a fuzzy neural network.In:Proceedings of the 2006 Annual Meeting of the North American Fuzzy Information Processing Society.Montreal,Canada:IEEE,2006.448−453

56 Li Cui-Fang,Nie Sheng-Dong,Wang Yuan-Jun,Sun Xi-Wen,Zheng Bin.Segmentation of sub-solid pulmonary nodules based on improved fuzzy C-means clustering.Journal of Image and Graphics,2013,18(8):1019−1030(李翠芳,聂生东,王远军,孙希文,郑斌.改进的模糊聚类亚实质肺结节3维分割.中国图形学报,2013,18(8):1019−1030

57 Badura P,Pietka E.Soft computing approach to 3D lung nodule segmentation in CT.Computers in Biology and Medicine,2014,53:230−243

58 Song Jia,Nie Sheng-Dong,Wang Yuan-Jun,Lu Wen.A probability segmentation algorithm for lung nodules based on three-dimensional features.Journal of Biomedical Engineering,2014,31(4):771−776(宋佳,聂生东,王远军,鲁雯.一种基于三维特征的肺结节概率分割算法.生物医学工程学杂志,2014,31(4):771−776)

59 Kouzani A Z,Lee S L A,Hu E J.Lung nodules detection by ensemble classi fi cation.In:Proceedings of the 2008 IEEE International Conference on Systems,Man,and Cybernetics.Singapore:IEEE,2008.324−329

60 Bharath A C,Kumar D.An improved bayesian network model based image segmentation in detection of lung cancer.In:Proceedings of the 2014 International Conference on Recent Trends in Information Technology(ICRTIT).Chennai,India:IEEE,2014.1−7

61 Song Q,Bai J J,Han D F,Bhatia S,Sun W Q,Rockey W,Bayouth J E,Buatti J M,Wu X D.Optimal cosegmentation of tumor in PET-CT images with context information.IEEE Transactions on Medical Imaging,2013,32(9):1685−1697

62 Guo Y,Feng Y M,Sun J,Zhang N,Lin W,Sa Y,Wang P.Automatic lung tumor segmentation on PET/CT images using fuzzy Markov random fi eld model.Computational and Mathematical Methods in Medicine,2014,401201,DOI:10.1155/2014/40120

63 Farag A A,El-Baz A,Gimel’farb G G,Falk R,Hushek S G.Automatic detection and recognition of lung abnormalities in helical CT images using deformable templates.In:Proceedings of the 2004 International Conference on Medical Image Computing and Computer-Assisted Intervention.Saint-Malo,France:Springer,2004.856−864

64 Guo L,Zhang Y T,Zhang Z W,Li D Y,Li Y.An improved random walk segmentation on the lung nodules.International Journal of Biomathematics,2013,6(6):1350043,DOI:10.1142/S1793524513500435

65 Sun Wen-Yan,Dong En-Qing,Cao Zhu-Lou,Zheng Qiang.A robust local segmentation method based on fuzzyenergy based active contour.Acta Automatica Sinica,2017,43(4):611−621(孙文燕,董恩清,曹祝楼,郑强.一种基于模糊主动轮廓的鲁棒局部分割方法.自动化学报,2017,43(4):611−621)

66 Chen Kan,Li Bin,Tian Lian-Fang.A segmentation algorithm of pulmonary nodules using active contour model based on fuzzy speed function.Acta Automatica Sinica,2013,39(8):1257−1264(陈侃,李彬,田联房.基于模糊速度函数的活动轮廓模型的肺结节分割.自动化学报,2013,39(8):1257−1264)

67 Zheng Qiang,Dong En-Qing.Narrow band active contour model for local segmentation of medical and texture images.Acta Automatica Sinica,2013,39(1):21−30(郑强,董恩清.窄带主动轮廓模型及在医学和纹理图像局部分割中的应用.自动化学报,2013,39(1):21−30)

68 Li X P,Wang X,Dai Y X,Zhang P B.Supervised recursive segmentation of volumetric CT images for 3D reconstruction of lung and vessel tree.Computer Methods and Programs in Biomedicine,2015,122(3):316−329

69 Wang Kai,Zhang Yu,Liu Zhe-Xing,Lin Bing-Quan,Wu Zhi-Qiang,Cao Lei.Structural analysis based on adaptive window for pulmonary nodule detection.Journal of Southern Medical University,2014,34(6):759−769(王凯,张煜,刘哲星,林炳权,吴志强,曹蕾.基于自适应体窗结构分析的肺结节检测方法.南方医科大学学报,2014,34(6):759−765)

70 Yong J R,Qi S,Van Triest H J,Kang Y,Qian W.Automatic segmentation of juxta-pleural tumors from CT images based on morphological feature analysis.Bio-Medical Materials and Engineering,2014,24(6):3137−3144

71 Wang Qiu-Ping,Feng Jun,Qiang Yong-Qian,Yu Nan,Deng Lei,Guo You-Min.Feasibility of automatic detection of cavity and vacuole in pulmonary nodules using cavity detection algorithm.Chinese Journal of Medical Imaging Technology,2014,30(9):1309−1313(王秋萍,冯筠,强永乾,于楠,邓蕾,郭佑民.空洞检测算法自动化检测肺结节内空泡和空洞的可行性.中国医学影像技术,2014,30(9):1309−1313)

72 Krishnamurthy S,Narasimhan G,Rengasamy U.Threedimensional lung nodule segmentation and shape variance analysis to detect lung cancer with reduced false positives.Proceedings of the Institution of Mechanical Engineers,Part H:Journal of Engineering in Medicine,2016,230(1):58−70

73 Song J D,Yang C Y,Fan L,Wang K,Yang F,Liu S Y,Tian J.Lung lesion extraction using a toboggan based growing automatic segmentation approach.IEEE Transactions on Medical Imaging,2016,35(1):337−353

74 Iwao Y,Gotoh T,Kagei S,Iwasawa T,De Sales Guerra Tsuzuki M.Integrated lung fi eld segmentation of injured region with anatomical structure analysis by failurerecovery algorithm from chest CT images.Biomedical Signal Processing and Control,2014,12:28−38

75 Shen Zheng-Wen,Gao Yuan-Yuan,Zhang Yu.Automatic segmentation of four dimensional computed tomography of lung tumor based on star shape prior and graph cuts.Journal of Biomedical Engineering,2016,33(2):295−302(申正文,高圆圆,张煜.基于星形先验和图割的肺部四维计算机断层扫描肿瘤自动分割.生物医学工程学杂志,2016,33(2):295−302)

76 Fan Li-Nan,Li Dao-Jing,Sun Shen-Shen,Chang Chao-Hai.Applied research on automatic detection of lung nodules ROI based on Top-hat and Gabor fi lter.Computer Engineering and Applications,2012,48(4):190−192(范立南,李道静,孙申申,常朝海.Top-hat和Gabor fi lter在肺结节ROI自动检测中的应用研究.计算机工程与应用,2012,48(4):190−192)

77 Setio A A,Jacobs C,Gelderblom J,Van Ginneken B.Automatic detection of large pulmonary solid nodules in thoracic CT images.Medical physics,2015,42(10):5642−5653

78 Cao L,Wang K,Xing Q Q,Lin B Q,Zhang Y.Auto detection of lung ground-glass opacity nodules based on highpass fi lter and Gaussian mixture model.Journal of Medical Imaging and Health Informatics,2016,6(2):320−327

79 Li Yang,Shi Dong-Cheng,Wang Ke,Wang Yan,Wei Yan-Fang.Lung nodule recognition based on image pattern.Journal of Jilin University(Engineering and TechnologyEdition),2013,43(S1):463−467(李阳,史东承,王珂,王燕,魏艳芳.基于图像模式的肺结节识别.吉林大学学报(工学版),2013,43(S1):463−467)

80 Tan Y Q,Schwartz L H,Zhao B S.Segmentation of lung lesions on CT scans using watershed,active contours,and Markov random fi eld.Medical Physics,2013,40(4):043502,DOI:10.1118/1.4793409

81 Alilou M,Kovalev V,Snezhko E,Taimouri V.A comprehensive framework for automatic detection of pulmonary nodules in lung CT images.Image Analysis and Stereology,2014,33(1):13−27

82 Lassen B C,Jacobs C,Kuhnigk J M,van Ginneken B,van Rikxoort E M.Robust semi-automatic segmentation of pulmonary subsolid nodules in chest computed tomography scans.Physics in Medicine and Biology,2015,60(3):Article ID 1307,DOI:10.1088/0031-9155/60/3/1307

83 Lu L,Tan Y Q,Schwartz L H,Zhao B S.Hybrid detection of lung nodules on CT scan images.Medical Physics,2015,42(9):5042−5054

84 Qiang Y,Zhang X H,Ji G H,Zhao J J.Automated lung nodule segmentation using an active contour model based on PET/CT images.Journal of Computational and Theoretical Nanoscience,2015,12(8):1972−1976

85 Gon¸calves L,Novo J,Campilho A.Hessian based approaches for 3D lung nodule segmentation.Expert Systems with Applications,2016,61:1−15

86 Sun Juan,Wang Bing,Yang Ying,Tian Xue-Dong.Research on cluster analysis in pulmonary nodule recognition.Journal of Computer Applications,2014,34(7):2050−2053(孙娟,王兵,杨颖,田学东.聚类分析在肺结节识别中的应用.计算机应用,2014,34(7):2050−2053)

87 Qiu Shi,Wen De-Sheng,Feng Jun,Cui Ying.A new strategy of lung nodules detection algorithm.Acta Electronica Sinica,2016,44(6):1413−1419(邱实,汶德胜,冯筠,崔莹.一种新策略的肺结节检测算法.电子学报,2016,44(6):1413−1419)

88 Ta¸sci E,U˘gur A U.Shape and texture based novel features for automated juxtapleural nodule detection in lung CTs.Journal of Medical Systems,2015,39(5):1−13

89 Wang Z,Chen S C.New least squares support vector machines based on matrix patterns.Neural Processing Letters,2007,26(1):41−56

90 de Carvalho Filho A O,Silva A C,de Paiva A C,Nunes R A,Gattass M.3D shape analysis to reduce false positives for lung nodule detection systems.Medical and Biological Engineering and Computing.Berlin:Springer-Verlag,2016.1−15

91 Demir¨O,Yilmaz C¸A.Computer-aided detection of lung nodules using outer surface features.Bio-Medical Materials and Engineering,2015,26(S1):S1213−S1222

92 Wang Qing-Zhu,Kang Wen-Wei,Wang Bin.Design of 3D latent-SVM and application to detection of lesions in chest CT.Pattern Recognition and Arti fi cial Intelligence,2013,26(5):460−466(王青竹,康文炜,王斌.三维隐SVM算法设计及在胸CT图像病灶检测中的应用.模式识别与人工智能,2013,26(5):460−466)

93 Brown M S,Goldin J G,Suh R D,McNitt Gray M F,Sayre J W,Aberle D R.Lung micronodules:automated method for detection at thin-section CT-initial experience.Radiology,2003,226(1):256−262

94 Wang B,Tian X D,Wang Q,Yang Y,Xie H Z,Zhang S Y,Gu L X.Pulmonary nodule detection in CT images based on shape constraint CV model.Medical Physics,2015,42(3):1241−1254

95 Chang Liang,Deng Xiao-Ming,Zhou Ming-Quan,Wu Zhong-Ke,Yuan Ye,Yang Shuo,Wang Hong-An.Convolutional neural networks in image understanding.Acta Automatica Sinica,2016,42(9):1300−1312(常亮,邓小明,周明全,武仲科,袁野,杨硕,王宏安.图像理解中的卷积神经网络.自动化学报,2016,42(9):1300−1312)

96 Shin H C,Roth H R,Gao M C,Lu L,Xu Z Y,Nogues I,Summers R M.Deep convolutional neural networks for computer-aided detection:CNN architectures,dataset characteristics and transfer learning.IEEE Transactions on Medical Imaging,2016,35(5):1285−1298

97 Tajbakhsh N,Shin J Y,Gurudu S R,Hurst R T,Kendall C B,Gotway M B,Liang J M.Convolutional neural networks for medical image analysis:full training or fi ne tuning?IEEE Transactions on Medical Imaging,2016,35(5):1299−1312

98 Dou Q,Chen H,Yu L Q,Qin J,Heng P A.Multi-level contextual 3D CNNs for false positive reduction in pulmonary nodule detection.IEEE Transactions on Biomedical Engineering,2016,64(7):1558−1567

99 Cheng J Z,Ni D,Chou Y H,Qin J,Tiu C M,Chang Y C,Huang S,Shen D G,Chen C M.Computer-aided diagnosis with deep learning architecture:applications to breast lesions in US images and pulmonary nodules in CT scans.Scienti fi c Reports,2016,6:Article No.24454

100 Setio A A A,Ciompi F,Litjens G,Gerke P,Jacobs C,Van Riel S J,Wille M M W,Naqibullah M,Sanchez C I,van Ginneken B.Pulmonary nodule detection in CT images:false positive reduction using multi-view convolutional networks.IEEE Transactions on Medical Imaging,2016,35(5):1160−1169

101 Van Ginneken B,Setio A A,Jacobs C,Ciompi F.Oあ-theshelf convolutional neural network features for pulmonary nodule detection in computed tomography scans.In:Proceedings of the 12th IEEE International Symposium on Biomedical Imaging(ISBI).New York,USA:IEEE,2015.286−289

102 Ciompi F,De Hoop B,Van Riel S J,Chung K,Scholten E T,Oudkerk M,de Jong P A,Prokop M,van Ginneken B.Automatic classi fi cation of pulmonary Peri-Fissural nodules in computed tomography using an ensemble of 2D views and a convolutional neural network out-of-the-box.Medical Image Analysis,2015,26(1):195−202

103 Schlegl T,Ofner J,Langs G.Unsupervised pre-training across image domains improves lung tissue classi fi cation.In:Proceedings of the 2014 International MICCAI Workshop on Medical Computer Vision.Cambridge,USA:Springer,2014.82−93

104 Armato S G I I I,Mclennan G,Bidaut L,McNitt-Gray M F,Meyer C R,Reeves A P,Zhao B S,Aberle D R,Henschke C I,Hoあman E A,Kazerooni E A,MacMahon H,van Beek Ed.The lung image database consortium(LIDC)and image database resource initiative(IDRI):a completed reference database of lung nodules on CT scans.Medical Physics,2011,38(2):915−931

105 Huttenlocher D P,Klanderman G A,Rucklidge W J.Comparing images using the Hausdorあdistance.IEEE Transactions on Pattern Analysis and Machine Intelligence,1993,15(9):850−863

106 Chalana V,Linker D T,Haynor D R,Kim Y M.A multiple active contour model for cardiac boundary detection on echocardiographic sequences.IEEE Transactions on Medical Imaging,1996,15(3):290−298

107 Depeursinge A,Vargas A,Platon A,Geissbuhler A,Poletti P A,Mu¨ller H.Building a reference multimedia database for interstitial lung diseases.Computerized Medical Imaging and Graphics,2012,36(3):227−238

108 SeあA,Lu L,Cherry K M,Roth H R,Liu J M,Wang S J,Hoあman J,Turkbey E B,Summers R M.2D view aggregation for lymph node detection using a shallow hierarchy of linear classi fi ers.Medical Image Computing and Computer-Assisted Intervention2014,17(Pt1):544−552

109 Liu X B,Ma L,Song L,Zhao Y F,Zhao X M,Zhou C W.Recognizing common CT imaging signs of lung diseases through a new feature selection method based on fi sher criterion and genetic optimization.IEEE Journal of Biomedical and Health Informatics,2015,19(2):635−647

110 Christ P F,Elshaer M E A,Ettlinger F,Tatavarty S,Bickel M,Bilic P,Remp fl er M,Armbruster M,Hofmann F,D′Anastasi M,Sommer W H,Ahmadi S A,Menze B H.Automatic liver and lesion segmentation in CT using cascaded fully convolutional neural networks and 3D conditional random fi elds.In: Proceedings of the 2016 International Conference on Medical Image Computing and Computer-Assisted Intervention.Athens,Greece:Springer,2016.415−423

111 Lipton Z C,Kale D C,Elkan C,Wetzell R.Learning to diagnose with LSTM recurrent neural networks.arXiv:1511.03677,2015.

112 Hofmanninger J,Langs G.Mapping visual features to semantic pro fi les for retrieval in medical imaging.In:Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,USA:IEEE,2015.457−465

Automated Detection of Lesion Regions in Lung Computed Tomography Images:A Review

HAN Guang-Hui1LIU Xia-Bi1ZHENG Guang-Yuan1

Automatic detection of lesion regions in lung CT images is an important research topic in computer aided diagnosis of lung diseases.The system can automatically analyze CT images,output the locations and sizes of lesion regions to help radiologists make decisions,and promote early detection and therapy of lung diseases.In this paper we review the achieved progress of automatic detection methods of lesion regions in lung CT image,and introduce a generic structure for expressing and describing existing detection methods.Furthermore,we provide a systematic analysis and comprehensive performance summary of the latest detection algorithms from 2012.Finally,we point out the challenges ahead,and discuss the future direction of computer aided detection of lung lesions.

Lung CT,lung nodule,lung vessel,lymph node,computer aided detection

Han Guang-Hui,Liu Xia-Bi,Zheng Guang-Yuan.Automated detection of lesion regions in lung computed tomography images:a review.Acta Automatica Sinica,2017,43(12):2071−2090

2016-12-29 录用日期2017-06-12

December 29,2016;accepted June 12,2017

国家自然科学基金(60973059,81171407),教育部新世纪优秀人才支持计划(NCET-10-0044)资助

Supported by National Natural Science Foundation of China(60973059,81171407)and Program for New Century Excellent Talents in University of China(NCET-10-0044)

本文责任编委张道强

Recommended by Associate Editor ZHANG Dao-Qiang

1.北京理工大学计算机学院智能信息技术北京市重点实验室北京100 081

1. Beijing Laboratory of Intelligent Information,School of Computer Science,Beijing Institute of Technology,Beijing 100 081

1在医学影像领域,CAD系统可分为计算机辅助检测(Computeraided detection,CADe)和计算机辅助诊断(Computer-aided diagnosis,CADx)两种,本文主要关注CADe问题,在不引起混淆的情况下,本文使用CAD表示计算机辅助检测.

韩光辉,刘峡壁,郑光远.肺部CT图像病变区域检测方法.自动化学报,2017,43(12):2071−2090

DOI10.16383/j.aas.2017.c160850

韩光辉 北京理工大学计算机学院博士研究生.主要研究方向为医学图像分析,机器学习.

E-mail:hanguanghui@bit.edu.cn

(HAN Guang-Hui Ph.D.candidate at the School of Computer Science,Beijing Institute of Technology.His research interest covers medical image analysis and machine learning.)

刘峡壁 北京理工大学计算机学院副教授.主要研究方向为机器学习,医学图像分析,多媒体检索,计算机视觉.本文通信作者.E-mail:liuxiabi@bit.edu.cn

(LIU Xia-Bi Associate professor at the School of Computer Science,Beijing Institute of Technology. His research interest covers machine learning,medical image analysis,multimedia retrieval,and computer vision.Corresponding author of this paper.)

郑光远 北京理工大学计算机学院博士研究生.主要研究方向为机器学习,图像处理.

E-mail:zhengguangyuan@bit.edu.cn

(ZHENG Guang-YuanPh.D.candidate at the School of Computer Science,Beijing Institute of Technology.His research interest covers machine learning and image processing.)