基于视觉感知信息的乳腺钼靶肿块检测分析与自动提取

柯尔挺 厉力华* 刘 伟 徐伟栋 张 娟 张凌男 ZHENG Bin ,2

1(杭州电子科技大学生命信息与仪器工程学院, 杭州 310018)2(Department of Radiology in University of Pittsburgh, PA 15213, USA)3( 浙江省肿瘤医院放射科, 杭州 310022)

基于视觉感知信息的乳腺钼靶肿块检测分析与自动提取

柯尔挺1厉力华1*刘 伟1徐伟栋1张 娟3张凌男3ZHENG Bin1,2

1(杭州电子科技大学生命信息与仪器工程学院, 杭州 310018)2(Department of Radiology in University of Pittsburgh, PA 15213, USA)3( 浙江省肿瘤医院放射科, 杭州 310022)

医生的视觉感知信息与影像诊断联系紧密，如何有效利用该信息以提高医学影像辅助诊断中的决策准确性，是一个具有前沿性和实际临床价值的研究课题。针对医生临床诊断时其视觉感知行为的分析和利用，探讨医生读片时单纯的视觉注视信息在多大程度上反映肿块位置(可检测性)，以及如何利用视觉注视信息提取病灶。首先，用眼动仪采集医生读片时的注视点序列，每个注视点包括该点在钼靶影像中的相对位置、注视点停留时间和瞳孔直径等3个视觉特征，然后基于这些特征对注视点序列进行聚类分析，根据关注度评价找出医生浏览影像时的若干“关注点”位置，并对比分析其与肿块位置的关系，以评价“命中率”；以关注点为引导，利用区域生长和水平集方法对肿块病灶进行提取。利用DDSM数据库和浙江省肿瘤医院数据库的75张钼靶影像进行初步实验。将关注点数限制在4个以内时，肿块病灶命中率为58.49%，同时所有命中肿块中被完整提取的占70.97%。结果表明，医生视觉注意信息对肿块位置的反应有一定作用，有助于理解感知反馈提高诊断精度的内在机理。

视觉感知；图像分割；眼动仪；聚类分析

引言

乳腺癌是危害妇女身体健康的最常见的恶性肿瘤之一[1]。我国乳腺癌发病率目前正以每年3%～4%的增长率急剧上升。2011年10月北京市肿瘤防治研究所发布的《1995～2010北京市恶性肿瘤发病报告》显示，北京市户籍人口中乳腺癌为女性恶性肿瘤之首[2]。国内外研究表明早期诊断和治疗能够有效提高乳腺癌病人的存活率[3-4]。钼靶X线摄影检查是目前临床上乳腺癌检测的最主要手段[5]，计算机辅助诊断技术可以对乳腺钼靶X线摄影进行初步检测，将图像中的疑似病灶区报告给医生来进行决策[6]。

临床上，对钼靶X线摄影的肿块检测是一个医生感知和决策的过程，分为3种情况：一是注视到肿块病灶，并识别为肿块；二是注视到肿块病灶但误判为正常组织，或正常组织误判为肿块病灶，其原因包括主客观因素，其结果表现为假阴性和假阳性；三是没有注视到肿块病灶，以致漏诊。医生根据自身经验来判定图像中病灶的性质，其主要表现为两点：不同医生对同一影像的诊断感知过程存在差异，对同一个疑似病灶区域的解释也存在差异。因此，不同医生间的经验差异是肿块诊断结果不同的重要原因。

国际医学影像界的研究表明：医生的视觉感知行为和医学影像(如乳腺钼靶)的诊断过程之间有着紧密的内在联系[7-8]。Kundel等的实验表明，诊断经验不同的医生其注视同一幅图像时的眼动轨迹差异较大，这说明诊断过程中医生视觉感知行为的主观性不同[9]。另外，通过眼动跟踪设备记录医生注视行为而得到的眼动轨迹数据对诊断具有重要价值。如Krupinski研究了医生在读片时的视觉感知行为，发现“感知反馈(perceptual feedback)”方法，即对医生读片时注视点停留时间较长(> 1 s)的部位进行显著标记供医生二次读片，可以提高约16%的诊断精度[10]。感知反馈还可以降低识别错误和决策错误。

基于上述思路，在肿块检测分析中引入视觉感知信息，既有科学意义又有重要的实际临床价值。就科学意义而言，通过把主观视觉感知信息引入乳腺癌辅助诊断，实质是将更丰富的“原始”生物信息引入辅助诊断；就实际临床价值而言，国外研究已经证明“感知反馈”方法的潜在价值，而本研究正是试图探索“感知反馈”方法能提高诊断精度的内在机理，期望将其引入计算机辅助诊断(computer-aided diagnosis，CAD)，以提高辅助诊断水平。

钼靶CAD的肿块检测主要包含两部分：查找疑似病灶和基于肿块分类的假阳性排除。目前，国内外研究提出的疑似病灶查找方法主要是基于钼靶图像分割或者滤波实现的。例如：Hu等提出利用自适应的全局阈值和局部阈值相结合的方法分割原始钼靶的多分辨率图像[11]；徐等提出基于海岛冲刷模型的肿块检测方法，通过自适应神经模糊推理系统进行参数调节以达到肿块分离的最佳效果[12]；Marcin Bator提出通过进化算法优化后的模型，检测疑似病灶[13]。鉴于目前国内外将视觉感知信息应用于肿块检测分析的研究较少，本研究探索性地将视觉感知信息引入肿块检测分析中，并使用基于密度的 (density-based spatial clustering of applications with noise，DBSCAN)聚类算法分析感知信息，以查找定位钼靶X线摄影中的疑似肿块病灶。与传统乳腺钼靶肿块检测分析方法不同，本方法利用主观视觉感知信息分析，实现疑似病灶定位，能够揭示医生单纯的视觉注意信息对肿块位置的定位程度。

基于以上所述，开展基于视觉感知信息分析的乳腺钼靶肿块检测分析与自动提取的研究。研究方法包括3个步骤：首先用眼动仪采集医生诊断影像时的视觉注视点序列，每个注视点都包含其在钼靶全图中的相对坐标位置、停留时间和瞳孔直径等视觉特征；基于以上3个视觉特征和DBSCAN算法，对视觉注视点序列进行聚类分析，找出医生诊断影像时的关注点位置，并且比较分析关注点与真实肿块的位置关系，以评价“单纯的视觉注意信息对肿块位置的反映程度”；以关注点为种子点，采用区域生长方法初步提取疑似病灶区，称之为“粗分割”，之后采用所提出的基于水平集的多尺度乳腺肿块病灶分割方法[15]对提取的疑似病灶区进行“细分割”，以得到最终的提取结果。

1 方法

基于视觉感知信息分析来验证医生诊断过程中其自身感知行为对肿块检测的作用，提出一种基于视觉感知信息的肿块自动提取方法来实现感知反馈，方法框架如图1所示。通过采集医生视觉感知信息,并对其进行聚类分析，得到医生关注点，然后以关注点为种子点，利用图像分割技术提取疑似肿块。为了更清晰地演示所提出的研究思路，图2显示了与方法框架对应的示例。

图1 方法框架Fig.1 The framework of the proposed approach

1.1眼动视觉注意信息采集和预处理

实验邀请具有20多年临床影像诊断经验的医生作为眼动数据采集的被试，使用ASL-H6头戴式单目眼动跟踪系统[16],记录医生在浏览钼靶影像时的各项眼动信息。已有研究表明，注视点位置、注视点停留时间和瞳孔直径这3项眼动注视点属性能反映被试在浏览图像时对不同局部区域的感兴趣程度。笔者读取每个钼靶影像对应的所有注视点的该属性数据，并将其作为后续分析的眼动数据。

1.2眼动视觉注意信息分析

采用聚类方法分析眼动数据，提出一种关注度评价指标来捕捉关注点，并在实验结果中对“基于眼动数据进行肿瘤检测”的敏感性和特异性进行分析。

1.2.1基于DBSCAN算法的聚类分析

1.2.1.1DBSCAN聚类算法

通过大量的前期试验，比较了不同聚类算法在眼动数据分析上的应用，发现DBSCAN算法能更好地分析医生浏览影像时的眼动数据。DBSCAN是一种基于密度的聚类算法，能将具有一定密度的区域划分为簇，可以在含有“噪声”的空间数据集中自动确定簇的数量，并发现任意形状的簇。DBSCAN聚类算法涉及以下6个概念[17]：

1)ε邻域：以任意注视点p为中心、ε为半径的圆形区域就是注视点p的ε邻域。

2)核心点：给定邻域半径ε，ε邻域中包含最少注视点数目MinPts，若注视点p的ε邻域Nε(p)包含的注视点数|Nε(p)|≥MinPts，则称p为核心点。

3)直接密度可达：给定ε、MinPts，若两个注视点同时满足以下两个条件：p∈Nε(q)，|Nε(q)|≥MinPts,则称注视点p是从注视点q出发直接密度可达的。

4)密度可达：给定注视点序列D，当存在一个注视点子序列p1，p2，…，pn(p1=q，pn=p，对pi∈D，pi+1是从pi关于ε和MinPts直接密度可达的，则称注视点p从注视点q关于ε和MinPts密度可达。

5)密度相连：如果注视点序列D中存在一个注视点z，使得注视点p和q是从z关于ε和MinPts密度可达的，那么注视点p和q关于ε和MinPts密度相连。

6)簇和噪声：由任意一个核心点开始，从该点密度可达的所有注视点构成的注视点集称为“簇”，不在任何簇中的注视点被认为是“噪声点”。

所谓DBSCAN算法，实质就是通过迭代，查找密度可达的注视点集组成的所有簇。其中，在邻域半径ε和ε邻域中注视点个数最小值MinPts的选择很重要，它决定聚类效果的好坏[18]，有助于实现上述参数的自适应选择。

1.2.1.2自适应DBSCAN聚类分析

设某一钼靶全图对应的医生注视点序列为n1,n2,…，nN，分别提取每个注视点的视觉特征参数值，包括其在钼靶全图中的坐标位置(x，y)、停留时间t和瞳孔直径d，得到4个特征序列(x1，x2,…，xN)，(y1，y2,...，yN)，(t1,t2,…，tN)，(d1,d2,…，dN)，将4个特征序列各自归一化后，构建成与注视点对应的视觉特征点(集)为(xi,yi,ti,pi)，i=1,2,…,N。

基于该特征向量计算距离的分布矩阵为

(1)

式中，N为视觉特征点数目，它等于序列中注视点的数目；k表示第i个视觉特征点到第j个视觉特征点的欧式距离，DN×N是N行N列的实对称矩阵。

1)邻域半径ε的计算

①首先，基于DN×N计算视觉特征点集(xi,yi,ti,pi)，i=1,2,…,N的k-最近邻距离集合。

距离视觉特征点p最近的第k点到特征点p的距离，被称为p的k-最近邻距离；在视觉特征点集中所有成员的k-最近邻距离的集合，被称为该视觉特征点集的k-最近邻距离集合。k-最近邻距离集合的具体具体计算方法如下：

对DN×N每列排序并转置得到矩阵D0,N×N=sort(DN×N)′，其中D0,N×N的每一列向量代表视觉特征点集中所有成员到最近的第k-1(k是列下标，k=1,2,…,N)成员的距离集合。第一列全为零，即每个对象到自身的距离。去除D0,N×N第一列，并对列向量排序得到D1,N×(N-1)有，

D1，N×(N-1)=sort(D0，N×N(1:end;2:end))

(2)

式中，D1，N×(N-1)的第k(k=1,2,…,N-1)列代表所有视觉特征点的k-最近邻距离集合Distk。

举个例子，某一个钼靶全图对应的注视点序列数N=33，计算视觉特征点集所有成员的最近邻距离集合的矩阵为D1，33×32，其1-最近邻距离集合为D1，33×32的第一列Dist1，如图3(a)所示。

②其次，根据DBSCAN算法，对MinPts分别取1～N，依次分别计算对应且合适的领域半径。

由于D1,N×(N-1)矩阵的每列向量代表视觉特征点集的k-最近邻距离集合，因此根据DBSCAN算法实质，给定MinPts=k时选择合适的邻域半径ε，就是从D1,N×(N-1)的第k列选取一个合适的值。

依旧以图3(a)为例，具体方法如下：根据文献[18]，D1,33×32的每个列元素排序后绘制于坐标系中，形状基本与图3(a)一致，而自适应的计算合适的邻域半径ε只能通过寻找图3(a)中曲线的拐点纵坐标值来获得。又因为直接用数学方法无法计算曲线的拐点纵坐标值，因此笔者选择拟合方法来近似获取该值。通过统计图3(a)中Dist1在各个取值段上所包含的样本点数(即核心点数)，绘制图3(a)Dist1概率分布图。通过核拟合(Kernelsmoothingdensityestimate)得到的峰值点(即图3(a)中曲线的拐点的近似)所对应横坐标值(即图3(a)的纵坐标值)近似作为ε1，如图3(b)所示。再依次从D1，33×32中取第2～32列计算得到ε2,ε3,…,ε32，那么最终得到32对数据，如表1所示。

表1 32组MinPts和邻域半径ε值

2)对象个数MinPts的计算

由于εk，k=(1,2,…，N)是通过拟合估计所得，会因此造成偏差。但根据文献[18]，其中有一对邻域半径和MinPts值是合适用于聚类的。通过计算当MinPts=k，ε=εk时的噪声注视点数(记为noisek)，以确定合适的DBSCAN聚类参数。

仍然以N=33为例，具体计算如下：根据文献[18]方法，绘制图3(c)，纵坐标为MinPts=k，ε=εk时的噪声点数noisek(k=1,…，32，横坐标为噪声点数noisek的最大值和最小值之间的等差数列(含32个整数)。绘制噪声点曲线和45°斜线(如图3(c))，求得两线交点的纵坐标值i就是MinPts的最佳值，最终得到DBSCAN聚类参数MinPts=i，ε=ει。

1.2.2“关注点”捕捉

图3 自适应DBSCAN算法参数选取。(a)排序后的Dist1；(b)Dist1概率分布和曲线拟合；(c)两线相交得MinPts值Fig.3 The parameters selection of the adaptive DBSCAN algorithm. (a) Sorted Dist1; (b) Probability distribution of Dist1 and then curve fitting; (c) Achieving MinPts at the point of intersection

采用笔提出的“剪枝”算法[19]，对自适应DBSCAN聚类算法分析后得到的眼动注视点序列进行进一步分析，取类内各注视点处的停留时间总和作为“代表注视点”的停留时间，取该类中心坐标位置作为其坐标位置，取类内所有注视点中的瞳孔直径最大值作为其瞳孔直径。这样取值的意义在于让注视点密集区域更容易在竞争中被选为关注点，这主要基于本实验的假设前提，即诊断过程中医生会比较关注感兴趣的区域。之后，笔者提出一个综合指标来选取医生“关注点”位置。文献[19]分析了停留时间和瞳孔直径对关注度评价的作用，对确定两者对关注度评价的作用程度仍然是个难题。因此，笔者将注视点序列中停留时间和瞳孔直径各自归一化后取同一注视点的停留时间与瞳孔直径的和作为综合指标，指标值越大，对应注视点所在区域受关注度越高。通过统计每张乳腺钼靶全图上的病灶个数，得出选取指标值最大的4个注视点作为关注点较为合适，合并相邻的关注点。

1.3基于视觉注意信息的疑似病灶提取

在医生眼动信息分析之后，笔者采用经典的区域生长分割算法，得到肿块病灶的“粗轮廓”。按照本文1.2节所述方法选取关注点，生长过程采用基于迭代的自动灰度阈值算法。本方法为自动灰度阈值算法设定一个以关注点为中心800像素 × 800像素的区域，具体如下：

1)该算法将灰度平均值作为初始阈值T0，根据T0将像素点分成两组：第一组像素点灰度大于T0，第二组像素点灰度小于或等于T0。

2)两组像素点各自求灰度平均值，得到A1和A2，求A1和A2的平均值T1，然后计算T0与T1差值的绝对值。

3)如果绝对值大于1，则T0=T1，重复1)、2)；否则，T0就是该关注点的生长阈值。

实验中关注点的生长面积限制为160 000个像素，这是多次实验得出的经验值，比较适合提取整个肿块病灶。关注点区域生长完成后，采用形态学闭运算和区域填充的方法，进一步处理得到的“粗轮廓”。

1.4基于水平集的多尺度肿块病灶分割

肿块病灶的“粗分割”主要用于提取含肿块的矩形区域，其分割结果与真实病灶轮廓相比精度较低。为了提取较为精确的肿块病灶轮廓，采用笔作者提出的一种基于水平集的多尺度乳腺病灶分割方法[11]，对“粗轮廓”进行“细分割”，具体处理方法如下：

1)以本文1.3节中得到的“粗轮廓”作为“细分割”的初始轮廓，计算轮廓左右两端和上下两端距离，分别记为D1、D2。

2)以粗轮廓为中心，从全图中截取(2D1)×(2D2)像素的矩形图像。

3)以矩形病灶图像中心为圆心和(D1+D2)/20为半径确定一个初始圆，作为文献[8]中方法的初始轮廓进行“细分割”。初始圆半径应该足够小，要使初始圆尽量在真实肿块区域内。

综合考虑算法效率和“细分割”精度，将粗尺度图像分割迭代次数设置为600次，细尺度图像分割迭代次数为100次。另外，由于医生诊断读片时很大一部分注视点落在肿块边缘上，而种子点生长对初始种子点的位置敏感性较大，所以“粗分割”得到的肿块轮廓很可能只包括真实肿块的一部分区域，因此需要将疑似病灶区截取范围扩大到(2D1)×(2D2)。

1.5实验数据、实验被试和实验环境

实验数据库使用南佛罗里达大学的DDSM(Digital Database for Screening Mammography)公用数据库浙江省肿瘤医院的数据，共76个钼靶影像，其中46个包含肿块病灶，30个未包含肿块病灶，图像尺寸平均值为2 500 × 4 500像素点。

实验参加者为浙江省肿瘤医院放射科的副主任医生，具有20多年的临床影像诊断经验。被试在实验前未浏览过实验图像库中的任何图像，实验时的图像随机呈现。图像显示设备为21吋的WIDE医用液晶显示器，分辨率为2 048像素×2 560像素。实验中的图像显示在屏幕中央，被试浏览图像结束后，闭眼表示一次眼动数据记录结束。图4为被试佩戴ASL-H6眼动仪头盔浏览钼靶影像时的情形，其身后放置一个电磁式头部运动补偿装置，使被试在浏览图像时可以在一定范围内自由活动头部。

图4 实验场景Fig.4 The scene of experiment

1.6评价方法

将关注点与医生手动标注的肿块病灶区域进行位置比较分析，将关注点落在肿块病灶标注区域内称为关注点“命中”肿块病灶。分别计算“命中肿块的关注点数占关注点总数的比例”和“未命中肿块的非关注点数占非关注点总数的比例”。设NUM1为命中肿块的关注点数目，NUM关注点总数为关注点总数，NUM2为未命中肿块的非关注点数，NUM非注视点总数为非关注点总数，那么有如下公式定义：

命中肿块的关注点数占关注点总数的比例=

(3)

未命中肿块的非关注点数占非关注点

(4)

统计结果显示，“命中肿块的关注点数占关注点总数的比例”和“未命中肿块的非关注点数占非关注点总数的比例”分别为41.3%和81.9%。

为了定量评价视觉感知信息对钼靶肿块病灶定位的作用，采用命中率(shooting average, SA)和假阳性率(false positive rate, FPR)进行客观评价。设FA为钼靶全图中被关注点命中的真实肿块个数，FB为钼靶全图中真实肿块总数，FC为钼靶全图中被关注点定位的疑似肿块病灶总数，那么有如下定义：

(5)

(6)

可以看出：SA的值越大，敏感性越高；FPR的值越小，对钼靶肿块病灶的定位效果越好。

为了进一步提取被定位的疑似肿块病灶，引入肿块病灶分割方法提取肿块病灶。首先，基于区域生长从乳腺钼靶全图中提取肿块病灶的“粗轮廓”，得到包含肿块病灶的感兴趣区域。粗轮廓基本决定最终肿块病灶分割所能达到的精度水平，分为完整包含、半包含和不包含肿块病灶3种情况。

基于目前已有肿块分割方法用视觉感知信息分析定位疑似肿块代替医生手动标记方法，肯定会降低最终的肿块分割精度。为了初步估计分割精度降低幅度，将算法分割得到的结果与该领域专家手动分割的结果进行像素级别的比较。采用重叠率(overlap rate, OR)和误分率(misclassification rate, MR)两个指标来对肿块分割结果进行客观评价。设SA为分割轮廓，SB为专业医生勾勒的标准轮廓，于是有如下定义：

(7)

(8)

可以看出，OR的值越大，MR的值越小，则表示分割结果越好。当OR=1，MR=0时，表明算法分割结果与手工分割结果一致。基于式(7)和式(8)，挑选出包括或部分包括肿块病灶区域的生长结果，计算平均重叠率和平均误分率。平均重叠率和平均误分率定义如下：

平均重叠率=重叠率总和/区域个数

(9)

平均误分率=误分率总和/区域个数

(10)

2 结果

对以上76个钼靶影像进行实验，并对“基于视觉感知信息进行肿块检测”的敏感性和特异性进行分析，还对基于视觉感知信息提取肿块病灶的准确度进行评价。

2.1肿块检测结果

本方法基于视觉感知信息中的主要参数——瞳孔直径和停留时间，提出一个综合指标。先对视觉注视点序列进行DBSCAN聚类分析，再基于综合指标进行“关注度”评价，找出医生的“关注点”，如图5所示。注意关注点少于4的例图是紧邻关注点合并的结果：将聚类剪枝后的视觉注视点分为关注点和非关注点，如图5(a)中的上下两张图，下一张图中的两点是本方法找到的关注点，聚类剪枝后的注视点序列中除了这两点被归类为关注点外，其余的视觉注视点都被归为非关注点。

图5 基于DBSCAN聚类分析的关注点定位实验的部分结果(上行为注视点分布，下行为关注点分布)。(a)和(b)来自DDSM；(c)来自浙江省肿瘤医院Fig.5 The part result of locating concerns based on DBSCAN(The upper line is distribution of fixation points and the bottom line is the distribution of concerns). Mammograms (a) and (b) are from DDSM and (c) is from Zhejiang Cancer Hospital

对含肿块的46例乳腺钼靶全图中53个肿块病灶的命中率进行统计，被准确命中的肿块病灶为31个，命中率为58.49%。另外，46例全图中产生关注点的总数为134个，其中覆盖假阳性病灶的关注点为103个，假阳性率为76.87%。

2.2肿块提取结果

包含完整肿块的感兴趣区域为22个，半包含肿块为7个，不包含肿块为24个。大部分被定位的肿块病灶是被完整提取的，即在31个被定位的肿块病灶中，被完整提取的有22个，部分包含提取的有7例，完全不被包含提取的有2例，肿块完整提取的占70.97%。

对被种子命中且完全提取钼靶肿块病灶的22个感兴趣区域进行精分割，并对分割结果进行客观评价和统计分析，显示平均重叠率为55.96%、平均误分率为76.51%。在肿块病灶分割例子中，最大重叠率为97.50%，其对应的误分率为123.16%；最小误分率为30.20%，其对应的重叠率为79.70%。

3 讨论

将每个钼靶全图中的关注点位置与对应的注视点分布进行对比分析和统计，结果显示钼靶全图中视觉注视点密集区几乎总会产生“关注点”(如图5所示)，这说明诊断医生读图时会在感兴趣区域给予较高的关注度。同时，因为表征感兴趣程度的不只是注视点密集程度这一特征，所以关注度评价指标综合了其他能表征感兴趣程度的眼动数据——瞳孔直径和停留时间，尽可能使关注点位置准确覆盖在医生最关注的区域。

在实验结果中“命中肿块的关注点数占关注点总数的比例”和“未命中肿块的非关注点数占非关注点总数的比例”并不高，原因主要有两方面：一是通过设定关注点最大数4，本方法将“剪枝”后的注视点序列成员分为关注点与非关注点，而钼靶影像基本只包含1个真实肿块，使得很大一部分关注点覆盖了假阳性病灶区域；二是在诊断过程中，医生未对部分隐蔽肿块产生明显的视觉感知活动，因而很难从视觉注意特征角度识别这些隐蔽的肿块。

实验结果中假阳性率较高，其原因在于本方法只用于肿块检测中的疑似肿块查找，而没有涉及假阳性的识别与排除。正是这个实验结果，证明临床诊断中假阳性病灶会获得医生关注的概率较大，表明为医生提供感知反馈的必要性。

在诊断过程中，医生时常注视肿块边界的病灶特征，导致关注点很可能落在肿块边缘(见图5(b))；又由于区域生长对初始点位置条件较为苛刻，因此“粗分割”提供的初始轮廓线未能达到医生手动标注的准确度。但从CAD系统发展的角度讲，本方法直接基于眼动数据和区域生长提取感兴趣区域，利用 “原始的”视觉感知信息来完成肿块病灶区域的标注，这正是笔者提出的乳腺癌肿块检测分析方法的不同之处。如果肿块检测结果经过医生感知信息的肯定，那么计算机可以对检测结果做进一步分析。如图6、7所示，“细分割”的肿块轮廓精度较高，有可能用于良恶性诊断和病灶检索分析。

图6 基于“命中”肿块中心区的关注点的细分割实验结果。(a)对应图5(a)；(b)对应图5(b)；(c)对应图5(c)Fig.6 The final result of mass segmentation with shooting concerns. (a) Corresponding to Fig. 5(a); (b) Corresponding to Fig. 5(b); (c) Corresponding to Fig.5(c)

从肿块病灶定位角度分析，关注点位置分为肿块中心区、肿块轮廓附近和远离肿块区，是对医生视觉注意位置信息的客观反映，只是以本方法为基础，后两种关注点位置通常会降低肿块提取精度，如图7所示。由此得知，针对不同位置的关注点，应该从不同角度、不同方法对其进行利用。目前，本方法只适用于肿块中心区域上的关注点，而如何有效利用肿块病灶边缘上的关注点是笔者之后需要研究的内容之一。

图7 基于未“命中”肿块中心区的关注点的细分割实验结果。(a)对应图5(a)；(b)对应图5(b)；(c)对应图5(c)Fig.7 The final result of mass segmentation with missing concerns. (a) Corresponding to Fig.5(a); (b) Corresponding to Fig.5(b); (c) Corresponding to Fig.5(c)

4 结论

医生读片过程视觉感知信息对肿块检测分析是有一定帮助的，基于视觉感知信息的肿块检测分析方法能定位一半以上的真实肿块。对于被定位的肿块，通过乳腺癌肿块分割方法，可以提取大多数肿块。笔者所开展的研究是“视觉感知信息在辅助诊断中的应用”课题中的一项探索性的工作，所使用的视觉感知信息采集设备为头戴式眼动跟踪系统。为了适应临床应用需要，今后本研究可以扩展采用更方便的非接触式设备来跟踪记录眼动视觉信息。另外，笔者目前只对一个医生做了眼动数据采集实验，由此分析得到的“命中率”只能初步说明单纯视觉注视信息对肿块定位的程度。下一步的工作将包括如下几个方面：一是让不同医生对同一套钼靶影像进行诊断，对比分析医生对不同特征肿块的感知能力；二是探索更合适的肿块提取方法，以提高肿块的提取精度；三是定量分析“感知反馈”对提高诊断精度的效果。

[1] A Jemal, R Siegel, E Ward,etal. Cancer statistics, 2008 [J]. Ca-a Cancer Journal for Clinicians, 2008,58(2): 71-96.

[2] 报告称癌症成北京人主要死因，乳腺癌及肺癌居首 [EB/OL]. http://news.sohu.com/20111011/n321857525.shtml, 2011-10-11/2012-07-01.

[3] 谢凯涛. 乳腺癌和乳腺病 [M]. 北京：北京医科大学中国协和医科大学联合出版社, 1995.

[4] 刘佩芳. 乳腺影像诊断必读 [M]. 北京：人民军医出版社, 2007.

[5] Al Sharkawy M, Sharkas M, Ragab D. Breast cancer detection using support vector machine technique applied on extracted electromagnetic waves [J]. Applied Computational Electromagnetics Society Journal, 2012,27(4): 292-301.

[6] Xu Xiangmin, Zhou Fengle, Xiao Yue. The study of mammary disease CAD system [C] // 2007 IEEE/ICME International Conference on Complex Medical Engineering. Beijing:IEEE,2007: 676-679.

[7] Mello-Thoms C, Dunn SM, Nodine CF,etal. The perception of breast cancers-a spatial frequency analysis of what differentiates missed from reported cancers [J]. IEEE Transactions on Medical Imaging, 2003,22(10): 1297-1306.

[8] Kundel HL, Nodine CF, Krupinski EA,etal. Using gaze-tracking data and mixture distribution analysis to support a holistic model for the detection of cancers on mammograms [J]. Academic Radiology, 2008,7(15): 881-886.

[9] Kundel HL, Nodine CF, Conant EF,etal. Holistic component of image perception in mammogram interpretation: gaze-tracking study [J]. Radiology, 2007,242(2): 396-402.

[10] Krupinski EA. The importance of perception research in medical imaging [J]. Radiation Medicine, 2000,18(6): 329-334.

[11] Hu Kai, Gao Xieping, Li Fei. Detection of suspicious lesions by adaptive thresholding based on multiresolution analysis in mammograms [J]. IEEE Transactions on Instrumention and Measurement, 2011,60(2): 462-472.

[12] 徐伟栋, 刘伟, 厉力华, 等. 一种基于海岛冲刷模型的乳腺钼靶肿块检测新算法 [J]. 中国生物医学工程学报, 2011,30(4): 567-575.

[13] Marcin Bator MN. Detection of cancerous masses in mammograms by template matching: Optimization of template brightness distribution by means of evolutionary algorithm [J]. Journal of Digital Imaging, 2012,25(1): 162-172.

[14] Robert MN, Lorenzo LP. Fundamental limitations in developing computer-aided detection for mammography [J]. Nuclear Instruments and Methods in Physics Research, 2011,648(Supp 1): S251-S254.

[15] 虞红伟, 厉力华, 徐伟栋, 等. 一种基于水平集的多尺度乳腺肿块分割方法 [J]. 仪器仪表学报, 2010, 31(6): 1418-1423.

[16] Applied Science Laboratories [EB/OL]. http://asleyetracking.com, 2011-03-01/2012-07-01.

[17] Ester M, Kriegel H P, Sander J,etal. A density-based algorithm for discovering clusters in large spatial data sets with noise [C]// International Conference on Knowledge Discovery and Data Mining. Oregon:KDD, 1996: 226-231.

[18] 夏鲁宁, 荆继武. SA-DBSCAN：一种自适应基于密度聚类算法 [J]. 中国科学院研究生院学报, 2009, 26(4): 530-538.

[19] 李双, 刘伟, 徐伟栋, 等. 基于眼动感知信息的彩色图像感兴趣区域提取算法 [J]. 光电工程, 2011,38(4): 115-123.

ApplyingVisualPerceptionInformationforDetectionAnalysisandAutomaticExtractionofBreastMassinMammograms

KE Er-Ting1LI Li-Hua1*LIU Wei1XU Wei-Dong1ZHANG Juan3ZHANG Ling-Nan3ZHENG Bin1, 2

1(CollegeofLifeInformationScienceandInstrumentEngineering,HangzhouDianziUniversity,Hangzhou310018,China)2(DepartmentofRadiology,UniversityofPittsburgh,Pittsburgh,PA15213,USA)3(ZhejiangCancerHospital,Hangzhou310022,China)

Clinical diagnosis according to medical images is a process of radiologists’ visual perception and decision-making. The radiologists’ visual perception information is intimately associated with diagnosis. How to effectively use visual perception information to improve the decision-making accuracy in computer-aided diagnosis is a research subject which is full of scientific significance and clinical value. This paper conducted researches on the analysis and the use of visual perception behavior during diagnosis to explore two issues:one is how well the single perceptual information during diagnosis can reflect masses position; the other is how to use the perceptual information for extracting masses. In the paper, the research method includes two steps. Firstly, radiologists’ fixation point sequence, in which every point includes fixation point location in mammogram, duration time and pupil diameters, was recorded by an eye-tracker during reading and then clustered to achieve some radiologists’ concerns according to the three visual features. Shooting average was calculated by analyzing the positional relationship between concerns and masses in the same mammogram. Secondly, regarding concerns as seeds, the SBRG (seeds-based region growing) approach and the multi-scale mass segmentation approach were applied to buckle breast masses from mammograms. The result of applying the proposed method to 75 mammograms from both DDSM and Zhejiang Cancer Hospital showed that it could achieve shooting average of 58.49% when the limitation of concerns number was 4, and the full-extraction rate for the shot masses was 70.97%. It is revealed that the perceptual information is helpful to reflect masses position as well as to understand the inner mechanism of perceptual feedback.

CAD; visual perception; image segmentation; eye-tracker; clustering analysis

10.3969/j.issn.0258-8021. 2014. 01.005

2013-02-22， 录用日期：2013-11-15

国家重点基础研究发展计划资助(2013CB329502)；国家自然科学基金(61001215、61271063)

TP391.4；TP751.1

A

0258-8021(2014) 01-0028-09

*通信作者。E-mail: lilh@hdu.edu.cn