基于空-频域差值与超分辨率反馈网络的乳腺微钙化区域检测技术

邢素霞，申楠，刘子骄，鞠子涵，何湘萍，潘子妍，王瑜

1.北京工商大学人工智能学院，北京 100048；2.北京海淀妇幼保健院乳腺科，北京 100080

前言

乳腺癌作为一种高发病率和高死亡率的恶性肿瘤，已是危害全球女性健康甚至生命的头号杀手。世界卫生组织癌症专家于2021年2月2日表示，2020年全球1 000 万人死于癌症，罹患癌症的人数达到1 930 万［1］。其中，乳腺癌病例激增226 万例，占新增癌症病例的11.7%，首次超越肺癌，成为世界上最高发的癌症。相关统计数据预测，至2030年，全球范围内乳腺癌的发病数量将会达到1.1 亿［2］，这一严峻形势引起了广泛关注。全球范围内，乳腺癌的有关研究尚处于探索阶段，发病原因尚未查明。定期进行乳腺癌检查以及发现后及时治疗，是降低发病率和死亡率、提升患者治愈率的最有效方法。乳腺癌早期在乳腺钼靶图像中主要表现为微钙化区域，因此，能够检测出乳腺钼靶图像中的微钙化区域，对于乳腺癌筛查具有重要意义。微钙化点的大小一般为50～500 μm，特别是恶性钙化点，极其细小，即便是经验丰富的医生仅凭肉眼也难以识别。在计算机检测中，也很容易把微钙化点误认为是噪声漏检，或是因检测精度较低而无法识别［3］。在0.1 mm/像素的数字钼靶图像中，直径小于100 μm 的微钙化点无法显示，只有更大的微钙化点可能出现在图像中。此外，部分乳腺腺体组织与微钙化区域的亮度相近。上述这些特点使得乳腺微钙化区域的自动检测较为困难。因此，计算机辅助诊断（Computer Aided Diagnosis,CAD）系统在乳腺钼靶图像微钙化区域的检测及分类上仍存在假阳性率（False Positive Rate,FPR）过高等问题，制约着CAD系统在临床上的应用与推广，如何科学有效地改进乳腺癌CAD技术成为解决问题的关键。

尽管近年来针对乳腺钼靶图像钙化区域的检测研究取得了一定进展，但仍然普遍存在着检测结果FPR 较高、检测效率较低等不足。针对以上问题，本文提出了检测疑似微钙化点的空-频域差值方法，以及超分辨率重建技术，通过对超分放大后的感兴趣区域（Region of Interest,ROI）特征提取和分类，实现微钙化区域的计算机辅助检测，如图1所示。

图1 乳腺癌CAD系统流程图Figure 1 Flowchart of breast cancer CAD system

1 国内外研究现状

簇状钙化灶是乳腺癌的早期征兆，因此准确检测出乳腺钼靶图像中的微钙化点簇能极大程度地提高早期乳腺癌的确诊率，而分割出乳腺钼靶图像中微钙化点簇则是微钙化点簇检测的关键步骤。由于乳腺钙化区域检测存在很多难点，近几年来受到了越来越多学者的关注，国内外学者对乳腺微钙化点分割进行了深入研究，提出了各具特色的分割方法。梅明［4］提出了将边缘点检测算法与水平集算法相结合的微钙化点分割模型，首先使用边缘点检测算法对微钙化点进行粗分割，然后运用水平集算法进一步细化分割，并且根据边缘点搜索的数据拟合出一个圆形，用作活动轮廓模型的初始轮廓。Ciecholewski［5］首先从形态学上检测微钙化区域，确定发生微钙化的大致位置，然后对微钙化点进行分水岭分割，对 Digital Database for Screening Mammography（DDSM）数据集中200 个512×512 像素的ROI进行测试，得到了80.5%的相似性指数及75.7%的重叠率。Basile 等［6］提出一种分三阶段的聚类微钙化检测方法，首先进行图像预处理，然后基于Hough变换检测微钙化点的边缘，最后对微钙化点进行聚类识别，实现微钙化区域的检测，对364 张乳腺钼靶图像进行检测，真阳性率为91.78%，FPR 为2.87%。

2 实验方法

本文选用DDSM数据库的图像进行实验［7］。DDSM数据库是由南佛罗里达大学于1999年提供的数字化乳腺图像库，该数据库是一个高分辨率的乳腺钼靶图像标准数据库，含2620个病例。本文实验的硬件环境为Intel(R)Core(TM)i7-9700K CPU@3.60 GHZ，16 G内存；软件环境为Windows10操作系统，MATLAB R2019a和PyCharm 2019.1。

2.1 图像预处理

图像预处理是乳腺癌CAD 系统的基础步骤，其目的在于提升微钙化点和背景组织间的对比度以及提高算法的运行速度。图像预处理模块包含灰度归一化、图像边缘裁剪、图像增强、去除标签噪声和乳腺区域自动分割5大步骤。经过图像预处理，去除了图像的标签噪声和多余结构干扰，利于后续微钙化区域的检测，提高了运算速度。整个预处理过程产生的图像如图2所示。

图2 预处理图像Figure 2 Image preprocessing

2.2 基于空-频域差值图像技术的ROI自动分割

从已有的研究成果来看，单一的检测方法并不能取得很好的结果，因此本文提出了空-频域组合的微钙化区域检测模型。文献［8］中，在进行图像差值处理后，采用区域生长算法进行疑似微钙化点的分割，而区域生长算法需要手动选择种子点，过程复杂。本文将区域生长算法替换为阈值分割，并增添了“找到疑似点的质心”和“画出最小外接矩形”两个步骤，不仅实现了疑似微钙化点的分割，还实现了钼靶图像上疑似微钙化点检测。

2.2.1 空-频域差值图像技术从空间域角度来看，微钙化区域在乳腺钼靶图像中较周围正常组织亮；从频域角度看，微钙化点是淹没于极高频噪声和低频背景中的高频信号。因此，从空间域和频域的角度出发来对噪声进行消除，实现优势互补，获得更佳的检测效果。流程如图3所示。

图3 疑似微钙化点的检测流程图Figure 3 Flowchart of suspected microcalcification detection

（1）空域锐化。若去除胸肌后的钼靶图像为f(x,y)，设∇2f为拉普拉斯算子，f(x,y)的拉普拉斯变换如下［9］：

在数字图像处理中，需将式（1）转换为离散形式，由于式中含x和y两个变量，因此分别在x方向和y方向上进行二阶偏微分，得到：

式（1）中的二元图像f(x,y)拉普拉斯变换可由两个分量相加得到：

本文所使用的拉普拉斯算子为8邻域，它的增强效果更加显著，表示为：

根据上式，可以得到本文所用的8邻域拉普拉斯算子的差分示意图（图4）和模板示意图（图5）。

图4 拉普拉斯算子的差分示意图Figure 4 Difference diagram of Laplacian

图5 拉普拉斯算子的模板Figure 5 Template of Laplacian

由差分示意图可以看出，拉普拉斯算子对于中心点（即黑色圆点）的8 邻域分别进行了8 次负的差分运算，将这8 个值累加起来，相当于原图像的像素灰度值减去该点拉普拉斯算子卷积后的结果［10］，起到了突出中心点灰度值的作用。

拉普拉斯是一种微分算子，它可以在增加图像灰度值突变的同时，减弱灰度缓慢变化的区域。将原始图像与拉普拉斯锐化处理后的图像叠加，这样不仅能够突出图像中的细节信息，同时还可以保留图像的背景信息：

（2）频率滤波。对图像f(x,y)使用高斯低通滤波5× 5模板进行平滑处理，消除高频信息，保留背景等低频信息，得到的低通图像为fs(x,y)。

高斯低通滤波即基于高斯函数的低通滤波［11］，它的变换函数如下：

其中，D(u,v)表示从点(u,v)到傅里叶变换中心（即原点）的距离；D0是高斯低通滤波的截止频率，同时也是高斯函数的方差，表示高斯曲线的扩张程度［12］。

（3）空-频域差值。将锐化后的图像fE(x,y)和滤波后的图像fs(x,y)进行差运算，产生一幅差值图像fB(x,y)：

在图像相减过程中，产生的fB(x,y)图像中可能存在一些负值，由于像素值为负的点为低频背景，并不含微钙化点，所以本文对fB(x,y)进行取0操作［13］：

可通过上述方法对乳腺图像进行差值处理得到只包含微钙化点和高频噪声的新图像fB(x,y)，然后通过最大类间方差法（Otsu）分割出微钙化点：

其中，T为前景（即微钙化点）和背景的分割阈值。

通过空-频域差值、Otsu 阈值算法分割后的图像如图6所示。通过图6e发现，微钙化点得到了有效检测，为后续ROI的自动分割奠定了基础。

图6 差值图像技术Figure 6 Difference image technique

2.2.2 ROI自动分割由于乳腺部分边缘可能存在着微钙化点，所以在去除胸肌时不能将其完全去除，因此在阈值分割后的图像存在一组描述胸肌轮廓的离散点。通过膨胀操作，使这些离散点连接起来组成一条轮廓线（图7a），然后计算图像中的最大连通区域（即胸肌轮廓线），将其去除，此时图像中仅存在微钙化点。通过循环计算得到每个微钙化点的质心，并用“*”将其在二值图像上标注（图7b）。最后在钼靶图像上根据每个微钙化点的质心位置绘制出每个微钙化点所对应的最小外接矩形（图7c），实现疑似微钙化点的检测。

图7 疑似微钙化点检测Figure 7 Detection of suspected microcalcifications

在医学上，单独存在的钙化点往往被认为是良性钙化。良性钙化点多比较分散，密度也较一致，还具有边界清晰、形态规则的特点，而成簇分布的微钙化点是早期乳腺癌非常重要的诊断依据，钙化密集度越高，其恶性的可能性就越大。多数学者认为在乳腺钼靶图像中单位面积（cm2）内存在3 枚以上的微钙化点则定义为微钙化点簇，可诊断为乳腺癌［14］。

本文根据疑似微钙化点的质心位置，并结合医学上对于微钙化点簇的定义，从上到下、从左到右自动截取128×128的疑似微钙化区域，每个微钙化区域含3枚以上的微钙化点，保存到指定文件夹中，如图8所示。

图8 单幅乳腺图像所截取的疑似微钙化区域Figure 8 Suspected microcalcifications in a single breast image

2.3 微钙化区域超分辨率重建

微钙化区域尺寸较小，且分辨率较低、特征不明显。由于存在上述特点，本文引入图像超分辨率（Super Resolution,SR）重建技术对ROI图像进行放大。图像SR 重建技术由Tsia 在20世纪80年代首次提出，是指将低分辨率（Low Resolution,LR）图像进行重建，从而得到对应的高分辨率（High Resolution,HR）图像的过程［15］。随着大量的科研人员投入到图像SR重建技术的研究中，SR重建技术取得了重大发展，涌现出许多经典的SR重建算法。经过SR重建的图像细节更加清晰，视觉效果更好，有利于进一步的特征提取与分类。

本文使用超分辨率反馈网络（Super-Resolution Feedback Network,SRFBN）对图像进行SR 算法重建［16］，结构如图9所示。SRFBN 有较强的早期重建能力，可以逐步生成最终的高分辨率图像，整个网络可以展开成T次迭代［17］，每次迭代都由低分辨率特征提取块（Low Resolution Feature Extractor Block,LRFB）、反馈块（Feedback Block,FB）和重建块（Reconstruction Block,RB）3部分组成。输入的LR图像先经过两层3×3的卷积层进行特征提取，然后与前一次迭代FB的输出进行级联与压缩后输入到本次迭代的FB中进行反馈学习；FB输出一条分支作为下次迭代中FB块的输入，另一条分支传入反卷积层进行上采样；最后经过一层3×3的卷积层得到重建的残差图像，与LR上采样图像相加后，得到这一次迭代的输出，经过T轮迭代后的输出，得到最终的高分辨率图像。

图9 SRFBN结构图Figure 9 Structure diagram of SRFBN

2.4 微钙化区域真假阳性检测

2.4.1 特征提取乳腺钼靶图像为灰度图像，钙化点的形态各异，如图10所示通过颜色特征和形状特征难以区分。而乳腺组织区域中微钙化点区域相对正常区域在纹理方面差异明显［12］，因此可提取ROI的纹理特征，作为分类器的输入特征。

图10 钙化点类型Figure 10 Types of calcifications

本文提取出ROI的Haralick 纹理特征、灰度游程矩阵特征和方向梯度直方图（Histogram of Oriented Gradient,HOG）、局部二值模式（Local Binary Pattern,LBP）特征，共363维特征用于后续分类。

2.4.2 分类决策完成疑似微钙化区域的特征提取后，如何区分正常乳腺组织和微钙化点区域是乳腺CAD系统的关键。多分类器的融合方法，可以放宽数据大小要求，平衡计算量，解决模型的不确定性。因此，采用单层决策树（Decision Stump,DS）作为弱分类器，通过Gentle AdaBoost算法集成强分类器GAB-DS。

3 实验结果与方法

3.1 基于空-频域差值的ROI分割实验

3.1.1 评价标准为了验证和量化此检测方法对病灶检测的准确程度，采用敏感性（Sensitivity）、FPR 对模型进行评价。

敏感性又称为真阳性率，即2.2 节检测方法识别出的阳性区域数量与实际上所有样本中微钙化区域总数的比例：

FPR是指正常组织被错判为微钙化区域的比例：

设阳性代表微钙化区域，阴性表示非钙化区域。上式中，真阳性（True Positive,TP）表示被正确分割的微钙化区域样本个数；假阳性（False Positive,FP）表示被错误分割的微钙化区域样本个数；真阴性（True Negative,TN）表示被正确分割的正常组织样本个数；假阴性（False Negative,FN）表示被错误分割的正常组织样本个数。

3.1.2 结果与分析为了验证本文提出的空-频域微钙化区域检测方法的可靠性，采用DDSM 数据库中400张图像进行实验。在含有微钙化点的200张钼靶图像中，检测出含微钙化点的图像有182张；200张正常图像中，检测出含微钙化点的图像为68 张。故微钙化点检测的敏感性为91.00%，FPR 为34.00%。本文所采用的组合多种方法的微钙化区域检测模型取得了较高的检出率，但误检率也很高。可以通过后续的真假阳性分类实验，检测出真阳性的图像，降低FPR。

3.2 微钙化区域SR重建实验

3.2.1 主观评价标准主观评价是以一定数量的人的视觉感为标准进行打分，比如视觉舒适度、结构层次和清晰度等方面，视觉感越好评分越高［18］。主观评价是指通过人的肉眼从多个角度对不同算法重建出的图像进行主观评价，并对图像质量进行定性分析的过程。由于人的视觉对于图像的清晰度、边缘、图像亮度、对比度等信息比较敏感，所以当图像间的质量差异较大时，主观评价结果具有一定的参考价值。主观评价标准虽然能最直观地反映图像质量，但也存在一定的缺陷。首先，主观评价需要足够的观察者进行评价，并且耗时较长；此外，评价结果会受到观察者视觉习惯、生理状态以及外界环境等因素的影响，使得实验结果无法完全作为图像质量的评价标准，仅能起到参考价值。

3.2.2 客观评价标准客观评价采用具体量化数据对重建结果进行评价，常用指标有峰值信噪比（Peak Signal to Noise Ratio,PSNR）和结构相似度（Structural Similarity,SSIM）两种。

PSNR 评价指标是SR 领域中广泛应用的指标之一［19］，其将原始图像和重建后图像进行逐个像素点的对比，并计算两幅图像像素点之间的差值用来评价重建后图像的质量。PSNR的单位为dB，若两幅图像之间的PSNR 越大，表示图像的质量越高，失真越小。表达式如下：

其中，maxI表示图像的最大像素值，若每个像素都由8 位二进制表示，maxI则为255；MSE 为原始图像与重建图像之间的均方误差，主要反映了重建图像与原始图像的偏离情况，MSE 的值越小，重建图像的质量越高，其表达式如下：

其中，m×n为原始图像与重建图像的大小，XHR表示原始的高分辨率图像，XSR为重建后的图像。

常用SSIM 指标度量原图像和重建图像内部结构的相似度。SSIM 指标综合了亮度、结构和对比度3个方面整合计算，其值越接近1，则两幅图像的相似度越高，重建效果越好。SSIM的表达式如下：

其中，i和j分别表示原图像与重建图像，ui和uj分别为x和y的平均灰度值，σi和σj为i和j的方差，σij为i和j的协方差，C1和C2为常数。

3.2.3 结果与分析为了验证所使用的SRFBN 算法在微钙化区域图像分辨率提升上的优势，本节主要采用SRFBN 和Bicubic、基于卷积神经网络的SR 重建开山之作SRCNN（Super Resolution Convolutional Network）算法进行了重建实验，同时对实验结果在主观和客观两个方面进行了比较分析。

图11为原始图像与放大因子为4 倍的Bicubic、SRCNN、SRFBN 的高分辨率图像对比结果。从图中可能无法看出明显差别，因此采用客观评价标准PSNR和SSIM 分别对重建结果进行评价，结果如表1和表2所示。

从表1和表2可以看出，相比传统Bicubic 方法，基于学习的SR 重建方法在PSNR 和SSIM 评价指标上有着显著的优势，其中SRFBN 算法在评价指标上全面优于SRCNN 算法。综上所述，选用SRFBN 算法对实验数据集中的全部图像进行SR重建。

表2 各超分辨率重建算法SSIM对比Table 2 Comparison of SSIM among super-resolution reconstruction algorithms

3.3 微钙化区域真假阳性检测实验

乳腺微钙化区域检测流程如图12所示。在GAB-DS 模型中，决策树的数量影响着分类器的性能。当值较大时，GAB-DS 模型的分类误差小，分类性能较好，而模型的复杂性与值成正比，值越大，模型的复杂度越高，运行时间也越长。在1 280 幅ROI图像中，随机选取960 幅ROI图像为训练集，剩余的320 幅为验证集。通过MATLAB 中的集成学习工具箱，搭建出GAB-DS 模型。将决策树的数量设置为500，绘制决策树的数量与分类错误率的关系曲线，如图13所示。

图12 乳腺微钙化区域检测流程图Figure 12 Flowchart of breast microcalcification detection

图13 决策树数量与分类错误率的关系曲线Figure 13 Relationship between the number of decision trees and the classification error rate

由图13可以看出，随着决策树数量k值的增大，分类错误率先快速下降，然后逐渐趋于平缓。图像中存在多个分类错误率最低点，综合分类准确率和运算复杂度考虑，k应设置为369（即第一个分类错误率最低点的横坐标）。

3.3.1 评价标准为了验证和量化此分类模型的效果，记录实验结果中的TP、FP、TN 和FN，并计算出相应的准确率（Accuracy）、敏感性（Sensitivity）、特异性（Specificity）、阳性预测值（Positive Predictive Value,PPV）、阴性预测值（Negative Predictive Value,NPV）及F1分数（F1-score）对训练的模型进行评价，其定义如下所示：

3.3.2 结果与分析基于差值图像技术自动分割的疑似微钙化区域共320 个，对照金标准图像打标签，用作GAB-DS 模型的测试集来检验所使用的分类模型性能。根据上一节所述，将决策树的数量设置为369，分别对原始数据集和SR重建后的数据集提取特征进行分类，实验结果如表3所示。数据集未进行SR 重建时，准确率为93.13%，已处于较高水平。数据集经SR 重建后，分类准确率达到了96.25%，敏感性为94.38%，特异性为98.13%，PPV 为98.05%，NPV为94.58%，F1分数为0.961 8，GAB-DS模型的各项指标均有显著提升。由超分前后的分类结果对比，可以看出图像SR 重建有助于微钙化区域真假阳性检测。为了进一步验证GAB-DS算法的性能，将本文算法与其他算法进行实验比较，实验所用数据集均为SR重建后的图像数据，结果如表4所示。

表3 数据集超分辨率重建前后分类对比Table 3 Classification comparison for data sets before and after super-resolution reconstruction

表4 不同算法的乳腺微钙化区域分类性能对照表Table 4 Performances of different algorithms in breast microcalcification classification

为了使数据比较的结果更加直观，生成了基于不同方法的乳腺微钙化区域分类性能对照柱状图，如图14所示，本文所用模型在各项评价指标上均优于其他模型。由此可见，所提出的检测模型在微钙化区域检测上具有较好的检测性能。

图14 基于不同方法的乳腺微钙化区域分类性能对照柱状图Figure 14 Histogram of performances of different methods in breast microcalcification classification

4 结束语

本文针对微钙化点检查精度不高的问题，提出了一种乳腺钼靶图像微钙化真假阳性检测方法。首先对乳腺钼靶图像进行了预处理，并采用差值图像技术和阈值分割算法实现了乳腺钼靶图像中疑似微钙化点的分割，根据疑似微钙化点的质心位置自动截取ROI，然后通过SRFBN 算法进行微钙化区域SR重建，最后提取ROI的特征，将Gentle AdaBoost 算法和单层决策树算法相结合，构建强分类器GAB-DS对区域进行分类，将微钙化区域和正常组织分离开来，分类正确率高达96.25%。在辅助乳腺微钙化点检测中具有一定的临床应用价值。