结合图像分割和多特征融合识别乳腺钼靶图像

章鸣嬛 肖勤 刘文坚 陈瑛 张璇 顾雅佳

1上海杉达学院大数据分析与处理研究中心201209；2复旦大学附属肿瘤医院放射诊断科，上海200032；3澳门城市大学人文社会科学学院999078

0 引言

乳腺癌是女性最常见的恶性肿瘤之一，其死亡率高居女性癌症的第二位。统计数据显示，全球每年有超过50万女性死于乳腺癌，超过120万女性患乳腺癌[1]。中国抗癌协会的统计结果显示，我国乳腺癌发生率以每年3%的速率递增，主要城市女性居民的乳腺癌发病率10年间升高了37%。

目前，乳腺钼靶X线摄影技术（mammography）是首选的用于乳腺癌早期发现和诊断的普查方法[2]，是针对早期乳腺癌的最有效检查手段。乳腺图像报告和数据系统（breast imaging reporting and data system，BI-RADS）是美国放射学会推荐的一种乳腺图像报告诊断标准。在2013年最新修订的第五版BIRADS 中，共包括 6 个类别（BIRADS1～BIRADS6）[3]，其中满足第4类（BI-RADS4）的受检者，其罹患恶性乳腺肿瘤的可能性为3%～94%。数字钼靶X线图像数据库（the digital database for screening mammography，DDSM）是美国佛罗里达大学开发的用于乳腺癌筛查的图像数据库，其中包含超过2 000个病例的图像数据，并根据诊断结果将这些图像分为恶性病变、良性病变、良性且无需复诊、正常4个类别。

图像分割是图像处理与分析的关键步骤，也是对图像进行特征提取、参数选择和模式识别的重要基础与前提。由于DDSM中的钼靶图像空间分辨率较高，且图像中存在大量无效区域，并不适合直接对其进行处理和识别。因此，应首先从这些图像中提取出感兴趣区域（region of interest，ROI），较常用的ROI划分法有阈值分割、区域分割、边缘分割、聚类分割和模型分割等[4]。但这些方法均不能很好地用于DDSM中钼靶图像的分割。为此，本研究中提出了基于坐标匹配和逐行逐列扫描切分子图的方法，以有效解决上述问题。

众多研究者将计算机辅助检测（computer-aided detection，CAD）用于对医学图像的研判。1999年，Penareyes等[5]将模糊系统和遗传算法相结合，并用于乳腺肿瘤识别。2003年，Abonyi等[6]通过构建有监督聚类模型对乳腺肿瘤数据集进行分类。2008年，Lin等[7]利用粒子群算法寻找支持向量机（support vector machines，SVM）最佳参数的算法并用于乳房肿块的识别，其准确率相较于同类分类器有较大提升。2014年，Dheeba等[8]设计了基于粒子群优化（particle swarm optimization，PSO）算法的小波神经网络，用于识别乳腺肿瘤数据。

本研究中，首先对钼靶图像进行ROI提取，并切分成子图；再利用机器学习算法对试验对象进行分类。验证结果表明，所提出的分类器具有良好的性能，可为临床医生的诊断提供辅助依据，并为细分BI-RADS4标准，进一步提升其诊断准确性奠定基础。

1 数据采集

试验所用乳腺钼靶X线图像均来源于DDSM。乳腺癌的X线图像表现主要为钙化（calcification）、肿块阴影（mass）及结构紊乱（architectural distortion）3类[9]。成簇微小钙化灶是乳腺癌的重要X线图像征象，故检测和识别乳腺钼靶X线图像中的钙化灶是乳腺癌筛查CAD系统的研究热点[10]。在钙化灶中，呈簇状分布的多形性钙化灶较为常见[11]。因此，选择DDSM中分类为BI-RADS4，且病灶表现为簇状分布多形性钙化的40例钼靶图像数据为研究对象，其中包括已被病理证实为良性和恶性的病例各20例。每例图像数据中均包含通过头尾位（craniocaudal，CC）和内外斜位（mediolateral oblique，MLO）2 种方式采集的图像。

DDSM中的每幅图像均包含了乳腺钼靶原图（简称“原图”）和经过降采样后的图像（简称“缩略图”）。缩略图中已勾画出病灶区域，但其对原图进行了降采样，分辨率较低，信息损失较多，无法直接用于处理和分析。原图尺寸较大，单张图像的大小可达几十兆字节，但其中存在大量无效区域且并未标注病灶区域，同样无法直接对其进行处理和分析。综上，可根据缩略图上的病灶区域的坐标位置，定位出原图中的病灶位置，从而完成ROI的初步分割。

2 试验设计

2.1 图像分割

2.1.1 ROI定位

在缩略图上进行纵、横2个方向的遍历扫描，当遇到红色像素点时，就记录该点的位置坐标。此后，根据若干相关的像素点得到病灶区域的外接矩形，包括该外接矩形左上角A和右下角B点的坐标。利用A和B点的坐标位置，即可确定原图中的病灶区域（ROI）。（图 1）

图1 ROI定位过程

如图1所示，MNPQ是缩略图上已由医生标记的不规则病灶区域，ACBD为该区域的外接矩形。设A点的坐标为（xA，yA），病灶区域的高和宽分别为h和 w，则 B 点的坐标可表示为（xA＋w，yA＋h）。在遍历过程中，当程序检测到某像素点的三原色（redgreen-blue，RGB）值在（255，0，0）附近时，便记录该点的位置坐标，将其横、纵坐标分别写入列表x_list和 y_list。因此，x_list中的元素至少包括[xM，xN，xP，xQ]，y_list中的元素至少包括[yM，yN，yP，yQ]。因此，A点和B点的坐标又分别进一步表示为[min（x＿list），min（y＿list）]和[max（x＿list），max（y＿list）]。由缩略图上A、B点的坐标，即可对照到原图上截取出ROI（图2）。如图2C所示，虽然ROI中仍存在部分无效区域，但已可较容易地找到钙化点位置。利用该方法可批量提取所有图像的ROI。

2.1.2 子图切分

因为提取到的ROI中仍存在部分无效区域，需进行进一步处理。如图3所示，以坐标原点O为起始点逐行、逐列扫描ROI，并以固定的尺寸来切分ROI。图3中实线框内为首次切分ROI后得到的切分子图，虚线框内表示右移64 px（像素）后得到的切分子图，点线框内表示下移64 px后得到的切分子图。依次逐行、逐列扫描所有图像的ROI完成切分。

分别使用 64px×64px、128px×128px和 256px×256 px 3种尺寸，对ROI区域进行了切分。验证结果表明，切分尺寸为64 px×64 px时，由于切分尺寸较小，导致病灶所占据的比例过大，特征反而不显著，医生难以从较小尺寸的图像中准确分辨出有效区域；256 px×256 px又过大，当病灶区面积小于256 px×256 px时，无法实现ROI的有效切分；切分尺寸为128 px×128 px时效果最佳。因此，使用128 px×128 px的切分尺寸来批量切分所有图像的ROI。

最终，一幅原图可能被切分出若干张包含有钙化点病灶的子图。在放射科医生的指导下，挑选出含有较明显病灶（20%～35%）的子图。在进一步筛选子图时需考虑：若病灶特征过于明显，则在后续分类识别时可能会出现过拟合现象，即分类器对训练集性能较好，而对测试集的性能却较差。因此，在选择切分后的子图时，应加入若干包含残缺病灶的子图，以增强分类器的泛化性能。

依据上述思路和方法，共采集有效子图（学习样本）1 212张，其图像尺寸均为128 px×128 px。所有学习样本中，包含良性病灶子图584张，恶性病灶子图628张。为保证良、恶性病灶子图的数量基本均衡，对其中24例良性子图进行了数据增强。最终得到有效学习样本1 236张，其中包含良性病灶子图608张，恶性病灶子图628张。

图3 逐行、逐列扫描并切分感兴趣区域（ROI）

图2 从乳腺钼靶原图中截取感兴趣区域（ROI）的过程

2.2 特征工程

特征工程又称为变量选择、属性选择或变量子集选择[12]，是在模型构建中，选择相关特征并构成特征子集的过程。在利用机器学习进行分类识别前，首先需要提取子图的特征参数。分类器的性能取决于特征参数的提取和优化。通常可用小波变换[13]、Gabor滤波[14]和灰度共生矩阵[15]等方法进行特征提取，尽管这些方法提取图像特征的原理不同，但所提取的特征均是从不同角度来表征同一幅图像。因此，将上述3种算法所提取的特征进行融合，尝试寻求最佳的参数集合。

二维小波变换法适于提取图像的纹理特征。因此，基于单层小波变换或二层小波变换，分别提取学习样本的小波特征参数，每种小波变换均提取了四阶小波参数，每阶提取8个系数，共计32个参数，包括低频水平方向的系数、高频水平方向的系数、高频垂直方向的系数和高频对角方向的系数等。基于Gabor滤波方法所得的参数为0°、22.5°、45°、67.5°、90°、112.5°、135°、157.5°等 8 个方向上的均值和方差，共计16个参数。基于灰度共生矩阵方法所得的参数为对比度、相关性和能量，共计3个参数。另外，提取学习样本整幅图像的均值和标准差。共计提取53个特征参数，其中单层小波变换和二层小波变换法为32个，Gabor滤波法为16个，灰度共生矩阵法3个，整幅图像的均值1个，整幅图像的方差1个。

由于参数的数量较多，为降低分类器的复杂度，故使用灵敏度分析进行参数筛选。设初步确定的一组参数解记作 X=和 F（x*），且满足优化约束条件。对这些参数进行摄动，即每次改变一个参数并保持其他参数不变，再计算目标函数F（xi）和约束函数值gu（x）。xi（i＝1，2，…n）摄动对目标函数会有不同程度的影响，通过比较Si的绝对值就可得出参数对全局的影响程度。对于目标函数而言，有

通过训练一个背向传播（back propagation，BP）神经网络模型，根据摄动对分类器特征参数的影响分析各特征参数的权重。对每个特征参数进行权重标定，权重的绝对值越大，表明该特征参数的重要性越高，其对分类器性能的影响越大。此外，可通过剔除灵敏度绝对值较小的特征参数，对特征参数集进行降维，以达到优化分类器的作用。

2.3 分类器设计

为提升分类器的性能，使用基于集成学习的方法，对多项式核SVM、随机森林和逻辑（logistic）回归分类器进行投票集成，其中投票集成方法为软投票（soft-voting）。软投票的过程可描述为：以所有分立分类器预测样本为某一类别的概率的均值为标准，概率最高的类型即为最终预测结果。其算法原理为

式中：wi是 hi的权重，通常 wi≥0=1。在软投票方式下∈[0，1]相当于对后验概率P（cj|x）的一个估计，亦即基于“类概率”的投票。

此外，分别使用高斯核SVM分类器、多项式核SVM分类器、多层感知机（multi-layer perceptron，MLP）分类器、决策树分类器、Logistic回归分类器验证集成分类器的性能。定义测试集上的灵敏度（sensitivity）、特异度（specificity）和准确率（accuracy）作为分类器的评价指标[16]。其中，灵敏度是分类器正确识别出恶性病例的比率，特异度是分类器正确识别出良性病例的比例，准确率是指分类器正确识别出所有病例的比率。反映分类器评价指标的混淆矩阵见表1。

表1 反映分类器评价指标的混淆矩阵

灵敏度、特异度和准确率的计算方法为：灵敏度=TP×100%/（TP+FN）；特异度=TN×100%/（TN+FP）；准确率＝（TP＋TN）×100%/（TP+FP+FN+TN）。3个指标的取值范围均为[0，100%]，且越接近于100%表示分类器的性能越好。

3 结果

3.1 特征参数选择

分别单独使用小波变换、Gabor滤波和灰度共生矩阵法进行特征提取，并基于所提取的特征参数进行分类识别。图4显示了采用不同特征提取方法下的分类器性能指标。

图4 不同特征提取方法下的分类器预测性能

结果表明，使用单层小波变换提取特征参数的分类器有最佳的性能，但其灵敏度、特异度和准确率仅为88.0%、90.2%和89.1%。这是由于每种特征提取方法都有一定的局限性，存在信息损失的情况。为减少图像在特征提取过程中的信息损失，尝试对单层小波变换、Gabor滤波和灰度共生矩阵法进行融合，并利用BP神经网络进行灵敏度分析。BP神经网络的输出权重见表2。

表2 BP神经网络输出的53个特征参数的权重

根据BP神经网络输出权重的绝对值，对融合所得的53个特征参数进行降维。权重绝对值的大小表明该特征参数重要性的高低，权重值的正、负分别表示该特征参数对分类器的性能具有正向或反向影响。最终，只保留权重绝对值大于2的特征参数。共计剔除参数19个，剩下的34个特征参数为优选特征参数。

3.2 分类器性能

采用高斯核SVM分类器、多项式核SVM分类器、MLP分类器、决策树分类器、Logistic回归分类器和基于多项式核SVM、随机森林和Logistic回归的集成分类器（EnsemClass），共6种分类器对前述34个优选特征参数所构成的特征空间进行分类识别。利用随机抽样和十折交叉验证法组织样本数据。在训练集和测试集中，保证良性子图和恶性子图的分布接近总体分布。

各分类器在测试集上的分类性能对比，如图5所示。结果表明，有些分类器仅对于测试集的灵敏度较高，有些分类器仅对测试集的特异度较高，而集成分类器在测试集上的所有性能均为最佳，其对测试集的灵敏度、特异度和准确率分别为99.1%、99.6%和99.3%。

图5 各分类器对测试集的分类性能对比

4 讨论与结论

结果表明，采用所提出的方法来处理数字钼靶X线图像样本并对其进行分类识别，可实现高效的分类。该方法可应用于乳腺癌的大规模筛查中，能提升筛查效率，降低误诊率和漏诊率，减轻医生的负担。

目前，卷积神经网络（convolutional neural networks,CNN）在图像分类[17]、目标检测[18]和图像分割[19]等领域已取得显著的成绩，广泛应用于医学图像的自动识别[20-21]。VGGNet[22]和 AlexNet[23]分类器在测试集上的灵敏度、特异度和准确率可达97.4%、100%和98.7%。其结果与本文中提出的集成分类器的性能接近。但由于CNN网络的计算复杂度较高，对硬件要求很高，因此对于乳腺钼靶X线钙化点图像的识别，本文中所提出的集成分类器具有更高的推广价值。

如前所述，以BIRADS-4为标准，受检者罹患乳腺癌的可能性为3%～94%。该区间过大，不利于精准诊断及开展相应的治疗。因此，放射科医生必须对初判为BI-RADS4的图像进一步细分。若能对BIRADS4类图像进行进一步分类，如分为BI-RADS4a（可能性为3%～10%）、BI-RADS4b（可能性为11%～50%）和 BI-RADS4c（可能性为 51%～94%），则能更好地辅助医生实施精准诊断并制订相应的治疗方案。本研究即是针对该问题的尝试。结果表明，本文中提出的方法可对BI-RADS4类钙化点图像进行准确的良、恶性二分类。在后续研究中，拟收集更多相关样本，研究BI-RADS4类图像的精细分类方法。

结合图像分割、多特征融合及优化、机器学习等技术，对BI-RADS4类中的簇状分布多形性钙化图像实施了高效的分类。本研究结果是人工智能技术在医学图像自动识别领域中的成功应用。所提出的方法可应用于钼靶X线乳腺图像的自动筛查，并为进一步细分BI-RADS4类图像奠定了技术基础。本文通讯作者所在课题组的周智骏、潘雍昊、刘若尘和郭宗安同学承担了研究中的部分技术工作，在此表示感谢。

利益冲突所有作者均声明不存在利益冲突