多视角判别度量学习的乳腺影像检索方法

周国华， 蒋 晖， 顾晓清， 殷新春

(1.常州工业职业技术学院 信息工程系, 江苏 常州 213164；2. 扬州大学 信息工程学院, 江苏 扬州 225127；3. 常州大学 信息科学与工程学院， 江苏 常州 213164)

1 引 言

根据《中国肿瘤登记年报》报告，2013年我国女性乳腺癌新发病例约为27.9万, 位居女性恶性肿瘤发病首位；死亡病例约6.5万, 位居女性恶性肿瘤死亡第五位[1-2]。但乳腺癌早期的筛查可以有效降低乳腺癌的死亡率，显著提升患者的存活率。与其他诊断方法相比，医学影像是诊断乳腺癌的黄金标准，例如乳腺X光、核磁共振[3]和CT扫描[4]都是乳腺癌筛查的常用影像学方法。目前，早期的乳腺癌筛查完全依赖医师的经验，决策准确性在很大程度上取决于医师的知识、经验以及能获得的信息的质量和数量。另外，人工处理影像的方法既昂贵又耗时，尤其对经验不足的医师来说，通过分析医学影像来诊断乳腺癌是费力困难的。因此，在医师的决策过程中能为他们提供知识支持的辅助技术就很有意义。随着互联网技术的普及，医学影像数据库规模越来越大，能够提供给医师的既往病例也越来越多。同时，随着人工智能技术的迅速发展，机器学习分类方法已应用于乳腺癌的诊断、治疗和预后。例如IBM公司开发的Watson软件被应用于乳腺癌治疗[5]。周蕾针对乳腺案例中的肿块进行研究，通过对两幅不同角度乳腺视图中可疑肿块区域进行配对实现乳腺图像的多视角检索[6]。Gu等人[7]提出了一种用于乳腺癌诊断的加权异类值的距离度量方法，该方法比欧氏距离能更好地同时处理连续和离散属性，并使用一种遗传算法来学习距离度量中涉及的属性权重。龚敬等人[8]讨论了多种人工智能技术在乳腺影像学诊断中的应用，并对乳腺影像的人工智能发展进行了展望。

从本质上讲，乳腺癌决策过程本身高度依赖于历史经验知识。利用基于内容的影像检索方法和医学案例推理(Case-based reasoning, CBR)[9-10]在医学诊断中比传统机器学习分类技术具有技术优势。CBR能够从历史案例中检索经验和知识，这与人脑的思维过程非常相似。CBR不仅为医生提供了一个预测，通过检索到的类似的历史案例，还能提高诊断的效率和准确性。因此，CBR实质上与医师的诊断决策过程是一致的。此外，利用CBR可以开发基于知识的医疗诊断决策支持系统和案例解释系统。医学影像检索是CBR系统的核心技术，能从医学数据库中检索出与待诊断影像相类似的医学影像。医学影像与自然影像有很大差别，首先医学影像的分辨率较高但绝大多数为灰度影像；其次，医学影像的重要信息大多集中在小块区域内；第三，视觉相似的医学影像之间语义内容可能差别很大。所以常规的自然影像方法直接应用到医学影像时效果往往不理想。另外，医学影像的获取与医疗设备、测量体位直接相关。例如常规体检时乳腺影像常采用的摄像体位是双侧乳腺内外斜位，发现病变时增加头尾位或照侧位等体位。在临床实践中，拍摄乳腺影像需同时考虑患者身高和病变的位置，得到的乳腺影像常常拍摄侧重的部分和组织。有效考虑同一目标不同拍摄角度的乳腺影像能提高影像检索的准确性。

针对这一问题，本文提出了一种多视角判别度量学习(Multi-View Metric Learning with Fisher Discriminant Analysis, MVML-FDA)的医学影像检索方法，用于辅助乳腺疾病的诊断。MVML-FDA基于Fisher判别模型在多个视角之间学习鲁棒的度量空间，使得相似的乳腺影像在度量空间紧密地映射，不相似的乳腺影像尽可能地彼此分离。从不同视角表征乳腺影像的综合信息并提取潜在的描述性特征，从而提高医学影像检索的能力。MVML-FDA的优点在于：(1) Fisher判别保持了乳腺影像在投影空间内的语义相关和视觉相似性。(2) 带权重的多视角模型利用多个视角间的关联性和差异性，能充分利用每个视角特征的不同表征信息，使得提出的方法学习到的距离度量更有效。(3) 实验结果表明，MVML-FDA在乳腺影像数据集上取得了较好的性能，说明了该检索方法在乳腺疾病诊断应用中的可行性。

2 相关理论

2.1 度量学习

(1)

其中半正定的矩阵A可以分解为A=WTW，矩阵Wd×m(m≤d)称为度量矩阵。因此，式(1)可以表示为：

(2)

因此，计算马氏度量本质上是学习一个映射空间，使得相似影像对输出接近0的正值，不相似影像对输出较大的值。

2.2 多视角学习

在实际医学影像处理过程中，常会遇到多视角医学影像数据，这些数据来自于不同的视角切入对同一对象进行测量和诊断。而多视角学习[12]基于一致性原理和互补性原理，在学习过程中利用多个视角间的关联性和差异性，能取得比单个视角学习更高效和鲁棒的性能。目前医学影像检索领域常用的多视角方法较多地探讨利用多视角技术解决特征融合的问题。如Shen等人[13]提出了一种基于查询的医学影像检索的多视图特征融合方法, 该方法通过融合用户示例获得多个特征，迭代地学习最优子空间。Shen等人[14]提出了一种多视图局部线性嵌入的医学影像检索方法，该方法根据局部线性嵌入准则保留了每个特征空间中局部几何结构，并为来自不同特征空间的特征分配不同的权重。最后，采用全局坐标对齐和交替优化技术，从不同的特性中学习平滑的低维嵌入。Das等人[15]提出了4种不同的特征提取技术——基于二值化、基于变换、基于纹理和基于形状的技术用于基于内容的多视图影像检索。

3 多视角判别度量学习

3.1 多视角判别度量学习方法

图1 MVML-FDA模型示意图Fig.1 MVML-FDA multi-view learning model

(3)

(4)

(5)

(6)

(7)

(8)

3.2 方法求解

式(8)是一个非线性非凸问题，我们使用迭代方法，通过交替计算得到参数的局部最优解。首先固定矩阵W，引入拉格朗日乘子λ，式(8)可以写成：

(9)

(10)

经过化简，可得Δt的解析解:

(11)

接下来，固定Δt值更新矩阵W。式(8)可以写成以下形式：

(12)

最优化问题(12)可以转化为以下问题:

(13)

算法 1 MVML-FDA. 输入: T个视角的医学影像,权重参数r,最大迭代次数T,最大近邻数 k 和收敛阈值ε;输出: 投影矩阵W* Step 1:设置Δ的初始值Δ=[1/T,1/T,...,1/T], 使用式(13)计算W0;Fori = 1 , . . . , T Step 2:使用式(11)计算Δt; Step 3:使用式(13)计算Wi; Step 4:如果Wi-Wi-1<ε, 则转向Step 5; EndStep 5:输出最优投影矩阵W*: W*=Wi.

4 实 验

4.1 数据集介绍

实验的数据集来自于乳腺癌数字存储库(BCDR)数据集[16]。该数据集由葡萄牙女性患者组成，年龄范围从28岁到82岁。BCDR由1 010例患者组成，包括3 703例MLO和CC乳房造影以及1 044例临床确诊的病变。MLO和CC影像均为灰度数字化影像，影像为720×1 167像素，灰度为256。除患者年龄和乳腺密度外，数据集还包括一组选定的二元属性，用于指示医生观察到结节、钙化和基质变形等异常信息。因此，BCDRF01数据集的每个实例的临床数据包括每个实例共8个属性：与观察到的异常相关的6个二进制属性、乳腺密度的序数属性和包含研究时患者年龄的数字属性。实验中选取BCDR数据库中400对MLO和CC乳房造影，即800幅乳腺影像案例作为实验数据。MLO和CC分别作为多视角学习中的两个不同的视角。在800幅影像中选择每个视角的随机75%数据作为训练影像集，用于模型的训练，剩下25%的数据作为查询影像集，同一个患者的乳腺影像不会同时出现在训练影像集和查询影像集中。整个训练和测试过程执行5次，取5次的平均计算结果作为最终结果。图2给出了实验中所用的CC视角和MLO视角中良性结节、恶性结节、良性钙化和恶性钙化示意图。其中图2(a)和图2(b)来自于同一良性结节患者；图2(c)和图3(d)来自于同一恶性结节患者；图2(e)和图2(f)来自于同一良性钙化患者；图2(g)和图2(h)来自于同一恶性钙化患者。

图2 CC视角和MLO视角中良性结节、恶性结节、良性钙化和恶性钙化示意图。Fig.2 Schematic diagram of benign nodule, malignant nodule, benign calcification and malignant calcification in CC and MLO views.

4.2 实验设置

在MVML-FDA算法评价的实验中，我们设计了3种不同视角下的MVML-FDA变换方法：

4.3 特征选择

根据参考文献[16], 本文从强度描述、纹理描述、多尺度纹理描述和影像梯度4个方面来提取乳腺影像的特征，特征提取的详细信息如表1所示。

表1 特征提取基本信息Tab.1 Basic information of extraction features

续 表

4.4 算法评价

使用构造的单视角方法MVML-FDA-CC、MVML-FDA-MLO和混合单视角方法MVML-FDA-(MLO+CC)来验证所提多视角方法MVML-FDA的有效性。表2显示了基于4种特征提取的4种对比算法在CAR、EER和AUC指标上的性能比较。根据表2的结果得到以下结果:

(1) MVML-FDA-CC和MVML-FDA-MLO方法在4种特征提取方法下的CAR、EER和AUC性能均表现一般，其原因主要在于这2种方法均是单视角方法，虽然与MVML-FDA方法的结构很类似，但它们均不具备不同视角的协调能力，这些方法在单视角框架下局限于样本本身，但由于样本之间的差异性，无法得到最优空间投影。

(2) MVML-FDA-(MLO+CC)将MLO视角和CC视角合并为一个数据集处理，MLO视角和CC视角在此数据集中分别转换成一个数据集子集。由于一部分MLO视角和CC视角得到的乳腺影像存在较大的差异，因此MVML-FDA-(MLO+CC)在4种特征提取方法的CAR、EER和AUC性能虽然高于MVML-FDA-CC和MVML-FDA-MLO方法，但还是明显低于MVML-FDA方法。

(3) MVML-FDA具备多视角协同学习的能力，可以充分利用多个视角空间的信息来学习空间投影的最优值。因此，MVML-FDA相比另3种方法有着明显的性能优势。

MVML-FDA方法涉及2个参数：权重指数r和最大近邻数k。下面我们讨论参数r和k值对MVML-FDA性能的影响。图3～4显示了MVML-FDA方法在4种特征提取方法下不同参数r和k值下的CAR、EER和AUC的平均值。根据图中的结果得到如下结论：

(1) 权重指数r是一个类似于模糊聚类[25-27]中模糊指数的参数，是一个“模糊化”程度的参数；权重指数r也可以看成是平滑参数，控制着不同视角在MVML-FDA方法构建中的重要程度。从图3中结果看出，权重指数r在乳腺影像中的敏感性较低，不同r值下CAR、EER和AUC的平均值相差不大。因此，为了加快MVML-FDA方法的训练，可以人工固定r的值。

表2 MVML-FDA和MVML-FDA-CC、MVML-FDA-MLO、MVML-FDA-(MLO+CC)在4种特征提取方法的CAR、EER和AUC性能(%)及其方差

Tab.2 Performance of MVML-FDA and MVML-FDA-CC，MVML-FDA-MLO，MVML-FDA-(MLO+CC) in terms of CAR，EER and AUC (%) and their variance under different feature extraction methods

特征算法CAREERAUC平均值方差平均值方差平均值方差特征1MVML-FDA-CC68.230.1736.000.1669.760.16MVML-FDA-MLO68.340.1836.060.1969.840.16MVML-FDA-(MLO+CC)71.850.1533.750.1772.370.17MVML-FDA76.830.1528.580.1577.760.16特征2MVML-FDA-CC67.990.1637.560.1768.370.19MVML-FDA-MLO68.250.1536.150.1569.020.17MVML-FDA-(MLO+CC)69.490.1535.980.1770.980.15MVML-FDA75.810.1430.900.1576.340.15特征3MVML-FDA-CC70.740.1834.960.1971.230.17MVML-FDA-MLO70.020.1835.480.1770.780.18MVML-FDA-(MLO+CC)71.850.1733.850.1672.470.17MVML-FDA77.480.1427.120.1578.290.15特征4MVML-FDA-CC72.170.1533.430.1572.960.16MVML-FDA-MLO72.000.1533.860.1472.550.15MVML-FDA-(MLO+CC)73.790.1431.910.1474.240.15MVML-FDA79.440.1525.250.1580.200.15

图3 MVML-FDA方法在不同参数r时，基于4种特征提取方法的AUC值。Fig.3 AUC values of MVML-FDA method by using four extracting feature methods with different r

图4 MVML-FDA方法在不同参数k时，基于4种特征提取方法的AUC值。Fig.4 AUC values of MVML-FDA method by using four extracting feature methods with different k

4.5 性能比较

对比了MVML-FDA方法与4种多视角方法GLSRM、MVU、MvCVM和AMVL在CAR、EER和AUC指标上的性能比较。表3显示了多种特征提取方式下的MVML-FDA和4种对比算法在CAR、EER和AUC指标上的结果。通过表3的实验结果可以得到以下结论:

(1) 5种多视角方法在CAR、EER和AUC指标上的结果均优于表2中所示的单视角方法。说明多视角方法利用不同视角间的互补信息能提高医学影像检索的精度。

(2) 本文提出的MVML-FDA方法得到的CAR、EER和AUC均优于另4种多视角方法。因为MVML-FDA方法在协同学习的基础上考虑了视角加权，提高了医学影像检索的能力。AMVL是无监督方法，不能有效利用医学影像的语义信息。GLSRM和MVU方法均使用欧氏距离，而对于高维数据的度量欧氏距离的效果往往不佳。MvCVM方法建立在多视角数据之间的分类间隔最大化理论上，不能充分利用同类别数据间的信息，同时MvCVM方法的逼近精度阈值也会影响算法的性能，在乳腺医学影像上的CAR、EER和AUC性能差于MVML-FDA方法。

(3) 使用基于影像梯度的特征提取方法(特征方法4)时，所有方法均取得了比其他特征方法高的CAR、EER和AUC性能，也说明了基于影像梯度的特征提取方法比较适用于提取乳腺医学影像的特征向量。

图5 5种多视角方法使用特征4得到的ROC曲线比较Fig.5 Comparison of ROC curves obtained by five multi-view methods using the forth feature extraction method

为了更好地对比MVML-FDA与对比算法的性能，图5比较了5种算法在第4种特征提取方法下得到的ROC曲线。从图5可以看出MVML-FDA优于另外4种多视角学习方法。实验结果在CAR、EER、AUC和ROC曲线4个性能指标上取得了一致的结果，说明使用这4个指标来评价乳腺医学影像的搜索结果是合适的。MVML-FDA 和AMVL、GLSRM以及MVU算法采用梯度下降法求解，理论上这4种算法的时间复杂度相近。MvCVM是一种支持向量机算法，时间复杂度是训练样本的立方。本文使用序列最小优化算法，MvCVM的时间复杂度是训练样本的平方。但我们注意到，AMVL、GLSRM、MVU和MvCVM的参数通过使用网格搜索法寻优得到，而本文提出的MVML-FDA算法没有需要寻优求解的参数，所以在模型的训练时间上MVML-FDA是有优势的。

表3 不同特征提取方法下的CAR、EER和AUC性能(%)及其方差的比较

续 表

5 结 论

提出了一种适用于乳腺影像的多视角判别度量学习的医学影像检索方法MVML-FDA。MVML-FDA使用多视角度量学习能充分表征乳腺影像不同视角的距离度量，同时利用Fisher判别来度量乳腺影像对之间的相似性，使相似的医学影像在度量空间紧密地映射，不相似的乳腺影像尽可能地彼此分离。真实乳腺影像数据集的实验结果表明，MVML-FDA模型有助于从乳腺影像的CC视角和MLO视角形成良好的距离度量来区分乳腺良性结节、恶性结节、良性钙化和恶性钙化。但应当指出, 本文提出的模型依然面临进一步需要探讨的问题: 如何将MVML-FDA应用到其他医学影像，以及如何更有效地利用医学影像的其他视角信息等。同时，如何将深度学习技术(如深度特征提取技术)应用到MVML-FDA也是下阶段研究的方向。