基于深度集成网络模型的膝关节退行性病变分级诊断方法

宋江玲，郑田田，张瑞

(西北大学数学学院，陕西 西安 710127)

1 引言

膝关节退行性病变 (Knee Osteoarthritis，KOA)，又称膝骨关节炎，是由关节软骨细胞原纤维化，关节下骨增生引发的一种慢性，进展性疾病[1].致病因素包括体重偏大，久坐或过度运动，不当姿势以及年龄增长等[2].KOA发病形势日趋严峻，2021年全球成年人的KOA患病率约为20%;我国60岁以上人群KOA患病率已超50%，致残率高达53%[3-4].此外，青少年由于超重因素导致KOA的患病率也逐渐呈现上升趋势[5].

根据关节软骨与膑股关节病变的严重程度与患者的临床表现，KOA的病程发展大致可分为轻度与重度两个阶段.临床研究表明，对于轻度KOA患者，通过针灸，按摩，服用消炎止痛药等治疗手段，可以有效缓解患者病症;针对重度KOA患者，尽早实施关节镜清理术等手术治疗，可有效改善患者运动能力[6].因此，若能对KOA患者的病程发展进行有效追踪，则可根据患者所处阶段更为精准地制定相应的防控治疗方案，这对于提高患者生存质量，降低KOA的致残率具有重要意义.本文将这一过程的实现称为KOA的分级诊断(即对正常人，轻度KOA患者与重度KOA患者予以正确诊断).

目前临床中关于KOA的诊断主要依据各类影像学检查，并结合患者临床表现进行综合评估与判断[4].主要包括X光，计算机断层扫描，磁共振影像，关节镜等，它们均可不同程度地辅助医生对关节内的病变情况进行检查.然而，这些影像学检查不仅对人员，设备，环境的专业性要求很高，而且检查过程中产生的电离辐射也具有一定的危害性，同时往往费用高昂，一般难以在短时间内进行连续多次检查，无法便捷使用.因而探索一种无创无害，成本低廉，可连续检测的KOA检查手段具有非常重要的临床应用价值.

骨振信号(Vibroarthrographic signal，VAG)，又称为髌骨关节摩擦音，是将加速度传感器放置于膝关节处记录的膝关节运动时髌骨与股骨摩擦产生的声音信号[7].对正常人而言，由于膝关节各项功能良好，髌骨与股骨间产生的摩擦非常微小;随着KOA的发生，软骨出现变性，萎缩与侵蚀等表现，导致髌骨与股骨间产生的摩擦逐渐增大;而当KOA进一步恶化时，关节内骨性结构表面出现磨损，增生，甚至关节间隙变窄等，均导致髌骨与股骨间的摩擦进一步增强.由此可知，VAG信号中所蕴含的病理信息与膝关节所发生的病变紧密相关，这为KOA的临床诊断提供了一种新的可能.然而，目前关于VAG信号的理论研究尚不充分，临床可提供的指导信息十分有限.在上述背景下，若能够借助信号处理，机器学习，深度网络等技术对VAG信号中蕴含的病理信息进行挖掘与分析，则对于进一步探索VAG信号的特征表现与KOA患者的病程发展之间存在的必然联系，从而在一定程度辅助医生更好地实现KOA的分级诊断，显然具有重要的临床意义.

基于VAG的KOA辅助诊断本质是一个模式识别任务，即对所采集的VAG信号提取特征，并用其训练分类器以完成不同VAG模式的识别.如S.Krishnan等人通过建立自回归模型推导出 VAG信号所含主极值点个数与倒谱系数，并结合 Logistic回归分析与留一法完成正常VAG信号与异常VAG信号的判别[8].K.Kim等人采用Wigner-Ville分布计算VAG信号的时频谱，进而结合时频谱的能量参数，能量扩展参数，频率参数和频率扩展参数四个特征，利用人工神经网络识别正常VAG信号与异常VAG信号[9].K.Krecisz等人计算了香农熵，分形标度指数，多尺度样本熵，复发率，决定系数，层次性，信息熵，捕获时间与最长线等17个特征，结合随机森林，多层感知机，Logistic回归与SVM完成正常VAG信号与异常VAG信号的判别[10].2020年，张瑞等人设计了一种以时域VAG信号为输入数据的LSTM网络，完成正常VAG信号与异常VAG信号的判别[11].2021年，杨佳等人设计了一种PCNN-LSTM网络，识别正常VAG信号与异常VAG信号[12].

可以看出，现有 KOA辅助诊断研究大多仅聚焦于正常与 KOA-VAG信号 (将轻度 KOA患者的 VAG信号 (即轻度 KOA-VAG)与重度患者的 VAG信号 (即重度 KOA-VAG)统称为KOA-VAG信号)的有效区分，而关于KOA分级诊断问题的研究几乎还是空白.基于此，本文拟以KOA的分级诊断为目标，以VAG信号为主要源数据并结合性别，年龄，身高，体重等生理数据，采用深度卷积网络与深度前馈网络等技术，开展针对KOA分级诊断的辅助诊断方法研究.首先，在卷积神经网络框架下，构建了用于分析VAG信号的网络模块VAG-CNN-Block;其次，在前馈神经网络框架下，构建了用于分析生理信息的网络模块PI-FNN-Block;进而，结合VAG-CNN-Block和PI-FNN-Block设计了集成网络模型MBE-Net，并据此提出了一种KOA分级诊断方法;最后，采用临床数据对所提方法的有效性进行验证.

2 基于多源数据与深度集成网络的膝关节退行性病变分级诊断方法

本节分别介绍了基于卷积神经网络框架的VAG信号分析网络模块VAG-CNNBlock，以及基于前馈神经网络框架的生理信息分析网络模块 PI-FNN-Block，进而结合 VAG-CNN-Block和 PI-FNN-Block，采用注意力机制设计了一种集成网络模型MBE-Net，并在此基础上设计了一种膝关节退行性病变分级诊断方法.

2.1 基于骨振信号的卷积神经网络模块

相关研究表明VAG信号的频域中所蕴含的病理信息对于KOA的诊断具有重要意义[13].尤其是高频部分蕴含的病理信息可能有助于更好地判断KOA所处的不同阶段[14-16].为了挖掘VAG频域信号中蕴含的病理信息，本小节首先对VAG信号进行频域转换，计算其功率谱与相位谱.

由欧拉公式上式进一步表示为

则信号sj的功率谱可表示为，其中

进而，为了挖掘功率谱与相位谱中蕴含的病理信息，本小节构建了一个新的卷积网络模块，称之为基于骨振信号的卷积神经网络模块(Convolutional Neural Network Block based Vibroarthrographic Signal，VAG-CNN-Block).所构建 VAG-CNN-Block共包含12层:第一层为输入层;第二层至第十一层为隐藏层，包括三个卷积层，三个池化层，三个批标准化层(Batch Normalization，BN)以及一个全连接层;最后一层为输出层(网络结构如图1所示).

图1 VAG-CNN-Block的网络结构

VAG-CNN-Block的第一层，第四层，第七层为卷积层，卷积核的尺寸分别设置为9×1，7×1，3×1，卷积核个数依次为9，16，24，移动步长均为1，激活函数均为Relu函数.这三个卷积层采用了三个不同且较小的卷积核以提取不同尺度下的细节特征.随着网络层级加深，所提特征变得抽象，而高层次的特征对于分类任务而言更为重要，因此卷积尺寸逐渐减小，卷积核个数逐渐增加;为增加模型收敛速度，VAG-CNN-Block的第二层，第五层，第八层设置为Batch Normalization层，其中标准化方式为Z-score方法;同时，为增强所提特征泛化能力，第三层，第六层，第九层均为池化层，池化核大小为 2×1，池化步长为 2;第十层为包含128个神经元的全连接层，用以完成分类任务;为防止网络过拟合，在第十层后以参数p=0.6的伯努利分布构建Dropout层;最后，第十二层为包含3个神经元的输出层，输出值为对应信号属于每一类的概率值.VAG-CNN-Block的主要参数设置如表1所示.

表1 VAG-CNN-Block主要参数设置

2.2 基于生理信息的前馈神经网络模块

大量研究表明，生理信息(如性别，年龄等)与KOA的病情发展关系密切[1，17-18].为探索生理信息与 KOA不同阶段间的关系，本小节构建了一个新的前馈网络模块，称之为基于生理信息的前馈神经网络模块(Feedforward Neural Network Block based Physiological Information，PI-FNN-Block).

在PI-FNN-Block的设计中，采用“先缩小范围，再刻画细节”的思路进行网络超参数(即网络层数以及每层隐节点个数)的选取，可总结为如下算法.

算法 I(PI-FNN-Block超参数搜索算法):给定预处理后的生理数据集P，网络的层数设为i.

步骤1当i=1时(即单隐层网络)，完成最优神经元数目的搜索.

首先，进行粗搜索.以包含10个神经元的单隐层网络为第一个网络，采用生理数据集P训练网络，得到该网络的性能评价指标值(实验中采用准确率).在(0，100]范围内，以10为步长，逐次增加单隐层网络所含神经元的数目，训练各个网络，并记录各网络的性能评价指标.对上述10次实验结果进行对比，得到网络性能最优时对应网络的神经元数目，记为(上标指搜索轮次，下标指网络层数);

步骤2当i=i+1时，完成最优神经元数目的搜索.

增加网络层数，完成最优神经元数目的搜索.搜索方法与步骤1中所述单隐层网络的两轮搜素方法一致，且两个隐层的神经元数目相互独立，最终可得.跳转至步骤3.

步骤3比较网络性能差异，确定是否增加网络层数.

即两个网络的准确率之差小于5%，则根据奥卡姆剃刀定律，跳转至步骤4;若

图2 PI-FNN-Block超参数搜索算法流程图

2.3 基于 MBE-Net模型的 KOA分级诊断方法

为实现基于多源数据的KOA分级诊断，本小节结合VAG-CNN-Block与PI-FNNBlock，采用注意力机制设计了一种集成网络模型MBE-Net.

设VAG-CNN-Block的输出为yV AG，PI-FNN-Block模块的输出为yPI.首先，根据注意力机制，通过控制矩阵Wc与偏置bc计算yV AG与yPI的相关性，即

进而，将注意力分数a作为权重对yt=(yV AG，yPI)进行加权处理，得到加权向量ya

最终，将加权向量ya作为网络输出层的输入，由于KOA的分级诊断为一个三分类问题，故输出层共包含三个神经元，并采用softmax函数完成分类.MBE-Net模型的输出向量可表示为

其中，W为连接权重矩阵，b为偏置向量.

在上述所搭建MBE-Net模型的框架下，本文所提出的KOA分级诊断方法可概括如下，共分为两个步骤.首先，对VAG信号与生理信息进行数据预处理，其中对原始VAG信号进行滤除噪声频带，降低采样频率，对齐与白化等预处理，对生理数据分别进行异常值的修正，缺失值的填充，冗余的降低，重编码等预处理;其次，以预处理后的VAG信号与生理数据为输入，以交叉熵为损失函数，采用Adam方法训练MBE-Net模型完成正常受试者，轻度KOA患者以及重度KOA患者的三分类任务，以实现KOA的分级诊断(如图3所示).

图3 KOA分级诊断方法流程图

3 数值实验

3.1 数据集

本文实验数据来自西安市某两所医院的骨科数据，共包含2017年10月到2019年9月所采集的共2748名受试者的相关数据.考虑到本文需要同时采用VAG信号和生理数据，最终选取了2227个样本，每一样本同时包含受试者的一条VAG信号及其对应的生理信息.最终所用数据集共包含2227个样本，其中正常受试者的样本742个，轻度KOA患者的样本744个，重度KOA患者的样本741个.所选取样本的VAG信号构成本文的VAG信号数据集，所选取样本的生理信息构成本文的生理数据集.在后续实验中，将两个数据集按9:0.5:0.5的比例随机划分为训练集，验证集与测试集，其中训练由2003个样本个样本构成，验证集与测试分别由112个样本构成.所有实验均在MatlabR2020b与Python 3.7.6中完成.

3.2 数据预处理

(1)VAG信号的预处理

首先，采用10阶Butterworth带通滤波器滤除VAG信号中的噪声分量，其中滤波器的带通范围为 [50，1000]Hz;其次，为了降低信号中的冗余，使用三次样条插值对信号进行降采样处理，采样间隔为5(即采样频率由10240Hz降至 2000Hz);进而，采用随机裁剪，平移补齐方法对信号进行对齐预处理[19-20];考虑到VAG信号的波动性在KOA不同阶段的显著差异，进一步对上述处理后的信号进行差分处理.对预处理后的信号以及其差分信号，采用公式(1)-公式(3)计算对应的功率谱与相位谱，并将其作为VAG-CNN-Block的输入.图4展示了一条10s的轻度KOA-VAG信号及其差分信号的功率谱与相位谱，其中图4(a)为预处理后10s的VAG信号，图4(b)为对应的差分信号，图4(c)与图4(e)为对应图4(a)的功率谱与相位谱，图4(d)与图4(f)为对应图4(b)的功率谱与相位谱.

图4 一条10s的轻度KOA-VAG信号及其差分信号的功率谱与相位谱

(2)生理信号的预处理

首先在医生指导下，认为体重在[160，180]kg，以及身高在[50，100]cm这一范围内的数据均为异常值.将这部分异常值转化为缺失值.进而采用KNN方法对年龄，身高，体重中存在的缺失值进行填充处理[21];其次，由于身高与体重之间存在较强相关性，为了降低冗余，采用身体质量指数(Body Mass Index，BMI)进行后续分析，即

其中，weight为体重(单位:千克)，height为身高(单位:米).

此外，由于性别为文本数据，而年龄与BMI均为连续数据.为解决数据类型不一致问题，采用One-hot编码将性别，年龄与BMI均映射为分类数据，从而完成生理信息的数据预处理.表2展示了对于年龄的One-hot编码结果.

表2 年龄的One-hot编码

3.3 实验结果与分析

为了验证所提方法的有效性，采用准确率，灵敏度，特异度进行评估.考虑类别i(i∈{正常VAG，轻度 KOA-VAG，重度KOA-VAG})，其准确率，灵敏度，特异度分别为

其中，TPi为第i类样本被正确预测为第i类的样本数;TNi表示非第i类的样本被正确预测为各自类的样本数;FPi为非第i类的样本被错误预测为第i类的样本数;FNi为第i类样本被错误预测为其他类的样本数.最终所有类别的性能指标平均值被作为最终的性能度量.

采用算法I对PI-FNN-Block的超参数进行搜索，图5展示了部分搜索结果，可以看到包含43个神经元的单隐层网络准确率最高，故选择这一结构作为PI-FNN-Block.采用预处理后的数据训练MBE-Net.图6展示了训练过程中的损失函数的变化曲线以及准确率的变化曲线(蓝色曲线代表训练数据集上的结果;橙色曲线代表验证数据集上的结果).可以看到网络在前40个epoch中损失函数快速下降，准确率稳步上升，在第40个epoch时准确率趋于100%，而40个epoch之后验证集的损失函数值反而有上升趋势.因而确定在第40个epoch时，停止网络的训练.

图5 PI-FNN-Block超参数的搜索结果

图6 MBE-Net训练过程中的损失函数的变化曲线以及准确率的变化曲线

最后，将训练好的MBE-Net模型在测试集上进行验证，所得分级诊断结果如表3所示，准确率，灵敏度，特异度分别可达 87.5%，87.2%与 93.6%.进一步，为说明本文所设计的MBE-Net模型的有效性，将 VAG-CNN-Block与PI-FNN-Block进行单独训练，所得测试集上的实验结果仍列于表 3中.可以看出，MBE-Net的准确率，灵敏度与特异性均明显高于 VAG-CNN-Block与 PI-FNN-Block.具体地，MBE-Net准确率相较 VAG-CNN-Block与PI-FNN-Block分别提高了 6.5%和 11.4%;灵敏度分别提高了8.4%和10.7%;特异度分别提高了 4.2%和6.4%.图7(a)-7(c)分别展示了对应 VAG-CNN-Block，PI-FNN-Block及 MBE-Net测试结果的混淆矩阵.从中可知VAG-CNN-Block与PI-FNN-Block对轻度KOA样本的检测能力较差，存在将较多轻度KOA样本错分至健康样本或者重度KOA样本的情况;而MBE-Net则相对较好地完成了各个类别的诊断.综上，本文所提方法可以有效结合VAG信号与生理特征以完成KOA的分级诊断.

图7 混淆矩阵

表3 模型分类性能

4 总结与展望

本文提出了一种新的基于多源数据与深度集成网络的KOA分级诊断方法.首先，在卷积神经网络框架下，构建了用于分析VAG信号的卷积神经网络模块VAG-CNNBlock;其次，在前馈神经网络框架下，构建了用于分析生理信息的网络模块PI-FNN-Block;进而，结合VAG-CNN-Block和PI-FNN-Block，采用注意力机制设计了一种集成网络模型 MBE-Net;最后，采用临床数据集训练 MBE-Net模型，完成正常受试者，轻度KOA患者与重度KOA患者的自动识别.所有数值实验结果均表明所提方法能够有效地区分处于不同阶段的KOA患者.当然本文所提方法仅结合了VAG信号与生理信息两种类型的数据，临床中还存在大量影像数据，如X光片，MRI影像，步态图片等，后续研究可尝试进一步结合影像数据，提出基于多模态数据的KOA辅助诊断方法.