基于卷积神经网络的膝关节炎患者的膝盖红外图像分类

吴穗岚,陈 乐,曾 涛

(中国计量大学 机电工程学院,浙江 杭州 310018)

膝关节炎症是中老年人群中的常见病,一般伴有关节发热、发冷或疼痛等现象。现有临床诊断中可采用X射线、关节镜等医学影像诊断技术,但X射线的放射性对人体健康有潜在危害；关节镜会使患者产生不同程度的痛感,且有感染风险。此外,膝关节炎症会随季节变化反复出现膝关节疼痛现象,需定期复诊。目前临床诊断上缺少一种无辐射、无创伤、高效率的膝关节炎诊断方法。

红外热像技术[1]是一种非接触式、无创伤、无辐射和高效率的获取物体表面温度分布的成像技术。膝关节炎症发病时引起膝关节内部血流变化,从而引起膝关节处温度升高或降低,因此可使用红外热像技术获取膝关节红外图像,并使用图像处理技术对其做出是否患病的判断。吴思等[2]根据膝骨性关节炎红外热像表现研究膝关节痛点分布规律,乔世权等[3]提出使用红外图像信息熵对膝关节病症进行分析。

本文使用红外热像仪分别拍摄膝关节健康及炎症两类红外图像,表征膝关节表面温度分布。取膝关节健康者红外图像作为正样本,膝关节炎症患者的作为负样本。分别构建基于特征提取的支持向量机(Support vector machine, SVM)分类器和基于卷积神经网络的二分类模型,使用相同的样本数据对上述两种模型进行训练和测试,比较测试所得的分类准确度,以验证卷积网络的判断准确度。

为获取一定数量的有效的膝关节红外图像,应避免被测物体发射率、大气成分、背景温度、拍摄距离等红外测温主要干扰因素的影响,故选择在空气清洁的室内进行膝关节红外图像采集,环境温度为27 ℃左右,环境湿度在40%～50%之间,拍摄物镜距离为20 cm,拍摄背景为无杂物的普通墙面,调节红外热像仪发射率参数为人体体表发射率0.99,拍摄了800张膝关节红外图像数据,其中正负样本数量各为400张。采集膝关节红外图像的时间集中在2018年3月至6月份,拍摄对象年龄分布于18～65岁之间。

1 SVM分类模型

SVM分类器是目前发展较成熟、分类性能较好的图像分类模型。本文首先采用SVM分类器对膝关节红外图像进行二分类。

1.1 基于HOG特征提取的SVM分类器

方向梯度直方图(Histogram of oriented gradient, HOG)的基本思想是利用图像像素的方向梯度来描述和体现图像的外观特征,可用于图像的检测和分类[4]。将HOG和SVM结合使用是图像分类的常见方法之一[5]。HOG+SVM分类器的分类流程如图1。

图1 HOG+SVM分类器流程图Figure 1 HOG+SVM classifier flow chart

获取HOG的过程一般是:首先将图像灰度化和颜色空间归一化,计算图像中每个像素的梯度[4]；随后,将图像分成多个连通区域,并统计每个连通区域中的各个像素的梯度,作为其特征描述；最后规范化方向梯度直方图,形成HOG特征描述器[6]。

SVM是在一个高维空间内建立的一个最大分割超平面y=wx+b,该高维空间由样本空间的数据通过非线性映射得到。该超平面中x表示该超平面上的点,w表示与该超平面垂直的向量,b表示位移间隔[6]。通过最佳超平面将样本空间的数据分割为相互对立的两个类,进而寻找最佳超平面的过程就是使几何间隔2/‖w‖最大[7]。由此,寻找最佳超平面的问题就可以转化为以下约束最小化问题:

(1)

s.t.yi‖wxi+b‖≥1,i=1,2,…,n。

(2)

由此可见,它是一种简单的二分类器,若wx+b>0,判断类别y为1,若wx+b<0,则为-1,将实际的分类问题转化成了数学方程的求解问题。

1.2 HOG+SVM分类的实现

将膝关节红外图像数据作为SVM分类器的分类对象,使用OpenCV对图像进行灰度化等预处理,部分样本集如图2。选取600张膝关节红外图像数据作为训练集,其正负样本数量各300张,剩余200张作为测试集,其正负样本数量各100张。

图2 图像样本集Figure 2 Image sample set

将测试和训练样本制作成txt格式的样本集,使用OpenCV中的图像读取结合HOG特征提取算法,进行SVM模型训练并保存模型,之后将测试集中的所有图像导入模型,得到分类结果。实验结果200张测试集中,179张图像分类正确,准确度为89.5%,基于SVM的分类模型可以得到一个比较高的判断准确度。

2 卷积神经网络分类模型

上述SVM分类模型在样本数量较少的训练集上可得到比较好的分类结果,对大规模的训练样本将耗费大量计算机内存和运算时间,在扩充数据集的情况下SVM模型难以达到良好的分类效果。因此,本文提出将改进的卷积神经网络算法用于建立膝关节炎诊断模型。

2.1 卷积神经网络

卷积神经网络是由一系列卷积层和池化层组成的深度神经网络,每层卷积层包含有固定参数的卷积核,图像信息输入时与其进行卷积运算来提取图像特征；池化层进行下采样操作,用来降低图像特征的维度、提高计算效率,并且保留图像的有效信息；后若干层由全连接层和输出层构成,其作用主要就是实现图像分类[8-9]。其典型的网络结构如图3。

图3 卷积神经网络框架图Figure 3 Convolutional neural network framework

2.1.1 卷积层

卷积层属于网络中的特征提取层,该层与前一层网络之间采用稀疏连接,即卷积神经元与前一层神经元之间并不是一一对应的全连接形式,而是每个神经元仅与上层网络的局部感受域相连,稀疏连接的方式明显地减少了网络的计算量。卷积层的参数共享策略是卷积网络的另外一个特征,即该层中同一个卷积核可以作用于前一层网络中的不同位置,也有着减少网络参数和降低网络复杂度的作用[10]。卷积层运算的具体运算过程如下:

(2)

式(3)中矩阵Aw×w表示输入图像,矩阵B2×2表示大小2×2为卷积核,根据卷积运算的规则可计算得到卷积特征图,具体示例如图4,设图像大小为5×5的矩阵,卷积核大小为3×3,根据公式(3)得到卷积运算在图像中间位置的计算结果。

图4 卷积计算示意图Figure 4 Convolution calculation diagram

2.1.2 池化层

池化层也属于网络中的特征提取层,该层规定了一种特征提取的方式。继卷积层之后,池化层再一次提取图像某特定区域的新特征,该特定区域被称为池化域[10]。以图5中的4×4卷积特征图为例,选取2×2大小为池化域,将其进行最大池化操作,即选取池化域中最大的数据作为新的特征数据。最终得到右侧2×2的池化特征图。因文本中不同患者的膝关节红外图像特征区别较大,本文选用最大池化操作作为下采样操作。

图5 最大池化示意图Figure 5 Maximum pooling diagram

2.1.3 全连接层

在多次卷积和池化操作后,需要全连接层完成对数据特征的提取和整理工作。全连接层在运算时可视为卷积核为1×1的卷积层,对上一次输入进行卷积运算,最终得到一个一维特征向量,之后将其传递给输出层进行逻辑判断和分类[11]。本文中设置两层全连接层。

2.1.4 输出层

神经网络分类问题的最后一步是分类函数的选择,本文选择Softmax分类器作为网络的最后一层,Softmax函数将全连接层的一维特征向量映射到(0,1)的区间内。若一维特征向量为(V1,V2,…,Vn),Softmax函数的计算公式可表示为

(4)

Softmax函数返回样本的概率分布Si,并根据Si的值进行分类。

2.2 卷积神经网络的搭建

本文基于TensorFlow机器学习框架进行网络结构的搭建,使用部署在GPU上的NVIDIA GeForce GTX Titan芯片进行训练,网络结构图如图6。

本文搭建的网络参考LeNet5手写字符识别网络[12],网络的第一个隐层为卷积层,卷积核的数量为6,卷积核的大小为28×28,输入图片经过第一卷积层后,成为6个213×213的特征图,特征图的大小由240×240变成输出的213×213,卷积采用Valid方式实现。

网络的第二个隐层为池化层,其局部感受野的大小为3×3,即每一个3×3的像素被下采样为1个像素,经过第二层隐层之后,特征图的大小变成71×71,特征图的数量仍为6个。

网络的第三个隐层为卷积层,卷积核的个数为28个,卷积核的大小为16×16,所以经过该层

图6 卷积神经网络结构图Figure 6 Convolutional neural network structure

输出的特征图大小变成56×56,经过该层后特征图的个数变为28个,在第四层采用2×2大小的下采样,该层输出28个28×28的特征图。

网络的第五层和第六层为全连接层,第五层的节点数设置为256,该层的节点与上一次的连接采用稀疏连接,第六层为一个全连接网络,节点数为84,该层的节点与上层的连接层采用全连接。

网络最后的输出层节点数为2,实现图像的二分类。

2.3 实验结果与分析

本文使用与SVM分类器相同的膝关节红外图像数据对卷积网络进行训练和测试,训练集中样本数为600张,在进行数据集扩充后达到1 000张,测试集为200张。本文所有训练过程均在深度学习主机上进行,训练主机的参数配置如表1。

表1 深度学习测试主机配置表

网络训练过程中,准确度曲线如图7,交叉熵曲线如图8。训练过程中交叉熵持续下降,在训练步数达到500步以后网络的识别率达到了91.2%,此时具有较好的训练结果。网络最终训练了1 000步,最后识别率达到99.8%。

图7 准确度曲线Figure 7 Accuracy curve

图8 交叉熵曲线Figure 8 Cross entropy curve

在测试集实验中,200张测试集图像有198张分类正确,判断准确度为99%。由此可以得出,使用卷积神经网络分类模型可对图像进行“患病”和“健康”的判断,具有较可靠的诊断能力。

3 结 论

本文基于卷积神经网络构建了膝关节炎诊断模型,卷积网络实现了分类精度高、收敛效果好的深度学习网络。本文使用卷积神经网络分类模型诊断膝关节炎的测试级准确度达到99%,其判断准确度高于SVM分类器,具有较好的诊断效果。在后续工作中,将紧密结合临床医学相关知识,引入关节病变程度的概念,将膝关节红外图像二分类扩展为多分类,对初步建立的膝关节炎诊断模型进行不断更新和优化,进而找到更加通用的网络结构设计方法,为膝关节炎症的诊断提供便利。