基于空谱联合的医学图像分类方法

李旻祖，付芸，韩春晓

（长春理工大学 光电工程学院，长春 130022）

高光谱图像不仅包含每个波段下所有像元的空间信息，还包含每个像元的光谱信息，真正实现了“图谱合一”。这使得高光谱成像在目标检测［1］、环境监测［2］、地物识别［3］和医疗诊断［4-5］等领域都有着广泛的应用。 然而，传统的高光谱分类方法，如K 近邻学习算法和光谱角匹配算法等，这些算法仅利用高光谱图像的光谱信息而忽略了空间信息，这导致了“异物同谱”和“同物异谱”等现象的发生。近年来，为了充分利用高光谱图像所包含的丰富信息，更多的研究人员关注于将高光谱图像中光谱信息和空间信息联合［6-7］用于图像分类的研究。

付青等人［8］提出一种将Log-Gabor 滤波器和CNN 相结合的高光谱图像分类方法，该方法采用Log-Gabor 滤波器提取图像的空间特征，再将空间特征和光谱特征输入CNN 模型中实现分类，取得了较好的分类效果。文献［9］在二维Gabor滤波器的基础上，提出一种采用3D-Gabor 滤波器获取高光谱遥感图像特征的方法。 相比于2D-Gabor 滤波，3D-Gabor 滤波器具有更强的图像特征提取能力，算法的鲁棒性强且分类精度高。然而，这些方法仍然存在着一些不足：第一，Gabor函数与人类视觉细胞的响应相似，所以能够给出图像时域和频域局部化的信息，但是由于Gabor 变换的时频窗口宽度是固定的，不能同时满足对时间分辨率和频率分辨率的要求；第二，如何有效地将光谱信息和空间信息相结合，以提高样本分类精度，这需要更加深入的研究。该论文围绕光谱信息和空间信息的融合方法展开研究，提出了一种高光谱图像的空间信息和光谱信息的融合方法。这种方法首先提取图像的Gabor 特征和LBP 特征等空间信息，其次将空间信息与光谱信息进行融合，在融合空谱信息时，采用短时傅里叶变换（Short Time Fourier Transform，STFT）［10］将一维的空谱联合矢量转换为二维图像矩阵。 这种做法具有以下两个优点：第一，充分地利用高光谱图像的空间信息，有利于提高分类精度；第二，在融合空谱信息时，将一维空谱联合特征向量转化为二维矩阵，这样可以利用深度学习现有的研究成果去分析与处理数据，这将为高光谱图像分类的研究提供极大的方便。

1 本文方法

1.1 空间特征提取

图像中目标所在的位置和目标之间的空间关系是图像识别中非常重要的特征。本次实验主要提取图像的纹理信息特征。

（1）二值化特征LBP

LBP 是一种常见的局部纹理特征［11］。 由于LBP 具有灰度不变性和旋转不变性的特点，在图像处理和模式识别中得到了广泛的应用。其原理是：以图像的每个像素为中心点选取一个小邻域，本文取为3×3。将中心像素的值设置为阈值，邻域的像素值与阈值比较，大于阈值设置为1，否则设置为0，该区域内的二进制数形成LBP编码。图1 以大小为3 的邻域为例，说明了LBP的编码原理。图像的LBP 特征向量记为f1。

图1 LBP 特征提取原理

（2）Gabor 特征

Gabor 特征［12］是图像分类识别任务中较为常用的一种特征，Gabor 滤波器与人眼的生物作用相似，非常适用于图像纹理信息的识别。 其原理是不同纹理特征的中心频率与带宽不一样，合理地设计Gabor 滤波器可以在频域下提取不同尺度和方向的纹理特征。Gabor 核函数与人类大脑细胞的视觉冲击响应类似，其定义为：

其中：

式中，v值描述不同的Gabor 滤波波长；μ值代表核函数的方向；Р代表总的方向数，通过控制这些参数可以调节滤波的尺度和方向；σ是一个常量，一般取。σ和k决定了Gauss 窗口的大小。

由于核函数去掉了直流分量，Gabor 特征提取受到光照变化的影响很小，在一定程度上也可以接受平移旋转等较小的变化，也能够很好地兼顾图像的空域和频域信息，表征图像局部区域的多个方向和尺度的特征，从而较好地提取图像的纹理信息，图像像素点的Gabor 特征向量记为f2。

将提取的空间特征记为F1=［f1f2］，光谱特征记做F2，空谱联合特征记做F= [F1F2]。

1.2 短时傅里叶变换

傅里叶变换［13］作为一种热过程的分析工具，能够将复杂的时域信号转换为易于分析的频域信号，这有利于复杂信号的分析理解和处理加工。短时傅里叶变换的基本思想是将信号局部平稳化，即把长的非平稳随机过程看成是一系列短时随机平稳信号的叠加，短时性可通过在时间上加窗口函数实现（即截取一部分数据）。 然后对截取的每一小部分信号做傅里叶变换。具体过程如下：

其中，f(t)是信号；g(t-τ)是窗函数；f是频率；STFTf(τ，f)是信号f(t)的短时傅里叶变换的结果。

在对信号进行短时傅里叶变换时，要对连续的信号进行离散化处理。 令公式（3）中的τ=m△t，可得到信号f(t) 的短时傅里叶变换：

得到的信号f(k) 短时傅里叶变换结果STFT就是一个二维矩阵，矩阵的行表示每个采样的时间点，矩阵的列表示采样的频率值，矩阵上的每一个元素就是对应点频率的幅值，整个矩阵可以表示为：

本次实验采用Specgram（）函数实现短时傅里叶变换。 Specgram（）函数中主要有以下几个参数：X、Window、Nperseg、Noverlap、Fs。X 表示输入信号，在本文中X 为空谱联合信息；Window 表示窗函数，在本文中窗函数选择为汉宁窗；Nperseg 表示光谱信号分段做傅里叶变换时每段的长度，Nperseg 选择过大会使频率分辨率提高，但是这会使波长分辨率降低，减小Nperseg 会使波长分辨率提高，但是会降低一些频率分辨率，经过多次尝试本文Nperseg 设置为8；Noverlap 表示每段之间重叠的点数，一般Noverlap 的选择要满足Cola 约束，即Noverlap 的长度为Nperseg 长度的一半；Fs 是采样频率，本文中采样频率为1。

1.3 AlexNet 卷积神经网络

AlexNet 网络［14］是2012 年ImageNet 竞赛冠军获得者Hinton 和他的学生Alex Krizhevsky 设计的。 该神经网络的主要优势在于：成功地使用ReLU 作为CNN 的激活函数，提高了分类精度，而且训练时使用Dropout 随机忽略一部分神经元，以避免模型过拟合。 本次实验所采用的卷积神经网络是在AlexNet 网络的基础上改进得到的一个变形网络，该网络主要包括五个卷积层、三个池化层和三个全连接层，如图2 所示。

图2 AlexNet 卷积神经模型结构

2 实验与分析

2.1 实验数据

实验采集人体血细胞的显微高光谱数据，每个采样点在370～930 nm 波长范围内均获取51 个波长的数据，光谱分辨率为11.2 nm。使用ENVI 5.1 软件（ITT Visual Information Solutions，Boulder，Colorado，美国）生成高光谱图像，如图3 所示。其中图3（a）表示的是血液样本第20 波段的单波段图像；图3（b）表示的是血液样本的伪彩色合成图；图3（c）表示的是血液样本的人工标记图像。在图3（c）中红色部分表示的是红细胞，绿色部分为白细胞质，蓝色部分为白细胞核，黄色区域为背景。提取图中3 种不同组织及背景的光谱，分别记做背景光谱、红细胞光谱、白细胞质光谱和白细胞核光谱，光谱曲线如图4 所示。

图3 血液样本

图4 三种细胞组织和背景光谱

2.2 实验环境

实验采用的硬件设备为Intel Core i5 10300H CPU 和NVIDA Geforce GTX 1650 GPU。 软件采用Matlab 和PyCharm，利用Python 实现空谱联合特征的STFT 方式编码，同时借助Python 中的Keras 框架搭建改进的CNN 模型。在训练过程中dropout 设为0.25，迭代次数epoch 设置为50，batch设置为64，学习速率调整为1 × 10-3。

2.3 实验结果

此次研究选取采集的显微高光谱图像的第24 个波段（波长为583 nm）的图像，进行空间特征提取，该波段中图像的组织形态清晰明了，对比度强，噪声较小适合特征提取。其中第24 波段的空间图像如图5（a）所示，图5（b）展示的是各个细胞类别的光谱信息。

图5 第24 波段红细胞和白细胞空间图像及光谱信息

利用上述提出的方法将空-谱联合数据转化为二维图像，利用CNN 模型分类。其中红细胞、白细胞质和白细胞核的空谱联合信息经过短时傅里叶变换后得到的图像如图6 所示。

图6 短时傅里叶变换图像

在评价分类结果时采用总体分类精度和Kappa 统计量作为分类结果的评价标准。 总体分类精度是正确分类的样本数量与样本总数的比值。 Kappa 是统计学中度量一致性的指标，Kappa 系数的计算是基于混淆矩阵的，不仅考虑了混淆矩阵中对角线方向上分类正确的像元数目，还考虑了对角线以外的漏分和错分像元。当该数值大于80% 时，则表示分类精度较高。

实验随机选择每类样本的10% 标记样本作为训练数据来训练分类器参数，然后再将剩余的90% 标记样本用于测试。

分类结果如表1 所示，图7 为分类结果的可视化图像。

表1 分类结果

图7 分类结果可视化图像

各个细胞组织类别的精度如表2 所示。

表2 各类别分类精度

由表1 和表2 可以看出本文的方法在总体分类精度达到了98% 以上，其中红细胞、白细胞质、白细胞核分类的召回率为分别为99.80%、96.31% 和97.82%；精确度分别为97.77%、98.51%和99.60%，这表明本文提出的基于空谱联合信息的分类算法在血细胞分类识别上取得了不错的效果。为了证明本文所提出的方法的有效性，这里设置了两组对比实验，第一组对比实验是仅利用光谱信息进行分类识别，旨在对比采用空谱联合特征与仅采用光谱特征时分类性能的差异。第二组对比实验是仅提取Gabor 特征作为空间信息，利用SVM 分类，旨在对比本文空间特征提取方法结合空谱联合编码方式与传统空谱联合分类算法的差异。

第一组对比实验结果如表3 所示。

表3 第一组对比实验分类结果

第二组对比实验结果如表4 所示。

表4 第二组对比实验分类结果

通过表3 可以看出，采用光谱信息结合支持向量机的分类方法的分类精度为96.38%，相比于单一采用光谱信息的分类方式，本文所提出的空谱联合分类方式在分类精度上提高了2%。这主要是因为相比于单一的光谱信息，本文提取了显微高光谱图像的空间信息，然后与光谱信息一起组成空谱联合信息，这样使得被用来分类的特征信息更加丰富，有利于提高分类性能。从表4 中可以看出，本文的分类算法相比于仅提取Gabor 特征的分类方法在分类精度上提高了1.2% 左右，这是由于本文除了提取了图像Gabor特征以外，还提取了图像的一些统计特征和LBP特征，充分的利用了显微高光谱图像的空间信息，而且在融合空间特征与光谱数据时也不仅仅是简单的直接融合，而是采用了短时傅里叶变换的方法将一维特征向量转换为二维矩阵进行空谱特征融合，而且本文所采用的空谱联合编码方式更加有利于卷积神经网络进行自适应学习，进而证明本文所提出的空谱特征联合分类方法的有效性。

3 结论

为了充分地利用显微高光谱图像所包含的丰富信息，本文提出了基于LBP 特征和Gabor 特征的空间特征提取方法，相比于单一的2-D Gabor滤波器，本文方法提取的空间特征更加丰富，有利于提升分类精度。针对显微高光谱图像如何更好地融合空间信息和光谱信息的问题，本文提出了采用短时傅里叶变换方式，将一维的空谱联合特征转换为二维矩阵。相比于传统的空谱联合方式，这种方法具有更强的鲁棒性和更高的分类精度，而且更加有利于利用现有的深度学习的研究成果。 然而，本文在算法时间效率和模型参数设定方面研究还不够深入，如何缩短计算时间和优化模型参数也是下一步研究的重点。