正则化极限学习机的改进及其在肺结节良恶性分类中的应用

梁淑芬，付迎迎，秦传波，陈琛

（五邑大学 智能制造学部，广东 江门 529020）

肺癌是我国致死率最高的癌症，在肺癌治疗中，及早发现并进行针对治疗能降低死亡率[1-2].目前，计算机断层扫描（CT）是最成熟的肺部病变检查手段，采用计算机辅助诊断（CAD）系统对CT图像进行自动判别和诊断，可以减少人为因素造成的错误判断.在CAD系统中，良恶性肺结节的分类是关键一步，它决定了该CAD系统是否值得推广[3-4].肺结节分类常用的方法有BP神经网络[5]、支持向量机（SVM）[6]、贝叶斯分类器等.BP神经网络在自学习的过程中，通过反向传播采用梯度下降算法很容易陷入极小值状态导致过拟合现象发生，使得训练后的模型泛化能力差.SVM使用的二次规划会导致计算量远超出其他算法.贝叶斯分类器可能导致新数据集训练中概率值的变化，泛化性能较差.Huang等人[3]提出的极限学习机理论及其在模式识别中的应用，则表现出较好的收敛性和稳定性.

极限学习机（Extreme Learning Machine，ELM）是近几年来兴起的一种简单的神经学习网络，其具有学习速度快，无需大量计算参数等优点[7-8].方向梯度直方图（Histogram of Oriented Gradient，HOG）是用来提取图像中具体目标特征的一种特征描述子，多用在计算机视觉和图像处理中.利用局部图像在各个点的像素值变化，统计和计算像素值梯度变化情况以此来形成特征集.它能够很好的提取出图像的局部特征用来检测分类.本文通过先提取肺结节HOG特征，结合结节图像特征，提出一种基于L1/L2范数正则化约束的极限学习机算法对肺结节良恶性进行识别.通过引入L1范数约束来控制整个模型的稀疏性，使其能更好地提取出特征，引入L2范数约束来对网络输出权重进行平滑，避免出现过拟合.通过对算法的改进，可有效避免在训练过程中出现数据拟合过大现象，使训练在短时间内得到更好的拟合结果.在肺结节分类运用中，进一步提高分类的准确性.

图1 ELM模型结构

1 极限学习机理论

极限学习机是一种针对单隐层前馈神经网络（Single-hidden Layer Feedforward Neural Network，SLFN）的新算法[3].与传统的前馈神经网络相比，ELM算法不需要调整输入层与隐层的权重和阈值，它们都是由随机函数生成，只需要设定隐层神经元数目，就可以得到一个确定的最优解.与其他分类算法相比，无须过多地进行人为干预，这就极大地提高了ELM方法的训练精度.其结构如图1所示.

对于N个任意的训练样本(xi,yi)，其中，则隐层节点数目包括L个，可以将网络的输出表示为：

其中，G()表示激活函数；wi是输入层到第i个隐含层节点的输入权值；bi是第i个隐藏层节点的偏差；βi是连接第i个隐藏层节点的输出权值.

根据提出的理论，对于任意区间无限可微的激活函数，在任意赋值输入权重和偏置的情况下，对于神经网络的输出都可以零误差逼近训练样本，即：

ELM的输入权重和偏置是由随机函数根据样本大小随机生成，当设定好隐层神经元数目和确定所使用的激活函数，算法就会通过最小二乘法计算出输出权重β，进而计算出预测值.虽然ELM学习速度更快，泛化性能更高，但是它也存在一些缺点：ELM采用经验风险最小化（ERM）原理设计，容易产生过拟合模型.同时由于ELM直接计算最小范数最小二乘解，因此其控制能力较弱，稳定性较差.研究发现，L1范数和L2范数在避免数据拟合问题中具有良好的性能，因此，本文在其他研究人员基础上提出如下算法.

2 L1/L2正则化的极限学习机（L1/L2-ELM）算法

对于N个经过HOG特征提取后的肺结节图像样本特征集合，可由式（2）用矩阵形式表示为：

H被称为网络的隐含层输出矩阵，在ELM算法中，当输入权重和偏差被随机确定以后，隐层矩阵H也就随即被确定下来；在此基础上，将前馈神经网络的训练转化为输出权矩阵的最小二乘解问题，只有完成输出权值的最小二乘解才可以完成网络的训练，计算输出权值矩阵β如下：

对于单隐层神经网络，在传统的ELM算法中，输入层与隐层的权重和偏置都是由随机函数自动生成，整个神经网络只需要训练输出权重，大大节省了训练时间.然而在实际训练过程中，发现H存在不适定的情况，导致输出权重β的计算值会很大，会出现过拟合现象，极大地影响了算法的训练精确度，降低了ELM网络的泛化性能.

为了抑制过拟合现象，减小其对模型的影响；在式（4）中加入L1范数约束，就可以通过L1正则化对权值矩阵进行泛化使其变得稀疏，这样就可以产生一个稀疏的网络模型，可以很好地提取出病变图像的特征值，使模型变得简单，得到以下公式：

L2范数是对向量各单元进行平方求和再开平方根.通过改变L2范数中的规则项使其最小，就可以使相应的β中的元素都变得很小，接近于0.参数越小，模型越简单，就越不可能有过拟合的现象发生.根据学习理论的相关知识可以得到，L2范数在一定程度上可以防止过拟合，对网络的泛化性能有很大的提高.

病变图像通常是以小块的形式出现，单一点的像素值并不会对癌变特征有什么实质性的影响.结合这一信息，进一步在式（5）中加入L2范数约束，这样同时避免了过稀疏情况的出现，也更有利于在ELM网络中提取到更有价值的病变的有效特征，使得训练过程中输出权重有所收敛.得到以下公式：

为对式（6）进行求解，首先定义如下矩阵：

由于L2正则化系数2λ是人为设定的常数，则式（7）可以改写为以下形式：

对式（8）进行求偏导数并令结果为零，可以求解得到：

通过以上的求解，就可以得到范数约束的输出权重的最小二乘解；基于L1/L2-ELM算法的主要过程为：

1）随机生成隐层节点权重wi和偏置bi；

2）利用激活函数对隐层输出矩阵H进行计算；

3）根据式（7）和（9）计算输出权重

L1/L2-ELM网络在训练时只需要计算出输出权重，减少了训练参数，缩短了训练时间，泛化性能得到进一步提高.

图2 良恶性结节图片

3 实验结果与分析

3.1 实验数据

本文所使用的实验数据是来自LIDC-IDRI和一些医院临床实验数据.LIDC-IDRI数据集包含了1 018个病例的肺部CT扫描图像，均由4位放射科医学专家对结节信息进行了标注.实验中，输入的图像经手动裁剪后得到肺结节病变感兴趣区域图像；将图像归一化到像素为64×64大小的图片，如图2所示.病例共选择了良性和恶性结节共456例；其中良性结节216例，恶性结节240例，每张图像经HOG特征提取共得到1 296维的数据特征.

本文的实验环境为MATLAB 2016a，PC处理器为Inter Core（TM）i7-6700 CPU，主频3.40 GHz，内存16 Gb.

3.2 实验结果

隐层神经元的个数和激活函数对实验结果都有很大的影响，对此进行了一系列的实验，通过在相同神经元个数下改变激活函数和相同激活函数下改变神经元个数，预测结果和实验标签对比得到了如图3所示的准确率.

从图3可以看出，网络选取激活函数为tanh时，随着神经元数目的增加，准确率先增加后下降，当神经元个数是7 500时，分类准确率达到了94.12%，激活函数公式为tanh=（ex-e-x）（/ex+e-x），它的输出和输入可以保持非线性单调升降关系，值域保持在（0，1）之间，具有良好的容错性[7].其余函数波动较大，无法得到好的模型.

确定模型合适的参数后，对SVM、ELM和本文算法(L1/L2-ELM)从不同方面进行了分类结果比较.从表1可看出，提出的算法可以很好的防止模型过拟合，分类精度可以达到94.12%，比其他分类算法高出近3%；而SVM和ELM分别出现了离散和过拟合现象导致分类正确率不高.

图3 不同神经元数目的准确率

表1 不同分类算法准确率对比

表2给出了3种网络运行时间的比较，本文算法在训练时间上有所消耗，其主要的运算时间都放在了模型的简化上；但在测试时间上却优于其他两种算法，可以快速计算出分类结果.在确定模型最优参数后将参数保存起来进行测试时间的比较；如表3所示，经过5次的测试结果比较，本文算法都要由于其他两种算法.

表2 网络模型规模比较

表3 测试时间比较

交叉验证是常用的测试精度方法，它可以很好地对模型进行评估.在得到性能较好的参数后，将训练样本随机分成若干等分，依次进行训练和测试，进行了十折交叉验证实验，结果如图4所示.在进行10次训练后，提出的方法总体准确率都在0.92以上，并无较大波动，说明算法适应性较好测试精度得到了保证.通过交叉验证试验，本文所使用的方法依然取得了较高的分类准确率.

敏感性（SE）、特异性（SP）、准确性（AC）是评估病理图像分类识别的一个重要指标，对此我们进行了分类统计来判断本文提出的肺结节分类算法的性能.将样本分为阳性和阴性两类，TP、TN、FP、FN分别表示真阳性、真阴性、假阳性、假阴性[8].3个指标定义为：

图4 交叉验证准确率

表4 不同算法性能比较

实验结果如表4所示，准确性反映了算法对良恶性分类划分的正确度，它直接反映了算法的性能，敏感性、特异性值越高说明算法越好，对错误分类的情况越低，本文所提出的算法在三个指标中都高于其他算法，可以对分类有较好的准确度.

4 总结

本文提出了一种对肺结节良恶性进行分类的新方法.该算法在极限学习机的基础上，通过加入L1和L2范数使网络性能更好，结合HOG特征提取方法实现对肺结节特征向量的分类.实验中分别采用SVM分类器、传统极限学习机及本文提出的方法对采集到的肺结节特征数据集进行分类对比.通过对比实验看出，本文提出的方法对肺结节良恶性的分类具有分类准确率高的特点，不仅网络结构简单、测试时间短、泛化性能强，并且对病理图像有较好的适应性.