压缩激励卷积神经网络的蛋白质亚细胞定位

唐浩漾，张小媛，钱 萌，王 燕

(西安邮电大学自动化学院，陕西 西安 710121)

1 引言

蛋白质亚细胞定位是确定蛋白质在亚细胞内具体位置的过程，其有助于判定蛋白质功能、阐明蛋白质相互作用机制和了解生命体的活动机理[1]。早期蛋白质亚细胞定位研究需要通过人工处理亚细胞，会耗费大量人力物力，且易定位错误，不利于判定蛋白质功能[2]。

近年来，各种图像处理方法已经应用于蛋白质亚细胞定位[3]。如文献[4]使用Haralick纹理特征、Zernike矩和形态特征对BP神经网络进行训练，以预测蛋白质的亚细胞位置。文献[5]利用Levenberg-Marquardt的随机子空间，结合小波特征、局部二值特征和邻接阈值等多种特征来提取策略最优集，经过分类算法得到亚细胞定位预测结果。这些方法需要人为提取图像中的特定特征来训练分类器，而这些特征缺少客观性，不利于分类器对大规模蛋白质生物图像进行亚细胞定位预测。

卷积神经网络[6]能从图像中自动提取客观性的特征，捕获亚细胞图像中较为复杂抽象的信息，有利于进行亚细胞定位预测。目前已有多项研究将卷积神经网络应用于蛋白质亚细胞定位，取得了较好的定位准确率。文献[7]基于深度卷积神经网络DeepLoc分析酵母细胞图像，其蛋白质亚细胞定位准确率为80%。文献[8]搭建Deepyeast卷积神经网络模型进行亚细胞定位预测，其准确率达到89.45%。但该方法在网络训练时采用梯度下降的方法获得最优权重值，导致网络训练时间长，且对于核蛋白和核仁等相似度较高的蛋白质亚细胞，没有考虑蛋白质亚细胞特征通道之间的联系，使得定位效果较差。而压缩激励模块(Squeeze-and-Excitation，SE)[9]引入了通道注意力机制，通过对特征通道之间的相互关系进行建模，并自适应的重新校正各通道特征的响应，可以增强网络对相似度较高的蛋白质亚细胞图像特征的表达。

本文将具有通道注意力作用的压缩激励模块SE引入Deepyeast卷积神经网络中，构建SE-Deepyeast特征提取模块，使用极限学习机分类器对提取的图像特征向量进行处理，实现快速而有效的亚细胞定位预测。

2 基于SE-Deepyeast的网络模型和特征提取

算法整体网络结构框图如图1，通过SE-Deepyeast特征提取模块自动学习的方式来提取有区分性的亚细胞特征；然后采用极限学习机对提取到的特征进行训练及分类，进行亚细胞定位。

图1 整体网络结构框图

2.1 SE-Deepyeast网络模型

采用Deepyeast卷积神经网络模型作为蛋白质亚细胞定位的基础网络，该网络由8个卷积层、3个池化层和3个全连接层构成，该网络包括多个卷积层与非线性激活层交替的卷积结构，可较好地提取亚细胞图像特征。为了更好的提取部分相似度较高的亚细胞间有区分性的特征，引入SE模块，构建SE-Deepyeast网络模型。

SE-Deepyeast网络模型中卷积核大小均设置为3×3，步长为1，网络卷积层中卷积核个数依次为64、64、128、128、256、256、256和256，每一个卷积块包含2～3个卷积层，使网络有更大感受野的同时也能降低网络参数；修正线性单元作为网络的激活函数，增加网络的非线性映射能力，改善深层网络在反向传播时梯度饱和的问题；最大池化作为下采样函数，其尺寸为3×3，步长为2，可以在减少参数个数的同时，提取亚细胞图像的主要特征；3个全连接层的节点个数分别为512、512和10，将卷积层输出的二维特征图转化为一维向量。

2. 2 SE-Deepyeast特征提取

在Deepyeast模型的基础上引入SE模块，SE模块由压缩操作和激发操作两部分构成，通过压缩激励操作提高通道注意力，增强蛋白质亚细胞特征的提取能力。

为使经卷积层得到特征图U充分提取亚细胞图像各通道的全局特征信息，对特征图U进行压缩操作。通过在空间维度上使用全局平均池化方法，对特征图U的各个通道进行压缩处理以产生各自的通道描述符。压缩操作过程用压缩函数Fsq表示，将W×H×C的输入压缩为1×1×C的输出，其中C为通道数，Fsq定义为

1.全社会要形成关注蓝天、保护绿色生态的共识。可持续发展是长期的科学发展观念，不以一时的效益作为发展目标，也不以损害环境作为生活或者发展的代价。想要真正做到可持续发展，就必须让全社会都行动起来，当绿色生活成为一种社会风气之后，可持续发展自然就能够得以实现。社会的每一个人在使用绿色理念来指导整个产业发展时，其通过严格意义上的自我规范和约束，从而让这个社会在发展过程中的资源成本利用率最高。我国在未来实行可持续发展的过程中，要注重选择合适的产业，因为该理念对社会发展的影响是全面的和深厚的，所以在当前社会中必须要形成一种全社会的绿色经济氛围。

(1)

其中，un为特征图U中第n层通道的特征向量，n的取值为1，2，…，C。zn为经过压缩后第n层通道亚细胞特征向量的通道描述符。z=[z1，z2，…，zn]为压缩后的通道描述符构成的压缩通道符向量。

为了全面获取通道间的依赖性以及非线性作用，提高网络对亚细胞图像特征的表达能力，对压缩通道描述符向量z进行非线性激发操作，激发过程用激发函数Fex表示

S=Fex(z，W)=σ[W2δ(W1，z)]

(2)

但sigmoid门函数非线性映射能力差，不能有效表达亚细胞特征信息，本文在sigmoid门函数进行激发前引入Relu激活函数[11]，Relu激活函数可保留更多的图像信息，增强网络的非线性映射能力，能有效解决深层网络在反向传播时造成的梯度饱和问题。构建的Relu激活函数为

δ=max(0，un)+αmin(0，un)

(3)

其中α为0.01，相比于值为0的情况可保留更多的特征信息，改善深层网络在反向传播时梯度饱和的问题，也可增强网络的映射能力。

SE特征提取模块的输出由亚细胞特征向量U与激发通道描述符向量S对应通道的乘积Fscale得到，即

X=Fscale(U，S)=U·S

(4)

其中，X=[x1，x2，…，xn]为压缩激发操作得到的亚细胞特征图。Fscale为亚细胞特征向量U与激发通道描述符向量S对应通道的乘积。

3 蛋白质亚细胞定位

在SE-Deepyeast模块提取亚细胞图像特征的基础上，对提取到的特征进行训练分类，以确定分类的蛋白质在哪类亚细胞中，即实现亚细胞定位。

现有的亚细胞定位网络模型需要对所有亚细胞器图像数据的前向传播和误差反向传播的两个过程进行训练，这两个过程均需要使用大量样本在反复迭代的情况下才能获得较理想的网络参数，且梯度下降算法需要调整所有参数，导致模型的训练时间长。因此，本文采用极限学习机对10种亚细胞器图像进行定位，通过随机生成连接权重和偏差，避免复杂的迭代训练过程，从而缩短模型的训练时间。

极限学习机(Extreme Learning Machine，ELM)是一种单隐层前馈神经网络学习算法[12]，由输入层、隐藏层和输出层构成，ELM模型如图2。

图2 ELM模型

其中x为亚细胞向量经压缩激发操作得到的亚细胞特征向量；l为隐藏层节点个数，可将线性不可分的样本映射到高层的线性可分空间，再通过隐藏层与输出层之间进行线性划分，完成分类功能，以确定蛋白质亚细胞的位置；输出层节点的个数为m，由定位的类别数决定。

将SE-Deepyeast特征提取模块的输出n维特征向量X作为ELM的输入，通过计算得到隐藏层神经元的输出h为

h=δ(wX+b)

(5)

其中代表Relu激活函数，可保留更多的有效特征；w和b分别表示输入层与隐藏层之间的权值连接权重和偏置，在网络训练之前ELM可随机产生w和b，且整个训练过程无需迭代。

把隐藏层神经元的输出h输入输出层，可计算出输出层神经元的输出y为

y=h(xi)β

(6)

其中i=1，2，…n；β为隐藏层和输出层之间的权值。

最终，通过取输出层神经元结果的最大值来判定定位结果，蛋白质亚细胞定位结果Llabel为

Llabel=max(yj(x))

(7)

其中j=1，2，…m，本文对10类亚细胞进行分类定位，故m的取值为10。

4 实验及结果分析

实验采用的计算机硬件配置为Intel c612/2*E5-2620V4、64G内存。4块1080Ti GPU，软件环境为Ubuntu16.04，使用CUDA8.0+cuDNN9.0加速训练，深度学习框架为Tensorflow，编程语言为Python3.6。

实验数据集为UCSF yeast GFP蛋白荧光图像数据集[13]，其标注了酵母细胞中10类蛋白质亚细胞位置，分别为内体、内质网、高尔基体、线粒体、核外围、核仁、细胞核、过氧物酶体、纺锤体和液泡，亚细胞图像如图3所示。实验中将ELM的隐藏层节点个数设为10000，亚细胞图片大小调整为64×64，初始学习率为0.01，迭代步数设为1625，批处理大小为50。

图3 数据集中10种亚细胞

本文从两个方面进行对比实验：(1)对AlexNet特征提取模块、Deepyeast特征提取模块和本文提出的SE-Deepyeast特征提取模块进行亚细胞特征提取性能对比；(2)将SE-Deepyeast 得到的特征向量分别输入ELM、Softmax和 SVM进行亚细胞定位性能对比。

4.1 特征提取模块性能分析

在UCSF yeast GFP数据集上分别对AlexNet特征提取模块、Deepyeast特征提取模块和本文提出的SE-Deepyeast特征提取模块进行特征提取性能对比，用10种亚细胞的平均准确率来判断特征提取性能，实验结果如表1。

表1 不同特征提取模块准确率对比(%)

由表1可知，利用AlexNet特征提取模块、Deepyeast特征提取模块和SE-Deepyeast特征提取模块得到的定位平均准确率分别为79.72%、89.45%和93.36%，对比可得：本文提出的SE-Deepyeast特征提取模块比AlexNet和Deepyeast分别提高了13.64%和3.91%。

对于相似度较高的核仁、纺锤体以及液泡三类亚细胞图像，将本文的SE-Deepyeast特征提取模块与Deepyeast特征提取模块得到的特征图进行可视化比较。将Deepyeast特征提取模块中3个卷积池化块得到的特征图和SE-Deepyeast特征提取模块在卷积池化块过程中提取到的特征图进行可视化，并在每一个卷积池化块中随机抽取5张亚细胞特征图进行展示，如图4所示。

图4 部分特征图

根据图4可以明显看出，这两种特征提取方法在靠前的卷积池化块中主要提取到亚细胞图像的边缘、纹理和形状等特征，利用Deepyeast模块对这三种亚细胞图像进行特征提取时，从高相似度亚细胞图像中提取到的底层特征图仍有较大相似性，而本文采用的SE-Deepyeast特征提取模块在提取底层特征时，也可以展现出一定的区分性。并且根据高层提取到的卷积特征图可以发现，本文方法提取到的特征信息更抽象、细致，具有辨别度。

不同特征提取模块准确率对比图如图5。从图5可以看出Deepyeast和SE-Deepyeast对十种亚细胞的平均定位准确率整体趋势大致一致，但对于相似度较高的蛋白质亚细胞的定位准确率相差较大，其中SE-Deepyeast对核仁、纺锤体以及液泡的定位准确率分别为91.68%、86.98%和89.47%，相比AlexNet分别提升了15.16%、17.11%和18.04%，相比Deepyeast提升了7.61%、10.94和8.3%。

图5 不同特征提取模块准确率对比图(%)

因AlexNet网络层数较少，无法获取亚细胞图像中更深层次的特征，导致定位准确率较低。Deepyeast网络较于AlexNet网络所得到的亚细胞定位准确率有较大提高，但是Deepyeast模块对核仁、纺锤体以及液泡的定位准确率较低，导致Deepyeast模块的定位准确率低于本文算法。而本文采用的SE-Deepyeast模块相比Deepyeast模块通过压缩激励模块，可以更好的对亚细胞图像进行特征描述，提取出有效并且具有区分性的亚细胞图像特征，进而分辨相似度较高的蛋白质图像。

4.2 亚细胞定位模块性能分析

将SE-Deepyeast网络得到的特征向量分别输入ELM、Softmax和 SVM进行定位性能对比，以分析不同分类器在亚细胞定位方面的准确率、训练时间及定位时间，实验结果如表2。

表2 不同分类器实现定位性能对比

由表2可知，Softmax和SVM算法的准确率相差0.22%，SVM较Softmax训练时间节省了13.1分钟，定位时间节省了4.7ms，ELM算法的准确率最高，训练时间最短，定位时间只用了6.42ms，相比于Softmax和SVM分别节省了4.08ms、8.78ms。ELM通过随机生成连接权值和偏置，避免了复杂的迭代过程，训练过程中需要调整的参数少，计算成本低，实验结果表明ELM在保证了准确率的情况下，训练时间及定位时间也最短，能达到实时准确定位的应用要求。

5 总结

压缩激励卷积神经网络的蛋白质亚细胞定位算法通过构建压缩激励卷积网络模型，采用SE-Deepyeast模块，引入通道注意力机制，有效解决了类间差异小的亚细胞特征表达能力差的问题；利用ELM进行定位，使得亚细胞定位速度快。实验结果表明，本文算法对蛋白质亚细胞定位更为准确，尤其是核仁、纺锤体以及液泡这三种相似度较高的亚细胞定位分类的准确率有较大的提高，分别是7.61%、10.94%、8.3%，且定位时间为6.42ms，可实现实时定位亚细胞。