增强层次的卷积神经网络模型研究

史天予　孙家民　袁德鹏

摘要：受生物视觉信息处理机制启发的目标识别是计算机视觉领域研究的热点之一，主要思想是对大脑视觉皮层中视觉信息的层次性处理过程进行模拟来实现目标识别。本文以具备稀疏连接思想和自我学习机制的卷积神经网络为框架，融入分层和仿生的思想，提出增强层次的CNN模型。实验结果表明该模型的目标识别准确率高达88%。

关键词：侧抑制机制 目标识别 Caltech-101 卷积神经网络

中图分类号：TP391.14 文献标识码：A 文章编号：1007-9416（2016）09-0070-01

1 引言

经典卷积神经网络（CNN）并没有很好的对视皮层中视觉信息的层次性处理过程进行模拟， 本文结合生物视觉特点，构建具有分层感知不变性特征和具有学习、识别能力的计算模型，提出AH-CNN算法，在同样目标条件下进行分类识别，并与其他识别模型进行比较。

2 基于随机策略的池化层

本文基于随机池化策略构建随机池化层， 替代传统池化层， 在保留最大池化优势的基础上添加随机特性， 可以更好地防止模型训练时出现过拟合.其公式如下：

（1）

其中为多项式分布位置采样概率，为i位置的激活值，是特征映射图第j个池化区域。随机池化介于最大值池化和均值池化之间，相当于在池化区域上进行不同的形变再进行最大池化操作，在平均意义上，同均值池化类似；在局部区域中，服从最大池化策略。

3 基于侧抑制机制的归一化层

侧抑制机制是普遍存在于视觉系统多层次中的一种神经交互作用，这种机制在参与初级视觉感知的同时还参与类似注意机制的高层作用。本文将引入模拟侧抑制机制的局部响应值归一化层（LRN），并部署于每个随机池化层之后，通过对输入特征数据的局部归一化操作将局部化的输入分散到更大范围的输出神经元中，抑制激励量并调整感知信息编码，以此将映射特征显著化，提高CNN模型泛化能力。其公式如下：

（2）

其中为点处的神经元活跃程度，为归一化活性，a为每个神经元的激活值，b为归一化权重生成的新的激活值，n为求和覆盖的相邻的位于相同空间位置的核映射数量，N是该层中的核总数。常数k，n，α和β为需要在验证集上选择最优值的超参数。

4 基于视觉神经层次结构的AH-CNN模型

基于上述随机池化层和LRN层的构建，本文结合CNN的层次结构，仿照基于视觉信息处理系统的三级分析模型，提出基于视觉神经层次结构的AH-CNN模型。该模型采用卷积层、随机池化层和LRN层交替组成视觉神经系统的初、中级层次结构，并采用全连接层和分类器模拟视觉神经系统的高级层次结构对目标图像进行决策识别。

5 实验结果与分析

本文采用深度学习开发框架Caffe，并选择Caltech-101数据集进行训练和测试，结果如图1所示。实验证明AH-CNN模型能够有效的提高图像目标识别的准确度，对比经典CNN，在准确率上有所提高。

参考文献

[1]Y. LeCun， B. Boser， J， “Backpropagation applied to handwritten zip code recognition，” Neural computation，1989.

[2]J.Deng，W.Dong，R.Socher， L.-J.Li， K.Li，and L.FeiFei，“Imagenet：A large-scale hierarchical image database，”in CVPR，2009.

[3]A.Krizhevsky，I.Sutskever，and G.Hinton，“Imagenet classification with deep convolutional neural networks，” in NIPS，2012.