基于卷积Hopfield网络的运动目标检测模型

沈慧 王森妹

摘  要：本文针对视频图像中显著性检测存储量大、计算复杂等特点，提出了一种结合卷积的Hopfield神经网络的深度学习模型。利用Hopfield网络在序列图像处理上的优势，处理视频信息中的能更好地结合上下文关系和时序信息提取运动目标的特征。将Hopfield的循环反馈与卷积结合起来，以在空间上更好地提取运动目标。将传统的Hopfield网络的全连接转换为局部连接的Hopfield网络。用局部连接的HNN作为门控RNN的主要部分代替区域框，并与卷积神经网络结合起来进行显著性检测，然后结合到darknet框架下进行视频运动目标检测。在VIVD数据集下验证显示，针对视频中的运动目标，在无须提前训练和标记的情况下能獲得较好的检测结果。

关键词：局部连接;卷积Hopfield神经网络;运动目标检测;视频图像

中图分类号：TP18;TP391.41     文献标识码：A 文章编号：2096-4706（2019）09-0074-04

0  引  言

在基于计算机视觉与摄像头的物体检测中，卷积神经网络是一种适合输入信号为连续值的神经网络，本文拟采用局部连接的Hopfield神经网络（循环神经网络的一种）与卷积神经网络相结合，针对视频图像中的目标进行提取与显示，将空间结构与时间流动结合起来，较大速率下提取较为精确的显著性目标。其最大创新之处在于，改进传统的HNN与卷积神经网络结合，用深度学习的方法[1，2]做显著性目标检测，结构相对简单，检测效果较好。将神经网络应用于图像检测，将神经元的每个节点的模拟状态值用来标注每个像元的状态，由领域的相关信息推出像元的值，确定空间上下文连续性，并结合数据的连续性获得有领域影响并有自身反馈的信息，当能量最小的时候得到最优解。模拟HNN的收敛过程，用能量函数收敛到的最小化来表示最后稳态标记像元的变化大小，而结合了卷积的计算，将更能使目标之间的差异显示出来，从而能够更好地提取特征。

1  架构

1.1  局部连接的Hopfield网络

Hopfield神经网络是有反馈的神经网络，由其输出端反馈到输入端并影响输出，因此是一个动态发展的过程，每次循环都要重新计算改变，若是收敛多次，迭代之后最终达到平衡输出不变，而且仅当输出随时间变化而不变时，网络的能量才会不变。

本文提出的局部连接的Hopfield神经网络是基于传统HNN将其全连接结构变为局部连接的结构，舍弃距离当前神经元较远的反馈信息，比较符合人类视觉系统神经元的信息传递随着距离增大而逐步减弱的效果，并且相比较于传统的神经网络其计算量更小一些。对于一个神经元，以其周围八个神经元为例，Hopfield的连接方式如图1所示，我们所采用的局部连接的方式如图2所示，即选择性放弃距离其较远的信息。对于HNN而言，网络的收敛性是保证其稳定运行的关键条件，因此对于局部连接的HNN我们需要证明其稳定性，为了使计算和推导更简便，我们选择对称的结构，下面通过推导来证明：

2  实验

2.1  运动目标检测模型构建

基于Darknet网络的YOLO[7]在实时目标检测中是很有优势的，但是检测精度和对小目标的检测结果并不是很如意，虽然后续有YOLOv2和YOLOv3对其短板有所改进，但是由于原理上的限制，其只对最后一层结果进行检测，因此在获取细小目标时效率不高，将本文提出的新单元与其结合，形成具有存储信息的记忆单元，并且HNN的周围神经元能够相互反馈，使空间信息的提取效率得到极大提高，相邻帧间的信息补充时间上的信息传递，能获得更全的信息，将其中conv层的滤波器转换成本文的L-C C-HNN小单元，将其中所有的池化去除，在第一层中仍然保留32个3×3的卷积核，去掉池化层后，用局部连接的HNN代替，然后下一层保留64个3×3的卷积核，依然用局部连接的HNN代替池化，将下一层卷积（该层128个卷积核）之后的卷积层保留，再卷积之后再增加一个局部连接的HNN层。以输入n×224×224的序列为例，有改动的前几层设置如表2所示：

使用Hopfield的存储规则[8]，一个有N个单元的完全连接的网络的容量只有0.15N的内存，那么存储权重的比特数就是N2 log（2M+1），其中M代表连接的神经元数量。对于一个同样对称的局部连接的Hopfield网络，连接减少，有N个单元的局部连接，相应权重矩阵成对角矩阵，参数少很多，在计算的时候运算更快，效果更好。因此局部连接的HNN相当于将单元减少，也可以看成将一个整体的HNN分化成较小单元的个体，每个个体有一定的关联性，但是并不是像之前那样密切相连，因此局部连接的所占内存更少。

2.2  卷积Hopfield神经网络用于目标检测

本文设置的局部连接的C-HNN应用于Darknet网络结构，对视频目标进行检测，设置的局部连接阶数i=8，能量函数的值最终算的结果E=-2，网络连接层数共19层，迭代次数初始控制在t=50。（在实际结果中迭代和输出稳定是共同控制的，二者以或的方式存在）在VIVD数据集中的检测如表3所示。

首先通过阈值方法将检测结果进行二值化，因检测过程中都是自动迭代的，参数也能得到调整，实验结果只考虑准确率和迭代次数。本文使用F-measure[9]测试方法评价算法的性能。因此，本文将L-C C-HNN作为新的卷积提取得到的特征为最后所得的特征图谱，本文在得到像素的位置后，用候选框在原图中标出，得到本文的目标检测的结果。

对文中的部分结果展示如图4所示，并定量通过F- measures值（表2）来分析检验本文用来测试的方法。

本文的结构在不同类中的检测结果差异性比较明显，但是效果整体上较同类方法并不逊色，并且本文提出的结构方法可在测试集上直接训练，节省了很多时间，不需提前训练人工标注，还是有一定优势的。

3  结  论

本文提出的结合卷积的局部连接的HNN在视频运动目标的检测中能较好地结合上下文信息，并且利用仿生学将无监督学习的方式用于网络参数中权重的自适应调节，对视频序列中的运动目标检测有一定的效果，但是仍然有可改进和提升的地方，主要体现在下面几个方面：首先是能量函数的构建对整个目标检测的框架构建是一个很核心的内容，在本文提出的方法中的能量函数是结合几部分信息来构成，但其实Hopfield神经网络是可以作为大的框架进行目标检测的;其次是关于局部连接的方式的探讨还有更多可提升的空间，可能结合不同的框架会有不同的连接范围，在后续的研究中仍有很大的研究空间;最后是对于相关深层网络[10]的改进，希望将二值化卷积神经网络，比如BWN或者XNOR-Net[11]等在不损失精度的情况下压缩数据，对提高运算速度有较大意义。

参考文献：

[1] Ren S，He K，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[C].International Conference on Neural Information Processing Systems.2015

[2] Lin Z，Yuan C.A Very Deep Sequences Learning Approach for Human Action Recognition[C].International Conference on Multimedia Modeling.Springer，Cham， 2016.

[3] Wang P，Li W，Gao Z，et al.Action Recognition from Depth Maps Using Deep Convolutional Neural Networks[J].IEEE Transactions on Human-Machine Systems，2016，46（4）：498-509.

[4] Scesa V，Henaff P，Ouezdou FB，et al.Onthe Analysis of Sigmoid Time Parameters for Dynamic Truncated BPTT Algorithm[C].International Joint Conference on Neural Networks.IEEE，2006.

[5] John J. Hopfield. Understanding Emergent Dynamics：Using a Collective Activity Coordinate of a Neural Network to Recognize Time-Varying Patterns[J].Neural Computation，2015：1-28.

[6] Pajares G.A Hopfield Neural Network for Image Change Detection[M].IEEE Press，2006.

[7] Redmon J，Divvala S，Girshick R，et al.You Only Look Once：Unified，Real-Time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.IEEE Computer Society，2016.

[8] GU F Q，HONG Z Z，SUN Y S. Boundary extraction based on stack filter，Hopfield neural network and self-organization neural network [C]// Machine Learning and Cybernetics，2003 International Conference on. S.l.：s.n.，2003：1084-1087.

[9] Narayana，Manjunath，Hanson，Allen，Learned-Miller，Erik. Coherent Motion Segmentation in Moving Camera Videos Using Optical Flow Orientations[C]. S.l.：s.n.，2013：1577-1584.

[10] Hu Y ，Chen Z，Chi Z，et al.Learning to detect saliency with deep structure[C].IEEE International Conference on Systems.IEEE，2016.

[11] Rastegari M，Ordonez V，Redmon J，et al.XNOR-Net：ImageNet Classification Using Binary Convolutional Neural Networks[C].European Conference on Computer Vision，2016.

作者簡介：沈慧（1994-），女，汉族，河南人，硕士研究生，研究方向：视觉计算与图像处理;通讯作者：王森妹（1995-），女，白族，云南人，硕士研究生，研究方向：视觉计算与图像处理。