卷积神经网络在岩石薄片图像检索中的应用初探

程国建 岳清清

摘 要： 近几年来，卷积神经网络引起了国内外研究者的广泛关注，并在大规模图像处理方面有出色的表现，尤其在模式识别领域。将地质勘探与计算机技术相结合，在岩石图像处理方面已经取得了较好的成绩，并且还在不断的探索中，以求更好地投入到实际中去。对于地质勘探研究者来说，对于大量的岩石薄片图像，如何进行快速并且有效的检索是值得研究的领域课题。传统的基于文本的检索方式已不能满足要求，为此，本文试图将卷积神经网络引入到岩石薄片图像的检索中，分析其在岩石薄片图像检索中的可行性。

关键词： 卷积神经网络；岩石薄片；图像检索；特征提取

Abstract：In recent years Convolutional Neural Network has attracted wide attention of researchers at home and abroad and it has excellent performance in large-scale image processing especially in the field of pattern recognition.The combination of geological exploration and computer technology has achieved good results in the process of rock image processing and it is still in constant exploration in order to better put into practice.For geological exploration researchers it is a necessary research area for a large number of images of rock flakes to be retrieved quickly and efficiently.Traditional text-based retrieval methods can't meet the requirements this paper attempts to introduce Convolution Neural Network into the rock slice image retrieval and analyze its feasibility in the rock slice image retrieval.

Key words： Convolutional Neural Network；rock slices；image retrieval；feature extraction

引言

随着多媒体技术和互联网的飞速发展，扩大图像源已渗透到日常生活中，高速大容量的存储系统提供了对目标图像的海量存储的基本保证，而各行业对图像的使用正日趋广泛，图像信息资源的管理和检索也越发显得重要[1]。从地质研究方面来看，不断有新的岩石薄片图像产生与涌现，因此，对大量的岩石薄片图像进行优化管理是地质界亟待解决的研究问题。

图像检索是查找和返回大规模图像数据库中感兴趣图像的一种必要的有效方法。一个完整的图像检索系统基本包括2个重要的组成部分，即特征提取和相似性度量。其中，特征提取的重点是为图像生成准确的特征表示，而相似度度量则侧重于特征匹配，以确定查询图像与数据库中其它图像的相似性。目前，图像检索常用的方法主要有：基于内容的图像检索（CBIR）、基于语义的图像检索、基于反馈的图像检索，以及人工智能和基于知识的图像检索。现对如上的各类方法将给出如下设计内容阐析。

（1）基于内容的图像检索。CBIR采用在图像系统中独立存在的特征，即低级的形状、颜色、大小等特征来进行检索，并建立索引，检索的性能主要和提取的特征有关。

（2）基于语义的图像检索。基于语义的特征检索和基于物理特征的检索有很大的不同，这种技术的主要目的是减少图像的视觉特征和丰富语义间的表达距离，通常由特征变换来消除语义鸿沟。通过对低层特征的转换，可以实现基于语义的图像检索，不需要改变图像特征数据库的现有方式和图像的匹配模式[2-3]。

（3）基于反馈的图像检索。基于反馈的基本思想方法是允许用户评估结果和标记，将检索到的图像和用户想要得到的查询图像进行比对，将比对后的误差作为信息反馈给系统，使系统可以调整下一次的训练。基于反馈的图像检索系统在需要用户参与的情况下，可以得到更准确的搜索结果，具有很大的实用价值。

（4）人工智能和基于知识的图像检索。该技术主要是将人工智能与图像处理领域中的知识相结合，在具备先验知识的基础上设计展开的智能检索。

随着深度学习和图像处理算法的发展，图像检索技术在医学图像管理、卫星遥感图像分析、计算机辅助设计与制造、地理信息系统和刑事犯罪识别系统等领域得到了广泛的应用[4]。许多学者也对图像检索贡献了大量研究，如：张洪群等[5]用半监督的学习算法对遥感图像检索进行了研究；厉智等[6]用深度卷积神经网络对服装图像分类检索算法发表了研究成果；也有许多学者将智能计算和机器学习算法应用在地质方面，取得了可观进展[7～8]。虽然图像处理和深度学习算法也已大范围应用于图像处理中，但目前尚未涉及到岩石薄片的检索。

对此，本文将卷积神经网络（CNN）应用于岩石薄片圖像的检索中。CNN是深度神经网络中应用最为广泛的神经网络，主要用于解决识别与分类问题。

1 卷积神经网络

1.1 卷积神经网络概述

卷积神经网络（Convolutional Neural Network，CNN）是目前深度学习算法中至关重要的一种深层网络，因其可以直接对输入的图像进行操作而使得应用范围日趋广阔。CNN可以看成是一种含有隐层的多层感知器结构，与其它网络结构相比较，CNN引入了卷积层和池化层。其中，卷积层用于对输入图像进行特征提取，而池化层主要是对卷积层提取的特征进行聚合。

卷積神经网络具有局部感知的特性，即不同的卷积核对图像的不同部分进行特征卷积，而不同的局部感受进行参数共享，CNN的另一个特性是参数共享。CNN一般包括输入层、卷积层、池化层、全连接层、输出层，并且卷积层后面就接着池化层，CNN的基本结构如图1所示。

1.2 卷积神经网络的训练方法

卷积神经网络的训练类似于BP算法，分为前向传播和反向传播两个过程[9]。具体阐述如下：

2 卷积神经网络应用于岩石薄片图像检索

利用卷积神经网络对图像进行检索，究其本质就是基于内容的图像检索，即通过图像的内容搜索到相似的图像，这就使得图像的特征表示和相似度的测量已然成为图像检索技术中居于首要位置的2个组成部分[10]。对此，可借助卷积神经网络自动提取图像特征这一鲜明优势来进行岩石薄片图像的检索，从而显著提高检索效率。

2.1 通过卷积神经网络提取特征

通常，CNN中浅层提取的是一些局部信息诸如边缘特征和颜色特征等，而深层特征是对浅层特征的抽象和组合，因此可以认为深层特征映射往往表征着图像总体的、抽象的特征，而浅层特征映射则更多地表示具体的、局部的特征[11]。研究中，可以预先训练一个CNN模型，并将该模型作为特征提取器，直接从其特定层中提取深度特征。

从一定程度而言，全连接层的特征可以视为全局特征，而前期的工作已经证明了在使用图像检索时局部特征比全局特征将具备更好的性能[12-13]。因此，研究CNN是否能够生成局部特征以及如何将这些局部描述符聚集成一个紧凑的特征向量即已成为重点与关键。现在也有一些工作正在着力探索研究如何通过激活全连接层和卷积层来生成紧凑的特征向量[14]。

当前卷积层的特征映射是通过在固定层的输出特征图上滑动滤波器（卷积核）来计算，因此特征映射的每个单元就对应于图像的局部区域。要计算这个局部区域的特征表示，这些特征映射的单元就需要重新组合。图2说明了从最后一个卷积层（Conv5）提取特征的过程。设n和m分别是特征映射的数目和大小。局部描述符可以通过如下方式来做出定义：

2.2 利用PCA进行特征降维

常用的图像数据降维方法包括特征抽取和特征选择。在特征抽取中，常用的方法就是主成分分析（Principal Component Analysis，PCA）[15]。其目的旨在运用较少的变量去充分表征原有集合中的大部分变量，将研究过程中许多相关性很高的变量转化为彼此相互独立或不相关的变量。PCA算法的基本步骤可分述如下：

2.3 图像检索过程

岩石薄片图像的检索有2个阶段，分别是：建库与检索，均由采集图像、预处理图像、提取特征、特征映射四部分组成，而检索部分还含有相似度计算和制定决策两个部分，如图3所示。进一步地，建库阶段是指岩石薄片经过特征提取、特征映射得到特征向量，并将该特征向量存储到岩石薄片数据库，如图4所示。检索阶段是指岩石薄片作为输入，与数据库中岩石薄片图像进行一对多匹配检索，具体如图5所示。

2.4 技术处理

主要的技术处理可分为6个阶段，对其内容表述如下：

（1）利用采集设备对岩石薄片图像进行采集；

（2）对采集到的岩石薄片进行预处理（增强、去噪等）；

（3）建立可提取岩石薄片特征的深度卷积神经网络，并对该模型进行训练，使其能较好地表达图像；

（4）利用深度卷积神经网络对处理后的岩石薄片进行特征提取；

（5）对提取的特征进行建库管理，即特征数据库；

（6）利用相似性特征进行检索。

基于卷积神经网络的岩石薄片图像检索拟定技术处理过程如图6所示。

2.5 相似性度量与性能评估

2.5.1 相似性度量方法

图像检索需要估算不同样本数据之间的相似性，一般采用的方法是计算样本间的距离。而常用度量方法为：欧式距离、汉明距离等。本文拟采用欧式距离和汉明距离对待检索岩石薄片图像和数据库中图像的相似程度进行计算，选择最符合岩石薄片图像的相似度度量公式。

（1）欧式距离。是很容易理解的一种计算距离的方法，二维特征向量的情况下的数学表示可见如下：

2.5.2 性能评估

本文拟采用查准率（Precision）和查全率（Recall）来对岩石薄片图像检索的性能进行评估。查准率和查全率可分别如式（7）和式（8）所示：

3 结束语

本文首先总述了目前流行的几种图像检索方法。其次，在深度学习这一热门研究领域的背景下，重点研究提出了卷积神经网络的基本结构及训练方法。将卷积神经网络应用到岩石薄片的检索中，拟定了岩石薄片图像检索的框架和技术路线。通过分析，可证明本文提出的方法在实际应用中具有可行性。卷积神经网络可以更好表达图像特征，减少了手工设计特征的工作量，同时也避免了传统的岩石薄片图像鉴定的主观性。

参考文献

[1] GONG Yunchao LAZEBNIK S GORDO A，et al. Iterative quantization： A procrustean approach to learning binary codes for large-scale image retrieval[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence 2013，35（12）： 2916-2929.

[2] WANG Xiaoyu YANG Ming COUR T，et al.Contextual weighting for vocabulary tree based image retrieval[C]// 2011 IEEE International Conference on Computer Vision （ICCV）. Barcelona Spain：IEEE 2011：209-216.

[3] EITZ M HILDERBRAND K BOUBEKEUR T et al. Sketch-based image retrieval： Benchmark and bag-of-features descriptors[J]. IEEE Transactions on Visualization and Computer Graphics 2011，17（11）： 1624-1636.

[4] WU Lei RONG Jin JAIN A K. Tag completion for image retrieval[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence 2013，35（3）： 716-727.

[5] 张洪群，刘雪莹，杨森，等. 深度学习的半监督遥感图像检索[J]. 遥感学报，2017 21（3）：406-414.

[6] 厲智，孙玉宝，王枫，等.基于深度卷积神经网络的服装图像分类检索算法[J]. 计算机工程，2016，42（11）：309-315.

[7] 程国建，马微，魏新善，等.基于图像处理与神经网络的岩石组构识别[J]. 西安石油大学学报（自然科学版），2013，28（5）： 105-110.

[8] MOLLAJAN A GHIASI-FREEZ J MEMARIAN H. Improving pore type identification from thin section images using an integrated fuzzy fusion of multiple classifiers[J]. Journal of Natural Gas Science and Engineering，2016，31（4） ： 396-404.

[9] 程国建，郭文惠，范鹏召. 基于卷积神经网络的岩石图像分类[J]. 西安石油大学学报（自然科学版），2017，32（4）：116-122.

[10]郑莹雪. 基于深度学习的图像检索[D]. 长春：吉林大学，2016.

[11]包青平. 基于深度学习的服装图像分类与检索[D]. 杭州：浙江大学，2017.

[12] [ZK（#]YANG Yi NEWSAM S. Geographic image retrieval using local invariant features[J]. IEEE Transactions on Geoscience and Remote Sensing 2013 51（2）： 818-832.

[13]ZKAN S ATES T TOLA E et al. Performance analysis of state-of-the-art representation methods for geographical image retrieval and categorization[J]. IEEE Geoscience and Remote Sensing Letters 2014 11（11）：1996-2000.

[14]NG J Y YANG FAan DAVIS L S. Exploiting local features from deep networks for image retrieval[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）. Boston，MA USA：IEEE，2015：53-61.

[15]JOLLIFFE I. Principal component analysis[M]. 2nd ed. New York：Springer 2002.