砂石骨料分类系统的一种改进的深度学习研究

宋立新，王仁杰

(1.中国电建集团中南勘测设计研究院有限公司，湖南 长沙 410014；2.上海易清智觉自动化科技有限公司，上海 201802)

0 引 言

砂石骨料是混凝土的主要成分，混凝土在生产和运用的过程中，砂石骨料起着填充和骨架作用，砂石骨料的质量直接影响混凝土强度、变形、渗透性、抗冻性、耐久性等性能。

在岩石分类的研究上，最为传统的做法就是在偏光显微镜下对岩石薄片图像进行人工鉴定，这种做法不仅需要较强的专业技能，并且耗时耗力易受主观因素影响[1]。刘凤英等[2]利用人工神经网络BP网络建立火成岩岩石化学分类模型。Kamani等[3]利用岩石强度试验来估计聚集物降解特性的可能性，对岩石进行初步分类，研究出不同类型岩石的强度与聚集物降解之间的关系。Singh等[4]利用不同岩石的点载荷强度指数与单轴抗压强度之间的关系，得到岩石强度与种类之间的关系。袁颖等[5]采用主成分分析法从影响火成岩分类的众多氧化物评价指标中提取主成分，再结合支持向量机算法建立火成岩岩石分类的 PCA-GA-SVM模型。Harmon等采用激光诱导击穿光谱系统(LIBS)采集岩石光谱数据，通过对最小二乘支持向量机的训练，得到基于粒子群算法的灰色支持向量机和最小二乘支持向量机的组合模型，结合偏最小二乘判别分析法(PLS-DA)识别火山岩的类型。

随着人工智能飞速发展，深度学习的应用越来越广泛，在不同的领域中发挥着越来越重要的作用，本文将使用一种改进的深度学习算法对砂石骨料进行分类识别。

深度学习是机器学习领域中的一个新的研究方向，它被引入机器学习使其更接近于最初的目标人工智能[6]。深度学习是以神经网络为基础，将其扩展成多层网络，通过建立多层神经网络，对提取出的浅层特征进行组合以形成更加抽象的高层特征，是一种模仿人脑机制来对原始数据进行分析和解释的学习算法，从而发现数据更深层次的分布特征。深度学习网络的关键主要是利用算法自动寻找特征信息，通过计算数据样本特征之间的关系，进而更加准确地寻找更重要的特征。深度学习凭借着强大的学习分类能力，在不同的领域中都取得了优于以往的成绩，如图像的识别检测、分类等。

1 深度学习理论

1.1 深度学习模型

本文主要研究的深度学习模型为卷积网络模型CNN[7]，与传统BP神经网络相比，卷积神经网络擅长提取输入数据之间的抽象特征，其学习能力、容错能力、泛化能力等各方面的性能都优于传统BP神经网络。卷积神经网络是一种特殊的前馈神经网络，其基本结构包括一种特殊的深层前馈网络，主要是由一个或多个卷积层、池化层、全连接层以及一个输出层构成，其中，卷积层能提取相邻像素之间的共同特性，池化层主要是对图像进行降采样处理。

卷积神经网络主要是卷积层和池化层交替连接，经过多次卷积和池化后，再由全连接层处理进而得到整个卷积神经网络的输出。为了使运算更加简便，网络结构中每层内的神经元权值共享，在卷积的过程中使用不同的卷积核得到上一层特征图的不同特征，再将这些不同特征的特征图作为下一层网络的输入数据。CNN结构示意如图1所示。

图1 CNN结构示意

1.2 MobileNeV3网络结构

MobileNeV3网络结构是深度学习中的一种轻量型的网络结构。2019年，Google发布了MobileNet系列的最新成果MobileNetV3。MobileNetV3作为新一代轻量级深度卷积神经网络，在继承了MobileNetV1和MobileNetV2的特性的同时，又拥有许多新的特性。

在最初的MobileNetV1[8]中，引入了深度可分离卷积(depthwise separable convolution，DSC)来代替传统卷积。深度可分离卷积则是将标准卷积分解为一个深度卷积和一个点卷积，深度卷积过程是将输入的每个通道各自与其对应的卷积核进行卷积，点卷积是将深度卷积的结果作为输入，对每个像素点在不同的通道上进行线性组合。深度可分离卷积与标准卷积的效果相近，并且能大幅地降低计算量和参数量。

若第i层的传统标准卷积

L=h×w×d

(1)

式中，L为卷积出来的结果；h为长度；w为宽度；d为深度。

卷积核

K∈Rk×k×di×dj

(2)

式中，K为卷积核；R为实空间符号；k为卷积核维数；di第i层深度。

则输出

Li=hi×wi×dj

(3)

式中，Li为第i层卷积出来的结果；hi为第i层的长度；wi为第i层的宽度；dj为第j层的深度。

那么传统标准卷积的计算消耗为

hi×wi×di×dj×k×k

(4)

深度可分离卷积计算消耗为

h×w×d(k2+d)

(5)

若取卷积核大小为3×3，深度可分离卷积相对于传统标准卷积能减少约8～9倍的计算量。

MobileNetV2是根据MobileNetV1的基本概念上构建的，它将MobileNetV1和残差网络ResNet的残差单元结合起来，引入线性瓶颈层和反转残差层[9]。在低维度的张量上进行ReLU等非线性变换时会造成大量信息的遗漏，MobileNetV2为了弥补这一不足，使用线性变换代替Bottleneck的激活层，这种结构能更好地利用低维度信息使整个网络更加高效。

MobileNetV3的内部结构既继承了原有网络结构，又添加了Squeeze and Excitation结构，通过训练过程中自行分配权重在特征图上，从而能达到更好的效果。MobileNetV3还设计了一种能有效改进网络精度的非线性激活函数h-swish。

(6)

h-swish非线性激活函数会产生短暂的延迟，网络的前半部分采用ReLU激活函数，后半部分采用h-swish非线性激活函数。由于MobileNetV2网络结构的末端计算量比较大，故使用Avg-Pooling代替计算量大的部分，不仅可减少计算量且精度损失不会增加。

本文主要是使用MobileNetV3卷积神经网络实现对砂石骨料的分类，将得出的砂石骨料分类系统训练模型运用到现场生产环境中，完成工业生产的需求。

2 砂石骨料分类系统

2.1 分类目的

数据的采集主要是利用机器视觉技术结合相机对砂石骨料进行图片采集，采集砂石骨料现场为江西省九江市共青城万年青商品混凝土有限公司地磅现场，当装有砂石骨料的货车过磅时，后台算法控制相机采集砂石骨料图片。

本文的实验环境为Windows 10系统，Intel core i7-8700kCPU，内存为16 GB，选用型号为500万像素的面阵相机。采集的数据集涵盖平均直径为16～31.5 mm大石头，10～20 mm小石头，5～10 mm瓜子片，2.8～3.6 mm粗砂，0.8～2.0 mm细砂，0～0.16 mm石粉等6种不同类型的骨料，文中使用MobileNetV3卷积神经网络主要是对这6种不同类型的骨料进行分类，如图2所示。

图2 6种类型骨料

本次采集的数据集包含4 800张图片，每种砂石骨料各800张图片，本次对砂石骨料图像的采集是在现场露天环境下完成的，因此，每种砂石骨料的图片类型丰富，不同天气情况下图片颜色、形状、粘黏程度都有所差异，为深度学习的训练提供了丰富的素材，本次采集的砂石骨料图片的像素分辨率一致为2 496×2 048。

2.2 研究方法

本文主要是利用MobileNetV3卷积神经网络结构对6种不同种类的砂石骨料进行识别并分类。数据集共采集4 800张图片，选取其中3 780张图片，每种砂石骨料分别选取630张，以此作为训练集图片；选取其中420张图片，每种砂石骨料分别为70张，以此作为验证集图片；选取其中600张图片，每种砂石骨料分别选取100张，以此作为测试集图片。

在训练之前，对数据集进行数据增强，将每张图片裁剪成5×5份，训练集图片变为3 780×25共计94 500份，验证集图片由420张变为420×25共计10 500张图片。由于原图片分辨率为2 496×2 048，将图片缩放至320×320分辨率能加快训练速度并减少计算量。添加一个灰度级的灰度通道使原有RGB三通道图片转变成四通道，这样使数据集更加丰富、全面，同时能通过灰度的方差变化反应不同种类砂石骨料的差异。因此，文本以320×320×4作为MobileNetV3网络结构的输入端，为使训练速度进一步加快，计算量进一步减少，将图像分辨率进一步缩小，在MobileNetV3原有的网络结构下添加一个卷积层和一个池化层。部分网络结构所对应的参数和计算量如表1所示。

聘请行业相关高层管理人员、专家担任兼职导师，邀请他们为学生讲授行业动态，企业需求等，开阔学生视野。比如邀请有留学经历的行业精英为学生讲解留学规划、细分行业领域和工作性质，职业晋升路线等具体资讯，帮助学生了解行业信息，做好个体职业生涯规划。

表1 部分网络参数及计算量

3 测试结果

3.1 样本训练

文中主要使用改进的MobileNetV3卷积神经网络结构对6种不同类型的砂石骨料进行分类。训练集每张图片分为25份之后，图片由3 780张变为94 500张图片，每种类型的砂石骨料分别有15 750张图片，验证集每张图片分成25份之后，图片由420张变为10 500张图片，每种类型的砂石骨料变为1 750张图片。在训练的过程中，采用自适应学习率，学习率会根据训练状态自动调节至最佳值，使用tensorboard对loss值进行可视化监控。

本次网络训练方法采用监督训练方法，在训练过程中训练集的损失函数收敛如图3所示。损失函数损失率接近0.005时开始收敛，训练集准确率函数收敛如图4所示。从图4可以看出，准确率达到0.998开始收敛。

图3 训练集损失函数收敛

图4 训练集准确率函数收敛

训练完成后，对验证集图片进行验证，为验证集损失函数收敛如图5所示。从图5可以看出，验证损失函数接近0.055时开始收敛。验证集准确率函数收敛如图6所示。从图6可以看出，准确率函数接近0.99时开始收敛。

图5 验证集损失函数收敛

图6 验证集准确率函数收敛

从以上分析结果可知，训练和验证过程中训练集和验证集的损失函数和准确率函数都收敛于一个值，说明本文提出的改进的MobileNetV3卷积神经网络结构对砂石骨料分类的训练模型状态稳定，训练达到良好的效果。

3.2 基于概率最大值对砂石骨料分类

训练和验证完成后，利用训练模型对砂石骨料测试集图片进行分类测试，共分为两组实验测试，一组是基于概率最大值把图片分成25份对图片进行测试；另一组是传统的测试方法，直接将图片带入训练模型，对图像不做任何分割处理，直接由训练模型测出结果。

基于概率最大值就是把图片分成5×5共计25份进行测试，本次测试对图片进行5×5的分割，图片中砂石骨料分布均匀，分割成25份后每份图片基本保留了原始图片的特征。利用训练好的模型做一个25次的循环测试，分别对每一份图片做一次测试，测试结果会是6种砂石骨料中的一种，这种砂石骨料对应的概率为1/25，当对25份图片全部测试完之后，哪种砂石骨料对应的概率最大，该张图片测试的结果就为此种砂石骨料。由于砂石骨料颗粒度直径相差比较小，各种砂石骨料之间可能部分混料，因此，对砂石骨料图片的分割也是一种增大容错率的分割方法。

本次测试集图片共有600张，每种砂石骨料的图片分别有100张。2组测试方法下对应的每种砂石骨料的测试准确率如表2所示。

从表2可以看出，基于概率最大值对砂石骨料的分类方法测试出的每种砂石骨料的准确率都较传统测试方法的准确率高。

表2 2组测试方法测试准确率对比 %

4 结 论

本文主要利用MobileNetV3卷积神经网络对砂石骨料进行分类，对MobileNetV3卷积神经网络结构加了一层卷积层和一层池化层，从而减少了计算量并加快了训练速度。在图片中砂石骨料分布均布情况下，分割成25份后，每份图片基本保留了原始图片的特征，在此基础上提出了一种基于概率最大值对砂石骨料进行分类方法，较传统的测试方法具有更高的准确率及较强的容错性，更加适用于工业生产的需求。