基于摄影测量技术的矿石物料称重系统研究

杨文龙，郭 毅，马保亮，吴富姬，欧阳健强

（1.赣州有色冶金研究所有限公司，江西 赣州 341000；2.赣州有色冶金研究所有色金属矿冶装备创新技术中心，江西 赣州 341000）

0 引言

矿石出产量关乎矿山企业的经济效益，计算一个矿山的出产量便可预计矿山企业的效益，多数矿山企业都需要一种称重方式来预计自己的效益，如果某收矿场接收到的矿石，可能会因为称量保证不了准确性，矿石计量不足，从而造成收矿场的经济损失[1-2]。很多矿山生产计量水平落后，甚至还在使用人工用眼看的目测计量方式[3]，通过车次计量的方式对运输司机的工作量进行考核。采用车次计量的方式往往带来较多弊端，例如，操作人员夸大矿石运输产量、人为性地使运输车辆载重量欠载等，这一系列的原因使得运输效率低下，资源浪费，成本增加。反之，如果车量超载又会存在安全隐患。

针对上述现象，矿物智能称重系统的研究具有实用价值，是亟待解决的问题。随着人工智能的快速发展，将数字图像处理技术应用到矿山开采的各个环节中，从而成为一种新兴的智能矿山开采技术手段。这种新兴的技术手段不仅提高了矿山开采的效率，而且保障了矿山开采过程的安全。因此将计算机图像处理技术引入到井下矿石称重系统设计中具有重要的意义和价值。

三维重建是通过计算机来建立的三维立体模型，其应用范围较广，分别在军事、影视娱乐、虚拟现实医疗等行业具有重大的应用价值，例如在军事行业里，三维重建可通过现实战场提供的相应信息，进行现实战场虚拟，构建机器人虚拟作战，来获得一场战争结果的预测；在影视游戏娱乐行业中，三维重建技术是大型科幻片、游戏虚拟场景构建的重要技术手段；在医学领域中，三维重建技术可根据医学相关的影像图片，对病变的器官进行三维立体重构，实现病情的虚拟可视化，从而提高了对病人病情的诊断正确率以及为后续的手术计划提供信息。三维重建技术依赖于数字图像处理技术，研究采用三维重建的设备是深度相机，其主要原理是根据RGB图像与深度图像之间的像素点关系，采用三角相关定理，便能够计算得到三维空间的点云数据，从而去构建物体的立体模型。

本研究的主要工作是对矿斗里面的矿石进行三维重建[4]，目的是根据三维重建出来的矿石立体模型，来计算整个矿斗里矿石的体积，再根据粒径-密度匹配法[5]得到整个矿斗里矿石的平均密度，通过密度乘上体积的方式，从而计算出整个矿斗里矿石的重量，其中三维重建是最重要也是最困难的一环，重量计算是否准确，从很大程度取决于三维建模是否精准。

相对于人工计量，研发的矿石物料称重系统具有以下优点：

（1）该矿石物料称重系统可代替人工，减少计量工人，减少矿山企业的生产成本。

（2）该矿石物料称重系统对矿石称重计算的准确率相对人工更高。

（3）矿井下环境恶劣，减少计量员工，可加强矿山企业生产的安全性。

1 矿石立体模型三维重建总体流程

矿石立体模型三维重建总流程如图1所示，具体流程如下。

图1 三维重建流程Fig.1 Flow chart of 3D reconstruction

（1）相机标定是需要通过一些手段来获取其内外参数以及畸变参数，将世界坐标系和相机坐标系进行互相转换，通常摄像头都存在一定程度的畸变，相机标定就是为了消除畸变，方便后续的图像处理。

（2）相机矫正是在相机标定之后，对存在的摄像头畸变进行镜头矫正，主要用一些几何变换的方法来进行矫正。

（3）对摄像头矫正后输出的图像进行信息匹配，可以设定RGB图为参考图像，深度图像为待匹配图像，对待匹配图进行搜索，寻找参考图像上与之匹配的兴趣点，直到参考图像上的所有兴趣点匹配完毕。这一过程将输出视差图。

（4）最后利用两幅图之间存在着像素点的对应关系输出的视差图，采用三角相关定理，便能够计算得到三维空间的点云数据，从而通过点云数据便可构建矿石的立体模型。

2 矿石图像数据处理

2.1 矿石图像采集

将采集到的矿石图像数据上传到ContextCapure软件平台进行处理分析，在采集的图像中需要有一定的重叠度，这样生成的点云效果较好，对原物体具有较高的还原度。因此，采集图像的过程中尽量选择正确的采集方式，使得图像的质量能够有保障（图2）。

图2 现场采集原始矿石图像Fig.2 Original ore images were collected on site

图像采集时应该从不同的角度进行拍摄载满矿石的矿车尽量使得相邻的两张图片之间的重合区域超过一半，可采取水平拍摄、仰角拍摄和俯角拍摄等3种不同的拍摄方式。本研究共采集了285张矿场现场运输过程载满矿石的矿车图像。

2.2 矿石图像预处理

为了提高矿石图像的质量，需要对采集到的矿石图像先通过直方图均衡化方法增强图像再进行滤波处理，去除图像中的噪声并且保留其细节特征，滤波操作在预处理过程中十分重要，可以直接影响到后续图像分割的效果。

2.2.1 矿石图像滤波

图像处理中一般有模板的滤波器是先将其滤波模板与图像矩阵进行卷积操作，再输出每个像素点与模板各个点的灰度值加权和，最后进行加权平均，这样使得输出的结果信噪比得到增强，但是图像的边界会产生模糊。因此为了解决边界模糊这个问题，在此基础上进行改进滤波方法。双边滤波的出现恰好解决了这个问题。

双边滤波[6]是一种结合空间信息和幅值信息的非线性滤波方法，在去除噪声的同时能够有效保留边缘信息。其计算方法是基于加权平均的方法，将周围像素的亮度值进行加权平均表示某个像素的强度，这点和中值滤波、均值滤波尤其高斯滤波等方法一样，但是与其他滤波方法不一样是其不仅考虑到了空间距离而且还考虑到了像素间的相似度，因此可以达到保边去噪的效果。双边滤波方法里的两个权重域的概念：空间域S（spatial domain）和像素范围域R（range domain），这个是其跟高斯滤波等方法的最大不同点。

2.2.2 矿石图像分割

矿石图像分割最主要的目的就是找到图像中目标的边界信息。二值分割方法是将灰度图变成黑白图，主要过程是将灰度图上每个像素点的灰度值设置为0或者255，这样图像中的数据量就少了很多，更方便各种计算，进而可以轻松获得目标区域的一些特征，例如：找到图像中各个目标的边缘、描述图像中目标的位置和尺寸。

本研究采用张国英等人[7-9]提出用双窗Otsu阈值分割法来分割矿石图像。经试验表明，双窗Otsu算法相比Otsu阈值分割法更具有优越性。矿石图像经常出现矿石黏结、重叠、灰度值区分不明显的特征，由于Otsu阈值分割法对噪声较为敏感，且对灰度差异不太明显以及灰度值有重叠分割效果不佳。双窗Otsu阈值分割法结合了Otsu的基于最大类间方差的最优阈值与Simphiwe[10]提出的双窗自适应阈值法，这样结合分割矿石图像的效果更为明显，且不会出现大矿石内部噪声等问题[11]，是一种非常优越的矿石图像分割算法。

3 矿石三维模型重构

3.1 系统布置图

研究基于摄影技术的称重装置由4大模块组成：相机集成外壳、深度相机、网线、电脑。

由于矿山井下常年潮湿，不仅会损害相机，还会在相机镜面形成一层水雾，影响拍摄的图片质量，因此需要设置一个相机集成外壳对相机进行防潮。而深度相机为拍摄图片的主要工具，安装至矿车的正上方，拍摄后将通过网线把数据传输至矿井上电脑端，电脑端进行算法处理后形成矿石重量信息，最后将矿石重量信息传输至上位机，图3为系统布置图。

图3 系统布置图Fig.3 System layout drawing

3.2 矿石图像特征点提取与匹配

一般采集图像数据之后，图像数据会有一部分无法利用的图像数据，可通过提取特征点的方式剔除不需要的数据。

特征点提取是一种图像处理很常见的特征提取方式，广泛运用在图像处理、目标检测、轨道运动等领域。在计算机视觉领域中，1988年发布的HARRIS相关的特征检测器为之后的研究者做出了巨大贡献。在之后几十年的研究中，各式各样的特征检测算法如雨后春笋般出现，其在精度与速度方面都有着显著提高[12]。特征点是与解决某种应用程序相关的计算任务关联的一条信息，其可能是图像中的特定结构，例如点、边缘或对象；亦或是图像中特定位置作为特征点，如山峰、建筑角落、门口或趣形状的石块，这种局部化的特征通常被称为关键点特征。为了有效地特征匹配，通常需要把适应能力强的特征点提取出来。

特征点匹配是在两幅影像中尽可能多地寻找出相似的特征点或者灰度值来建立相应的匹配点对。通过特征点来匹配图像的方法具有明显的优势，由于从图像中提取了特征，使得整个处理的图像数据量大大减少，计算机的运算量也会跟随减少，从而提高了计算机处理图像的速度，能够利用图像之间的结构、约束关系，在图像出现一些阴影以及相互遮挡的情况下适用性更强。但提取特征点的方式不适用于存在大量信息的图像中，因为提取特征点的同时也会丢失一部分图像的信息，或者将图像中一些不需要的噪声提取出来。但本研究处理的对象是带有矿斗的矿石堆图像，图像中的信息相对较少，比较适合采用提取特征点的方式来对RGD图和深度图像进行匹配。

3.3 矿石三维点云数据生成

矿石三维点云数据需要将图像中的矿石像素点坐标转换为三维世界坐标系，其原理是空间三角测量原理[13-14]，空间三角测量的是依据相机拍摄的RGB图上的像素点坐标为参考坐标系，再通过数学模型进行坐标转换成世界坐标系，需要选取地面相关控制点来求解世界坐标系（计算体积），以此来获取矿石的三维点云数据，点云数据包括高度数据以及平行于地面的平面数据[15]。

由于深度相机可拍摄具有RGB像素信息以及深度信息（相机测量得到）的深度图片，可根据相机RGB像素信息、深度信息、相机物理参数反推出空间三角测量的相关计算参数，再依据获取需要的空间三角测量相关计算参数去生成矿石三维点云数据，获得参数后可通过软件进行三维点云数据生成。本研究采用ContextCapture软件作为空间三角测量计算的工具，首先需要在ContextCapture软件中导入相机拍摄矿石图像，选择的拍摄方式为环绕对象物体进行360°的拍摄方法，并且相邻的照片需要有一定的重叠部分，然后再使用空间三角测量的方式进行计算，图4为空间三角测量计算结果。

图4 空间三角测量计算结果Fig.4 Calculation results of spatial triangulation

3.4 矿石三维点云曲面重构

三维点云技术是一种立体重构技术[16]，其依赖于RGB图像以及激光雷达生成的深度图像。本研究采用的深度相机正是融合了两种技术，分别生成了RGB图像和深度图像，其主要目的是为了实现物体的表面三维重构。前面已描述将RGB图以及深度图进行特征点匹配得到相应的视差图，再将相机进行标定，运用空间三角原理计算可得到三维点云数据，三维点云数据实际上就是将三维曲面模型离散化得到离散点，还不能够用于直接描述三维立体模型，需要将离散点（点云数据）进行点云对齐和拼接后再进行连续化重构（云贴片），才能得到矿石的立体表面。生成的纹理云贴图见图5。

图5 纹理点云贴图Fig.5 Texture point cloud mapping

3.5 矿石图像三维重建结果展示

进行纹理点云贴片处理后，基本上可以看到矿石以及矿斗的立体轮廓，为了能够更加直观立体地看到模型，进一步将其可视化得到图6。

图6 矿石三维模型重构图Fig.6 Reconstruction of three-dimensional ore model

3.6 矿石体积计算

上述三维建模可得到场景中点的三维坐标信息，由于矿石表面形状都是不规则的，可采用黎曼积分计算带矿斗的矿石体积。其原理为，假设第i的图片中截面积为si，其在坐标轴XOY中的函数表达式为f（x），由于si为不规则面，所以f（x）的表达式无法确定，f（x）在x轴上的区间为[a，b]，将a、b进行m等分。

矿石横截面面积的计算如图7所示，每个小区间的长度为l，计算公式如式（1）所示。

图7 矿石横截面面积计算Fig.7 The calculation of ore cross section area

把si划分成了m个小矩形的面积和，小矩形的面积gj可以用底边长h和高f（xj）来表达，计算公式如式（2）所示。

第i张图片的截面积si计算公式如式（3）所示。

在上述的计算中，划分的小区间越多，最终所求出来的面积越接近si的真实面积。

由于矿斗都是标准化的，其体积是一个固定值，可通过原厂商得到，计算带矿斗矿石的整个体积减去标准矿斗体积即为内部矿石体积。

3.7 试验与数据分析

为了验证矿石三维建模的准确性，本研究直接通过后续的称重数据来验证三维建模是否精准，具体方法是根据粒径-密度匹配法得到整个矿斗里矿石的平均密度，通过密度乘上体积的方式，从而计算出整个矿斗里矿石的重量，本次现场试验验证是由装满矿石的10辆矿斗车一次经过测量系统，矿车行驶的速度为2 m/s，此速度为测量速度，之后经过现场的地磅进行称重，系统将计算出装载量的数值与称重值进行对比。由于矿斗的矿石密度大小不一，所以需要计算矿石的平均密度。采用多次试验估算的矿石平均密度为0.68，此数值作为矿石的平均密度值。表1为矿车装载量测量值与地磅称重的真实数据对比。

表1 测量数据与真实数据对照Tab.1 The comparison between measured data and real data

通过多次对比，基于重构三维建模模型的矿石重量测量值与地磅称重后的实际重量值之间存在误差，但整体误差范围在3%～4%之间，符合现场精度误差小于5%的测量设计要求，相比较于计量误差高于10%的人工计量方式（矿山统计得到），说明重构的三维矿石立体模型具有较高的准确率，具备很强的实用性。由于称重整体误差在3%～4%之间，说明该称重计算方法稳定性较好，进一步说明体积计算是稳定的，体积是由三维建模后计算得到，从而也验证了三维建模的计算的稳定性较好。同时，研究采用高性能的计算机，体积、重量的计算时间非常短，相对于两趟矿车的间隔时间，其计算时间可忽略不计。

4 结语

本文主要研究了矿石的三维重建模型的相关技术，目的是为了重建矿石的三维模型来计算矿石的体积最终得到矿石的重量，矿石的三维重建技术具体步骤包括图像采集、特征点匹配、空中三角测量、空间三维坐标转换点云数据等。对矿石进行三维建模后，再通过黎曼积分计算得到矿石体积，再由粒径-密度匹配法得到整个矿斗里矿石的平均密度，通过密度乘上体积的方式，从而计算出整个矿斗里矿石的重量，从试验的数据来看，计算的重量误差在3%～4%之间，效果良好。通过构建矿石三维立体模型，为后续的矿石体积计算以及重量计算奠定了基础，最终成功研发了一套基于摄影测量技术的矿石物料称重系统，但计算的重量仍有较小误差，后续将对计算重量的模型进一步改进。