电磁大数据优化管理与可视化设计

2022-07-25董浩然郑晓诗偏卫东闫翾王永志李志鹏

科学技术创新 2022年23期

董浩然郑晓诗偏卫东闫翾王永志,2＊李志鹏

（1、吉林大学地球探测科学与技术学院，吉林长春 130026 2、吉林大学综合信息矿产预测研究所，吉林长春 130026）

1 概述

地球物理探测是采用专业仪器探测地球内部结构、研究地下构造、监测区域活动的重要手段，基于地下介质磁性差异和电性差异的电磁勘探是当前的主流方法之一[1]。传统方法对电磁大数据进行管理和可视化时，经常出现内存溢出、处理速度慢、更新滞后等问题。如何有效地对获得的数据进行优化管理，将复杂的勘探数据通过可视化技术转为直观的图像，成为领域内一个重要的研究方向[2]。

本文以电磁大数据为研究对象，综合利用索引、数据库、双缓冲、GIS 等技术[3]，探索一套能够快速读取电磁大数据、数据处理与可视化的方法，为地球物理学与地理信息科学的更深层次研究打下基础。

2 技术流程

根据数据噪声特点[4]、数据处理方法[5]设计了一套从数据管理、数据预处理及可视化的层次框架（如图1）。

图1 电磁大数据优化管理与可视化框架

2.1 快速读取：基于顺序索引或GeoHash 算法的经纬度索引，建立索引数据库以便以保证查询和提取速度。

2.2 数据预处理：对原始数据依次进行数据过滤（空间域滤波和零值过滤）和数据抽稀（间隔采样和垂距限值抽稀）过程，采用过滤干扰信号保证质量，通过抽稀在保证反映真实内容的同时减少数据体量。

2.3 数据可视化：采用二维图形控件、GIS 组件等实现大波形动态可视化。

3 实现技术

3.1 索引机制

采用索引技术对大数据进行快速读取，将大文件分割为若干个小文件，为小文件建立索引文件，可解决直接读取大量数据导致内存溢出、提取速度过慢问题。主要采用顺序索引、经纬度索引等方法。

3.1.1 顺序索引

采用顺序索引实现大数据文件的分块存储，即将一定长度数据存为一个小数据文件，建立索引文件记录小数据文件的路径和存储数据位置和数量。提取索引文件提供的起始位置和数量，获取数据所在小数据文件存储位置，从而实现快速访问和提取数据。

3.1.2 经纬度索引

对带有位置信息的数据采用经纬度索引，即通过GeoHash 算法[6]将数据的经纬度转为Base32 编码，将数据归类到对应小区域中。可根据数据特征和用户需求决定Base32 编码的长度。存储小区域中数据的数据文件按照B+树索引机制，以文件路径形式实现。提取数据时提供所需区域西北角经纬度和东南角经纬度，即可获得该区域内所有数据。

3.2 数据过滤

采用零值过滤方法去除信号中幅值过高或过小的信号。基于Weierstrass 定理和一阶线性圆滑法进行空间域滤波，削弱噪声中较大的峰值。如选取零值过滤范围为筛除范围内的数据。

3.3 数据抽稀

基于采样定理[7]，设计了改进的垂距限值法。对过滤后的数据等间隔读数，再选择阈值进行垂距限值抽稀，从而突出异常、减弱毛刺现象[8]。采用此方法对电磁大数据进行抽稀采样，可在保证其仍真实反映原始状态情况下，数据体量极大减少。

3.4 动态成图

为解决全部电磁大数据一次性成图时，读取文件耗时长、内存占用大、速度慢问题，可采用双缓冲机制进行大图形可视化[9]，即先读取一部分数据、显示已读取数据的图形，后台再继续读取、绘制，如此循环，可有效提高一维图形的绘图及显示效果。

3.5 GIS 可视化

电磁数据带有经纬度空间列，为了快速显示二维平面图形效果，可基于C# 的GDI 接口[10]、ArcGIS Engine[11]，采用空间插值方法实现二维地图可视化，可以解决在空间上采样点分布不均匀、局部地区缺乏观测值的问题[12]。

4 实现效果

4.1 电磁数据（1600 万行）数据过滤效果对比

采用10 万行电磁数据作为实验数据（图2（a）），经过空间域滤波后削弱了随机噪声（如图2（b）），由于圆滑因子3 选取相对较小，对随机噪声的过滤效果并不理想。再使用50 万行电磁数据进行实验（图3（a）），采用圆滑因子15 对其进行一阶圆滑，经过空间域滤波之后信号的峰值基本保持不变，幅值相对较小的噪声衰减明显，可见线性圆滑能够较好地减弱随机噪声（如图3（b））。采用局部1000 行原始数据进行放大对比（如图4（a）），在经过空间域滤波和零值过滤之后，波形中的异常噪声明显减小，曲线更加光滑（如图4（b））。