三稀战略调查成果数据库建设与应用
2016-09-10王登红黄文斌李晓妹郑国栋中国地质科学院矿产资源研究所国土资源部成矿作用与资源评价重点实验室北京00037中国地质图书馆北京00083
赵 汀,王登红,黄文斌,李晓妹,郑国栋,孙 艳,于 扬(.中国地质科学院矿产资源研究所,国土资源部成矿作用与资源评价重点实验室,北京 00037;.中国地质图书馆,北京 00083)
三稀战略调查成果数据库建设与应用
赵汀1,王登红1,黄文斌2,李晓妹1,郑国栋1,孙艳1,于扬1
(1.中国地质科学院矿产资源研究所,国土资源部成矿作用与资源评价重点实验室,北京100037;2.中国地质图书馆,北京100083)
随着GIS空间数据库技术的发展,矿床学研究越来越离不开数据库的支持。我国三稀矿床分布广泛,长期以来积累了大量三稀矿产资源地质报告和数据,2012年起在“全国三稀资源战略调查项目”支持下建设了“三稀战略调查成果数据库”,涵盖了34种稀土稀有稀散矿产,集成了三稀战略调查的成果数据资料。本文介绍了构建这个涵盖全球的三稀资源分布、产业、市场、消费、贸易的大型空间数据库的设计思路、技术路线、质量控制、主要成果。三稀战略调查成果数据库迄今为止已经开始在战略性新兴产业矿产地质调查评价项目工作部署、稀土矿遥感动态监测、三稀图集编制等方面发挥了重要作用。
数据库;稀土稀有稀散元素;矿产资源;GIS
0 引言
“三稀”是稀土、稀有和稀散元素的简称,本次研究共涉及34种元素,包括17种稀土元素,铌、钽、锂、铍、锆、铪、锶、铷、铯等9种稀有金属元素以及镓、锗、铟、铊、铼、镉、硒、碲等8种分散元素[1-2],这些元素形成复杂的不同类型的矿物及矿床,三稀矿床是工业、农业、特别是尖端的电子信息等新兴战略产业必不可少的资源,随着近些年高科技新材料的发展,这些三稀元素在高新技术材料领域起着不可替代的重要作用,对于建设这一领域里的数据库已经获得了广泛重视。
我国三稀金属矿分布广泛,全国16个成矿省中均有稀有稀土金属矿产资源的分布,在覆盖全国陆地面积的90个Ⅲ级成矿区带中有5个以稀土为主要矿种之一,有15个以稀有金属为主要矿种之一。虽然我国对15个重点成矿区带 (新疆阿尔泰-青河锂、铍、铌钽矿带,新疆塔里木西北缘铌钽、稀土矿带,新疆西准雪米斯坦山铍矿带,南岭成矿带,大兴安岭成矿带等)进行了比较深入而全面的研究[3],但是研究程度高体现在个体,缺少系统化整合这些包括境内外的稀有稀散稀土资料的工具。
由于欧美国家对地质科学信息化有较早、较高的认识,在欧美国家,大多数建有成熟的矿床数据库系统,如美国USGS的全球矿产资源数据库,覆盖绝大多数大宗矿产,但存在稀有稀散稀土储量开发利用数据缺乏、储量数据不实等问题。国内地调局系统在地学信息化建设工作中已取得了长足的进步,建立了矿产地数据库、工作程度数据库等一系列数据库,但在三稀矿床领域,这些小矿种由于多为伴生矿产,经济价值不明显,侧重于这些矿种的基础信息化建设还需要加强。由此可以看出,在稀土稀有稀散矿床的系统研究、资源开发利用、资源信息整合、调查研究、科学评价等方方面面都对地质信息服务提出了广泛需求。
2012年起在“全国三稀资源战略调查项目”支持下建设了“三稀战略调查成果数据库”,涵盖了34种稀土稀有稀散元素,全球三稀主要国家长时间周期的储产销贸数据,集成了三稀战略调查的成果数据资料,向开展稀有稀散稀土矿床科学研究的地质学家、国家矿产资源管理部门以及国内外开展三稀找矿勘察投资企业提供高效、便捷、有效、智能的服务[4]。
1 数据库设计
1.1总体设计思路
三稀战略调查成果数据库基于我国三稀战略调查项目成果,同时也集成三稀矿产地质勘查、科研多年的积累,数据信息来源于各种地质调查成果数据库、商业数据库、权威公开数据库、地质报告以及公开发表的论文及著作,数据都需要加以甄别梳理,以确保本数据产品的可靠性和科学意义。
明确数据库面向用户群体就是科研工作者和国土资源管理者,基于一切在服务用户的宗旨下选择了用户最熟悉的“三图一库”的数据服务形式,由于需要省级研究人员参与,所以专门制定了省级数据库建设技术要求,供数据模型建库人员遵循(图1)。
1.2库内容和结构设计
数据库架构设计从内容上分为两大部分 (图2):一是全球三稀资源分布,其中包括国内三稀资源库和国外三稀矿床库,入库了国内矿床的成矿区带、矿种、规模、矿床地质基本特征等信息,国外矿床的基本信息、矿床类型、主要矿种等信息;二是三稀矿床相关文献,包括国内外三稀矿床地质报告、国外三稀文献数据库、矿产品价格、贸易等资源经济数据、相关法律政策等。第一大类是传统的数据库范畴,有规范的数据库结构定义和完整性约束;而第二大类是非传统的数据库模式,格式五花八门,没有统一的结构约束,本数据库中通过内容标注实现检索和查询功能。
将数据类型分为空间数据和属性数据两大类,采用硬件成本较低的基于ACCESS和MapGIS的物理平台,依靠大数据量的应用测试,循序渐进增加专题内容,逐步完善数据库结构设计。
1.3空间数据库设计
空间数据是基于MapGIS数据格式,分为省级和全国级两大层级。省级三稀汇总空间数据库主要内容简单的说就是“三图一库”,即三大类省级GIS专题图件:全省三稀资源分布图,全省三稀资源成矿远景区划图,全省三稀资源勘查工作部署图;ACCESS库:全省三稀调查成果ACCESS属性数据库。
全国三稀汇总空间库也是三图一库的模式,即:全国单矿种三稀资源分布图,全国三稀资源成矿远景区划图,全国三稀资源勘查工作部署图;ACCESS库:全国三稀调查成果ACCESS属性数据库。
图1 空间数据库建设路线Fig.1 Outline of spatial database construction
图2 三稀战略调查数据库空间数据与属性数据内容Fig.2 Content of spatial data and attribute data of‘three rare minerals resources strategic survey results database’
1.4属性数据库设计
从各省和资料馆收集上来的数据,格式是不统一的、有噪声的初级数据,不能简单地对这些数据进行录入入库,必须对其进行整理,查错纠错,汇总。在此基础上分析确定三稀战略调查成果数据库应包含的信息,初步拟定数据库包括39张数据表,包括稀有稀散矿区地质特征表、矿山资源经济特征表、探矿权特征表、矿体指标表、矿山三率指标表、地质资料表等 (图3)。
图3 属性数据库表设计Fig.3 Attribute database design
本数据产品将以数据库的形式存储归纳整理的科学数据信息,具体研究内容初步设计应主要包括以下方面:
①矿种:本次建库工作涉及的稀有稀散稀土矿床包括锂、铌钽矿、铌矿、钽矿、铷、铯、铍、锆、锶、17种稀土元素,以及镓、锗、铟、铊、铼、镉、硒、碲等8种分散元素矿床。
②矿床基本信息:包括矿床名称、产地、矿种、矿床类型、大地构造位置、控矿地质因素、控矿构造、围岩蚀变等与成矿有关的基本矿床地质信息(图4)。
③矿产资源经济信息:主要包括矿床的储量参数、矿床规模、开采程度、交通条件等信息。
④资源储量特征信息:包括矿体名称、几何形态、矿种名称、品质、资源储量等信息。
⑤矿山地质资料目录:对列入数据库的各种数据信息的出处要加以描述和储存,以备用户查找原始资料之需。这些信息包括资料原始编号、作者、资料名称、编制单位、编制时间等。
⑥成矿区带代码库:代码库是数据库建设中数据标准化的关键代码,成矿区带属性标明了本数据库成矿区带名称和代码,引用了全国矿产资源潜力评价数据模型所用的成矿区带代码[5]。
⑦矿床类型代码库:本数据库成矿区带名称和代码引用了全国矿产资源潜力评价数据模型所用的成矿区带代码。
⑧矿产名称代码库:矿产名称是资源储量统计的关键,矿产名称代码引用了矿产资源储量数据库规范代码库。
图4 属性数据库界面Fig.4 Attribute database interface
⑨其他相关代码库……
1.5逻辑错误控制设计
属性数据库还完善了错误控制,设置了完整性校验,保障数据库中数据在逻辑上的一致性、正确性、有效性和相容性。数据库完整性由各种各样的完整性约束来保证,因此可以说数据库完整性设计就是数据库完整性约束的设计。
2 建库技术路线
三稀数据库建库分成三大步骤(图5):第一,多源数据收集;第二,数据处理、查错与汇总;第三,按数据库设计要求开发集成大数据运行平台。
2.1采取多源多渠道矩阵式收集资料
(1)理清了国内外三稀矿产地的分布,各矿种的品质信息的查询,汇总最新的稀土、稀散、稀有矿产地空间分布和保有资源规模、品质等。
(2)以三稀各省项目组调查成果为信息源,汇总各工作项目提交的成果数据,包括报告、图件等,按照三稀数据库建设要求按省级→全国级两级数据规范化装入数据库系统 (图6)。
(3)以国际权威机构官方网站为信息源,Metal bulletin为数据源,建立全球三稀主要资源国家长时间周期的储产销贸数据,进行包括矿产品国际市场价格、海关进出口信息等重点定向情报跟踪,及相关资料的检索和搜集。
(4)以地质资料馆国内外地学文献数据库以及馆藏文献为信息源,涵盖书籍、期刊等主要文献形式,通过中国地质图书馆馆内渠道,进行相关文献资料的检索和搜集。
(5)以国内外三稀金属专题会议或有关会议论文专辑、著作、研究报告等为信息源,密切关注并积极参与,尽可能第一时间获得第一手会议情报与成果资料。
(6)利用遥感多时相、响应快速的特点,对国内外重点热点的勘查开发矿山进行现状跟踪调查评价,收集遥感影像数据并入库。
2.2对收集的数据进行整理、查错、纠错、汇总
图5 三稀调查成果数据库建设技术路线Fig.5 Outline of three rare minerals resources strategic survey results database
图6 多源数据抽取、转换、加载技术路线(以资源储量为例)Fig.6 Outline of extract,transform and loading processes(a case of minerals resources reserves)
收集的资料有各种不同的来源,涵盖全球基础地质、三稀矿山、矿床、矿业经济等有关的数据,包括异构数据库、论文、书籍、网站 、结构化和非结构化文档等,各来源数据大体上都是不完整的、有噪声的、不一致的多结构数据,不能简单地对这些数据进行录入,必须对其进行预处理,查错纠错,分析汇总,在此基础上分析确定它们是否是三稀数据库应包含的数据。然后将这些数据人工进行整理,分门别类地保存在对应的Shapefile、MapGIS、Excel等格式的文件内,作为入库的原始数据。在数据收集登记以及之后人工整理的过程不可避免会出现错误,不能满足入库条件,而且空间数据可以是 Excel格式的数据,也可以是Shapefile或是其他格式的非固定结构化的数据,甚至是描述性的数据,所以ETL过程是非常必要的 (图6)。对于收集的Excel、Word等格式的属性数据,此过程要进行数据格式判断、数据有效性判断;对每一个值均要进行判断,如年份必须为有效的整数,其他数据有的为字符串、有的为数值,而数值则必须是有效的。收集的数据来源的多样性决定了数据质量参差不齐,故对各种格式的无效数据进行过滤、替换则成为至关重要的一环。空间数据的ETL过程更为复杂棘手,必须采用计算机进行有效性判别,同时还要人为进行各种空间参数、空间要素的正确性判断等,以及属性值与属性进行关联的正确性等。对原始数据进行筛选提取后,再使用程序将其转换成与目标数据库中相近的数据格式/类型,然后进行判断。通过判断后,系统才能够将这些数据保存到对应的数据库中。
2.3按数据库设计要求开发集成大数据运行服务平台
数据库首先是要服务于用户,面向用户需求,集成涵盖多个专业领域的三稀大数据平台,并开发数据库管理系统,设计友好的用户界面,采用空间数据库与属性数据关联的所见即所得的查询方式。
大数据平台是基于GIS技术的空间数据管理平台,开发语言为C#,代码示例如下:
public static Pnt_Info WTConfig(short sType)
{
Pnt_Info pntInf=new Pnt_Info();
switch(sType)
{
case 0://矿产地[颜色、高度、宽度、笔宽、子图号、图层]
string[]t_KCD=System.Configuration.ConfigurationManager.AppSettings["WTKCD"].Split(',');
if(t_KCD.Length!=5)
{
t_KCD=new string[]{"1","0.00005","0.00005","0","7","21"};
}
pntInf.iclr=Convert.ToInt32(t_KCD[0]);
pntInf.type=Enum_Pnt_Type.gisPNT_SUB;
pntInf.layer=Convert.ToInt16(t_KCD[5]);
pntInf.ovprnt=0;
pntInf.sub.angle=0.0;
pntInf.sub.height=Convert.ToDouble(t_KCD[1]);
pntInf.sub.width=Convert.ToDouble(t_KCD[2]);
pntInf.sub.penw=Convert.ToDouble(t_KCD[3]);
pntInf.sub.subno=Convert.ToInt32(t_KCD[4]);
break;
case 1://矿产点[颜色、高度、宽度、笔宽、子图号、图层]
string[]t_KC=System.Configuration.ConfigurationManager.AppSettings["WTKC"].Split(',');
if(t_KC.Length!=5)
{
t_KC=new string[]{"1","0.00005","0.00005","0","7","22"};
}
pntInf.iclr=Convert.ToInt32(t_KC[0]);
pntInf.type=Enum_Pnt_Type.gisPNT_SUB;
pntInf.layer=Convert.ToInt16(t_KC[5]);
pntInf.ovprnt=0;
pntInf.sub.angle=0.0;
pntInf.sub.height=Convert.ToDouble(t_KC[1]);
pntInf.sub.width=Convert.ToDouble(t_KC[2]);
pntInf.sub.penw=Convert.ToDouble(t_KC[3]);
pntInf.sub.subno=Convert.ToInt32(t_KC[4]);
break;
case 2://矿区编号[颜色、高度、宽度、汉字字体、排列方式、汉字字形、横向间隔、图层]
string[]t_KQBH=System.Configuration.Configuration-Manager.AppSettings["WTKQBH"].Split(',');
pntInf.iclr=Convert.ToInt32(t_KQBH[0]);
pntInf.type=Enum_Pnt_Type.gisPNT_NOTE;
pntInf.layer=Convert.ToInt16(t_KQBH[7]);
pntInf.ovprnt=0;
pntInf.ch.angle=0.0;
pntInf.ch.chnt=Convert.ToInt16(t_KQBH[3]);
pntInf.ch.hvpl=Convert.ToInt16(t_KQBH[4]);
pntInf.ch.ifnt=1;
pntInf.ch.ifnx=Convert.ToInt16(t_KQBH[5]);
pntInf.ch.space=Convert.ToDouble(t_KQBH[6]);
pntInf.ch.height=Convert.ToDouble(t_KQBH[1]);
pntInf.ch.width=Convert.ToDouble(t_KQBH[2]);
break;
}
return pntInf;
}
}
3 主要成果应用
三稀成果数据库在建设过程中就逐渐开始服务各级用户,迄今为止已经开始在三稀矿产资源调查评价项目部署、稀土矿遥感动态监测、三稀图集编制等工作中发挥了重要作用。
赣南地区稀土开采具有小矿多、民采多、环境破坏严重等特点,由于分布多在丘陵地带,植被覆盖率较高,这样为矿山开采动态监测增加了难度,而遥感有数据更新快、获取方便的有利条件,由于技术的发展和适宜的重访周期,能够在各种情况下实现对同一地点地表信息的周期性观测,为矿产开发管理提供动态监测服务。
利用三稀矿产战略调查成果数据库中的空间数据库的多重数据叠加综合分析功能 (图7),在数据库中选择矿权矢量数据与多时相遥感栅格影像数据叠加分析,在赣南重点研究区进行矿产资源开发遥感动态执法调查,证实运用遥感技术对矿产资源违法开采信息进行监测有直观、快速取证、定量分析的优点,为在更大范围内推行遥感调查奠定理论和实践基础。
4 结束语
“三稀战略调查成果数据库”具有较强的专业性,便于广大地质专业人员研究使用已有的科学数据成果,提高综合对比研究水平,推动三稀矿床地质研究工作。该数据库的成功建设为我国三稀金属矿产资源安全政策制定与动态监管提供数据信息平台。本数据库建设工作得到了地调局资源评价部、各省三稀项目参加科研人员,及全国项目组王瑞江、李建康研究员等的大力支持,特致谢意!
图7 数据库中集成矿权矢量数据与遥感栅格影像数据用于动态监测越界开采Fig.7 Database integrated mining right vector data and raster image data for remote sensing dynamic monitoring of cross-border exploitation
[1]王登红,王瑞江,李建康,等.中国三稀矿产资源战略调查研究进展综述[J].中国地质,2013,40(2):361-370.
[2]王登红,赵芝,于扬,等.离子吸附型稀土资源研究进展、存在问题及今后研究方向[J].岩矿测试,2013,32(5):796-802.
[3]袁忠信,李建康,王登红,等.中国稀土矿床成矿规律[M].北京:地质出版社,2012.
[4]李德仁,程涛.从GIS数据库中发现知识[J].测绘学报,1995,24(1):37-44.
[5]左群超,杨东来,赵汀,等.矿产预测研究数据模型[M].北京:地质出版社,2011.
[6]赵汀,王登红,王瑞江,等.克里格法在离子吸附型稀土矿勘查储量估算中的应用 [J].岩矿测试,2014,33 (1):126-132.
Construction and application of rare earth,rare metal and rare-scattered elements mineral resources database
ZHAO Ting1,WANG Deng-hong1,HUANG Wen-bin2,LI Xiao-mei1,ZHENG Guo-dong1,SUN Yan1,YU yang1
(1.MLR Key Laboratory of Metallogeny and Mineral Assessment,Institute of Mineral Resources,Chinese Academy of Geological Sciences,Beijing 100037,China;2.National Geological Library of China,Beijing 100083,China)
With the development of GIS spatial database technology,more and more mineral deposit research need the support of GIS database.‘Three rare’is referred to the rare earth,rare metal and rare-scattered element mineral resources widely distributed in China.There is a long history of three rare mineral deposits study accumulated a lot of valuable geological data.In 2011 the‘national three rare minerals resources strategy survey project’supports the construction of a‘three rare minerals resources strategic survey results database’.The database covers more than 34 kinds of rare earth,rare scattered elements.It has the world's store and trade data of three rare in the main market.This article describes the design idea to build this global coverage of the three rare resource distribution,industry,market,consumption,quality control and trade,large-scale spatial database technology route.The three rare strategic survey database so far plays an important role in the evaluation of CGS geological survey project,rare-earth ore remote sensing monitoring and three rare minerals resources mapping.
database;rare earth,rare metal and rare-scattered elements;mineral resources;GIS
P628.4;P618.7
A
1674-9057(2016)01-0036-06
10.3969/j.issn.1674-9057.2016.01.006
2015-06-08
中国地质大调查项目 (1212011220807;12120113079500)
赵汀 (1975—),博士,副研究员,研究方向:矿产资源与经济,1971076064@qq.com。
引文格式:赵汀,王登红,黄文斌,等.三稀战略调查成果数据库建设与应用[J].桂林理工大学学报,2016,36(1):36 -41.