APP下载

人工智能在测绘管线数据处理与误差分析中的应用探索

2025-02-21薛宇

信息系统工程 2025年1期
关键词:误差分析数据处理人工智能

摘要:在城市现代化建设进程中,地下管线分布与应用较为复杂,传统测绘数据处理与误差分析方式难以应对繁杂数据量及高精度要求。随着人工智能兴起,其数据挖掘、智能识别等能力为测绘管线领域精准作业、高效管理提供了全新技术路径与发展契机。深入探索人工智能在测绘管线数据处理与误差分析中的应用,为提升测绘管线数据处理效率与精度提供了理论与实践参考。

关键词:人工智能;测绘管线;数据处理;误差分析

一、前言

在城市化进程不断加快的背景下,地下管线网络变得越来越复杂,测绘管线数据规模和复杂性也在成倍地增加。面对大量、多源异构测绘数据,传统数据处理和误差分析方法逐渐表现出局限性。人工智能技术以其较强的研究、分析和决策能力给测绘管线数据处理和误差分析等工作带来新机遇和新突破,可望有效解决目前所面临的难题,提升测绘工作质量和效率。

二、人工智能在测绘管线数据处理与误差分析中的应用价值

人工智能应用于测绘管线数据处理和误差分析,其应用价值无法估量。在数据处理中,人工智能可以对大量测绘管线数据进行有效处理。传统数据处理方式通常会消耗大量人力及时间,深度学习卷积神经网络等人工智能算法能够快速提取管线测绘图像数据并加以分析,自动识别各种管线结构及其附属设施,大大提高数据处理速度。同时人工智能可以融合多源异构数据,实现不同传感器、不同测量时期以及不同形式数据的统一加工,使得数据更规范、更有秩序,提高其可用性和兼容性[1]。

在误差分析领域中,人工智能的价值也是十分引人注目的。该技术能够准确地鉴别误差的根源,无论是由于测量设备自身的系统误差,还是由于外部环境因素,如地形变化、电磁干扰等导致的随机误差,人工智能模型均可以通过海量数据的研究与分析进行精确判断。以支持向量机模型为例,该模型能够根据数据分布特点对误差数据进行分类并识别误差类型。

同时,人工智能还能进一步对误差进行修正,利用神经网络构建误差修正模型,依据历史误差数据与真实值的关系学习修正规律,从而有效地修正新增误差数据,显著提高测绘管线数据准确性与可靠性,并为城市地下管线规划、施工、养护等工作提供扎实数据基础,确保相关项目的顺利实施和安全运营,促进测绘行业向着智能化和精准化的方向持续发展和进步。

三、人工智能测绘管线数据处理的方法

(一)数据清洗和整合

测绘管线数据处理过程中数据清洗和整合是一个极其关键的开始,而人工智能技术的运用则给它带来了有效性和准确性。传统数据清洗方式多是依靠人工逐个筛选数据,并根据有限经验、规则进行异常值判断,该方式对于大规模测绘管线数据处理显得捉襟见肘。以某测绘项目为例,该测绘项目涉及城市供水、排水、燃气等各类管线,数据量可以达到上亿数据点,传统的人工清洗工作可能耗时几个月,精度很难得到保障[2]。在人工智能领域,像K-Means聚类算法这样的聚类分析方法,能够根据相似度特点将数据分类为多个不同的集群。以管线坐标数据为例,通过设定合适的聚类数量(按管线种类估算量等),算法将具有相似坐标范围的管线数据聚在一起。在具体的操作过程中,对于一个由5种主要管线类型组成,总共拥有3亿个坐标数据点的数据集,K-Means算法有能力在几小时之内完成初步的聚类工作,能够迅速地识别出那些明显偏离聚类中心的数据点,这些数据点可能是由于测量误差或数据输入错误导致的异常数据,异常数据的识别准确率可以达到96%以上。

在数据整合方面,由于测绘管线数据来源广泛,包括不同的测量仪器(GPS接收机、全站仪等)、不同的数据格式(CAD格式、GIS格式等)以及不同的坐标系(大地坐标系、地方独立坐标系等),传统整合过程复杂且易错。人工智能采用神经网络技术,构造智能数据整合模型。例如,在对不同坐标系下管线数据的处理中,神经网络就通过对不同坐标系间转换关系的学习来构建自动化坐标转换模型。在一个涉及将多个地方坐标系下的管线数据整合到大地坐标系的项目中,经过对10万条样本数据的训练,该模型能够将不同坐标系下的管线数据准确转换并整合,经过整合,数据的坐标误差平均值被限制在0.1米之内,极大增强了数据的一致性和实用性。

(二)特征提取和选择

在测绘管线数据处理过程中,特征的提取和选择起到了核心作用,表现直接决定了后续数据分析和应用的精确度和效率,人工智能在此领域展现了独到的技术优越性[3]。传统特征提取往往是建立在人为建立的数学模型或者简单统计方法上,对复杂测绘管线数据很难完全挖掘出其内在特征。以管线点云数据特征提取为例,传统方法或许仅能提取点坐标、距离等基本几何特征,但很难捕获深层次拓扑结构与语义特征。在深度学习领域,卷积神经网络(CNN)技术为特征抽取提供了一种高效的解决策略。以一个包含1000万个点的三维管线点云数据为例,CNN模型通过多层卷积层和池化层的组合,能够自动学习管线的复杂几何特征,如管线的弯曲程度、管径变化、连接方式等。在对不同类型管线(金属管、塑料管等)的分类任务中,使用CNN提取特征后的分类准确率相比传统方法提高了35%左右,达到了92%以上的准确率。

就特征选择而言,方差阈值法和卡方检验这类常规特征选择方法对于处理高维和相关性复杂的测绘管线数据有一定局限性。而以人工智能为基础的随机森林算法,在特征选择方面具有优异的性能。例如,在一个包含50个特征(其中包括管线的物理属性、地理环境属性)的测绘管线数据集上,随机森林算法通过评估每个特征在构建决策树过程中的重要性得分,筛选出最重要的10至15个特征。在进行管线老化程度的评估任务时,采用随机森林选择特征构建的模型,其评估误差比使用全部特征构建的模型降低了大约20%,在降低数据处理计算量与时间成本的前提下,有效地增强了模型泛化能力与预测精度(见表1)。

四、人工智能在测绘管线数据误差分析中的应用

(一)根据机器学习对误差数据进行筛选

在对测绘管线数据进行误差分析时,以机器学习为基础对其进行甄别是至关重要的首要环节。传统数据筛选方法通常依靠人为设置的固定阈值或者简单统计规则来进行筛选,该方法很难处理复杂多样的测绘数据环境和多样化误差来源。机器学习算法,如支持向量机(SVM)和决策树算法,可以通过学习大量的已知样本数据,自动构建数据特征与误差之间的复杂关系模型[4]。

以某大型测绘项目为例,该项目涉及各种地形及管线材质,采集自不同测量仪器、不同测量时段的管线测绘资料,数据量达上百万个数据点。首先,将其中一部分数据经过精确验证。例如,将通过高精度实地测量进行复查的数据作为训练集,这些数据包含了已知的误差数据和正常数据,并标记出误差类型和程度。利用SVM算法对训练集进行学习,SVM算法通过寻找一个最优的超平面将不同类别的数据(误差数据与正常数据)分开,在此过程中要综合考虑管线坐标值、测量时间间隔和周围地理环境特征等多维因素。训练好的SVM模型在用于对整个数据集进行筛选时对可能存在的错误数据进行精确辨识。在实际测试中,与传统基于阈值的筛选方法相比,SVM算法对于小误差(如果坐标的偏移范围是0.1至0.5米)的检出率提高了约30%,达到了85%以上的检出准确率,对于大误差(坐标偏差大于0.5米)的检出准确率更是高达98%以上(见表2)。同时,决策树算法又因其具有可解释性,能直观显示数据特征和误差判断的逻辑关系,如能明显显示管线测量点处于山区和测量时间为下午时,某一类误差发生的可能性较大,有利于进一步对其成因及规律进行深入分析,并为之后的误差修正与防范提供了强有力的依据。

(二)神经网络的助力误差种类区分

神经网络对于区分测绘管线数据的错误种类有着突出的表现。传统误差类型区分方法多依赖于人工经验及简单统计分析,对复杂测绘管线数据误差分类通常不精确、不全面。神经网络,特别是深度神经网络,有能力通过构建复杂的多层结构来模仿人类大脑的学习过程,进而能够对误差数据进行深度特征的提取和分类判断[5]。

以一个包含多种管线系统(供水、排水、燃气等)的城市测绘管线数据为例,数据集中存在系统误差(测量仪器校准偏差等)、随机误差(环境干扰引起测量波动等)以及粗大误差(人为操作失误导致数据错误等)多种类型的误差,数据总量约为千万级别。构建一个多层感知机(MLP)神经网络模型,该模型的输入层涵盖了管线测量数据的多个特性,包括测量值、测量时间和测量地点坐标等,中间隐藏层通过设置不同数量的神经元(如50至200个)来学习数据的抽象特征,输出层则对应不同的误差类型[6]。

在MLP神经网络的训练阶段,使用了大量标注误差类型的样本数据进行训练,并通过反向传播算法持续调整神经网络的权重和阈值,目的是最大限度地减少预测误差。在经历了数十万轮的训练和迭代之后,该神经网络在测试数据集上能够实现90%以上的误差类型识别准确率[7]。

(三)深度学习带动误差模型的建立

深度学习给测绘管线数据误差模型的建立带来创新解决思路。传统误差模型的建立大多是通过线性回归模型或者简单数学函数来进行拟合,很难处理测绘管线数据的非线性关系以及误差分布的复杂性问题[8]。在深度学习领域,像卷积神经网络(CNN)和循环神经网络(RNN)这样的技术可以有效地捕获数据中的复杂模式和动态变化,从而构建出更加精确的误差模型。

例如,在处理随时间序列变化的管线测量数据(管线压力、流量连续监测资料等)时,数据具有明显的时间相关性和非线性特征,数据长度可达数万甚至数十万时间步长。使用RNN和其衍生的长短期记忆网络(LSTM)来建立误差模型,LSTM网络可以通过其记忆单元来保存和传输过去的时间序列信息,进而揭示数据中的长期依赖性。以一个包含50,000个时间步长的管线流量监测数据为例,将数据分为训练集(80%)和测试集(20%)。训练时,LSTM网络基于输入历史流量数据对当前时间步流量值进行预测,将计算误差与实际测量值进行比较,通过持续调节网络参数使误差函数达到最小[9]。经过长时间的训练后,构建的误差模型在测试集上的预测误差均方根(RMSE)可控制在0.05以内,相比传统的线性回归模型,RMSE降低了约60%。对于卷积神经网络(CNN),在处理管线测绘图像数据(管线铺设地理影像、管线内部结构影像)中的误差建模时,CNN可以自动对图像进行边缘、纹理和其他空间特征提取,并且建立起和误差分布的联系。

(四)智能算法对误差修正策略进行优化

误差修正部分智能算法起到了至关重要的作用。例如,利用遗传算法对修正参数进行优化,该算法将误差最小化作为目标函数并对修正模型的各参数进行编码。在测绘管线坐标误差校正处理中,对校正参数,如平移和旋转,进行染色体编码。通过选择、交叉和变异的遗传操作不断地迭代寻找最优的参数组合[10]。经大量样本数据检验,修正精度明显提高。

例如,在粒子群优化算法中,大量的粒子在解空间内飞行,而每一个粒子都代表着一种用于误差修正的解决方案。粒子依据自身经验及群体最优经验,动态地调节飞行方向和速度,并迅速收敛到较优修正策略。针对复杂管线网络误差校正问题,所提算法能够有效地兼顾局部和全局搜索,使得校正后管线数据更加接近真实情况,提高整体测绘管线数据的质量和可靠性。

五、结语

总之,人工智能对于测绘管线的数据处理和误差分析显示出了很大的潜力。尽管目前在算法优化、数据需求等方面仍面临挑战,但随着技术的不断演进,其应用前景十分广阔,有助于测绘行业更加高效准确地进行数据处理,为城市地下管线进行科学规划和安全运维提供了坚实的保障,促进测绘领域走向智能化发展的新时代。

参考文献

[1]陈立娜,李真,宋辉.基于人工智能的无人机测绘遥感图像信息提取方法[J].电子设计工程,2023,31(24):181-185.

[2]李嘎.人工智能下信息化测绘方法的思考[J].品牌与标准化,2023(03):165-167.

[3]吴健,鲁启峰.基于人工智能技术的测绘产品质量检验系统设计[J].科技资讯,2023,21(23):32-35.

[4]刘惠祥.人工智能在测绘科技中的应用研究[J].江西测绘,2022(04):55-58+64.

[5]张华.人工智能2.0与测绘地理信息的融合发展研究[J].中国高新科技,2022(18):10-11.

[6]张伟.“多测合一”中若干关键测绘技术的应用与研究[J].西部资源,2024(05):96-99.

[7]单长城.测绘工程中三维城市测量技术的应用探究[J].智能建筑与智慧城市,2024(09):52-54.

[8]王磊.上海市地下管线全生命周期规划管理机制和技术支撑体系建设研究[J].城乡规划,2024(03):82-90.

[9]陈安伟.地下管线测绘工作中北斗导航系统的实施[J].信息系统工程,2024(05):11-14.

[10]唐吉林.城市地下管线测绘测量技术方法[J].城市建设理论研究(电子版),2024(03):175-177.

作者单位:南通市测绘院有限公司

责任编辑:张津平 尚丹

猜你喜欢

误差分析数据处理人工智能
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
2019:人工智能
人工智能与就业
数读人工智能
气压高度计的测量误差分析及修正方法
基于“比值比较法”确定最佳实验方案的研究
电学计量的误差分析及不确定度理论探究分析
下一幕,人工智能!
车载雷达阵面举升装置的位置误差